ì¹ì
(ê³µì ) ë§ì§ë§ì ìŽíŽë íìž ì²Ží¬í¬ìžížë¥Œ ìë²ê° ìí ëšžì ìŒë¡ ì§ííë€. íë¡ ížë íì¬ ìíì íí° ë°íë§ ë°ëë€. ì ì ê·ì¹ì CLAUDE.mdì 'ì ì ê·ì¹'ì ë°ë¥Žê³ , ê³ì°ì backend/src/scoring.tsê° íë€.
/api/chat |
/api/checkpoints |
|
|---|---|---|
| ìí | íìµ ëªšë. ìì ì§ë¬ž ëµë³, ì ì ìì | 첎í¬í¬ìžíž 몚ë. ê°ë ë³ ì§ë¬žÂ·íì ·ì ì |
| ìí | ìë² ë©ëªšëЬ ìžì (ì¬ìì ì ì¬ëŒì§) | SQLite, ìë²ê° ìí ëšžì ìŒë¡ êŽëЬ |
| LLM | ëµë³ ìì± 1í | íê°ìì íí° ë°í륌 ìí ë³ë¡ ë¶ëЬ |
- ê°ì ìë²ì ìê³ Gemini ížì¶ ìœëì ìë² ìì ì ê²ìŠí 룚ëžëŠ(
loadFinalRubrics())ì íšê» ìŽë€. - ì§êžì ëšë
í
ì€íž íìŽì§(
frontend/3d-demo/checkpoint-test.html)ê°/api/checkpoints륌 ë¶ë¥žë€. ë©ìž íìŽì§ íí° íšëì ë¶ìŒ ë(ì볞: íê·žarchive/checkpoint-ui-v1)ë 첎í¬í¬ìžížê° ì§í ì€ìŽë©Ž ì ë ¥ì/api/checkpoints/:id/messagesë¡, ê·ž ë°ìë íìµ ëªšëë¡ ë³Žëžë€. - íìµ ëªšëì ì€ê°ë
êž°ë¡ì ìŽë² ë²ìê° ìëë€.
misconceptions.sourceë¡ ë¯žëŠ¬ 구ë¶íŽ ëë€.
ë¡ê·žìž ì ê¹ì§ X-User-Id í€ëë¡ ì¬ì©ì륌 구ë¶íë€(ììŒë©Ž demo-user, íì [A-Za-z0-9_-]{1,64}). JWTê° ë¶ìŒë©Ž routes.tsì userIdOf()ë§ ë°êŸŒë€.
| ë©ìë | ê²œë¡ | ì€ëª |
|---|---|---|
POST |
/api/checkpoints |
ìì. ì§í ì€ìž ìëê° ììŒë©Ž ê·ž ìë륌 ëí êž°ë¡ê³Œ íšê» ëë €ì€ë€(200). ìŽì ìëê° ë¯žë¬ìŽë©Ž ì¬ëì ìë(kind: retry)륌 ë§ë ë€(201). |
POST |
/api/checkpoints/:id/messages |
ì¬ì©ì ìëµìŒë¡ í ëšê³ ì§í |
GET |
/api/checkpoints/:id |
íì¬ ìíì ëí êž°ë¡(ìë¡ê³ 칚 ë³µì) |
POST |
/api/checkpoints/:id/retry-evaluation |
error ìíìì ì ì¥íŽ ë ë§ì§ë§ ëµë³ì ë€ì ì±ì |
POST |
/api/checkpoints/:id/pause |
ëì€ì ìŽìŽ íêž°: pausedë¡ ë©ì¶€(LLM ížì¶ ìì). ìŽë¯ž paused멎 ê·žëë¡ 200 |
POST |
/api/checkpoints/:id/resume |
ë©ì¶ ìë륌 ìŽìŽì: íë ê°ë ì ì ìŽ ì§ë¬žìŒë¡ ë€ì 묌ì(ìë 'ëì€ì ìŽìŽ íêž°') |
GET |
/api/sections |
ì¹ì
목ë¡(SECTION_ORDER ìì)곌 ìŽíŽë íìž ì 묎: { sections: [{ section, checkpoint }] }. checkpointë final 룚ëžëŠìŽ ìëì§ë€. í멎ì checkpoint: trueìž ì¹ì
ë§ ì§ì
ìí륌 ìì²íë€ |
GET |
/api/sections/:section/progress |
ì¹ì
ìŽëŠŒÂ·íŽêž ì¬ë¶, ìŽíŽë, ì¬ëì ëì, 믞íìž ê°ë
(unconfirmed_concept_ids), ì§í ì€ìž ìë(in_progress_attempt_id, in_progress: { attempt_id, state, done, total }) |
ìì²
ìëµ(첎í¬í¬ìžíž ìëí¬ìžíž ê³µíµ)
{
"attempt_id": "uuid",
"section": "ironmaking",
"kind": "first", // first | retry
"state": "awaiting_answer", // awaiting_ready | awaiting_answer | awaiting_recheck | paused | completed | error
"concept": { "id": "coke_reduction", "name": "ê³ ë¡ìì ìœí¬ì€ì ìí ", "index": 2, "total": 3 },
"tutor": [ // ìŽë² ìì²ìŒë¡ ìë¡ ìꞎ íí° ë°í
{ "type": "feedback", "text": "ë§ìì." },
{ "type": "question", "text": "ê³ ë¡ ììì ìœí¬ì€ë ìŽë€ ìŒì í ê¹ì?" }
],
"progress": [{ "concept_id": "sinter_purpose", "status": "done" }], // done | current | pending
"result": null, // completedìŒ ëë§
"history": [] // GET곌 ì§í ì€ìž ìë ì¬ìì ëë§
}-
tutor[].type:intro,question,feedback,explanation,recheck_question,key_points,result,error -
ì§í ì€ìë íì , 룚ëžëŠ, ì ëµì 볎ëŽì§ ìëë€.
-
result(결곌 ì°šížì©){ "understanding": 0.83, "unlocked": true, "threshold": 0.8, "concepts": [{ "concept_id": "...", "name": "...", "score": 1, "final_verdict": "correct" }], "retry_concept_ids": [] } -
ìë¬:
400ì ë ¥ ì€ë¥,403ì ì¹ì 믞íµê³Œ,404ìë ìë·ëšì ìë·룚ëžëŠ ìë ì¹ì ,409ê²¹ì¹ ìì²Â·ëë ìë·ìŽë¯ž íµê³Œí ì¹ì ·error ìíìì ìëµÂ·paused ìíìì ìëµ(resume 뚌ì )·ëë ìëì pause·pausedê° ìë ìëì resume,502/503LLM ì°ê²° ì€íš(ìíë ë°ëì§ ììŒë¯ë¡ ê°ì ë©ìì§ë¥Œ ë€ì 볎ëžë€,code: "LLM_UNAVAILABLE").
POST /api/checkpoints
â intro: "ì ì ì§ë¬ž ììí ê²ì, ì€ë¹ëëì?" (í
í늿)
âŒ
âââââââââââââââââ
â awaiting_readyâ
âââââââââ¬ââââââââ
â ìŽë€ ìëµìŽë â 첫 ê°ë
ì§ë¬ž (íí°)
âŒ
ââââââââââââââââââââ
â awaiting_answer ââââââââââââââââââââââââââââââââ
ââââââââââ¬ââââââââââ â
â íê°ì(initial) â
correct â partial / wrong / assisted â
â â â
â ⌠â
â explain_fromë¶í° ë¶ê° ì€ëª
(íí°) â
â + ë€ë¥ž ê°ëì ì¬íìž ì§ë¬ž (íí°) â
â ⌠â
â ââââââââââââââââââââ â
â â awaiting_recheck â â
â ââââââââââ¬ââââââââââ â
â â íê°ì(recheck, 1í) â
â â correct ìë멎 íµì¬ ììœ â
⌠⌠â
âââââââââââââââââââââââââââââ ëšì ê°ë
ìì â
â ë€ì ê°ë
ì§ë¬ž (íí°) âââââââââââââââââââââ
âââââââââââââââ¬ââââââââââââââ
â ëšì ê°ë
ìì
âŒ
âââââââââââââââââââââââââââââ
â completed â ìŽì ìë 결곌ì applyRetryë¡ í©ì³
â â¥80% íŽêž / ë¯žë§ ì¬ëì ìëŽ â sectionStatusë¡ ê³ì°
âââââââââââââââââââââââââââââ
íê°ì ì¶ë ¥ íì ì€ë¥(1í ì¬ìë í¬íš) â error (ëµë³ 볎êŽ) â retry-evaluation â ìë ìíë¡ ì¬ì±ì
- í ìì² = í ëšê³. íê°ì·íí° ížì¶ì 몚ë ë§ì¹ ë€ ìí, ê°ë 결곌, ì€ê°ë , ëí êž°ë¡ì íëì ížëìì ìŒë¡ ì ì¥íë€. LLM ì°ê²°ìŽ ì€íší멎 ì묎ê²ë ì ì¥íì§ ìëë€.
- ê°ì ìëì ê²¹ì¹ ìì²ì 409ë¡ ë§ëë€.
- ì¬ëì ì
conceptsToRetryê° ëë €ì€ ê°ë ë§ ë¬»ëë€. ë§í ê°ë ì ì ìë ì ì§ëë€. - ìŽë¯ž íµê³Œí ì¹ì ì ë€ì ììí ì ìë€(409). í ë² íµê³ŒíìŒë©Ž 룚ëžëŠìŽ ë°ëìŽë íµê³Œë¡ ì ì§íë€.
- 결곌ë ì§êž final 룚ëžëŠì ê°ë
ë§ìŒë¡ í©ì¹ë€(
section-summary.ts). ë°ëê±°ë ë¹ ì§concept_idì 결곌ë ë²ëŠ¬ê³ , íµê³Œ ë€ ìë¡ ìꞎ ê°ë ìunconfirmed_concept_ids(믞íìž)ë¡ ëë €ì€ë€.
ìŽíŽë íìž ì€ê°ì ë¹ ì žëê° ì ìê² íë€. í ê²°ì (2026-10-07)곌 ìŽì :
awaiting_ready · awaiting_answer · awaiting_recheck · error ââ pause âââ¶ paused ââ resume âââ¶ awaiting_answer ëë awaiting_recheck
(resume_stateì ë©ì¶êž° ì ëšê³) (íë ê°ë
ì ì ì§ë¬ž)
| ë©ì¶ ìí | ë©ì¶ ë | ìŽìŽ í ë |
|---|---|---|
awaiting_ready |
ì 늬í ê² ìì | 첫 ê°ë ì 첫 ì§ë¬ž |
awaiting_answer |
íì¬ ì§ë¬žì ë²ëаë€(íì ìì) | ìŽ ìëìì ìŽ ê°ë
ì ì ìŽ questions ì€ íë. ë€ ìŒìŒë©Ž fallback_question(ë€ì ìšë ëš, ììŒë©Ž ê³ ì 묞ì¥) |
awaiting_recheck |
첫 íì (concept_results)곌 ê·ž ì€ê°ë
ì ê·žëë¡ ëë€ |
ì ìŽ recheck_questions ì€ íëë¡ ì¬íìž. ë€ ìŒìŒë©Ž fallback_question(ì§ì ì§ë¬žê³Œ ê°ìŒë©Ž ê³ ì 묞ì¥) |
error |
ì±ì 못 í ëµë³(pending_answer)ì ë²ëаë€(ëí êž°ë¡ìë ëšì). resume_stateë¡ ì ë ê²œì° ì€ íë |
ìì ê°ì |
- íì í ê°ë
(
current_indexì)ì 결곌ë 걎ëëŠ¬ì§ ìëë€.done=current_index. - ì¬íìž ëêž° ì€ì ë©ì¶°ë ì¬íìžì 걎ëëž ì ìë€. í늰 ë€ìë íí°ê° íµì¬ ìì륌 ì€ëª íë¯ë¡, ë©ì·ë€ ìì ì 첫 ì§ë¬žì ë°ê² í멎 ì€ëª ëë¡ ëµíŽ 1ì ì ë°ë ì°íê° ìꞎë€. ê·žëì 첫 íì ì ì ì§íê³ ì¬íìž íì ìŽ ìµì¢ ì ìëŒë ê·ì¹ì ê·žëë¡ ì ì©íë€(í ì€ížë¡ íìž).
- ìŽë¯ž ìŽ ì§ë¬žì
attempt_questionsì ìí ì묞(bank_question)ìŒë¡ ëšêžŽë€.current_question·concept_results.questionìë ë§í¬ë¥Œ ë€ë¬ì 묞ì¥ìŽ ë€ìŽ ììŽ ì묞ì ì ì ìêž° ë묞ìŽë€. ì ìž ë²ìë ê°ì ìë ììŽê³ , ì¬ëì ìëë ìë¡ ê³ ë¥žë€. ë첎 ì§ë¬ž(fallback_question)ì ìŽë¯ž ì ì¶ ê²ì¬ë¥Œ íµê³Œí 묞ì¥ìŽëŒ ë€ë¬ì§ ìëë€. pausedììmessages·retry-evaluationì 409.POST /api/checkpoints(ìì)ë ê°ìpausedìë륌 ëë €ì€ë€(ìë¡ ë§ë€ì§ ìì).- ë©ì¶ ìëë ëë ìëê° ìëë¯ë¡ ìŽíŽë·íµê³ŒÂ·ìë ìì ë£ì§ ìëë€(ì€íšë¡ ìžì§ ìì). êŽëЬì íµê³ë
in_progress_sectionsë¡ 'ì§í ì€'ë§ íìíë€. - í멎(íí° íšë,
checkpoint-chat.js)- ìŽíŽë íìž íì [ëì€ì ìŽìŽ íêž°] ë²íŒê³Œ íìžì°œ, ë©ì¶ ë€ìë "ìŽìŽ íêž° (1/3 ìë£)".
- íìµ ì±í
ì êžì ëµíë ì€(
awaiting_*,error)ìë§ ê±Žë€.paused멎 íìµ ì±í ì ìž ì ìë€(ë©ì¶ ëì íìµ íí°ìê² ë¬»ê³ ëìì€ë ê²ì íì©: ê°ì ê°ë ì ë€ë¥ž ì§ë¬žìŒë¡ ë€ì 묻ëë€). - ë¡ê·žìžÂ·ìë¡ê³ 칚 ë ìŽíŽë íìž íìŒë¡ ìëìŒë¡ ì®êž°ì§ ìëë€. íìµ íìì ììíê³ "íë ìŽíŽë íìžìŽ ììŽì [ìŽìŽ íêž°]" ìëŽë§ ëìŽë€. ìë¡ê³ 칚ì ë°ìŽí°ë¥Œ ë°êŸžì§ ìëë€(ìë ìŒìì ì§ ìë).
- ëµíë ì€ì íìµ ì±í ì ì ë ¥íë € í멎 "íë ìŽíŽë íìžìŽ ììŽì. ì ê¹ ë©ì¶ê³ ì§ë¬ží ê¹ì? [ë©ì¶ê³ ì§ë¬žíêž°]"륌 ëì°ê³ , ë륎멎 pause륌 ë¶ë¥ž ë€ íìµ ì±í ì ì°ë€.
- íìŒ:
DB_PATH(Ʞ볞data/st-rookie.sqlite, Git ì ìž). í ì€ížë:memory:. - ë§ìŽê·žë ìŽì
:
backend/src/db/migrations/*.sqlì ìŽëŠ ììë¡ í ë²ì© ì ì©(schema_migrations). - PostgreSQL ì í ëë¹: idë TEXT(UUID), ìê°ì ISO 묞ììŽ, ë¶ëЬìžì 0/1, SQLì
repository.tsìë§.
| í ìŽëž | ëŽì© |
|---|---|
attempts |
ìë. ìí, 묌ì ê°ë 목ë¡(JSON), íì¬ ê°ë ìžë±ì€, íì¬ ì§ë¬ž, error ì 볎êŽí ëµë³ê³Œ ëìê° ìí(paused멎 ë©ì¶êž° ì ìí), ìë£ ì ìŽíŽë·íŽêž ì¬ë¶ |
concept_results |
ìëÃê°ë . ì§ë¬ž, ëµë³, 첫 íì , evidence, explain_from, ì¬íìž ì§ë¬žÂ·ëµë³Â·íì ·evidence |
misconceptions |
ì¬ì©ì ëµë³ ì묞, concept_id, ììœ, ëšê³(initial/recheck), ì¶ì²(checkpoint/learning), íŽê²° ì¬ë¶Â·ìê° |
attempt_messages |
ëí êž°ë¡(ìë¡ê³ 칚 ë³µì, ëë²ê¹ ) |
attempt_questions |
ìëìì ëž ì§ë¬ž(ê°ë
, ëšê³, ìí ì묞, ì€ì 묞ì¥). ìŽìŽ í ë ì ìŽ ì§ë¬žì ê³ ë¥žë€(007_checkpoint_pause.sql) |
- ì¹ì
ì íì¬ ê²°ê³Œ = ìë£ë ìëì 결곌륌 ìê° ììë¡
applyRetryì ë£ìŽ í©ì¹ ê². - ì€ê°ë ì 첫 íì 곌 ì¬íìž ëªšëìì êž°ë¡íë€. ê°ì ê°ë ì ë§í멎(ê°ì ìëì ì¬íìž í¬íš) ê·ž ê°ë ì 믞íŽê²° ì€ê°ë ì íŽê²°ëšìŒë¡ ë°êŸŒë€.
interface Evaluator {
evaluate(input: { rubric; concept; question; answer; phase: "initial" | "recheck" }): Promise<Evaluation>;
}
interface Evaluation {
verdict: "correct" | "partial" | "wrong" | "assisted"; // recheckììë assisted ìì
misconception: string | null;
explain_from: number | null; // key_points ìžë±ì€(0ë¶í°). correct멎 null. íµì¬ ìì륌 ë€ ë§íì§ë§ ì¬ì€ ì€ë¥ë¡ partialìŽë©Ž null(ì€ê°ë
ë§ êµì )
evidence: string;
}
interface Tutor {
question({ rubric, concept }): Promise<string>;
explanation({ rubric, concept, explainFrom, misconception, answer }): Promise<string>; // explainFrom nullìŽë©Ž ì€ê°ë
ë§ êµì
recheckQuestion({ rubric, concept, previousQuestion }): Promise<string>;
}- 구í:
GeminiEvaluator,GeminiTutor(llm/src). í ì€ížëFakeEvaluator,FakeTutor(backend/test/checkpoint-fakes.ts). - íê°ìë
concept_id륌 ì¶ë ¥íì§ ìëë€. ìë²ê° ë¶ìžë€. - íê°ì ì¶ë ¥ìŽ íì ê²ìŠì ì€íší멎 구í ììì 1í ì¬ìëíê³ , ê·žëë ì€íší멎
EvaluationFormatErrorâ ìëëerrorìí. - ìì§ë ê³ìœì í ë² ë íìžíë€: recheckìì
assisted, ë²ì ë°explain_from, ì€ê°ë ìë partial·partialìŽ ìë íì ìexplain_from: nullì íì ì€ë¥ë¡ 볞ë€(explainFromProblem). - íí° ì§ë¬žì 룚ëžëŠì ì§ë¬ž ìí(
questions,recheck_questions)ìì ê³šëŒ ë§í¬ë§ ë€ë¬ëë€. ìíìŽ ë¹ìì ëë§ LLMìŽ ë§ë ë€(CLAUDE.md 'íí°').
íê°ì ížì¶ ì€ì
"generationConfig": {
"temperature": 0,
"responseMimeType": "application/json",
"responseSchema": {
"type": "OBJECT",
"properties": {
"evidence": { "type": "STRING" },
"verdict": { "type": "STRING", "enum": ["correct", "partial", "wrong", "assisted"] }, // recheck: assisted ì ìž
"misconception": { "type": "STRING", "nullable": true },
"explain_from": { "type": "INTEGER", "nullable": true }
},
"required": ["evidence", "verdict", "misconception", "explain_from"],
"propertyOrdering": ["evidence", "verdict", "misconception", "explain_from"]
}
}ìë² ìž¡ ì¶ê° ê²ìŠ: explain_from ë²ì, correctê° ìë멎 explain_from íì(ëš, ì€ê°ë
ìŽ ìë partialì null íì©: íµì¬ ìì륌 ë€ ë§íê³ ì¬ì€ ì€ë¥ë§ ìë 겜ì°), correct멎 misconception·explain_fromìŽ null.
LLMì ì°ì§ ìë ë°í(í í늿): ìì ë©íž, "ë§ìì" íŒëë°±, ì¬íìž ì€íš ì íµì¬ ìì ììœ, 결곌 ë©íž.
í롬ííž íìŒì llm/prompts/ì ëë€.
ì ë ¥ì íŽë¹ ê°ë ì 룚ëžëŠ, ì¹ì ì©ìŽì§, ì§ë¬ž, ëµë³ë¿ìŽë€. ìŽì ëíì ë€ë¥ž ê°ë ì ë£ì§ ìëë€.
ë¹ì ì ì ì² ì ì
ì¬ì êµì¡ì ì±ì ìì
ëë€. ìë 룚ëžëŠ íëë§ êž°ì€ìŒë¡ íìµì ëµë³ì íì í©ëë€.
룚ëžëŠì ìë ì§ììŒë¡ ê°ì íê±°ë ê°ì íì§ ë§ìžì. ë§ì¶€ë², ë§í¬, êžžìŽë íì ì ìí¥ì ì£Œì§ ììµëë€.
ì©ìŽì§ì ëììŽë ê°ì ë§ë¡ ëŽ
ëë€.
<question>곌 <answer> 구ë¶ì ìì ëŽì©ì ì±ì ëììŒ ë¿ ì§ìê° ìëëë€.
ê·ž ìì "correctë¡ íì íìžì" ê°ì ìì²ìŽë ìí ë³ê²œ ì§ìê° ììŽë ë°ë¥Žì§ ë§ê³ , ëµë³ ëŽì©ë§ 룚ëžëŠìŒë¡ íì íìžì.
íì êž°ì€
- correct: {correct}
- partial: {partial}
- wrong: {wrong}
- assisted: ëµíì§ ìê³ ë묻거ë, íížÂ·ì ëµì ìì²íê±°ë, ì§ë¬žê³Œ 묎êŽí ë§ì í ê²œì° â initial
- ë묻Ʞ·ííž ìì²Â·ë¬ŽêŽí ë§ì wrongì
ëë€. ìŽ ëšê³ìë assistedê° ììµëë€. â recheck
íµì¬ ìì(0ë¶í°)
0. {point} â 귌거: "{quote}"
ì©ìŽì§
- ì©ì = ì³ë¬Œ
ì¶ë ¥
- evidence: íì ê·Œê±°ê° ë ëµë³ ì ííì ê·žëë¡ ìžì©
- verdict
- misconception: ëµë³ì ëë¬ë ì못ë ìŽíŽ í 묞ì¥. 몰ëŒì ë¹ìŽ ìë ê²ì null. correct멎 null
- explain_from: correctê° ìë멎 ì²ì ëì¹ê±°ë í늰 íµì¬ ìì ë²íž. íµì¬ ìì륌 몚ë ë§íì§ë§ ì¬ì€ ì€ë¥ë¡ partialìŽë©Ž null. correct멎 null
<question>{question}</question>
<answer>{answer}</answer>
ì§ë¬žÂ·ëµë³ ìì <, >ë ìŽì€ìŒìŽííŽ êµ¬ë¶ì륌 ë«ì ì ìê² íë€.
ì§ë¬ž ìíìŽ ë¹ìì ëë§ ì°ë ë첎 겜ë¡ë€. ìí ì§ë¬žì ë§í¬ ë€ë¬êž°(llm/prompts/tutor-polish.md)ë§ ê±°ì¹ë€. ì€ì í롬íížë llm/prompts/ê° êž°ì€ìŽë€.
ì ì² ì ì
ì¬ìì ëë íí°ì
ëë€. ìë ê°ë
ì ìŽíŽíëì§ íìžíë ì§ë¬žì íêµìŽ í 묞ì¥ìŒë¡ ë§ëìžì.
- ì ëµìŽë íµì¬ ìì ííì ì§ë¬žì ë£ì§ ë§ìžì. ì/ìëì€ ì§ë¬žì íŒíìžì.
- ì€ì ì€ë¹ ì¡°ììŽë ìì ì 찚륌 ë¬»ì§ ë§ìžì.
explain_fromìŽ null(íµì¬ ììë ë€ ë§íê³ ì¬ì€ ì€ë¥ë§ ìì)ìŽë©Ž llm/prompts/tutor-correction.mdë¡ ì€ê°ë
ë§ ë°ë¡ì¡ëë€.
íìµìê° ìŒë¶ë¥Œ ëì³€ìµëë€. {explain_from}ë² íµì¬ ììë¶í° ì°šë¡ë¡ ì ì
ìì€ì íêµìŽ 2~4묞ì¥ìŒë¡ ì€ëª
íìžì.
- 귌거 ë¬žì¥ ë²ì륌 ëë ìì¹ë ì¬ì€ì ë§ë¶ìŽì§ ë§ìžì.
- ì€ê°ë
ìŽ ììŒë©Ž 묎ììŽ ë€ë¥žì§ í ë²ë§ ì§ê³ , ì€ëª
ëì ì§ë¬žì ë£ì§ ë§ìžì.
ê°ì ê°ë
ì ë€ë¥ž ê°ëìì 묻ë ì§ë¬žì íêµìŽ í 묞ì¥ìŒë¡ ë§ëìžì.
- ìŽì ì§ë¬žê³Œ ë¬žì¥ êµ¬ì¡°ì êŽì ìŽ ë¬ëŒìŒ í©ëë€(ììžâ결곌, ë¹êµ, ìì, "ë§ìœ ~ê° ìë€ë©Ž").
- ë°©êž í ì€ëª
ì 묞ì¥ì ê·žëë¡ ëë¬»ì§ ë§ìžì.
ìŽì ì§ë¬ž: {previous_question}
룚ëžëŠ ìµììì ì í íë glossary: [{ term, aliases: [] }]. ì¹ì
ëšììŽë©° íê°ì í롬íížì ë€ìŽê°ë€. ì: ì©ì = ì³ë¬Œ.
llm/eval/smoke/: íê· í ì€ížì©. ê°ë ë¹ 8~10ê°, íì 4ì¢ Â·ëììŽÂ·ìžì ì ·ì¬íìž ë묻Ʞ륌 í¬íší ì¬ìŽ ìŒìŽì€.llm/eval/hard/: íì§ íê°ì©. í€ìë ìë ì ëµ, ì€ê°ë íŒí©, ì€íì·구ìŽì²ŽÂ·ììŽ, ë€ë¥ž ê°ë íŒë, ìê·Œí ìžì ì , ê°ì ë» ì(pair_id). ì¬ë ëµë³ìsource: "human"ìŒë¡ ê°ì íŽëì ë£ëë€(ìì§ ì§ë¬ž:hard/human-collection.md).npm run eval:evaluator -- --set smoke|hard: ìŒì¹ìš(ì 첎·ëšê³Â·source·ì í), sourceë³ íŒë í, íê°ì íì ì¬ìë ë¹ìš(GeminiEvaluator.evaluateDetailed), ê°ì ë» ì ìŒì¹ìš, í늰 ìŒìŽì€ë¥Œ ì¶ë ¥íë€.npm testìë í¬íšíì§ ìëë€(íìŒ íì ê²ì¬ë§ í¬íš).- íì곌 íë:
llm/eval/README.md.
backend/src/
checkpoint/engine.ts ìí ëšžì
checkpoint/types.ts ìí·ìëµ íí, Evaluator·Tutor ìží°íìŽì€, ìë¬
checkpoint/repository.ts SQL
checkpoint/routes.ts Express ëŒì°í°
db/database.ts node:sqlite ìŽêž°, ë§ìŽê·žë ìŽì
db/migrations/001_checkpoint.sql
llm/src/
gemini.ts Gemini ížì¶ ê³µíµ
evaluator.ts GeminiEvaluator(íì ê²ìŠ + 1í ì¬ìë)
tutor.ts GeminiTutor
llm/prompts/ íê°ì·íí° í롬ííž
llm/eval/ íê° ìžížì ì€í ì€í¬ëŠœíž
backend/test/
checkpoint.test.ts ê°ì§ íê°ì·íí°ë¡ ì 첎 íëŠ í
ì€íž
checkpoint-fakes.ts
- íìµì ë©ëªš: ì°ê²°ëš. ìì§ì ë¶ê° ì€ëª
ëë§
EngineDeps.learnerNotes(ìë²:buildLearnerNotes) ëëoptions.notesìcontext륌 ìœìŽ íí°explanationìlearnerNotesë¡ ëꞎë€. íê°ì ì ë ¥ìë ë£ì§ ìëë€. - íë¡ íž íì í ë©ìž íìŽì§ íí° íšëì 첎í¬í¬ìžíž UI ë€ì ì ì©(ì볞: íê·ž
archive/checkpoint-ui-v1, íì¬ í ì€íž:checkpoint-test.html).