diff --git a/CLAUDE.md b/CLAUDE.md index 65c3c6c..b7c437d 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -171,7 +171,7 @@ src/ - OpenAI、Anthropic、Google、OpenRouter、カスタムの5種類 - 各プロバイダーのデフォルトURL、デフォルトモデル、モデルリスト - **`fact-summary.ts`**: 候補v4・確定事実v6の根拠付き事実抽出。`summary-presentation.ts` / `summary-renderer.ts` は冒頭と本文を分け、全文の原文引用を確定事実と区別して保持・表示する。`fact-validation.ts` が原文字・構造・数量全断片・主体/範囲・期間・限定/条件・状態を照合し、採点は確定IDだけを参照する。詳細と対応境界は docs/development.md の承認済み設計・実装記録を正本とする -- **`additional-analysis.ts`**: 確定事実・点検済み説明/指標・コード計算を使う論点型追加分析v3。結論と読みは推論として区別する。`analysis-input.ts` が根拠を構成し、`analysis-calculations.ts` が比較可能な金額だけを計算する。[設計・検証境界](docs/additional-analysis.md)を参照 +- **`additional-analysis.ts`**: 確定事実・点検済み説明/指標・コード計算を使う論点型追加分析v4。数字・期間を含む本文全体は未検証の推論として区別し、根拠参照不備は論点単位で隔離する。`analysis-input.ts` が根拠を構成し、`analysis-calculations.ts` が比較可能な金額だけを計算する。[設計・検証境界](docs/additional-analysis.md)を参照 - **`prompts.ts`**: 旧要約経路の文書タイプ別プロンプト。現行の要約では使用しない - **`format-prompts.ts`**: 2パス要約のパス2用プロンプト - パス1の構造化データを文書タイプ別の固定テンプレートへ整形 diff --git a/docs/additional-analysis.md b/docs/additional-analysis.md index 1b024dc..5900ce9 100644 --- a/docs/additional-analysis.md +++ b/docs/additional-analysis.md @@ -49,3 +49,40 @@ CMapは168個のpacked資産+LICENSEを同版パッケージとバイト比較 - 同じ段落の別の説明が採用されていても、未確認・不採用の項目を分析の入力範囲から消さない。入力・表示・保存再照合へ、件数・原文ページ・制約を非引用のcoverageとして渡す。却下された文章を根拠へ昇格させず、資料に一時要因や時期の説明が存在しないと断定しない。今後の説明生成には、条件・否定・因果の範囲を保った独立した論点と、数量の原文所有者の明示を求める。 固定検査の責務は、部品の文字数/参照の正負境界、生成形式と診断observer、Backgroundの実行別保持、保存上限・失敗、Reactの再試行・閉じる/再表示・診断コピーに分ける。指定PDFの既存三応答を再生する検査は、要約の原文照合と追加分析入力の保持を証明する。元の失敗した追加分析応答や、新しいプロンプトでの実モデル品質を再現したとは扱わない。実モデル評価・公開はこのローカル修正には含まない。 + +## 推論と検証境界の分離(2026-10-09 / v120・追加分析v4) + +v119の実応答で、`第2四半期`・`第3四半期`・`第4四半期`の数字が本文の数値禁止に触れ、全体が失敗した。同じ期間を漢数字に変えるだけで通ることも確認した。期間ごとの例外や表記変換を足すのではなく、次の責務へ分け直す。 + +- **原文対応のある根拠・機械計算**は従来どおりコードが構成する。生成文章の金額・率・計算式から根拠を追加・書き換えない。引用IDは対応だけを検査し、推論の正しさを証明した扱いにしない。 +- **生成文章**は数字・期間を含めて原文のまま保持する。論点名・結論・読み・限界・次の確認のすべてが未検証のAI推論であると画面で明示する。量的な予測も、根拠欄の照合済み数値とは別の主張である。 +- **論点ごとの形・参照の不備**はその論点を隔離し、元の位置と理由を表示する。他の論点は保持する。隔離した本文や不正IDを正常な根拠に結びつけて表示しない。軽微な追加キー・任意の限界/確認欄の欠落・重複IDは警告し、安全な表示投影だけを作る。本文の意味を書き換えず、重複IDを一つにまとめたことも明示する。 +- **長さや反復**は品質上の注意とする。推奨は4論点・見出し80文字・本文350文字・根拠6件。別の実行安全上限は16論点・各本文4,096文字・根拠32件・応答256KiB・構造深さ32・10,000ノード。個別本文/参照上限は論点を隔離し、全体容量/構造上限や読めないJSON・未対応の形式は全体を停止する。保存封筒には原候補と派生表示の重複分があるため、1MiB・40,000ノードを使う。 +- **出力打切り**でも完全なJSONと表示可能な内容がある場合は、未完の可能性を全体の注意として表示する。不完全JSONから文章を補完・推測しない。終了理由・原応答は診断に保持し、自動再要求は増やさない。 +- **保存**は追加分析v4/`analysisCacheV4:`と全体指紋v120に分離する。原候補から論点・注意・隔離を再計算し、保存した派生表示、入力hash、コード構成の根拠、coverageと一致するものだけを戻す。整合性検査であり、生成文章の意味や保存データの暗号学的な真正性の証明ではない。旧v3を新しい推論表示へ黙って移行しない。 +- **診断**の封筒v1は旧記録を読めるまま、契約version=4と`partialSuccess`を追加し、個別の注意/隔離理由と実行安全上限も診断コピーへ残す。表示できる論点がない全隔離と、モデルが明示的に空配列を返した場合を注意情報で区別する。コピーは「要約」「表示中の追加分析」「直近の追加分析」を明示し、保存済み表示と後続の失敗を混同しない。 + +### 意味上の限界 + +同じ実応答には、入力に固定資産売却益1,174,729千円と経常利益進捗79.0%があるのに、その金額・進捗が未確認という文章もあった。生成指示では入力全体を確認し、既知の金額と不明な寄与内訳・今後の予定を区別することを明記した。しかし一般的な矛盾・因果・「記載がない」という主張を決定論的に検証したとは扱わない。今回の表示変更はこの文章を黙って修正しないし、根拠IDが正しいだけで正しい説明として認証しない。追加の有料モデル点検や再試行は導入しない。 + +### 検証の担当と公開範囲 + +部品は表記を問わない本文保持、正常/不正/正常の論点分離、構造予算、原候補からの保存再照合を担当する。Background/診断は部分結果・原応答・最新試行と既存表示の分離を担当する。React結合は部分表示、閉じる/再表示、再読込、コピーする診断の同一性、追加APIなしの復元を担当する。HTMLは本文・警告・根拠・リンクのエスケープを検査する。 + +提供された実応答はローカルで形式versionだけを4へ変えて再生し、4論点の本文が変更されず、選択された根拠も入力と一致することを確認する。これは旧形式の自動移行ではなく、再生用の明示的な変換である。既知の矛盾も未検証の推論として残ることを確認する。恒久テストは最小の合成例と公開資料中の事実だけを使い、生診断・実行ID・利用者の設定等は公開しない。固定再生は新しいプロンプトの実モデル品質を示さず、実Chromeと有料APIは今回未検証である。 + +最終確認: 全1,586件/52ファイル、type-check、lint、buildが成功。独立レビューで保存封筒のノード増分と、完全JSONの出力上限終了の扱いを指摘され、修正後の対象検査と全体検査を通した。追加分析の元応答だけでなく、同じPDFの保存済み要約三応答から入力を再構成し、実行時の事実19・説明12・指標17・計算12と入力全体が一致すること、追加分析の保存/復元が一致することも確認した。API呼出しは固定応答への置換だけで、外部課金呼出しは0。実Chromeと新プロンプトによるモデル生成は未実施。 + +## 通信・根拠・保存の接続修正(2026-10-09 / v121) + +公開したv120を別の境界から点検し、部品の成功だけでは取りこぼす次の4件を修正する。 + +1. **通信層の出力上限**: パーサーが完全JSONを扱えても、実際のLLMクライアントが先に上限終了を例外にしていた。追加分析だけが型付きの`outputLimitBehavior: 'return-response'`を明示し、`length` / `max_tokens` / `model_context_window_exceeded`で届いた本文を検証へ渡す。他の呼出し元は既定の拒否を保つ。完全JSONは未完の可能性を警告し、不完全JSON・HTTPエラー・中断は失敗する。追加要求はしない。 +2. **単独で読める観測指標の根拠**: 確定事実へ統合済みの観測指標が、現在値を事実IDの文字列だけで表していた。観測指標だけを引用すると現在の配当予想や「1株当たり」等が画面から消える。各選択可能な観測指標へ、対応する確定事実の値・文脈・条件・調整・分母・原文参照・ページをコードで含め、比較値も保持する。他の論点やモデルの追加引用に依存させない。 +3. **応答全体の余分な項目**: version/issues以外を黙って落とさず、全体の注意を出す。値は任意の推論本文として採用せず、容量/構造制限内の`rootExtras`として保存し、復元時にも注意を再構成する。rootExtrasのない既存v4保存結果も形式上は読める。保存封筒ではrootExtrasの包み分だけ構造深さを33へ広げ、応答側の深さ32を変えない。実行指紋はv121へ更新する。 +4. **隔離後の案内**: 後から根拠不備で非表示になった論点に、先に作った「本文を表示しています」等の注意を残さない。隔離された論点には隔離理由を示し、正常な隣の論点の注意・本文はそのまま保持する。 + +検証の担当を分ける。通信は`generateText`をmockせず実クライアントを使い、fetchだけを固定応答へ置換して3種類の上限終了と失敗条件を通す。根拠は観測指標だけの引用→画面→保存復元を通し、現在値・比較値・条件・分母・調整と原文参照が保持されることを確認する。パーサーは余分な項目と隔離後の注意を保存後も同じ結果として再構成する。モデルによる意味判断一般の保証は増やさない。 + +v121の最終結果: 全1,599件/53ファイル、type-check、lint、buildが成功。最初の全体検査で残っていた旧モジュールmockの不足と、現在値を意図的に省略する旧期待値を更新し、修正後に全体を再実行した。担当外の相互レビューに残る阻害事項はない。同じPDFの要約三応答を再生し、確定事実・会社説明・coverageは不変、統合済み観測指標6件の根拠表現だけが変わったことを確認した。入力hashの変更はこの根拠充実に対応する意図した変更である。元の追加分析4論点を本文無変更で再生・保存復元し、年間配当の観測指標だけを選ぶ追加検査でも37.00円・前年35.00円・1株当たりが表示と復元に残ることを確認した。生診断は公開せず、有料API呼出し0。実Chromeと新プロンプトの実モデル品質は引き続き未検証。 diff --git a/evaluation/scripts/check-additional-analysis-sala.ts b/evaluation/scripts/check-additional-analysis-sala.ts index e5954e7..7c1360e 100644 --- a/evaluation/scripts/check-additional-analysis-sala.ts +++ b/evaluation/scripts/check-additional-analysis-sala.ts @@ -156,7 +156,7 @@ assert.ok( const refs = (test: (e: (typeof input.evidence)[number]) => boolean) => input.evidence.filter(test).map((e) => e.id); const response = { - version: 3, + version: 4, issues: [ { title: '通期計画を超えた累計利益', diff --git a/evaluation/scripts/check-extension.ts b/evaluation/scripts/check-extension.ts index 1e763ea..b67d461 100644 --- a/evaluation/scripts/check-extension.ts +++ b/evaluation/scripts/check-extension.ts @@ -95,7 +95,7 @@ async function copiedDiagnostic(summary: any, page: any, blocked = false) { const info = summary.locator('[data-generation-info]'); if (!(await info.evaluate((element: HTMLDetailsElement) => element.open))) await info.locator('summary').first().click(); - await summary.getByRole('button', { name: '診断JSONをコピー', exact: true }).click(); + await summary.getByRole('button', { name: '要約の診断JSONをコピー', exact: true }).click(); if (blocked) await summary .getByRole('alert') @@ -540,7 +540,7 @@ export async function checkExtension(item: BrowserCase, config: LLMConfig, args: } else if (prompt.includes('"claims"')) result = { version: 4, claims: [], unverified: ['固定試験:比較値なし'] }; else if (prompt.includes('"evidenceIds"')) { - result = { version: 3, issues: [] }; + result = { version: 4, issues: [] }; } else result = JSON.parse( candidateResponse(fixedFacts as VerifiedFact[], sourcePages, item.documentType) @@ -1586,7 +1586,7 @@ export async function checkExtension(item: BrowserCase, config: LLMConfig, args: ); const analysis = await worker.evaluate(async () => { const entries = await chrome.storage.local.get(); - return Object.entries(entries).find(([k]) => k.startsWith('analysisCacheV3:'))?.[1]; + return Object.entries(entries).find(([k]) => k.startsWith('analysisCacheV4:'))?.[1]; }); evidence.analysis = analysis; assert.ok(analysis, '実API追加分析の現行キャッシュがありません'); diff --git a/src/background/index.test.ts b/src/background/index.test.ts index cf14734..791d9d7 100644 --- a/src/background/index.test.ts +++ b/src/background/index.test.ts @@ -1,4 +1,8 @@ -import { loadAnalysisTrace, ANALYSIS_DIAGNOSTICS_KEY } from '../lib/analysis-trace'; +import { + loadAnalysisTrace, + readLastAnalysisAttempt, + ANALYSIS_DIAGNOSTICS_KEY, +} from '../lib/analysis-trace'; import type { SummaryTrace } from '../lib/summary-trace'; import { matchingSummaryTrace, @@ -37,7 +41,10 @@ interface TestResponse { analysis: import('../lib/additional-analysis').AdditionalAnalysis; score: { value: number }; } -vi.mock('@/lib/llm-client', () => ({ generateText: mocked.generateText })); +vi.mock('@/lib/llm-client', async (importOriginal) => ({ + ...(await importOriginal()), + generateText: mocked.generateText, +})); // Candidate transport/diagnostic races belong here; synthesis semantics are owned // by summary-narrative.test. Keep its current storage contract at this boundary. vi.mock('@/lib/summary-organization', async (original) => ({ @@ -598,7 +605,7 @@ describe('要約・採点・追加分析の分離', () => { .mockResolvedValueOnce(candidateResponse(facts.facts, [nativePage], facts.documentType)) .mockResolvedValueOnce( JSON.stringify({ - version: 3, + version: 4, issues: [ { title: '計画の実現条件', @@ -658,27 +665,78 @@ describe('要約・採点・追加分析の分離', () => { expect(mocked.extractScoreInput).not.toHaveBeenCalled(); }); - it.each([ - ['malformed', '{broken', 'invalid_json', '$'], - [ - 'unknown-reference', - JSON.stringify({ - version: 3, - issues: [ - { - title: '計画の実現条件', - conclusion: '条件確認が必要です', - evidenceIds: ['fact:missing'], - reading: '足元の実績と計画の整合を点検します', - caveat: '継続性は未確認です', - nextCheck: '実績と前提を確認する', - }, - ], - }), - 'evidence_unknown', - '$.issues[0].evidenceIds[0]', - ], - ])( + it('一部の論点を隔離しても有効な論点を返し、部分成功の診断を同じ実行に保存する', async () => { + mocked.generateText.mockResolvedValueOnce( + candidateResponse(facts.facts, [nativePage], facts.documentType) + ); + const request = await setup(false); + const summary = await request({ action: 'summarize' }); + const issue = { + title: '計画の実現条件', + conclusion: '条件確認が必要です', + evidenceIds: [`fact:${facts.facts[0].id}`], + reading: '足元の実績と計画の整合を点検します', + caveat: '継続性は未確認です', + nextCheck: '実績と前提を確認する', + }; + const raw = JSON.stringify({ + version: 4, + issues: [issue, { ...issue, evidenceIds: ['fact:missing'] }], + }); + mocked.generateText.mockResolvedValueOnce(raw); + const result = await request({ + action: 'analyze', + facts: summary.facts, + presentation: summary.presentation, + resultId: summary.resultId, + fingerprint: summary.metadata.analysisFingerprint, + }); + expect(result.error).toBeUndefined(); + expect(result.analysis.issues).toHaveLength(1); + expect(result.analysis.candidates).toHaveLength(2); + expect(result.analysis.notices).toEqual( + expect.arrayContaining([ + expect.objectContaining({ + issueIndex: 1, + code: 'evidence_unknown', + severity: 'quarantined', + }), + ]) + ); + expect(result.diagnosticPersistence).toBe('saved'); + expect( + await loadAnalysisTrace( + 'test.pdf', + result.diagnosticRunId, + summary.resultId, + 'saved', + result.analysis.inputHash + ) + ).toMatchObject({ + outcome: 'partialSuccess', + error: null, + notices: result.analysis.notices, + response: raw, + contract: { version: 4 }, + }); + expect( + readLastAnalysisAttempt( + stored[ANALYSIS_DIAGNOSTICS_KEY], + 'test.pdf', + summary.resultId, + result.analysis.inputHash + ) + ).toMatchObject({ + runId: result.diagnosticRunId, + outcome: 'partialSuccess', + }); + expect( + await loadSummaryTrace('test.pdf', summary.diagnosticRunId, summary.resultId) + ).toMatchObject({ outcome: 'firstSuccess' }); + expect(mocked.generateText).toHaveBeenCalledTimes(2); + }); + + it.each([['malformed', '{broken', 'invalid_json', '$']])( '追加分析%sの生応答・使用量・拒否位置を残し、成功要約と前の分析を汚さない', async (_case, raw, code, path) => { mocked.generateText.mockResolvedValueOnce( @@ -693,7 +751,7 @@ describe('要約・採点・追加分析の分離', () => { resultId: summary.resultId, fingerprint: summary.metadata.analysisFingerprint, }; - mocked.generateText.mockResolvedValueOnce('{"version":3,"issues":[]}'); + mocked.generateText.mockResolvedValueOnce('{"version":4,"issues":[]}'); const success = await request(followup); const summaryTrace = structuredClone(stored[SUMMARY_DIAGNOSTICS_KEY]); mocked.generateText.mockImplementationOnce(async (config: LLMConfig) => { @@ -732,7 +790,7 @@ describe('要約・採点・追加分析の分離', () => { mocked.generateText.mockImplementationOnce( (config: LLMConfig) => new Promise((_resolve, reject) => { - config.onResponse?.('{"version":3,"issues":['); + config.onResponse?.('{"version":4,"issues":['); config.onUsage?.({ inputTokens: 12, outputTokens: 8, elapsedMs: 60_000 }); config.signal!.addEventListener('abort', () => reject(new Error('aborted')), { once: true, @@ -754,7 +812,7 @@ describe('要約・採点・追加分析の分離', () => { await loadAnalysisTrace('test.pdf', failed.diagnosticRunId, summary.resultId) ).toMatchObject({ outcome: 'failure', - response: '{"version":3,"issues":[', + response: '{"version":4,"issues":[', error: { code: 'interrupted', path: '$' }, }); expect(mocked.generateText).toHaveBeenCalledTimes(2); @@ -785,7 +843,7 @@ describe('要約・採点・追加分析の分離', () => { resultId: summary.resultId, fingerprint: summary.metadata.analysisFingerprint, }; - mocked.generateText.mockResolvedValue('{"version":3,"issues":[]}'); + mocked.generateText.mockResolvedValue('{"version":4,"issues":[]}'); const result = await request(followup); expect(result.analysis).toMatchObject({ issues: [] }); expect(result.diagnosticPersistence).toBe('failed'); diff --git a/src/background/index.ts b/src/background/index.ts index e3a0ed4..f1479ca 100644 --- a/src/background/index.ts +++ b/src/background/index.ts @@ -393,13 +393,15 @@ async function handleAnalyze(request: FollowupRequest, runId: string) { trace.response = snapshot.response; trace.usage = snapshot.usage; trace.outcome = snapshot.outcome; + trace.notices = snapshot.notices; terminalObserved = snapshot.outcome !== 'running'; trace.error = snapshot.error; } await saveTrace(); }); if (!terminalObserved) { - trace.outcome = 'success'; + trace.outcome = result.analysis?.notices.length ? 'partialSuccess' : 'success'; + trace.notices = result.analysis?.notices; await saveTrace(); } return { ...result, ...metadata() }; diff --git a/src/content/SummaryButton.tsx b/src/content/SummaryButton.tsx index ee06451..20b374b 100644 --- a/src/content/SummaryButton.tsx +++ b/src/content/SummaryButton.tsx @@ -281,7 +281,7 @@ const SummaryButton: React.FC = ({ rowData, row, iframeDoc } onClick={() => void copyDiagnostic()} style={ACTION_BUTTON_STYLE} > - 診断JSONをコピー + 要約の診断JSONをコピー {analysis.data && analysis.diagnosticRunId && result.resultId && ( )} {lastAnalysisRunId && @@ -300,7 +300,7 @@ const SummaryButton: React.FC = ({ rowData, row, iframeDoc } onClick={() => void copyDiagnostic('lastAnalysis')} style={ACTION_BUTTON_STYLE} > - 直近の試行の診断JSONをコピー + 直近の追加分析の診断JSONをコピー )} @@ -312,9 +312,9 @@ const SummaryButton: React.FC = ({ rowData, row, iframeDoc } analysis.lastAttempt.runId !== analysis.diagnosticRunId && (

{analysis.lastAttempt.outcome === 'failure' - ? `直近の追加分析は失敗しました: ${analysis.lastAttempt.error?.message ?? '生成失敗'}。以前の成功した分析を表示しています。` + ? `直近の追加分析は失敗しました: ${analysis.lastAttempt.error?.message ?? '生成失敗'}。以前の保存済み分析を表示しています。` : analysis.lastAttempt.outcome === 'running' - ? '直近の追加分析の完了記録を確認できません。以前の成功した分析を表示しています。' + ? '直近の追加分析の完了記録を確認できません。以前の保存済み分析を表示しています。' : '直近の追加分析と、表示中の保存済み分析は別の実行です。'}

)} @@ -322,18 +322,18 @@ const SummaryButton: React.FC = ({ rowData, row, iframeDoc }
{diagnosticKind === 'analysis' - ? '成功した追加分析の診断JSONを表示' + ? '表示中の追加分析の診断JSONを表示' : diagnosticKind === 'lastAnalysis' - ? '直近の試行の診断JSONを表示' - : '診断JSONを表示'} + ? '直近の追加分析の診断JSONを表示' + : '要約の診断JSONを表示'}