From 0a09d114c15038331cb15b7a4b64513a3cb798fe Mon Sep 17 00:00:00 2001 From: ivgtr Date: Fri, 9 Oct 2026 23:16:30 +0900 Subject: [PATCH] fix: align additional analysis contract and preserve attempt diagnostics --- docs/additional-analysis.md | 15 + src/background/index.test.ts | 169 ++++++++++ src/background/index.ts | 102 +++++- src/content/SummaryButton.tsx | 83 ++++- src/content/hooks/useSummarize.test.ts | 237 +++++++++++++- src/content/hooks/useSummarize.ts | 133 +++++++- src/content/utils/summaryHtmlBuilder.ts | 4 +- src/lib/additional-analysis.test.ts | 255 ++++++++++++++- src/lib/additional-analysis.ts | 284 +++++++++++++---- src/lib/analysis-input.test.ts | 154 +++++++++ src/lib/analysis-input.ts | 24 ++ src/lib/analysis-trace.test.ts | 269 ++++++++++++++++ src/lib/analysis-trace.ts | 401 ++++++++++++++++++++++++ src/lib/analysis-version.ts | 2 +- src/lib/summary-organization.ts | 2 +- src/options/Options.test.ts | 63 ++++ src/options/Options.tsx | 3 + 17 files changed, 2105 insertions(+), 95 deletions(-) create mode 100644 src/lib/analysis-input.test.ts create mode 100644 src/lib/analysis-trace.test.ts create mode 100644 src/lib/analysis-trace.ts create mode 100644 src/options/Options.test.ts diff --git a/docs/additional-analysis.md b/docs/additional-analysis.md index 6d910cd..1b024dc 100644 --- a/docs/additional-analysis.md +++ b/docs/additional-analysis.md @@ -34,3 +34,18 @@ node --import tsx evaluation/scripts/check-additional-analysis-sala.ts /path/to/ CMapは168個のpacked資産+LICENSEを同版パッケージとバイト比較し、production/watch両方とreleaseと同じZIP梱包で確認した。指定PDFをZIP内CMapで再抽出すると警告は0、追加されるのはp3〜16の共通ヘッダー各5アイテム。既存本文と座標は一致するため、CMap不足だけが薄い追加分析の原因だったとは扱わない。 今回の実API呼出しは0。固定応答は新しい入力・計算・保存・表示の契約を示すが、実モデルが論点を選ぶ品質や未知資料での成功率を示さない。実Chromeの描画・拡張通信・フォーカス確認は実施できていない。過去の画面成功を新ビルドへ読み替えない。公開前の実モデル評価が必要なら資料・モデル・回数を別途承認した範囲で固定して行う。 + + +## 生成契約と追加分析専用診断(2026-10-09 / v119) + +ファーストブラザーズの指定PDF `140120261008547944.pdf` で報告された「追加分析の形式・根拠参照が不正です(事実19・説明9・指標15・計算12、出力1215token)」は、生成後の形式・根拠参照境界の失敗だった。利用者から提供された診断には要約の三段階だけがあり、失敗した追加分析の生応答は含まれていなかった。個別の失敗項目は特定できておらず、再現用の合成応答を当時の失敗応答として扱わない。 + +- `ANALYSIS_LIMITS` からプロンプト・応答JSON Schema・ローカル検査を揃える。論点は最大4件、根拠は論点ごとに1〜6件、見出し80文字・各本文350文字。文字数はJSON Schemaと同じUnicodeコードポイントで数える。空白だけ、プレースホルダー、数値生成、重複、単なる完全一致の言い換えは引き続きローカルで拒否する。 +- モデルへ渡す根拠は `evidence[].id` の単一の引用名前空間と `allowedEvidenceIds` に限定する。原文セル・段落等の `sourceIds` は生成用投影から外すが、内部の検証済み入力・表示根拠・保存再照合には残す。原文IDを黙って書き換えたり、不明なIDを推測で対応付けたりしない。 +- 既知のモデル能力がある場合だけ `json_schema` を送る。他のプロバイダーは従来のJSON modeまたはJSON指示に従い、必ず同じローカル検証を通す。非対応エラーを課金付きの暗黙の再要求で補わない。 +- 失敗は安定した `code` とJSON `path` で区別する。形式、文字数、欠損・重複・不明参照、JSON不正、上限打切り、中断などを同じ曖昧なメッセージへまとめない。コード・位置は境界を示すだけで、モデルがそう出力した理由や推論の正しさを保証しない。 +- 追加分析の各実行に独立したrun IDを付け、元の要約result ID、入力hash、引用可能IDと制約、生応答、使用量・終了理由、失敗位置を専用の容量制限付き診断へ保持する。要約診断を置き換えない。切詰めは診断に明示し、保存失敗は表示結果を止めず警告する。生成前の未受信 `null` と受信した空文字を区別する。診断の保存待ち時間をモデルの60秒生成期限へ混ぜない。 +- 表示中の成功結果の診断と、直近に開始した試行の診断は別々の参照・ボタンにする。初回の失敗後も再読込から失敗診断を開ける。遅い旧応答で直近の試行を置き換えず、別の要約結果・入力には混ぜない。保存上限による消失は明示し、全保存が失敗した診断を再読込後に復元できるとは扱わない。 +- 同じ段落の別の説明が採用されていても、未確認・不採用の項目を分析の入力範囲から消さない。入力・表示・保存再照合へ、件数・原文ページ・制約を非引用のcoverageとして渡す。却下された文章を根拠へ昇格させず、資料に一時要因や時期の説明が存在しないと断定しない。今後の説明生成には、条件・否定・因果の範囲を保った独立した論点と、数量の原文所有者の明示を求める。 + +固定検査の責務は、部品の文字数/参照の正負境界、生成形式と診断observer、Backgroundの実行別保持、保存上限・失敗、Reactの再試行・閉じる/再表示・診断コピーに分ける。指定PDFの既存三応答を再生する検査は、要約の原文照合と追加分析入力の保持を証明する。元の失敗した追加分析応答や、新しいプロンプトでの実モデル品質を再現したとは扱わない。実モデル評価・公開はこのローカル修正には含まない。 diff --git a/src/background/index.test.ts b/src/background/index.test.ts index 2187bb6..cf14734 100644 --- a/src/background/index.test.ts +++ b/src/background/index.test.ts @@ -1,3 +1,4 @@ +import { loadAnalysisTrace, ANALYSIS_DIAGNOSTICS_KEY } from '../lib/analysis-trace'; import type { SummaryTrace } from '../lib/summary-trace'; import { matchingSummaryTrace, @@ -620,6 +621,35 @@ describe('要約・採点・追加分析の分離', () => { fingerprint: summary.metadata.analysisFingerprint, }); expect(analysis.analysis.issues).toHaveLength(1); + expect(analysis.diagnosticRunId).not.toBe(summary.diagnosticRunId); + expect(analysis.diagnosticPersistence).toBe('saved'); + expect( + vi.mocked(chrome.storage.local.set).mock.calls.filter(([items]) => { + const store = (items as Record)[ANALYSIS_DIAGNOSTICS_KEY] as + | { traces?: { runId: string; outcome: string }[] } + | undefined; + return store?.traces?.some( + (trace) => trace.runId === analysis.diagnosticRunId && trace.outcome === 'success' + ); + }) + ).toHaveLength(1); + expect( + await loadAnalysisTrace('test.pdf', analysis.diagnosticRunId, summary.resultId) + ).toMatchObject({ + stage: 'analysis', + outcome: 'success', + summaryResultId: summary.resultId, + inputHash: analysis.analysis.inputHash, + input: { + evidence: expect.arrayContaining([ + expect.objectContaining({ id: `fact:${facts.facts[0].id}` }), + ]), + }, + response: expect.stringContaining('計画の実現条件'), + }); + expect( + await loadSummaryTrace('test.pdf', summary.diagnosticRunId, summary.resultId) + ).toMatchObject({ outcome: 'firstSuccess' }); const sent = mocked.generateText.mock.calls.at(-1)!; expect(sent[1][1].content).toContain('explanation:explanation-0'); expect(sent[1][1].content).toContain('開示された数値と条件を確認する'); @@ -628,6 +658,145 @@ describe('要約・採点・追加分析の分離', () => { expect(mocked.extractScoreInput).not.toHaveBeenCalled(); }); + it.each([ + ['malformed', '{broken', 'invalid_json', '$'], + [ + 'unknown-reference', + JSON.stringify({ + version: 3, + issues: [ + { + title: '計画の実現条件', + conclusion: '条件確認が必要です', + evidenceIds: ['fact:missing'], + reading: '足元の実績と計画の整合を点検します', + caveat: '継続性は未確認です', + nextCheck: '実績と前提を確認する', + }, + ], + }), + 'evidence_unknown', + '$.issues[0].evidenceIds[0]', + ], + ])( + '追加分析%sの生応答・使用量・拒否位置を残し、成功要約と前の分析を汚さない', + async (_case, raw, code, path) => { + mocked.generateText.mockResolvedValueOnce( + candidateResponse(facts.facts, [nativePage], facts.documentType) + ); + const request = await setup(false); + const summary = await request({ action: 'summarize' }); + const followup = { + action: 'analyze', + facts: summary.facts, + presentation: summary.presentation, + resultId: summary.resultId, + fingerprint: summary.metadata.analysisFingerprint, + }; + mocked.generateText.mockResolvedValueOnce('{"version":3,"issues":[]}'); + const success = await request(followup); + const summaryTrace = structuredClone(stored[SUMMARY_DIAGNOSTICS_KEY]); + mocked.generateText.mockImplementationOnce(async (config: LLMConfig) => { + config.onUsage?.({ inputTokens: 12, outputTokens: 8, elapsedMs: 2, finishReason: 'stop' }); + return raw; + }); + const failed = await request(followup); + expect(failed.analysis).toBeUndefined(); + expect(failed.error).toContain(code); + expect(failed.diagnosticRunId).not.toBe(success.diagnosticRunId); + expect( + await loadAnalysisTrace('test.pdf', failed.diagnosticRunId, summary.resultId) + ).toMatchObject({ + outcome: 'failure', + response: raw, + error: { code, path }, + usage: { outputTokens: 8 }, + inputHash: success.analysis.inputHash, + }); + expect( + await loadAnalysisTrace('test.pdf', success.diagnosticRunId, summary.resultId) + ).toMatchObject({ outcome: 'success' }); + expect(stored[SUMMARY_DIAGNOSTICS_KEY]).toEqual(summaryTrace); + expect(mocked.generateText).toHaveBeenCalledTimes(3); + } + ); + + it('追加分析の制限時間中断では完了していない応答を成功にせず、課金再試行しない', async () => { + mocked.generateText.mockResolvedValueOnce( + candidateResponse(facts.facts, [nativePage], facts.documentType) + ); + const request = await setup(false); + const summary = await request({ action: 'summarize' }); + vi.useFakeTimers(); + try { + mocked.generateText.mockImplementationOnce( + (config: LLMConfig) => + new Promise((_resolve, reject) => { + config.onResponse?.('{"version":3,"issues":['); + config.onUsage?.({ inputTokens: 12, outputTokens: 8, elapsedMs: 60_000 }); + config.signal!.addEventListener('abort', () => reject(new Error('aborted')), { + once: true, + }); + }) + ); + const pending = request({ + action: 'analyze', + facts: summary.facts, + presentation: summary.presentation, + resultId: summary.resultId, + fingerprint: summary.metadata.analysisFingerprint, + }); + await vi.waitFor(() => expect(mocked.generateText).toHaveBeenCalledTimes(2)); + await vi.advanceTimersByTimeAsync(60_001); + const failed = await pending; + expect(failed.error).toContain('interrupted'); + expect( + await loadAnalysisTrace('test.pdf', failed.diagnosticRunId, summary.resultId) + ).toMatchObject({ + outcome: 'failure', + response: '{"version":3,"issues":[', + error: { code: 'interrupted', path: '$' }, + }); + expect(mocked.generateText).toHaveBeenCalledTimes(2); + } finally { + vi.useRealTimers(); + } + }); + + it('追加分析診断の保存失敗を通知して有効結果を返し、次の明示要求で回復する', async () => { + mocked.generateText.mockResolvedValueOnce( + candidateResponse(facts.facts, [nativePage], facts.documentType) + ); + const request = await setup(false); + const summary = await request({ action: 'summarize' }); + const write = async (items: Record) => { + Object.assign(stored, structuredClone(items)); + }; + vi.mocked(chrome.storage.local.set).mockImplementation( + async (items: Record) => { + if (ANALYSIS_DIAGNOSTICS_KEY in items) throw new Error('quota'); + return write(items); + } + ); + const followup = { + action: 'analyze', + facts: summary.facts, + presentation: summary.presentation, + resultId: summary.resultId, + fingerprint: summary.metadata.analysisFingerprint, + }; + mocked.generateText.mockResolvedValue('{"version":3,"issues":[]}'); + const result = await request(followup); + expect(result.analysis).toMatchObject({ issues: [] }); + expect(result.diagnosticPersistence).toBe('failed'); + expect(result.persistenceWarning).toContain('保存できません'); + expect(mocked.generateText).toHaveBeenCalledTimes(2); + vi.mocked(chrome.storage.local.set).mockImplementation(write); + const next = await request(followup); + expect(next.diagnosticPersistence).toBe('saved'); + expect(next.diagnosticRunId).not.toBe(result.diagnosticRunId); + }); + it('customUrlだけの変更で旧要約の追加分析・採点を通信前に拒否する', async () => { mocked.generateText.mockResolvedValue( candidateResponse(facts.facts, [nativePage], facts.documentType) diff --git a/src/background/index.ts b/src/background/index.ts index 83dbf74..e3a0ed4 100644 --- a/src/background/index.ts +++ b/src/background/index.ts @@ -10,6 +10,13 @@ import { readPdfExtractionError, type PdfExtractionStage, } from '@/lib/pdf-extraction-error'; +import { + saveAnalysisTrace, + nextAnalysisIntentAt, + type AnalysisTrace, + type AnalysisGenerationDiagnostic, +} from '@/lib/analysis-trace'; +import { buildAnalysisInput } from '@/lib/analysis-input'; import { serializeCandidateSource } from '@/lib/fact-candidates'; import type { LLMConfig } from '@/lib/llm-client'; import { configuredApiUrl } from '@/lib/llm-endpoint'; @@ -87,11 +94,13 @@ chrome.runtime.onInstalled.addListener((details) => { }); chrome.runtime.onMessage.addListener((request: Request, _sender, sendResponse) => { if (!['summarize', 'score', 'analyze'].includes(request.action)) return; - const diagnosticRunId = request.action === 'summarize' ? crypto.randomUUID() : null; + const diagnosticRunId = request.action !== 'score' ? crypto.randomUUID() : null; const task = request.action === 'summarize' ? handleSummarize(request, diagnosticRunId!) - : handleFollowup(request); + : request.action === 'analyze' + ? handleAnalyze(request, diagnosticRunId!) + : handleFollowup(request); task .then((response) => sendResponse({ ...response, ...(diagnosticRunId ? { diagnosticRunId } : {}) }) @@ -326,12 +335,97 @@ async function handleSummarize(request: SummarizeRequest, runId: string) { } } +async function handleAnalyze(request: FollowupRequest, runId: string) { + const started = performance.now(); + const trace: AnalysisTrace = { + version: 1, + stage: 'analysis', + intentAt: nextAnalysisIntentAt(), + runId, + summaryResultId: request.resultId, + startedAt: new Date().toISOString(), + pdfUrl: request.pdfUrl, + provider: null, + model: null, + buildDigest: summaryBuildDigest(), + fingerprint: request.fingerprint, + inputHash: null, + input: null, + contract: null, + response: null, + usage: null, + outcome: 'running', + error: null, + elapsedMs: 0, + }; + let diagnosticPersistence: DiagnosticPersistence = 'failed'; + const saveTrace = async () => { + trace.elapsedMs = Math.round(performance.now() - started); + try { + await saveAnalysisTrace(trace); + diagnosticPersistence = 'saved'; + } catch { + diagnosticPersistence = 'failed'; + } + }; + let terminalObserved = false; + const metadata = () => ({ + diagnosticPersistence, + diagnosticInputHash: trace.inputHash, + ...(diagnosticPersistence === 'failed' + ? { persistenceWarning: '追加分析の診断を保存できませんでした' } + : {}), + }); + try { + trace.pdfUrl = fullUrl(request.pdfUrl); + validatePresentation(request.presentation, request.facts); + trace.inputHash = buildAnalysisInput(request.facts, request.presentation).inputHash; + await saveTrace(); + const result = await handleFollowup(request, async (snapshot, identity) => { + if (identity) { + trace.provider = identity.provider; + trace.model = identity.model; + } + if (snapshot) { + trace.input = snapshot.input; + trace.contract = snapshot.contract; + trace.inputHash = snapshot.input.inputHash; + trace.response = snapshot.response; + trace.usage = snapshot.usage; + trace.outcome = snapshot.outcome; + terminalObserved = snapshot.outcome !== 'running'; + trace.error = snapshot.error; + } + await saveTrace(); + }); + if (!terminalObserved) { + trace.outcome = 'success'; + await saveTrace(); + } + return { ...result, ...metadata() }; + } catch (error) { + trace.outcome = 'failure'; + trace.error ??= { + code: 'analysis-preflight-failed', + path: '$', + message: error instanceof Error ? error.message : String(error), + }; + if (!terminalObserved) await saveTrace(); + return { error: error instanceof Error ? error.message : String(error), ...metadata() }; + } +} + async function handleFollowup( - request: FollowupRequest + request: FollowupRequest, + diagnostic?: ( + snapshot: AnalysisGenerationDiagnostic | null, + identity?: { provider: string; model: string } + ) => Promise ): Promise<{ score?: ExperimentalScore; analysis?: AdditionalAnalysis }> { validatePresentation(request.presentation, request.facts); const settings = await getSettings(); const config = configOf(settings); + await diagnostic?.(null, { provider: settings.provider, model: settings.model }); const fingerprints = await Promise.all( (['full', 'smart'] as const).map((extractionMode) => buildAnalysisFingerprint({ ...config, extractionMode }) @@ -363,7 +457,7 @@ async function handleFollowup( ) throw new Error('要約結果の識別子が一致しません'); if (request.action === 'analyze') - return { analysis: await analyzeFacts(config, facts, presentation) }; + return { analysis: await analyzeFacts(config, facts, presentation, diagnostic) }; if (!settings.experimentalScoring) throw new Error('実験的スコアがOFFです'); const score = await attachScore( config, diff --git a/src/content/SummaryButton.tsx b/src/content/SummaryButton.tsx index fdb753d..ee06451 100644 --- a/src/content/SummaryButton.tsx +++ b/src/content/SummaryButton.tsx @@ -3,6 +3,7 @@ import { createPortal } from 'react-dom'; import { useSummarize } from './hooks/useSummarize'; import { useSummaryRow } from './hooks/useSummaryRow'; import { loadSummaryTrace } from '@/lib/summary-trace'; +import { loadAnalysisTrace } from '@/lib/analysis-trace'; import { ACTION_BUTTON_STYLE, BUTTON_STYLES, FOCUS_STYLE } from './constants/styles'; interface RowData { @@ -130,6 +131,9 @@ const SummaryButton: React.FC = ({ rowData, row, iframeDoc } const [diagnosticError, setDiagnosticError] = useState(null); const [diagnosticText, setDiagnosticText] = useState(null); const [diagnosticCopied, setDiagnosticCopied] = useState(false); + const [diagnosticKind, setDiagnosticKind] = useState<'summary' | 'analysis' | 'lastAnalysis'>( + 'summary' + ); const diagnosticRequest = useRef(0); useEffect(() => { diagnosticRequest.current++; @@ -140,19 +144,35 @@ const SummaryButton: React.FC = ({ rowData, row, iframeDoc } return () => { pendingRequest.current++; }; - }, [result]); - const copyDiagnostic = async () => { + }, [result, analysis.diagnosticRunId, analysis.lastAttempt?.runId]); + const lastAnalysisRunId = + analysis.lastAttempt?.runId ?? (!analysis.data ? analysis.diagnosticRunId : undefined); + const copyDiagnostic = async (kind: 'summary' | 'analysis' | 'lastAnalysis' = 'summary') => { + setDiagnosticKind(kind); const request = ++diagnosticRequest.current; setDiagnosticError(null); setDiagnosticText(null); setDiagnosticCopied(false); try { - const trace = await loadSummaryTrace( - rowData.pdfUrl, - result?.diagnosticRunId ?? null, - result?.resultId ?? null, - result?.diagnosticPersistence - ); + const trace = + kind !== 'summary' + ? await loadAnalysisTrace( + rowData.pdfUrl, + kind === 'analysis' ? analysis.diagnosticRunId! : lastAnalysisRunId!, + result!.resultId!, + kind === 'lastAnalysis' && analysis.lastAttempt + ? analysis.lastAttempt.persistence + : analysis.diagnosticPersistence, + kind === 'analysis' + ? analysis.data?.inputHash + : (analysis.lastAttempt?.inputHash ?? analysis.diagnosticInputHash) + ) + : await loadSummaryTrace( + rowData.pdfUrl, + result?.diagnosticRunId ?? null, + result?.resultId ?? null, + result?.diagnosticPersistence + ); if (request !== diagnosticRequest.current) return; const text = JSON.stringify(trace, null, 2); setDiagnosticText(text); @@ -263,15 +283,58 @@ const SummaryButton: React.FC = ({ rowData, row, iframeDoc } > 診断JSONをコピー + {analysis.data && analysis.diagnosticRunId && result.resultId && ( + + )} + {lastAnalysisRunId && + result.resultId && + (!analysis.data || lastAnalysisRunId !== analysis.diagnosticRunId) && ( + + )} {diagnosticCopied ? 'コピーしました' : ''} + {analysis.lastAttempt && + analysis.data && + analysis.lastAttempt.runId !== analysis.diagnosticRunId && ( +

+ {analysis.lastAttempt.outcome === 'failure' + ? `直近の追加分析は失敗しました: ${analysis.lastAttempt.error?.message ?? '生成失敗'}。以前の成功した分析を表示しています。` + : analysis.lastAttempt.outcome === 'running' + ? '直近の追加分析の完了記録を確認できません。以前の成功した分析を表示しています。' + : '直近の追加分析と、表示中の保存済み分析は別の実行です。'} +

+ )} {diagnosticText !== null && (
- 診断JSONを表示 + + {diagnosticKind === 'analysis' + ? '成功した追加分析の診断JSONを表示' + : diagnosticKind === 'lastAnalysis' + ? '直近の試行の診断JSONを表示' + : '診断JSONを表示'} +