Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
15 changes: 15 additions & 0 deletions docs/additional-analysis.md
Original file line number Diff line number Diff line change
Expand Up @@ -34,3 +34,18 @@ node --import tsx evaluation/scripts/check-additional-analysis-sala.ts /path/to/
CMapは168個のpacked資産+LICENSEを同版パッケージとバイト比較し、production/watch両方とreleaseと同じZIP梱包で確認した。指定PDFをZIP内CMapで再抽出すると警告は0、追加されるのはp3〜16の共通ヘッダー各5アイテム。既存本文と座標は一致するため、CMap不足だけが薄い追加分析の原因だったとは扱わない。

今回の実API呼出しは0。固定応答は新しい入力・計算・保存・表示の契約を示すが、実モデルが論点を選ぶ品質や未知資料での成功率を示さない。実Chromeの描画・拡張通信・フォーカス確認は実施できていない。過去の画面成功を新ビルドへ読み替えない。公開前の実モデル評価が必要なら資料・モデル・回数を別途承認した範囲で固定して行う。


## 生成契約と追加分析専用診断(2026-10-09 / v119)

ファーストブラザーズの指定PDF `140120261008547944.pdf` で報告された「追加分析の形式・根拠参照が不正です(事実19・説明9・指標15・計算12、出力1215token)」は、生成後の形式・根拠参照境界の失敗だった。利用者から提供された診断には要約の三段階だけがあり、失敗した追加分析の生応答は含まれていなかった。個別の失敗項目は特定できておらず、再現用の合成応答を当時の失敗応答として扱わない。

- `ANALYSIS_LIMITS` からプロンプト・応答JSON Schema・ローカル検査を揃える。論点は最大4件、根拠は論点ごとに1〜6件、見出し80文字・各本文350文字。文字数はJSON Schemaと同じUnicodeコードポイントで数える。空白だけ、プレースホルダー、数値生成、重複、単なる完全一致の言い換えは引き続きローカルで拒否する。
- モデルへ渡す根拠は `evidence[].id` の単一の引用名前空間と `allowedEvidenceIds` に限定する。原文セル・段落等の `sourceIds` は生成用投影から外すが、内部の検証済み入力・表示根拠・保存再照合には残す。原文IDを黙って書き換えたり、不明なIDを推測で対応付けたりしない。
- 既知のモデル能力がある場合だけ `json_schema` を送る。他のプロバイダーは従来のJSON modeまたはJSON指示に従い、必ず同じローカル検証を通す。非対応エラーを課金付きの暗黙の再要求で補わない。
- 失敗は安定した `code` とJSON `path` で区別する。形式、文字数、欠損・重複・不明参照、JSON不正、上限打切り、中断などを同じ曖昧なメッセージへまとめない。コード・位置は境界を示すだけで、モデルがそう出力した理由や推論の正しさを保証しない。
- 追加分析の各実行に独立したrun IDを付け、元の要約result ID、入力hash、引用可能IDと制約、生応答、使用量・終了理由、失敗位置を専用の容量制限付き診断へ保持する。要約診断を置き換えない。切詰めは診断に明示し、保存失敗は表示結果を止めず警告する。生成前の未受信 `null` と受信した空文字を区別する。診断の保存待ち時間をモデルの60秒生成期限へ混ぜない。
- 表示中の成功結果の診断と、直近に開始した試行の診断は別々の参照・ボタンにする。初回の失敗後も再読込から失敗診断を開ける。遅い旧応答で直近の試行を置き換えず、別の要約結果・入力には混ぜない。保存上限による消失は明示し、全保存が失敗した診断を再読込後に復元できるとは扱わない。
- 同じ段落の別の説明が採用されていても、未確認・不採用の項目を分析の入力範囲から消さない。入力・表示・保存再照合へ、件数・原文ページ・制約を非引用のcoverageとして渡す。却下された文章を根拠へ昇格させず、資料に一時要因や時期の説明が存在しないと断定しない。今後の説明生成には、条件・否定・因果の範囲を保った独立した論点と、数量の原文所有者の明示を求める。

固定検査の責務は、部品の文字数/参照の正負境界、生成形式と診断observer、Backgroundの実行別保持、保存上限・失敗、Reactの再試行・閉じる/再表示・診断コピーに分ける。指定PDFの既存三応答を再生する検査は、要約の原文照合と追加分析入力の保持を証明する。元の失敗した追加分析応答や、新しいプロンプトでの実モデル品質を再現したとは扱わない。実モデル評価・公開はこのローカル修正には含まない。
169 changes: 169 additions & 0 deletions src/background/index.test.ts
Original file line number Diff line number Diff line change
@@ -1,3 +1,4 @@
import { loadAnalysisTrace, ANALYSIS_DIAGNOSTICS_KEY } from '../lib/analysis-trace';
import type { SummaryTrace } from '../lib/summary-trace';
import {
matchingSummaryTrace,
Expand Down Expand Up @@ -620,6 +621,35 @@ describe('要約・採点・追加分析の分離', () => {
fingerprint: summary.metadata.analysisFingerprint,
});
expect(analysis.analysis.issues).toHaveLength(1);
expect(analysis.diagnosticRunId).not.toBe(summary.diagnosticRunId);
expect(analysis.diagnosticPersistence).toBe('saved');
expect(
vi.mocked(chrome.storage.local.set).mock.calls.filter(([items]) => {
const store = (items as Record<string, unknown>)[ANALYSIS_DIAGNOSTICS_KEY] as
| { traces?: { runId: string; outcome: string }[] }
| undefined;
return store?.traces?.some(
(trace) => trace.runId === analysis.diagnosticRunId && trace.outcome === 'success'
);
})
).toHaveLength(1);
expect(
await loadAnalysisTrace('test.pdf', analysis.diagnosticRunId, summary.resultId)
).toMatchObject({
stage: 'analysis',
outcome: 'success',
summaryResultId: summary.resultId,
inputHash: analysis.analysis.inputHash,
input: {
evidence: expect.arrayContaining([
expect.objectContaining({ id: `fact:${facts.facts[0].id}` }),
]),
},
response: expect.stringContaining('計画の実現条件'),
});
expect(
await loadSummaryTrace('test.pdf', summary.diagnosticRunId, summary.resultId)
).toMatchObject({ outcome: 'firstSuccess' });
const sent = mocked.generateText.mock.calls.at(-1)!;
expect(sent[1][1].content).toContain('explanation:explanation-0');
expect(sent[1][1].content).toContain('開示された数値と条件を確認する');
Expand All @@ -628,6 +658,145 @@ describe('要約・採点・追加分析の分離', () => {
expect(mocked.extractScoreInput).not.toHaveBeenCalled();
});

it.each([
['malformed', '{broken', 'invalid_json', '$'],
[
'unknown-reference',
JSON.stringify({
version: 3,
issues: [
{
title: '計画の実現条件',
conclusion: '条件確認が必要です',
evidenceIds: ['fact:missing'],
reading: '足元の実績と計画の整合を点検します',
caveat: '継続性は未確認です',
nextCheck: '実績と前提を確認する',
},
],
}),
'evidence_unknown',
'$.issues[0].evidenceIds[0]',
],
])(
'追加分析%sの生応答・使用量・拒否位置を残し、成功要約と前の分析を汚さない',
async (_case, raw, code, path) => {
mocked.generateText.mockResolvedValueOnce(
candidateResponse(facts.facts, [nativePage], facts.documentType)
);
const request = await setup(false);
const summary = await request({ action: 'summarize' });
const followup = {
action: 'analyze',
facts: summary.facts,
presentation: summary.presentation,
resultId: summary.resultId,
fingerprint: summary.metadata.analysisFingerprint,
};
mocked.generateText.mockResolvedValueOnce('{"version":3,"issues":[]}');
const success = await request(followup);
const summaryTrace = structuredClone(stored[SUMMARY_DIAGNOSTICS_KEY]);
mocked.generateText.mockImplementationOnce(async (config: LLMConfig) => {
config.onUsage?.({ inputTokens: 12, outputTokens: 8, elapsedMs: 2, finishReason: 'stop' });
return raw;
});
const failed = await request(followup);
expect(failed.analysis).toBeUndefined();
expect(failed.error).toContain(code);
expect(failed.diagnosticRunId).not.toBe(success.diagnosticRunId);
expect(
await loadAnalysisTrace('test.pdf', failed.diagnosticRunId, summary.resultId)
).toMatchObject({
outcome: 'failure',
response: raw,
error: { code, path },
usage: { outputTokens: 8 },
inputHash: success.analysis.inputHash,
});
expect(
await loadAnalysisTrace('test.pdf', success.diagnosticRunId, summary.resultId)
).toMatchObject({ outcome: 'success' });
expect(stored[SUMMARY_DIAGNOSTICS_KEY]).toEqual(summaryTrace);
expect(mocked.generateText).toHaveBeenCalledTimes(3);
}
);

it('追加分析の制限時間中断では完了していない応答を成功にせず、課金再試行しない', async () => {
mocked.generateText.mockResolvedValueOnce(
candidateResponse(facts.facts, [nativePage], facts.documentType)
);
const request = await setup(false);
const summary = await request({ action: 'summarize' });
vi.useFakeTimers();
try {
mocked.generateText.mockImplementationOnce(
(config: LLMConfig) =>
new Promise((_resolve, reject) => {
config.onResponse?.('{"version":3,"issues":[');
config.onUsage?.({ inputTokens: 12, outputTokens: 8, elapsedMs: 60_000 });
config.signal!.addEventListener('abort', () => reject(new Error('aborted')), {
once: true,
});
})
);
const pending = request({
action: 'analyze',
facts: summary.facts,
presentation: summary.presentation,
resultId: summary.resultId,
fingerprint: summary.metadata.analysisFingerprint,
});
await vi.waitFor(() => expect(mocked.generateText).toHaveBeenCalledTimes(2));
await vi.advanceTimersByTimeAsync(60_001);
const failed = await pending;
expect(failed.error).toContain('interrupted');
expect(
await loadAnalysisTrace('test.pdf', failed.diagnosticRunId, summary.resultId)
).toMatchObject({
outcome: 'failure',
response: '{"version":3,"issues":[',
error: { code: 'interrupted', path: '$' },
});
expect(mocked.generateText).toHaveBeenCalledTimes(2);
} finally {
vi.useRealTimers();
}
});

it('追加分析診断の保存失敗を通知して有効結果を返し、次の明示要求で回復する', async () => {
mocked.generateText.mockResolvedValueOnce(
candidateResponse(facts.facts, [nativePage], facts.documentType)
);
const request = await setup(false);
const summary = await request({ action: 'summarize' });
const write = async (items: Record<string, unknown>) => {
Object.assign(stored, structuredClone(items));
};
vi.mocked(chrome.storage.local.set).mockImplementation(
async (items: Record<string, unknown>) => {
if (ANALYSIS_DIAGNOSTICS_KEY in items) throw new Error('quota');
return write(items);
}
);
const followup = {
action: 'analyze',
facts: summary.facts,
presentation: summary.presentation,
resultId: summary.resultId,
fingerprint: summary.metadata.analysisFingerprint,
};
mocked.generateText.mockResolvedValue('{"version":3,"issues":[]}');
const result = await request(followup);
expect(result.analysis).toMatchObject({ issues: [] });
expect(result.diagnosticPersistence).toBe('failed');
expect(result.persistenceWarning).toContain('保存できません');
expect(mocked.generateText).toHaveBeenCalledTimes(2);
vi.mocked(chrome.storage.local.set).mockImplementation(write);
const next = await request(followup);
expect(next.diagnosticPersistence).toBe('saved');
expect(next.diagnosticRunId).not.toBe(result.diagnosticRunId);
});

it('customUrlだけの変更で旧要約の追加分析・採点を通信前に拒否する', async () => {
mocked.generateText.mockResolvedValue(
candidateResponse(facts.facts, [nativePage], facts.documentType)
Expand Down
102 changes: 98 additions & 4 deletions src/background/index.ts
Original file line number Diff line number Diff line change
Expand Up @@ -10,6 +10,13 @@ import {
readPdfExtractionError,
type PdfExtractionStage,
} from '@/lib/pdf-extraction-error';
import {
saveAnalysisTrace,
nextAnalysisIntentAt,
type AnalysisTrace,
type AnalysisGenerationDiagnostic,
} from '@/lib/analysis-trace';
import { buildAnalysisInput } from '@/lib/analysis-input';
import { serializeCandidateSource } from '@/lib/fact-candidates';
import type { LLMConfig } from '@/lib/llm-client';
import { configuredApiUrl } from '@/lib/llm-endpoint';
Expand Down Expand Up @@ -87,11 +94,13 @@ chrome.runtime.onInstalled.addListener((details) => {
});
chrome.runtime.onMessage.addListener((request: Request, _sender, sendResponse) => {
if (!['summarize', 'score', 'analyze'].includes(request.action)) return;
const diagnosticRunId = request.action === 'summarize' ? crypto.randomUUID() : null;
const diagnosticRunId = request.action !== 'score' ? crypto.randomUUID() : null;
const task =
request.action === 'summarize'
? handleSummarize(request, diagnosticRunId!)
: handleFollowup(request);
: request.action === 'analyze'
? handleAnalyze(request, diagnosticRunId!)
: handleFollowup(request);
task
.then((response) =>
sendResponse({ ...response, ...(diagnosticRunId ? { diagnosticRunId } : {}) })
Expand Down Expand Up @@ -326,12 +335,97 @@ async function handleSummarize(request: SummarizeRequest, runId: string) {
}
}

async function handleAnalyze(request: FollowupRequest, runId: string) {
const started = performance.now();
const trace: AnalysisTrace = {
version: 1,
stage: 'analysis',
intentAt: nextAnalysisIntentAt(),
runId,
summaryResultId: request.resultId,
startedAt: new Date().toISOString(),
pdfUrl: request.pdfUrl,
provider: null,
model: null,
buildDigest: summaryBuildDigest(),
fingerprint: request.fingerprint,
inputHash: null,
input: null,
contract: null,
response: null,
usage: null,
outcome: 'running',
error: null,
elapsedMs: 0,
};
let diagnosticPersistence: DiagnosticPersistence = 'failed';
const saveTrace = async () => {
trace.elapsedMs = Math.round(performance.now() - started);
try {
await saveAnalysisTrace(trace);
diagnosticPersistence = 'saved';
} catch {
diagnosticPersistence = 'failed';
}
};
let terminalObserved = false;
const metadata = () => ({
diagnosticPersistence,
diagnosticInputHash: trace.inputHash,
...(diagnosticPersistence === 'failed'
? { persistenceWarning: '追加分析の診断を保存できませんでした' }
: {}),
});
try {
trace.pdfUrl = fullUrl(request.pdfUrl);
validatePresentation(request.presentation, request.facts);
trace.inputHash = buildAnalysisInput(request.facts, request.presentation).inputHash;
await saveTrace();
const result = await handleFollowup(request, async (snapshot, identity) => {
if (identity) {
trace.provider = identity.provider;
trace.model = identity.model;
}
if (snapshot) {
trace.input = snapshot.input;
trace.contract = snapshot.contract;
trace.inputHash = snapshot.input.inputHash;
trace.response = snapshot.response;
trace.usage = snapshot.usage;
trace.outcome = snapshot.outcome;
terminalObserved = snapshot.outcome !== 'running';
trace.error = snapshot.error;
}
await saveTrace();
});
if (!terminalObserved) {
trace.outcome = 'success';
await saveTrace();
}
return { ...result, ...metadata() };
} catch (error) {
trace.outcome = 'failure';
trace.error ??= {
code: 'analysis-preflight-failed',
path: '$',
message: error instanceof Error ? error.message : String(error),
};
if (!terminalObserved) await saveTrace();
return { error: error instanceof Error ? error.message : String(error), ...metadata() };
}
}

async function handleFollowup(
request: FollowupRequest
request: FollowupRequest,
diagnostic?: (
snapshot: AnalysisGenerationDiagnostic | null,
identity?: { provider: string; model: string }
) => Promise<void>
): Promise<{ score?: ExperimentalScore; analysis?: AdditionalAnalysis }> {
validatePresentation(request.presentation, request.facts);
const settings = await getSettings();
const config = configOf(settings);
await diagnostic?.(null, { provider: settings.provider, model: settings.model });
const fingerprints = await Promise.all(
(['full', 'smart'] as const).map((extractionMode) =>
buildAnalysisFingerprint({ ...config, extractionMode })
Expand Down Expand Up @@ -363,7 +457,7 @@ async function handleFollowup(
)
throw new Error('要約結果の識別子が一致しません');
if (request.action === 'analyze')
return { analysis: await analyzeFacts(config, facts, presentation) };
return { analysis: await analyzeFacts(config, facts, presentation, diagnostic) };
if (!settings.experimentalScoring) throw new Error('実験的スコアがOFFです');
const score = await attachScore(
config,
Expand Down
Loading
Loading