Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
19 changes: 19 additions & 0 deletions docs/development.md
Original file line number Diff line number Diff line change
Expand Up @@ -1959,3 +1959,22 @@ v96の事前固定2実行は6要求で終了。BlueMeme/Worldとも独立した
テストの担当はsummary-narrativeの事実表示・数量所有境界と、summary-presentationの比較行選択・保存復元。既存のイベント例と同額セル例を更新し、全経路へ反例を複製しない。旧表示のキャッシュと分離するため分析指紋をv98にする。事実v6・表示v6・補足保存v3は維持する。今回の確認は固定応答とローカル検査で、実モデル呼出し・実拡張画面・配置は行わない。生成へ渡る表示数量の一部が変わるため、v96の実モデル成功をv98の実績へ読み替えない。

最終差分で `npm test` は1,141件/35ファイル成功(19.54秒)。type-check・lint・buildも成功した。固定応答の実PDF.js→HTTP→検証→HTML→保存再照合は通常テストに含まれる。表示・数量の独立差分レビューを終え、全体検証後の製品ソース変更はない。実拡張smokeのsocket制約と実モデル未評価は残る。

### PR #30の残存境界修正(2026-10-07、v103)

- キャッシュ・結果照合・採点/追加分析は、実際の要求と共通の実効API URLを含む分析指紋を使う。URLの正規化はHTTPの実効URLに合わせ、パス・クエリの違いを維持する。保存されるのはURLのSHA-256で、APIキー・URL文字列を指紋へ含めない。URLのみの設定変更も進行中の結果と既存表示を無効化する
- 補足指標は意味の一致より先に原数量の物理IDを照合する。確認済みの状態・標準指標区分・範囲/基準・明示期間と明確に矛盾する現在値/比較値は未整理とし、既知の実績・比較は残す。複数の確定文脈のどれかが矛盾しない場合や、自由な名称・欠けた文脈は一律に拒否しない。同額の別セルを同一視しない
- 担当はURL/指紋の部品、実Reactの設定変更と遅い応答、backgroundの後続要求、disclosure-observationの採否。意味点検を誤承認する固定応答の保存復元→本文/冒頭→追加分析/計算と、除外した数量の未整理範囲を代表例で確認する。既存の実PDF由来コーパスは通常テストで維持する

実API・実Chromeの画面/拡張通信は未確認。固定した誤承認応答での再現は、実モデルで誤承認が発生したという証拠ではない。API追加・個社例外・新CIはない。

### PR #30の再レビュー対応(2026-10-08、v104)

- 数量参照の検査を現在値・比較値・原文増減率へ揃える。増減率の物理所有者に既知の指標・期間・範囲・基準・状態の矛盾があれば除外する。確定した金額/率の対応がある場合は現在値の物理IDを照合し、確認済み比較があれば比較軸と比較値IDも照合する。前期金額の未抽出だけで率の所有者を失わず、未知の文脈・未対応の補足率を一律には拒否しない。
- 既知の指標・範囲・会計基準の別名を、矛盾検査・統合・比較基準・比較値の重複除外で共有する。未知の自由記述と既知の正規キーを区別し、同額の別セルを統合しない。追加分析では統合済み指標を確定事実への補足として渡し、同じ現在値を別の数量根拠として再掲しない。点検済み区分・比較・条件・観測ID・原文対応は残す。
- 後続キャッシュの読込失敗と保存スコアの検証失敗を「未保存」と区別する。要約本文と明示再試行を維持し、開き直しや採点設定切替による暗黙の再課金を止める。遅い読込失敗で開始済みの追加分析を置き換えない。
- React rootのDOM挿入と非同期の購読完了を区別し、行変更・iframe再読込/置換・再有効化の検査を購読完了まで待機する。タイムアウトや検査条件を緩めない。

境界の担当は `disclosure-observation`(所有者・別名・保存表示)、`additional-analysis`(根拠の投影)、`useSummarize`(実React・保存失敗・明示再試行・ライフサイクル)。生成指示やAPI上限は変更せず、個社/PDF専用分岐や新しい評価基盤は追加しない。旧条件のキャッシュを再利用しないよう分析指紋をv104へ更新する。実API・実Chrome画面の追加確認は行っていない。

最終差分は通常の `npm test`(設定済み2並列)40ファイル/1,254件、type-check・lint・build・diff checkが成功。元の診断応答は19確定事実と24指標/11説明の意味点検到達を保持し、固定した点検応答の表示と保存復元が一致した。固定点検の成功を実モデル品質の証明には数えない。
41 changes: 27 additions & 14 deletions evaluation/scripts/check-extension.ts
Original file line number Diff line number Diff line change
Expand Up @@ -14,7 +14,12 @@ import { stableFactId, FACT_SCHEMA_VERSION, type VerifiedFact } from '../../src/
import expectations from '../../src/lib/fixtures/ir-semantic-expectations.json';
import { parseFactSummary } from '../../src/lib/fact-summary';
import { buildPresentation } from '../../src/lib/summary-presentation';
import { ANALYSIS_SCHEMA_VERSION } from '../../src/lib/analysis-version';
import {
ANALYSIS_SCHEMA_VERSION,
buildAnalysisFingerprint,
buildSummaryCacheKey,
} from '../../src/lib/analysis-version';
import { configuredApiUrl } from '../../src/lib/llm-endpoint';
import { additionalReviewFixture } from './additional-review-fixture';
import { seedOldExtensionProfile } from './extension-upgrade-fixture';
import {
Expand Down Expand Up @@ -1440,15 +1445,26 @@ export async function checkExtension(item: BrowserCase, config: LLMConfig, args:
assert.equal(apiCalls, callsBefore);
const expectedRestored = stored.value.facts;
assert.deepEqual(renderedFactErrors(expectedRestored.facts, await displayedFacts(summary)), []);
const restoredSettings = await worker.evaluate(async () =>
chrome.storage.sync.get(['provider', 'model', 'customUrl', 'extractionMode'])
);
const restoredKey =
'summaryCacheV2:' +
buildSummaryCacheKey(
pdfUrl,
await buildAnalysisFingerprint({
provider: restoredSettings.provider ?? 'openai',
model: restoredSettings.model ?? 'gpt-4o',
extractionMode: restoredSettings.extractionMode ?? 'full',
baseUrl: configuredApiUrl({
provider: restoredSettings.provider ?? 'openai',
customUrl: restoredSettings.customUrl,
}),
})
);
const restoredValue = await worker.evaluate(
async (request: any) => {
const settings = await chrome.storage.sync.get(['provider', 'model', 'extractionMode']);
const fingerprint = `v${request.version}:${encodeURIComponent(settings.provider)}:${encodeURIComponent(settings.model)}:${settings.extractionMode}`;
return (await chrome.storage.local.get(`summaryCacheV2:${fingerprint}:${request.pdfUrl}`))[
`summaryCacheV2:${fingerprint}:${request.pdfUrl}`
];
},
{ version: ANALYSIS_SCHEMA_VERSION, pdfUrl }
async (key: string) => (await chrome.storage.local.get(key))[key],
restoredKey
);
assert.deepEqual(restoredValue.facts, expectedRestored);
assert.equal(restoredValue.metadata.extractionMode, 'full');
Expand Down Expand Up @@ -1628,17 +1644,14 @@ export async function checkExtension(item: BrowserCase, config: LLMConfig, args:
await worker.evaluate(async () => chrome.storage.sync.set({ experimentalScoring: false }));
await row.getByRole('button', { name: '閉じる', exact: true }).click();
await worker.evaluate(
async (request: any) => {
const settings = await chrome.storage.sync.get(['provider', 'model', 'extractionMode']);
const fingerprint = `v${request.version}:${encodeURIComponent(settings.provider)}:${encodeURIComponent(settings.model)}:${settings.extractionMode}`;
const key = `summaryCacheV2:${fingerprint}:${request.pdfUrl}`;
async (key: string) => {
const entry = { key, value: (await chrome.storage.local.get(key))[key] };
if (!entry.value) throw new Error('現在の設定で復元したキャッシュがありません');
await chrome.storage.local.set({
[entry.key]: { ...entry.value, facts: { ...entry.value.facts, version: 3 } },
});
},
{ version: ANALYSIS_SCHEMA_VERSION, pdfUrl }
restoredKey
);
const previousCalls = apiCalls;
await row.getByRole('button', { name: '表示', exact: true }).click();
Expand Down
9 changes: 8 additions & 1 deletion evaluation/scripts/run-fact-summary.ts
Original file line number Diff line number Diff line change
Expand Up @@ -87,6 +87,8 @@ const implementationFiles = [
'src/lib/summary-renderer.ts',
'src/lib/summary-result-id.ts',
'src/lib/llm-client.ts',
'src/lib/llm-endpoint.ts',
'src/lib/analysis-version.ts',
'src/lib/llm-providers.ts',
'src/lib/structured-output.ts',
];
Expand Down Expand Up @@ -179,7 +181,12 @@ for (const item of selected) {
const output = {
item,
schemaVersion: FACT_SCHEMA_VERSION,
analysisFingerprint: buildAnalysisFingerprint({ provider, model, extractionMode: 'full' }),
analysisFingerprint: await buildAnalysisFingerprint({
provider,
model,
extractionMode: 'full',
baseUrl: process.env.TDNET_DIGEST_BASE_URL || undefined,
}),
implementationDigest,
requestLimits: factSummaryRequestLimits({ provider, model }),
sourceHash,
Expand Down
106 changes: 105 additions & 1 deletion src/background/index.test.ts
Original file line number Diff line number Diff line change
Expand Up @@ -22,7 +22,7 @@ interface TestResponse {
error?: string;
diagnosticRunId: string;
summary: string;
metadata: { analysisFingerprint: string; score?: unknown };
metadata: { analysisFingerprint: string; score?: unknown; persistenceWarning?: string };
facts: FactSummary;
presentation: import('../lib/summary-presentation').SummaryPresentation;
resultId: string;
Expand Down Expand Up @@ -350,6 +350,70 @@ describe('要約・採点・追加分析の分離', () => {
}
);

it('診断保存の失敗は完成結果と生成元のエラーを覆わず、後続の保存も妨げない', async () => {
const request = await setup(false);
mocked.generateText.mockResolvedValue(
candidateResponse(facts.facts, [nativePage], facts.documentType)
);
vi.mocked(chrome.storage.local.set).mockRejectedValue(new Error('storage quota exceeded'));
const success = await request({ action: 'summarize' });
expect(success.error).toBeUndefined();
expect(success.summary).toContain('1150百万円');
expect(success.metadata.persistenceWarning).toContain('診断を保存できませんでした');
mocked.generateText.mockRejectedValueOnce(new Error('generation failed'));
const failure = await request({ action: 'summarize' });
expect(failure.error).toBe('generation failed');
vi.mocked(chrome.storage.local.set).mockResolvedValue(undefined);
const next = await request({ action: 'summarize' });
expect(next.error).toBeUndefined();
expect(next.metadata.persistenceWarning).toBeUndefined();
expect(vi.mocked(chrome.storage.local.set).mock.calls.at(-1)?.[0]).toMatchObject({
summaryLastRunV1: { runId: next.diagnosticRunId, outcome: 'firstSuccess' },
});
});

it.each([false, true])(
'同時初回要求はOffscreen初期化を共有し、失敗=%sの後も再確認する',
async (fails) => {
const request = await setup(false);
mocked.generateText.mockResolvedValue(
candidateResponse(facts.facts, [nativePage], facts.documentType)
);
chrome.runtime.getContexts = vi.fn(async () => []);
let finish!: () => void;
let entered!: () => void;
const started = new Promise<void>((resolve) => {
entered = resolve;
});
vi.mocked(chrome.offscreen.createDocument)
.mockImplementationOnce(async () => {
entered();
await new Promise<void>((resolve) => {
finish = resolve;
});
if (fails) throw new Error('offscreen creation failed');
})
.mockResolvedValue(undefined);
const first = request({ action: 'summarize', pdfUrl: 'first.pdf' });
await started;
const second = request({ action: 'summarize', pdfUrl: 'second.pdf' });
// Both requests have downloaded before the shared initialization completes.
await vi.waitFor(() => expect(fetch).toHaveBeenCalledTimes(2));
expect(chrome.offscreen.createDocument).toHaveBeenCalledTimes(1);
finish();
const results = await Promise.all([first, second]);
for (const result of results) {
if (fails) expect(result.error).toBe('offscreen creation failed');
else expect(result.summary).toContain('1150百万円');
}
expect(chrome.runtime.getContexts).toHaveBeenCalledTimes(1);
const next = await request({ action: 'summarize' });
expect(next.error).toBeUndefined();
expect(chrome.runtime.getContexts).toHaveBeenCalledTimes(2);
expect(chrome.offscreen.createDocument).toHaveBeenCalledTimes(2);
}
);

it('更新前から残る二段階要約設定を削除し、要約を続行する', async () => {
mocked.generateText.mockResolvedValue(
candidateResponse(facts.facts, [nativePage], facts.documentType)
Expand Down Expand Up @@ -431,6 +495,46 @@ describe('要約・採点・追加分析の分離', () => {
expect(mocked.extractScoreInput).not.toHaveBeenCalled();
});

it('customUrlだけの変更で旧要約の追加分析・採点を通信前に拒否する', async () => {
mocked.generateText.mockResolvedValue(
candidateResponse(facts.facts, [nativePage], facts.documentType)
);
const request = await setup(true);
const settings = {
provider: 'custom',
model: 'test',
apiKey: 'private-api-key',
customUrl: 'HTTPS://API.EXAMPLE.COM:443/v1/chat?deployment=a&token=private-token#ignored',
extractionMode: 'full',
experimentalScoring: true,
};
chrome.storage.sync.get = vi.fn(async () => settings) as typeof chrome.storage.sync.get;
const summary = await request({ action: 'summarize' });
expect(summary.error).toBeUndefined();
expect(mocked.generateText.mock.calls[0][0].baseUrl).toBe(
'https://api.example.com/v1/chat?deployment=a&token=private-token'
);
const persisted = JSON.stringify(vi.mocked(chrome.storage.local.set).mock.calls);
expect(persisted).not.toContain('private-api-key');
expect(persisted).not.toContain('private-token');
expect(summary.metadata.analysisFingerprint).not.toContain('api.example.com');
const fetches = vi.mocked(fetch).mock.calls.length;
settings.customUrl = settings.customUrl.replace('deployment=a', 'deployment=b');
for (const action of ['analyze', 'score']) {
const stale = await request({
action,
facts: summary.facts,
presentation: summary.presentation,
resultId: summary.resultId,
fingerprint: summary.metadata.analysisFingerprint,
});
expect(stale.error).toContain('設定が変更されています');
}
expect(fetch).toHaveBeenCalledTimes(fetches);
expect(mocked.generateText).toHaveBeenCalledTimes(1);
expect(mocked.extractScoreInput).not.toHaveBeenCalled();
});

it('スコアONの採点は別要求で事実を起点にする', async () => {
mocked.generateText.mockResolvedValue(
candidateResponse(facts.facts, [nativePage], facts.documentType)
Expand Down
Loading
Loading