Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
1 change: 1 addition & 0 deletions CLAUDE.md
Original file line number Diff line number Diff line change
Expand Up @@ -172,6 +172,7 @@ src/
- 各プロバイダーのデフォルトURL、デフォルトモデル、モデルリスト
- **`fact-summary.ts`**: 候補v4・確定事実v6の根拠付き事実抽出。`summary-presentation.ts` / `summary-renderer.ts` は冒頭と本文を分け、全文の原文引用を確定事実と区別して保持・表示する。`fact-validation.ts` が原文字・構造・数量全断片・主体/範囲・期間・限定/条件・状態を照合し、採点は確定IDだけを参照する。詳細と対応境界は docs/development.md の承認済み設計・実装記録を正本とする
- **`additional-analysis.ts`**: 確定事実・点検済み説明/指標・コード計算を使う論点型追加分析v4。数字・期間を含む本文全体は未検証の推論として区別し、根拠参照不備は論点単位で隔離する。`analysis-input.ts` が根拠を構成し、`analysis-calculations.ts` が比較可能な金額だけを計算する。[設計・検証境界](docs/additional-analysis.md)を参照
- **`source-ledger.ts` / `source-declared-tables.ts`**: 抽出済みの原行・セル・表を名前で除外せず保持し、意味分類は追加の目印にする。要約選択と分離して分析へ渡す。原文引用は意味未点検と区別し、検算済み事実・計算へ自動昇格しない。
- **`prompts.ts`**: 旧要約経路の文書タイプ別プロンプト。現行の要約では使用しない
- **`format-prompts.ts`**: 2パス要約のパス2用プロンプト
- パス1の構造化データを文書タイプ別の固定テンプレートへ整形
Expand Down
40 changes: 40 additions & 0 deletions docs/additional-analysis.md
Original file line number Diff line number Diff line change
Expand Up @@ -86,3 +86,43 @@ v119の実応答で、`第2四半期`・`第3四半期`・`第4四半期`の数
検証の担当を分ける。通信は`generateText`をmockせず実クライアントを使い、fetchだけを固定応答へ置換して3種類の上限終了と失敗条件を通す。根拠は観測指標だけの引用→画面→保存復元を通し、現在値・比較値・条件・分母・調整と原文参照が保持されることを確認する。パーサーは余分な項目と隔離後の注意を保存後も同じ結果として再構成する。モデルによる意味判断一般の保証は増やさない。

v121の最終結果: 全1,599件/53ファイル、type-check、lint、buildが成功。最初の全体検査で残っていた旧モジュールmockの不足と、現在値を意図的に省略する旧期待値を更新し、修正後に全体を再実行した。担当外の相互レビューに残る阻害事項はない。同じPDFの要約三応答を再生し、確定事実・会社説明・coverageは不変、統合済み観測指標6件の根拠表現だけが変わったことを確認した。入力hashの変更はこの根拠充実に対応する意図した変更である。元の追加分析4論点を本文無変更で再生・保存復元し、年間配当の観測指標だけを選ぶ追加検査でも37.00円・前年35.00円・1株当たりが表示と復元に残ることを確認した。生診断は公開せず、有料API呼出し0。実Chromeと新プロンプトの実モデル品質は引き続き未検証。

## 原資料台帳と選択的な要約の分離(v122)

要約に選ばれた事実・説明だけでは、資料にある税引前利益や比較表・CF明細が追加分析へ届かない。抽出された原資料の保持と、表示する要約の選択を分離する。

- `source-ledger.ts` は抽出済みページ、本文ブロック、文字セル、数量セル、表の対応を名称で除外せず保持する。元の文字・ID・配置を保存し、内容分類は追加の目印にする。未知の科目も残す。数量セルの保持自体は、単位・期間・会計上の意味の検証ではない。
- `sourceDeclaredTables` は原文で宣言された表の指標・期間・単位の軸を候補入力に追加する。固定の必須項目を満たしたことと、資料中の重要指標を十分に選んだことを区別する。税引前利益などを既知名の一覧へ例外追加せず、原見出しとセルをそのまま使う。目印は必須判定や確定事実を勝手に増やさない。
- 台帳は表示構成に保存し、そのhashを原資料hashへ含める。追加分析時に既に実行している全文再抽出で照合し、保存復元でも元の台帳を使って入力を再構成する。元の抽出文字を変更してhashを再計算しただけではPDFとの一致にならない。
- 分析入力は、照合済み事実・点検済み会社説明・コード計算と、`raw:<blockId>` の抽出原文を別種別にする。抽出原文を既存の検算済み計算へ投入しない。モデル向けの原文は列定義付きの圧縮配列で一度だけ渡す。保存用の原文・座標を圧縮表示から逆生成しない。
- 原文引用は「抽出原文(意味未点検)」と表示する。全ての抽出行が存在していても、画像や未検出の行を含めたPDF全体の完全性は保証しない。失敗・空・未選択ページを明示し、資料の不在と区別する。
- 分析は短い見出し・結論・理由を先に表示し、根拠・限界・次の確認は展開できる。全本文は保持する。限界・確認事項は不要なら空欄を許し、固定枠を埋めるための推測を求めない。因果・継続性・将来の読みは条件付きのAI生成文であり、正しい参照IDだけで認証しない。
- 混合単位の原文数量は空白を含む完全な式として保持する。明示された同じ表内の百分率行は金額の列単位を継承しない。複合金額の数量を一部だけ数値化せず、既存の非スカラー契約を保つ。
- 追加分析のモデル要求は従来どおり1回。全文入力の実行予算は全メッセージ合計25万文字・512KiBとし、超過時は原文を黙って削らず停止する。26ページの資料を旧10万文字上限で拒否しない一方、入力トークン増加や各モデルの文脈長の制約は残る。診断は原資料入力と抽出範囲を許可リストで保持するため、1記録上限を256KiBへ変更する。ストア全体の1MiB上限と古い記録の整理は維持する。収まらない場合は省略を明示し、巨大な原資料入力の省略を暗黙の成功記録としない。

原資料の保存・受渡し・引用復元は固定応答で検査できるが、新しい入力でモデルが重要な論点を選び、会計上の意味や持続性を正しく読む品質は別の評価対象である。有料APIによる生成品質や実Chrome画面を、固定再生の成功から保証しない。

### v122の固定確認範囲

公開安川電機PDF(`140120261009548685.pdf`)の物理1・5・7・13・15・16ページについて、PDF.jsの元文字アイテムだけを固定fixtureに保存した。生成済みモデル応答や利用者の診断・設定は含めない。186ブロック・583文字セルの保持、税引前利益25,963/25,204/65,500百万円、修正前予想・為替前提、CF明細、前年/当年セグメント表への到達を通常テストで確認する。これらの件数は見出し・管理欄・注記も含む抽出記録数であり、全てが財務表の行という意味ではない。

人が原資料から選んだ税引前利益の3候補は既存の事実照合を通り、既存の汎用比較で前年同期差759百万円を計算できる。未知の指標名が原行から消えないことと、モデルがその指標を必ず選ぶことは別の保証である。モデルが選んだという実績には数えない。

ローカルの全ページ入力確認では、安川16ページ424ブロック、ファーストブラザーズ14ページ311ブロック、サーラ16ページ445ブロック、ファーストリテイリング26ページ683ブロックを全て分析の原文引用対象へ保持した。全メッセージ入力は順に約9.1万/9.5万/9.9万/17.0万文字で、新しい実行予算内だった。これは抽出された範囲の保持であり、PDFの未抽出情報を含む完全性の主張ではない。

26ページ資料の表示構成は台帳込み約2.10MB。追加分析の保存結果は台帳を再複製せず、代表的な4論点・24引用で約9.7KBとなり、表示構成の原PDF再照合、分析の保存復元、HTML表示を確認した。約402KBの診断は省略を明示して約238KBになり、26ページの原資料入力は残った。ブラウザー全体の保存容量が不足した場合は既存の保存失敗警告を出し、現在の表示結果は維持する。

過去の生成応答を再生した場合、安川では数量回復で点検対象が増えたため古い点検応答の範囲不足を正しく拒否し、原文を保持したまま説明は未確認となる。ファーストブラザーズの補足点検は部分成功、旧v3分析は拒否。サーラは対応する点検応答がなく、その段階を未実施扱いで停止した。ファーストリテイリングは原資料・予算・保存確認のみ。これらを新モデルによる4資料の分析成功とは報告しない。有料API・実Chrome・新プロンプトの生成品質は未検証。

## PR35レビュー対応(v123)

原資料そのものと、処理時の選択・分類・配置の情報を分け直す。

- smart要約からfull再抽出へ移るときのページ選択は同一性比較から除外する。共通の比較関数を表示構成と分析入力の両方で使い、保存した台帳のチェックサム自体は厳密に検査する。文字・配置・抽出状態・目印の変更は引き続き拒否し、元の選択状態や保存結果IDを書き換えない。
- 台帳の目印には実際の文書種別を渡す。決算、業績修正などの意味の違いを既定の「その他」で上書きしない。
- 整理済みの文字セルに変換されなかった元アイテムも、原IDと文字対応で判定してモデル入力へ残す。回転文字、部分的な文字対応、同文の別アイテムを扱い、文字列が同じという理由だけで除外しない。未整理の原文字は `rawitem:` で引用でき、保存・診断でも区別を保つ。検算済み事実への昇格はしない。
- 回転文字だけのページを「文字を取得できない空ページ」と扱わない。抽出状態とその検査を揃え、文字は保持したが行・表の対応は未対応という警告に分ける。水平文字の欠落や抽出失敗の検査は維持する。

代表的な結合検査で、空ページのみを省いたsmart要約から全文の追加分析・採点へ進むこと、回転文字の原文引用・保存復元、文書種別ごとの目印、原文改変の拒否を確認する。入力指紋をv123へ変更し、旧入力の分析を再利用しない。実モデル品質と未検出のPDF情報に関する従来の検証限界は変わらない。

v123確認: 全1,636件/58ファイル、type-check、lint、build、CMap168個+LICENSEの同梱照合が成功。4資料のオフライン再生で抽出原文の保持と予算を再確認した。回転文字のない安川・26ページ資料では元アイテムの重複追加は0。26ページ資料は約17.1万文字/236KBで既存予算内。過去の点検応答不足・旧形式拒否はv122時の境界を維持し、有料API・新モデル品質・実Chrome確認を成功として追加していない。
41 changes: 41 additions & 0 deletions src/background/index.test.ts
Original file line number Diff line number Diff line change
Expand Up @@ -600,6 +600,47 @@ describe('要約・採点・追加分析の分離', () => {
).toThrow();
});

it('smartが空ページだけを省略した要約から全文の追加分析と採点へ進める', async () => {
const blank = { ...textPage('', 2), selection: 'omitted' as const };
mocked.generateText
.mockResolvedValueOnce(candidateResponse(facts.facts, [nativePage], facts.documentType))
.mockResolvedValueOnce(JSON.stringify({ version: 4, issues: [] }));
mocked.extractScoreInput.mockResolvedValue({
claims: [{ category: 'revenue' }],
unverified: [],
searchStatus: '元PDF内',
});
mocked.inferExperimentalScore.mockResolvedValue({
value: 70,
verdict: '参考',
positives: [],
negatives: [],
breakdown: [],
unverified: [],
searchStatus: '元PDF内',
});
const request = await setup(true, true, false, false, {
pages: [nativePage, blank],
mode: 'smart',
});
const summary = await request({ action: 'summarize' });
expect(summary.error).toBeUndefined();
expect(summary.presentation.sourceLedger!.pages[1].selection).toBe('omitted');
const payload = {
facts: summary.facts,
presentation: summary.presentation,
resultId: summary.resultId,
fingerprint: summary.metadata.analysisFingerprint,
};
const analysis = await request({ action: 'analyze', ...payload });
expect(analysis.error).toBeUndefined();
expect(analysis.analysis.issues).toEqual([]);
const score = await request({ action: 'score', ...payload });
expect(score.error).toBeUndefined();
expect(score.score.value).toBe(70);
expect(summary.presentation.sourceLedger!.pages[1].selection).toBe('omitted');
});

it('スコアOFFでも追加分析を明示操作で実行できる', async () => {
mocked.generateText
.mockResolvedValueOnce(candidateResponse(facts.facts, [nativePage], facts.documentType))
Expand Down
2 changes: 1 addition & 1 deletion src/background/index.ts
Original file line number Diff line number Diff line change
Expand Up @@ -459,7 +459,7 @@ async function handleFollowup(
)
throw new Error('要約結果の識別子が一致しません');
if (request.action === 'analyze')
return { analysis: await analyzeFacts(config, facts, presentation, diagnostic) };
return { analysis: await analyzeFacts(config, facts, presentation, diagnostic, extraction.pages) };
if (!settings.experimentalScoring) throw new Error('実験的スコアがOFFです');
const score = await attachScore(
config,
Expand Down
13 changes: 9 additions & 4 deletions src/content/utils/summaryHtmlBuilder.test.ts
Original file line number Diff line number Diff line change
Expand Up @@ -147,10 +147,15 @@ describe('追加分析の表示境界', () => {
expect(notices.textContent).toContain('非表示の論点2件');
} else {
expect(notices.textContent).toContain('元の論点2・注意: 文章が長い');
expect(root.querySelector('h6')?.textContent).toContain('論点(未検証の推論)');
for (const field of ['結論', '読み', '限界', '次の確認']) {
expect(root.textContent).toContain(`${field}(未検証の推論`);
}
expect(root.querySelector('h6')?.textContent).toBe(issue.title);
expect(root.querySelector('[data-analysis-conclusion]')?.closest('details')).toBeNull();
expect(root.querySelector('[data-analysis-reading]')?.textContent).toBe(issue.reading);
const evidenceDetails = root.querySelector<HTMLDetailsElement>('[data-analysis-evidence]')!;
expect(evidenceDetails.open).toBe(false);
expect(evidenceDetails.textContent).toContain(issue.caveat);
expect(evidenceDetails.textContent).toContain(issue.nextCheck);
evidenceDetails.open = true;
expect(evidenceDetails.textContent).toContain('確認済み事実');
expect(root.textContent).toContain(issue.conclusion);
expect(root.querySelector('article ul')?.textContent).toContain(
'確認済み事実: 売上100億円'
Expand Down
Loading
Loading