Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 3 additions & 1 deletion .github/workflows/release.yml
Original file line number Diff line number Diff line change
Expand Up @@ -104,7 +104,9 @@ jobs:

- name: Build extension
if: steps.check-label.outputs.release-type != 'none'
run: npm run build
run: |
npm run build
node evaluation/scripts/check-cmap-artifacts.mjs

- name: Create distribution zip
if: steps.check-label.outputs.release-type != 'none'
Expand Down
3 changes: 2 additions & 1 deletion CLAUDE.md
Original file line number Diff line number Diff line change
Expand Up @@ -171,7 +171,7 @@ src/
- OpenAI、Anthropic、Google、OpenRouter、カスタムの5種類
- 各プロバイダーのデフォルトURL、デフォルトモデル、モデルリスト
- **`fact-summary.ts`**: 候補v4・確定事実v6の根拠付き事実抽出。`summary-presentation.ts` / `summary-renderer.ts` は冒頭と本文を分け、全文の原文引用を確定事実と区別して保持・表示する。`fact-validation.ts` が原文字・構造・数量全断片・主体/範囲・期間・限定/条件・状態を照合し、採点は確定IDだけを参照する。詳細と対応境界は docs/development.md の承認済み設計・実装記録を正本とする
- **`additional-analysis.ts`**: 検証済み事実IDに基づく追加分析
- **`additional-analysis.ts`**: 確定事実・点検済み説明/指標・コード計算を使う論点型追加分析v3。結論と読みは推論として区別する。`analysis-input.ts` が根拠を構成し、`analysis-calculations.ts` が比較可能な金額だけを計算する。[設計・検証境界](docs/additional-analysis.md)を参照
- **`prompts.ts`**: 旧要約経路の文書タイプ別プロンプト。現行の要約では使用しない
- **`format-prompts.ts`**: 2パス要約のパス2用プロンプト
- パス1の構造化データを文書タイプ別の固定テンプレートへ整形
Expand Down Expand Up @@ -203,6 +203,7 @@ src/
- Viteの`?url`インポートで`pdfjs-dist/build/pdf.worker.min.mjs`を参照
- `GlobalWorkerOptions.workerSrc`に`chrome.runtime.getURL()`で取得したURLを設定
- Viteが自動的にWorkerファイルをバンドル(ハッシュ化されたファイル名で最適化)
- **CMap**: 同版 `pdfjs-dist/cmaps` のpacked資産とLICENSEをViteプラグインがbuild/watchごとに同梱し、Offscreenから `chrome.runtime.getURL('cmaps/')` で読む。外部CDNや追加権限は不要
- **抽出モード**:
- **smartモード**: セクション検出→重要セクションフィルタ→品質ゲート→リトライ(最大2回、topK増加)
- **fullモード(デフォルト・推奨)**: 全ページのテキストを返却。低コストモデルを前提に抽出量より精度を優先
Expand Down
36 changes: 36 additions & 0 deletions docs/additional-analysis.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,36 @@
# 論点型追加分析とPDF CMap


## 追加分析の論点化とCMap同梱(2026-10-06 / v100)

追加分析v3は固定の「解釈・短期・中期・長期」から、通常2〜4件の重要な論点へ変更する。根拠が不足する場合は1件または0件を許し、形式を埋めるための「判断不能」は要求しない。各論点は結論・根拠・条件付きの読み・限界・次の確認点を持つ。

- Backgroundは元PDFとの再照合後、確定事実に加え、点検済みの会社説明・観測指標を追加分析へ渡す。未点検/却下された説明は根拠へ昇格させない。期間形、対象、範囲、会計基準、限定条件、分割調整・分母・日付役割を保持する
- 表示する根拠本文・数量・ページはコードが構成する。モデルは根拠IDを選び、結論と読みは推論として表示する。ID照合、数値リテラル拒否、単純な重複/完全一致の拒否は意味・有用性の完全な検証ではない。因果、継続性、将来予測の正しさを保証しない
- 同条件の差額、累計実績対通期予想の残額・進捗、営業CF+投資CFを正確な十進数で計算する。主体/範囲/基準/期間/単位/条件が不一致または曖昧な組は省略し、EPS・率・範囲値・上限/下限等を加算可能な点の金額として扱わない。利益の負数・ゼロ分母から通常の進捗率を作らない。残額は会社の残り期間予想ではない
- 根拠ページは論点ごとに重複を除き、詳細IDは展開式にする。説明/指標の不足と、入力があるのに論点を生成できなかった場合を区別する。入力件数・未整理原文・未確認事実・使用量/終了理由を残す。1要求・60秒・最大8,192出力token、暗黙の再試行なし
- 保存したv3は入力識別子と表示根拠を再照合する。全体指紋v100と `analysisCacheV3:` により旧抽出/旧時間軸形式を再利用しない。同じ結果を閉じて開き直す場合も、古い応答や保存読込で新しい分析を上書きしない
- インストール済みPDF.jsと同版のpacked CMap全体とそのLICENSEを `dist/cmaps/` へbuild/watch時に出力する。Offscreenは拡張内部URLと `cMapPacked: true` を指定する。CDN、追加ホスト権限、CSP緩和、CMapのweb-accessible公開は使わない

CMapの通常テストは実パッケージを読む `buildStart` の出力・バイト一致・監視対象・再実行時の再出力を直接確認し、Vitest内ではViteを起動しない。実ビルドへの接続は通常の `npm run build` 後に `check-cmap-artifacts.mjs` で確認する(展開済みZIPやwatch出力も引数で指定可能)。既存releaseのビルド直後にも同じ検査を実行し、プラグイン接続漏れをZIP作成前に止める。タイムアウトの一律延長や二重ビルドはしない。

今回の追加証明は部品の計算/参照/保存契約、代表的なBackground入力受渡し、実Reactの競合・閉じる/再表示、CMap資産の同梱、固定応答による指定実PDFの経路に分担する。同じ資料を全経路の語彙網羅へ複製しない。実モデル品質と実Chrome確認の境界は評価ガイドを参照する。


## 論点型追加分析・CMapの固定確認(2026-10-06 / v100)

指定資料: サーラコーポレーション(2734)、2026年11月期第3四半期、[TDnet PDF](https://www.release.tdnet.info/inbs/140120261005546285.pdf)、物理16ページ。固定SHA-256は `56aedf42833a81c078dcd4ed57c15b5a0cee3430fbbdc1e8c4ff59d6f2b53c73`。

```bash
npm run build
node evaluation/scripts/check-cmap-artifacts.mjs
node --import tsx evaluation/scripts/check-additional-analysis-sala.ts /path/to/140120261005546285.pdf
```

この一例は実PDF.js+製品のページ抽出を使い、人が原PDFで確認した候補・説明/指標・論点の固定応答を接続する。表紙の営業利益実績8,168百万円/予想7,800百万円、本文の住宅販売/在庫処分の反動/資産売却/予想据え置き、点検済み観測指標のCFを通し、保存再検証とHTMLを確認する。CF詳細表を確定事実として無理に採用せず、既存の点検済み観測指標の経路を使う。

期待値は残額−368百万円、営業+投資CF−11,155百万円、前年営業CF差−9,743百万円。残額を会社の最終四半期赤字予想や上方修正確定と解釈しない。固定3論点の根拠はp1/p5/p6/p11/p12、ページリンクは論点内で重複を除いて5個。結果JSON/HTMLは `evaluation/results/local/` に保存する。全事実を生成した実行ではなく、未整理原文が残ることも表示する。

CMapは168個のpacked資産+LICENSEを同版パッケージとバイト比較し、production/watch両方とreleaseと同じZIP梱包で確認した。指定PDFをZIP内CMapで再抽出すると警告は0、追加されるのはp3〜16の共通ヘッダー各5アイテム。既存本文と座標は一致するため、CMap不足だけが薄い追加分析の原因だったとは扱わない。

今回の実API呼出しは0。固定応答は新しい入力・計算・保存・表示の契約を示すが、実モデルが論点を選ぶ品質や未知資料での成功率を示さない。実Chromeの描画・拡張通信・フォーカス確認は実施できていない。過去の画面成功を新ビルドへ読み替えない。公開前の実モデル評価が必要なら資料・モデル・回数を別途承認した範囲で固定して行う。
240 changes: 240 additions & 0 deletions evaluation/scripts/check-additional-analysis-sala.ts
Original file line number Diff line number Diff line change
@@ -0,0 +1,240 @@
import { readFileSync, writeFileSync, mkdirSync } from 'node:fs';
import { createHash } from 'node:crypto';
import { resolve } from 'node:path';
import assert from 'node:assert/strict';
import { getDocument, OPS } from 'pdfjs-dist/legacy/build/pdf.mjs';
import { extractPdfPageLayout } from '../../src/lib/pdf-layout';
import { reviewCandidates } from '../../src/lib/fact-candidates';
import { sourceTableId } from '../../src/lib/source-provenance';
import { buildPresentation, revalidatePresentation } from '../../src/lib/summary-presentation';
import { organizationHash } from '../../src/lib/summary-organization';
import { checkObservation } from '../../src/lib/disclosure-observation';
import { fixedOrganization } from '../../src/lib/fixtures/summary-narrative-source';
import { buildAnalysisInput } from '../../src/lib/analysis-input';
import { parseAnalysisResponse, parseAnalysis } from '../../src/lib/additional-analysis';
import { buildAnalysisStageHtml } from '../../src/content/utils/summaryHtmlBuilder';
import type { ExtractedPage } from '../../src/types/summaryMetadata';
// Fixed, human-selected source and responses: this checks the source/analysis/UI
// contract without an API call. It does not measure live model selection quality.
const pdfPath = process.argv[2];
if (!pdfPath) throw new Error('Pass the downloaded 140120261005546285.pdf path');
const bytes = readFileSync(pdfPath);
const sha256 = createHash('sha256').update(bytes).digest('hex');
assert.equal(sha256, '56aedf42833a81c078dcd4ed57c15b5a0cee3430fbbdc1e8c4ff59d6f2b53c73');
const pdf = await getDocument({
data: new Uint8Array(bytes),
cMapUrl: resolve('dist/cmaps') + '/',
cMapPacked: true,
useWorkerFetch: false,
isEvalSupported: false,
useSystemFonts: true,
}).promise;
const pages: ExtractedPage[] = [];
for (let page = 1; page <= pdf.numPages; page++)
pages.push(await extractPdfPageLayout(await pdf.getPage(page), page, OPS));
await pdf.destroy();
const candidates = [
['p1s47', 1, '2026年11月期第3四半期', 'cumulativeQ3', 'actual'],
['p1s151', 1, '2026年11月期', 'fullYear', 'forecast'],
].map(([valueId, page, period, periodKind, state], i) => ({
candidateId: `c${i}`,
importance: 'key',
kind: 'number',
source: {
kind: 'table',
valueId,
tableId: sourceTableId(pages[Number(page) - 1], String(valueId)),
contextBindingId: `ctx:${valueId}`,
},
meaning: {
subject: '株式会社サーラコーポレーション',
scope: '連結',
basis: '日本基準',
period,
periodKind,
metricKind: 'amount',
state,
polarity: 'affirmative',
},
}));
const review = reviewCandidates(
JSON.stringify({ candidateVersion: 4, documentType: 'earnings', candidates, unverified: [] }),
'earnings',
pages
);
assert.deepEqual(review.unverified, []);
assert.deepEqual(
review.facts.map((f) => f.quantity?.decimal),
['8168', '7800']
);
const facts = {
version: 6,
documentType: 'earnings' as const,
facts: review.facts,
unverified: [],
};
const display = buildPresentation(facts, pages);
const summaries = [
['p5b4', '住宅販売では注文住宅の販売棟数が増加し、資材販売も伸びた。'],
['p5b7', '中古車の在庫処分の影響が解消され、中古車販売台数も増加して営業損失が縮小した。'],
['p5b13', '自社保有資産の売却と賃貸収入の伸長が営業利益の増加に寄与した。'],
['p6b11', '通期業績予想は据え置かれている。'],
].map(([blockId, text], i) => ({
id: `sample-explanation-${i}`,
text,
sourceIds: [display.excerpts.find((e) => e.blockId === blockId)!.id],
}));
display.organization = fixedOrganization(facts, display, {
version: 1,
overview: [],
sections: [
{
id: 'sample',
title: '会社説明',
sourceIds: summaries.flatMap((s) => s.sourceIds),
summary: summaries,
},
],
});
for (const [id, metric, valueId, previous] of [
['observation-0', '営業活動によるキャッシュ・フロー', 'p11s112', 'p11s111'],
['observation-1', '投資活動によるキャッシュ・フロー', 'p12s54', null],
]) {
const value = display.values.find((v) => v.id === valueId)!;
const observation = {
id: id!,
topic: 'cash' as const,
entity: null,
scope: '連結',
basis: '日本基準',
period: '2026年11月期第3四半期累計',
state: 'actual' as const,
conditions: [],
sourceIds: value.sourceIds,
metric: metric!,
measure: 'flow' as const,
valueId: valueId!,
comparison: previous
? {
axis: 'yearOnYear' as const,
period: '2025年11月期第3四半期累計',
state: 'actual' as const,
valueId: previous,
rateId: null,
}
: null,
};
observation.sourceIds = checkObservation(
observation,
display.values,
display.excerpts,
facts,
true
);
display.organization.observations.push(observation);
display.organization.review!.claims[id!] = null;
}
display.organization.review!.contentHash = organizationHash(
display.organization,
facts,
display.values,
display.excerpts
);
revalidatePresentation(display, facts, pages);
const input = buildAnalysisInput(facts, display);
assert.ok(
input.evidence.some((e) => e.id.startsWith('calc:remaining:') && e.text.includes('-368百万円'))
);
assert.ok(
input.evidence.some(
(e) => e.id.startsWith('calc:cashFlowTotal:') && e.text.includes('-11155百万円')
)
);
assert.ok(
input.evidence.some((e) => e.id.startsWith('calc:difference:') && e.text.includes('-9743百万円'))
);
const refs = (test: (e: (typeof input.evidence)[number]) => boolean) =>
input.evidence.filter(test).map((e) => e.id);
const response = {
version: 3,
issues: [
{
title: '通期計画を超えた累計利益',
conclusion: '計画超過と予想据え置きの理由が次の焦点です',
evidenceIds: refs(
(e) => e.id.startsWith('calc:remaining:') || e.id === 'explanation:explanation-3'
),
reading:
'通期予想からの差し引きは残り期間への慎重さを示す可能性がありますが、費用や季節性の確認が必要です',
caveat:
'差し引き残額は会社が示した最終四半期の利益予想ではなく、上方修正も確実ではありません',
nextCheck: '次の決算説明で予想据え置きの理由と残る費用・季節性を確認する',
},
{
title: '増益要因の継続性は一様でない',
conclusion: '住宅の伸びと反動・売却の寄与を分けて確認する必要があります',
evidenceIds: [
'explanation:explanation-0',
'explanation:explanation-1',
'explanation:explanation-2',
],
reading:
'販売増が続くかと、過去の在庫処分の反動や資産売却が繰り返されるかでは、翌期への含意が異なります',
caveat: '今回の確認済み入力では各要因の利益寄与額と今後の継続性は未確認です',
nextCheck: '住宅の受注と販売、カーライフの赤字継続、売却益を除いた利益を確認する',
},
{
title: '利益と資金の動きに差',
conclusion: '営業と投資の資金収支から資金手当ての確認が必要です',
evidenceIds: refs(
(e) =>
e.id.startsWith('calc:cashFlowTotal:') ||
(e.kind === 'observation' && e.text.includes('営業活動'))
),
reading:
'営業と投資の資金収支がマイナスなら、手元資金や財務活動への依存を確認する必要があります',
caveat: '今回の確認済み入力だけでは資金不足や財務危機とは判断できません',
nextCheck: '運転資金の増減が戻るか、投資の回収計画と資金調達条件を確認する',
},
],
};
const analysis = parseAnalysisResponse(JSON.stringify(response), input);
parseAnalysis(JSON.stringify(analysis), facts, display);
const html = buildAnalysisStageHtml(
{ loading: false, data: analysis, error: null },
facts.facts,
'https://www.release.tdnet.info/inbs/140120261005546285.pdf'
);
mkdirSync('evaluation/results/local', { recursive: true });
writeFileSync(
'evaluation/results/local/sala-analysis-check.json',
JSON.stringify(
{
source: 'https://www.release.tdnet.info/inbs/140120261005546285.pdf',
evidenceMode:
'actual PDF extraction, fixed candidate/explanation/analysis responses; not a live model run',
candidateRejections: review.unverified,
input,
analysis,
},
null,
2
)
);
writeFileSync(
'evaluation/results/local/sala-analysis-check.html',
`<!doctype html><meta charset="utf-8"><body>${html}</body>`
);
assert.equal(analysis.issues.length, 3);
assert.equal((html.match(/href=/g) ?? []).length, 5);
assert.deepEqual(analysis.coverage.pages, [1, 5, 6, 11, 12]);
console.log(
'PASS',
facts.facts.length,
'facts',
analysis.issues.length,
'issues',
input.coverage,
'links',
html.match(/href=/g)?.length
);
18 changes: 18 additions & 0 deletions evaluation/scripts/check-cmap-artifacts.mjs
Original file line number Diff line number Diff line change
@@ -0,0 +1,18 @@
// Run after the normal production build; do not launch a duplicate build in Vitest.
import assert from 'node:assert/strict';
import { readFileSync, readdirSync } from 'node:fs';
import { createRequire } from 'node:module';
import { dirname, resolve } from 'node:path';

const require = createRequire(import.meta.url);
const source = resolve(dirname(require.resolve('pdfjs-dist/package.json')), 'cmaps');
const output = resolve(process.argv[2] ?? 'dist', 'cmaps');
const names = readdirSync(source)
.filter((name) => name.endsWith('.bcmap') || name === 'LICENSE')
.sort();
assert(names.includes('LICENSE'));
assert(names.includes('90ms-RKSJ-H.bcmap'));
assert.deepEqual(readdirSync(output).sort(), names);
for (const name of names)
assert.deepEqual(readFileSync(resolve(output, name)), readFileSync(resolve(source, name)), name);
console.log(`Verified ${names.length - 1} packed CMaps + LICENSE byte-for-byte in ${output}`);
Loading
Loading