diff --git a/.env.example b/.env.example new file mode 100644 index 0000000..08ab67a --- /dev/null +++ b/.env.example @@ -0,0 +1,11 @@ +# ローカル実PDF評価専用。実際の値はGit管理外の.envに保存してください。 +TDNET_DIGEST_PROVIDER=openai +TDNET_DIGEST_API_KEY= +TDNET_DIGEST_MODEL=gpt-4o-mini +# customプロバイダーの場合のみ指定 +TDNET_DIGEST_BASE_URL= + +# evaluation/fixtures/real-pdf-cases.json にあるIDを1件指定 +TDNET_EVAL_CASE_ID=140120260709590576 +# check-real-pdfs.mjsが生成したページ境界付きテキストの親ディレクトリ +TDNET_EVAL_PDF_DIR=/tmp/tdnet-real-eval diff --git a/.gitignore b/.gitignore index 469ead0..d63975c 100644 --- a/.gitignore +++ b/.gitignore @@ -17,8 +17,13 @@ build/ .env.development.local .env.test.local .env.production.local +.env.*.local +.env.local-evaluation .tmp/ +# Local LLM evaluation outputs +evaluation/results/local/ + # Logs npm-debug.log* yarn-debug.log* diff --git a/CLAUDE.md b/CLAUDE.md index bccfbb6..5dcc562 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -22,6 +22,9 @@ npm run type-check # Lint npm run lint +# テスト +npm test + # フォーマット npm run format ``` @@ -45,6 +48,7 @@ src/ │ ├── types/ │ │ └── summaryMetadata.ts # 型のre-export │ └── utils/ +│ ├── markdownParser.ts # Markdown→HTML変換(インラインスタイル・コード/リンク検証) │ ├── rowDataExtractor.ts # テーブル行データ抽出 │ ├── summaryHtmlBuilder.ts # 要約表示HTML生成 │ └── tdnetDomHelper.ts # TDnet固有DOM操作 @@ -56,10 +60,16 @@ src/ │ └── Options.tsx # 設定ページコンポーネント ├── lib/ │ ├── document-type.ts # 文書タイプ判別(決算短信/業績修正/配当/M&A等) +│ ├── earnings-refinement.ts # 決算評価・進捗率の決定論的補正と一時損益の精査 +│ ├── format-prompts.ts # 2パス要約の整形用プロンプト │ ├── llm-client.ts # 統一LLMクライアント(OpenAI/Anthropic互換API) │ ├── llm-providers.ts # LLMプロバイダー・モデル定義 -│ ├── prompts.ts # 文書タイプ別プロンプト(6種類) -│ └── section-detector.ts # セクション検出・ページスコアリング・品質ゲート +│ ├── prompts.ts # 文書タイプ別プロンプト(11種類) +│ ├── section-detector.ts # セクション検出・ページスコアリング・品質ゲート +│ ├── structured-output.ts # JSON検証・プロバイダー能力・1回修復指示 +│ ├── analysis-version.ts # 分析仕様バージョン・キャッシュ指紋 +│ ├── scoring.ts # 既定OFFの実験的スコア固定換算 +│ └── summary-schema.ts # 2パス要約の情報抽出用JSONスキーマ ├── types/ │ └── summaryMetadata.ts # 共通型定義(ExtractionMode, SummaryMetadata等) └── index.css # Tailwind CSS(Popup/Optionsのみ) @@ -76,6 +86,7 @@ src/ - **Manifest**: `manifest.config.ts`(ルートディレクトリ) - TypeScriptで定義し、package.jsonからバージョンを取得 + - 固定`key`で拡張機能IDを安定させ、更新・再配置時も`chrome.storage`を引き継ぐ - ビルド時に自動的にmanifest.jsonを生成 - **エントリーポイント**: @@ -101,6 +112,7 @@ src/ - `hooks/useSummaryRow.ts`: 要約行のDOM挿入・削除 - `utils/rowDataExtractor.ts`: テーブル行から会社名・タイトル・PDF URLを抽出 - `utils/summaryHtmlBuilder.ts`: 要約結果・エラー・メタデータのHTML生成 + - `utils/markdownParser.ts`: LLM出力のMarkdownをインラインスタイル付きHTMLへ変換し、コードとリンクを検証 - `utils/tdnetDomHelper.ts`: ヘッダー列追加、セルクラス更新 - **動作**: - 開示情報一覧ページのiframe内(`#main_list`)のテーブルを監視 @@ -108,7 +120,9 @@ src/ - テーブルの各行(開示情報)の最後に要約ボタンを注入 - ボタンクリック時に行データ(時刻、コード、会社名、表題、PDF URL)を抽出 - 要約結果は同じ行のすぐ下に新しい行として挿入(colspanで全列を使用) - - メタデータ表示(抽出ページ数、抽出モード、品質警告) + - 要約結果をPDF URLと分析指紋(仕様版・プロバイダー・モデル・抽出方式・パス方式)単位で`chrome.storage.local`にキャッシュ + - キャッシュ済みボタンは表示/非表示を切り替え、再要約時はキャッシュを更新 + - メタデータ表示(抽出ページ数、抽出モード、分析条件、品質警告) - smartモード時に全文再要約ボタンを表示 - **通信**: `chrome.runtime.sendMessage`でBackground Scriptに要約リクエスト送信 - **iframe再読み込み対応**: @@ -131,21 +145,38 @@ src/ - `src/lib/document-type.ts`で文書タイトルから文書タイプを自動判別 - `src/lib/prompts.ts`で文書タイプ別プロンプトを構築 - `src/lib/llm-client.ts`でLLM APIを呼び出し(OpenAI/Anthropic互換) + - デフォルトの2パス要約では、パス1でJSONスキーマに沿って情報抽出し、パス2で低temperature(0.3)の固定テンプレートへ整形 + - パス1のJSONを実行時検証し、失敗時はPDFを再送せず1回修復。再失敗時は1パス要約へフォールバック + - 設定により従来の1パス要約も選択可能 - APIエラーの詳細抽出(ネストされたエラーメッセージの再帰的取得) ### 共通ライブラリ (`src/lib/`) -- **`document-type.ts`**: 文書タイトルから6種類の文書タイプを判別 - - 決算短信、業績修正、配当予想修正、M&A・組織再編、自己株式取得、その他 +- **`document-type.ts`**: 文書タイトルから11種類の文書タイプを判別 + - 決算短信、業績修正、株主優待、配当、自己株式取得、株式分割・併合、資本政策、M&A・組織再編、月次・事業進捗、ガバナンス、その他 - **`llm-client.ts`**: 統一LLMクライアント - OpenAI互換API(OpenAI/Google/OpenRouter/カスタム)とAnthropic APIを統一的に呼び出し - `buildApiError()`: エラーレスポンスからの詳細メッセージ抽出 - **`llm-providers.ts`**: LLMプロバイダー定義 - OpenAI、Anthropic、Google、OpenRouter、カスタムの5種類 - - 各プロバイダーのデフォルトURL、モデルリスト、APIキープレースホルダー + - 各プロバイダーのデフォルトURL、デフォルトモデル、モデルリスト - **`prompts.ts`**: 文書タイプ別プロンプト - - 6種類の文書タイプごとに最適化されたプロンプトを定義 - - 捏造対策ルールを明記 + - 11種類の文書タイプごとに最適化されたプロンプトを定義 + - 1パス要約用プロンプトと、2パス要約の情報抽出用プロンプトを構築 + - 根拠ページ、時間軸別評価、利益の質、捏造対策ルールを明記 +- **`format-prompts.ts`**: 2パス要約のパス2用プロンプト + - パス1の構造化データを文書タイプ別の固定テンプレートへ整形 + - `null`の項目やセクションを表示しないルールを定義 +- **`summary-schema.ts`**: 2パス要約のパス1用JSONスキーマ + - 文書タイプと決算期に応じた抽出項目・決算評価ルールを定義 +- **`structured-output.ts`**: パス1のJSON検証と修復 + - 必須項目、enum、件数上限、根拠ページ範囲を検証 + - プロバイダー能力を過大評価せず、対応時だけJSON objectモードを使用 +- **`analysis-version.ts`**: 分析仕様バージョンとキャッシュ指紋 + - プロンプト仕様や利用モデルが異なる結果を別キャッシュとして管理 +- **`scoring.ts`**: 実験的スコア + - 検証済みの短期・中期・長期スタンスを文書タイプ別の固定重みで換算 + - LLMに点数を生成させず、既存の評価理由を根拠として表示。既定OFF - **`section-detector.ts`**: PDF抽出の知的フィルタリング - セクション検出(5種類の見出しパターン) - ページスコアリング(キーワード出現回数ベース) @@ -161,7 +192,7 @@ src/ - Viteが自動的にWorkerファイルをバンドル(ハッシュ化されたファイル名で最適化) - **抽出モード**: - **smartモード**: セクション検出→重要セクションフィルタ→品質ゲート→リトライ(最大2回、topK増加) - - **fullモード**: 全ページのテキストを返却 + - **fullモード(デフォルト・推奨)**: 全ページのテキストを返却。低コストモデルを前提に抽出量より精度を優先 - **テキスト抽出処理**: - Background Scriptから受信したArrayをUint8Arrayに変換 - pdf.jsの`getDocument()`でPDFを読み込み @@ -176,10 +207,14 @@ src/ - LLMプロバイダー選択(OpenAI/Anthropic/Google/OpenRouter/カスタム) - APIキー入力(パスワードフィールド) - モデル選択(プロバイダー別プリセット or カスタム入力) - - 抽出モード選択(smartモード / fullモード) + - 抽出モード選択(デフォルトはfullモード、smartモードも選択可能) + - 要約モード選択(デフォルトは2パス、1パスも選択可能) + - 実験的スコア(デフォルトOFF、2パスのみ) - カスタムプロバイダーのURL入力 - 保存済みモデルがリストにない場合の自動カスタムモード切り替え通知 - - `chrome.storage.sync`に保存 + - 設定をJSONファイルでエクスポート/インポート + - 要約キャッシュの一覧表示・個別削除・全削除 + - 設定は`chrome.storage.sync`、要約キャッシュは`chrome.storage.local`に保存 - **Popup** (`Popup.tsx`): - 拡張機能の有効/無効を切り替えるトグルスイッチ - API設定の状態表示(設定済み/未設定) @@ -196,6 +231,7 @@ src/ - **ビルド**: Vite 6 + @crxjs/vite-plugin + @vitejs/plugin-react - **Chrome拡張**: Manifest V3(Service Worker + Offscreen Document使用) - **PDF処理**: pdfjs-dist(Offscreen Documentで実行) +- **Markdown処理**: marked(Content ScriptでLLM出力をHTMLへ変換) - **パスエイリアス**: `@/`は`./src/`を指す(vite.config.ts) - **アイコン**: `public/logo.png`(全サイズで使用) - **Node要件**: >=20.0.0 @@ -216,6 +252,11 @@ src/ - **セキュリティ**: この拡張機能は`https://www.release.tdnet.info/*`ドメインでのみ動作するように制限されている。他のドメインでの動作は不要。 +- **LLM出力のHTML化**: + - `markdownParser.ts`のカスタムレンダラーを経由し、Content Script向けのインラインスタイルを付与する + - コード、言語名、リンク属性はHTMLエスケープし、リンク先は`http:`/`https:`のみに制限する + - Markdown変換処理を変更する場合は、上記のエスケープとURLスキーム制限を維持する + - **iframe内DOM操作**: - TDnetの一覧ページはiframe構造のため、`iframe.contentDocument`を経由してDOM操作を行う必要がある - iframe再読み込み時はMutationObserverを再設定する必要がある diff --git a/README.md b/README.md index e8bd94c..74cb6c2 100644 --- a/README.md +++ b/README.md @@ -1,14 +1,23 @@ -# tdnet-diges +# tdnet-digest image - -**tdnet-digest** は、TDnet(適時開示情報閲覧サービス)の開示詳細ページに「要約」ボタンを追加し、 +**tdnet-digest** は、TDnet(適時開示情報閲覧サービス)の開示一覧ページに「要約」ボタンを追加し、 開示本文(PDFファイル)を LLM に投げて要約を返す Chrome 拡張です。 - TDnet の適時開示を、ページ上でそのまま AI 要約 - 別タブ遷移やコピペなしで「要点」「ポイントだけ」を即確認 - 利用する LLM / API キー(例: OpenAI 互換 API)はユーザー側で設定 +- 情報抽出と整形を分けた2パス要約で、低コストモデルでも安定した表示 +- 根拠ページ付きで、短期・中期・長期の見方、好材料、リスク、次回確認点を整理 +- 決算、業績修正、株主優待、配当、自己株取得、株式分割、資本政策、M&A、月次・事業進捗、ガバナンス、その他の11分類に対応 +- 分析仕様・モデル・抽出方式ごとに要約をローカルキャッシュし、古い分析結果の混在を防止 +- 全文抽出(推奨)と要点抽出、2パス要約と1パス要約を設定画面で切り替え可能 +- 検証済みの時間軸別方向性を固定換算する「実験的スコア」を任意で表示(既定OFF、2パスのみ) + +2パス要約では抽出JSONを検証し、不正な場合は1回だけ修復します。修復できない場合は、生のJSONを表示せず1パス要約へフォールバックします。市場コンセンサス、現在株価、バリュエーションなどPDFにない情報は推測しません。 + +実験的スコアは、PDFから抽出した短期・中期・長期の方向性を文書タイプ別の固定重みで換算した参考値です。投資判断や将来収益を保証するものではありません。 日本株の決算・IR を毎日追う投資家・トレーダー向けに、 「全文を読む前にざっくり中身と重要度を把握する」ためのツールです。 @@ -19,11 +28,11 @@ OpenRouter経由での全文抽出モード利用時のコスト目安です(1リクエストあたり入力約56,000トークン、出力約800トークン)。 -| モデル | 1回あたり | 100回あたり | 対Gemini比 | -|---|---|---|---| -| **google/gemini-2.5-flash-lite(推奨)** | **≈ ¥1** | **≈ ¥90** | **1.0x** | -| google/gemini-2.5-flash | ≈ ¥3 | ≈ ¥285 | 3.2x | -| openai/gpt-4o-mini | ≈ ¥1.5 | ≈ ¥134 | 1.5x | +| モデル | 1回あたり | 100回あたり | 対Gemini比 | +| ---------------------------------------- | --------- | ----------- | ---------- | +| **google/gemini-2.5-flash-lite(推奨)** | **≈ ¥1** | **≈ ¥90** | **1.0x** | +| google/gemini-2.5-flash | ≈ ¥3 | ≈ ¥285 | 3.2x | +| openai/gpt-4o-mini | ≈ ¥1.5 | ≈ ¥134 | 1.5x | > **Gemini 2.5 Flash Lite** は全文抽出モードでも100回で約¥90と非常に低コストです。2パスモード利用時は約2倍のコストになります。日本円は1ドル=150円で換算しています。 @@ -74,10 +83,15 @@ npm run type-check # Lint npm run lint +# テスト +npm test + # フォーマット npm run format ``` +公開TDnet PDFを使ったローカルLLM評価は、製品機能と分離して`evaluation/`配下に用意しています。APIキーを`.env`に設定する手順は [evaluation/README.md](evaluation/README.md#ローカルllm評価) を参照してください。 + ## 📄 ライセンス MIT diff --git a/docs/analysis-accuracy-improvement-plan.md b/docs/analysis-accuracy-improvement-plan.md new file mode 100644 index 0000000..5d13043 --- /dev/null +++ b/docs/analysis-accuracy-improvement-plan.md @@ -0,0 +1,789 @@ +# TDnet Digest 分析精度向上計画 + +## 1. 文書の目的 + +本書は、`ir-pdf-radar-v0.5.1`の分析観点を参考にしながら、TDnet Digestの決算・適時開示分析精度を段階的に向上させるための実装計画を定義する。 + +実装中の判断のぶれを防ぐため、次を固定する。 + +- 採用する分析観点と採用しない挙動 +- データ構造と責務の境界 +- 実装順序 +- 各段階の完了条件 +- 精度評価方法 +- ロールアウトとロールバックの条件 + +本書作成時点では計画のみを対象とし、実装変更は行わない。 + +## 2. 背景と現状認識 + +TDnet Digestの現行実装には、次の強みがある。 + +- タイトルから決算期、会計基準、連結・個別を決定論的に判定する +- 文書タイプ別に抽出項目を分ける +- 決算の増減率、進捗率、予想修正を明示的な基準で評価する +- 情報抽出と表示整形を分離した2パス要約を使用する +- `null`や欠損値を表示しないルールを持つ +- 全文抽出と要点抽出を切り替えられる + +一方、投資家・トレーダー向けの分析としては、次が構造化されていない。 + +- 利益率とその変化 +- 本業利益と一時損益の分離 +- キャッシュフローと財務健全性 +- 短期・中期・長期の時間軸別評価 +- 好材料、リスク、次回確認点 +- 各判断の根拠ページ +- 株主優待、株式分割、資本政策、事業進捗、ガバナンスの専用分析 +- プロバイダー機能を利用した厳格な構造化出力 +- プロンプト変更前後を比較する再現可能な評価基盤 + +## 3. 最終目標 + +利用者が原文を読む前に、以下を短時間で把握できる状態を目指す。 + +1. 開示された事実と主要数値 +2. 前年・会社計画・従来予想に対する変化 +3. 増減が本業によるものか、一時要因によるものか +4. 短期、中期、長期それぞれへの影響 +5. 最大の好材料と最大のリスク +6. 次の決算までに確認すべき指標 +7. 各判断を確認できるPDFページ + +精度向上とは、文章を詳しくすることではなく、次の同時達成を意味する。 + +- 数値の正確性を維持または向上する +- 重要情報の見落としを減らす +- 根拠のない推測を増やさない +- 同じ内容の重複を減らす +- モデルやプロバイダーが変わっても出力構造を安定させる + +## 4. 固定する設計原則 + +### 4.1 現行の数値抽出を置き換えない + +現行の決算期別プロンプト、会計基準対応、経常利益ベースの明示的な判定基準は維持する。新しい投資診断は、その上に追加する。 + +### 4.2 事実抽出と投資評価を分離する + +パス1では本文から事実と根拠を抽出する。パス2ではパス1のJSONだけを使用して表示を整形する。投資評価に必要な計算も、入力数値と計算結果を分けて保持する。 + +### 4.3 市場データを推測しない + +PDFに記載されていない以下の情報を推測しない。 + +- 市場コンセンサス +- 現在株価 +- バリュエーション +- 株価への織り込み度 +- 将来の上方修正・下方修正の確定的予測 + +「サプライズ」は、会社計画比、従来予想比、前年同期比のいずれかが明示できる場合に限って使用する。 + +### 4.4 情報がないことを機械的に減点しない + +- 好業績で予想据え置きの場合、据え置きだけを理由に大幅減点しない +- 非決算資料に業績数値がないことを減点しない +- 費用負担が未記載という理由だけで株主優待の効果を中立以下にしない +- 好材料やリスクが本文から確認できない場合は空配列を許可する + +### 4.5 根拠を表示できない評価を増やさない + +好材料、リスク、重要な数値、評価理由には、可能な限り根拠ページを付ける。ページ不明を0として埋めるのではなく、`null`として不明を明示する。 + +### 4.6 点数は最後に導入する + +短期・中期・長期・総合の0〜100点は最終段階で実装する。評価データによる校正が完了するまでは実験機能とし、デフォルト表示しない。 + +### 4.7 プロバイダー互換性を維持する + +OpenAI固有機能だけに全面移行しない。構造化出力はプロバイダー能力に応じて使用し、未対応時は現行のJSONプロンプトとローカル検証へフォールバックする。 + +### 4.8 参考実装のコードを直接移植しない + +参考にするのは分析観点と設計上のアイデアに限定する。TDnet Digestの型、2パス構成、UI、セキュリティ要件に合わせて独立に実装する。 + +## 5. 対象範囲 + +### 5.1 対象 + +- PDFページ境界の保持 +- 文書タイプ分類の拡張 +- 文書タイプ別抽出スキーマの拡張 +- 決算の利益品質分析 +- 時間軸別の投資診断 +- 好材料、リスク、確認点、根拠ページ +- プロバイダー別の構造化出力 +- JSONのランタイム検証と再試行 +- 表示テンプレートの拡張 +- キャッシュのスキーマバージョン管理 +- 精度評価用フィクスチャとテスト +- 実験的な0〜100点評価 + +### 5.2 対象外 + +- 株価、出来高、信用残など外部市場データの取得 +- 証券会社コンセンサスの取得 +- 売買推奨や目標株価の生成 +- OCRの新規導入 +- PDF以外の有価証券報告書やWebページの解析 +- バックテストによる投資戦略の有効性検証 + +これらは将来の別計画とする。 + +## 6. 目標データフロー + +```text +TDnetタイトル + ↓ +決定論的な一次分類 + ↓ +PDFをページ単位で抽出・クリーニング + ↓ +ページ番号付きLLM入力 + ↓ +パス1: 文書タイプ別の事実抽出JSON + ↓ +ランタイム検証・計算整合性チェック + ↓ +必要時のみ修復再試行 + ↓ +パス2: JSONから表示用Markdownへ整形 + ↓ +安全なMarkdown表示・ページ根拠リンク表示 + ↓ +分析バージョン付きキャッシュ +``` + +分類が`other`または曖昧な場合だけ、軽量な再分類を行う。最初から全資料をLLM分類にはしない。 + +## 7. 文書タイプの拡張 + +`DocumentType`を次の11種類へ拡張する。 + +| 型 | 用途 | 現行からの変更 | +| -------------------- | ---------------------- | -------------- | +| `earnings` | 決算短信 | 維持・強化 | +| `earningsRevision` | 業績予想修正 | 維持・強化 | +| `shareholderBenefit` | 株主優待 | 新規 | +| `dividend` | 配当・増配・減配 | 維持・強化 | +| `shareRepurchase` | 自己株式取得 | 維持・強化 | +| `stockSplit` | 株式分割・併合 | 新規 | +| `capitalPolicy` | 資本政策・資本業務提携 | 新規 | +| `ma` | M&A・組織再編 | 維持・強化 | +| `businessUpdate` | 月次・受注・事業進捗 | 新規 | +| `governance` | 役員・ガバナンス | 新規 | +| `other` | 上記以外 | 維持 | + +### 7.1 分類方針 + +1. タイトルの明確なキーワードで決定論的に分類する +2. 複数条件が一致する場合の優先順位をテストで固定する +3. `other`または競合時のみ、PDF先頭ページを使った補助分類を検討する +4. LLMの補助分類結果だけで専用スキーマを選び直す場合は、追加API呼び出しと誤分類リスクを計測する +5. 分類不能時は無理に専用型へ寄せず、`other`を使用する + +## 8. ページ境界と根拠情報 + +### 8.1 内部型 + +PDF抽出結果を単一文字列だけで扱わず、次のページ配列を正とする。 + +```ts +interface ExtractedPage { + pageNumber: number; + text: string; +} + +interface PdfExtractionResult { + pages: ExtractedPage[]; + metadata: SummaryMetadata; +} +``` + +### 8.2 LLM入力形式 + +各ページを曖昧でない境界で連結する。 + +```text +[PDF_PAGE:1] +... + +[PDF_PAGE:2] +... +``` + +ページ本文に数字だけの行が存在してもページ境界と混同しない形式にする。 + +### 8.3 根拠型 + +```ts +interface EvidenceFact { + text: string; + page: number | null; +} +``` + +ページ番号はPDF上の1始まりとする。存在しないページ番号、抽出対象外ページ、0以下の値は検証エラーとする。根拠が特定できない場合は`null`を許可する。 + +## 9. 決算抽出スキーマの拡張 + +現行の`EarningsExtraction`を土台に、以下を追加する。 + +```ts +interface EarningsQuality { + operatingMargin: { + current: string | null; + previous: string | null; + change: string | null; + page: number | null; + } | null; + coreEarnings: EvidenceFact | null; + oneOffItems: EvidenceFact[]; + operatingCashFlow: EvidenceFact | null; + financialHealth: EvidenceFact[]; + shareholderReturns: EvidenceFact[]; +} + +type InvestmentStance = + | 'positive' + | 'slightlyPositive' + | 'neutral' + | 'slightlyNegative' + | 'negative' + | 'unknown'; + +interface HorizonAssessment { + stance: InvestmentStance; + rationale: EvidenceFact[]; +} + +interface InvestmentView { + shortTerm: HorizonAssessment; + mediumTerm: HorizonAssessment; + longTerm: HorizonAssessment; + positives: EvidenceFact[]; + risks: EvidenceFact[]; + watchPoints: EvidenceFact[]; + rationale: string; +} +``` + +### 9.1 決算の分析規則 + +#### 短期 + +- 前年同期比の売上・利益モメンタム +- 会社計画または従来予想に対する変化 +- 上方修正・下方修正・据え置き +- 一時損益を除いた本業の方向 +- 配当・自己株式取得など同時発表の株主還元 + +#### 中期 + +- 通期予想への進捗 +- 利益率の改善・悪化 +- セグメント別の持続性 +- 受注、月次、パイプライン、新規出店などの先行指標 +- 会社説明にある需要・コスト・為替の継続性 + +#### 長期 + +- 事業構造と成長ドライバー +- 収益源の分散または集中 +- 営業CFと投資負担 +- 自己資本、ネットキャッシュ、継続企業リスク +- 資本政策と株主還元の持続性 + +### 9.2 据え置き予想の規則 + +- 据え置きは事実として記載する +- 据え置きだけを理由に短期・中期評価を大幅に下げない +- 進捗が高くても上方修正を予測しない +- 「上方修正余地」ではなく「次回確認点」として扱う + +### 9.3 一時損益の規則 + +- 営業利益・事業利益・経常利益など本業に近い利益と、純利益を分けて評価する +- 特別利益で純利益だけが増加した場合、利益の質に注意を付ける +- 本業が改善している場合は、一時利益の存在だけで全体を悪化判定しない +- 特別損失は内容、金額、継続性を分けて記載する + +### 9.4 進捗率の規則 + +- 現行の計算式とレンジ予想対応を維持する +- Q1=25%、Q2=50%、Q3=75%は参考基準であり、季節性を無視した絶対評価にしない +- 前年同期進捗が得られる場合は、標準進捗率より優先度の高い補助情報として表示する +- 実績と通期予想がともに赤字なら、損失の絶対値から損失消化率を算出する +- 損失消化率は標準より低いほど損失ペースが軽いと評価し、通常の黒字進捗率とは評価方向を反転する +- 実績と予想の符号が異なる場合、ゼロ予想、未定は率を算出せず状態を明記する +- 同じ指標が複数ページにある場合は、最も精密な桁の金額を優先する + +## 10. 非決算文書の専用分析 + +### 10.1 株主優待 + +- 変更前後の実質価値 +- 対象保有株数と保有期間 +- 拡充・縮小の対象範囲 +- 開始日・基準日 +- 継続保有条件 +- 株主獲得・定着効果 +- 会社負担と継続性 + +### 10.2 株式分割・併合 + +- 分割・併合比率 +- 基準日・効力発生日 +- 投資単位への影響 +- 発行可能株式総数の変更 +- 配当予想の実質変更有無 +- 株主価値そのものは分割だけでは増加しないことを明示 + +### 10.3 資本政策・資本業務提携 + +- 調達額、希薄化率、割当先 +- 資金使途 +- 提携内容と実行時期 +- 資本効率への影響 +- 希薄化と成長投資のバランス + +### 10.4 事業進捗・月次 + +- 前年同月比、累計前年同期比 +- 既存店・全店、数量・単価の区別 +- 受注・受注残・解約・稼働率など業種別KPI +- 一過性要因と基調 +- 通期計画との関係は本文に根拠がある場合のみ記載 + +### 10.5 ガバナンス + +- 役員変更、独立性、委員会構成 +- 不祥事・内部統制・再発防止策 +- 施行日と移行期間 +- 業績影響を無理に推測しない + +## 11. 構造化出力と検証 + +### 11.1 プロバイダー能力の抽象化 + +LLMクライアントに、少なくとも次の能力判定を設ける。 + +```ts +interface ProviderCapabilities { + nativeJsonSchema: boolean; + jsonMode: boolean; + toolUse: boolean; +} +``` + +優先順位は次とする。 + +1. ネイティブJSON Schema +2. JSONモード + ローカルスキーマ検証 +3. 現行のJSONプロンプト + ローカルスキーマ検証 + +### 11.2 ランタイム検証 + +TypeScript型だけに依存せず、パス1の結果を実行時に検証する。 + +検証対象: + +- 必須フィールド +- 列挙値 +- 配列上限 +- ページ番号の範囲 +- 数値文字列の形式 +- `null`と文字列`"null"`の混同 +- 同一内容の重複 +- 進捗率の再計算結果との不一致 + +### 11.3 修復方針 + +- JSON構文エラーまたは軽微なスキーマエラーは、検証エラーを添えて1回だけ修復再試行する +- 本文を再送せず、壊れたJSONと検証エラーだけで修復できる場合はそれを優先する +- 数値の根拠不足やページ不整合は、表示整形で隠さない +- 修復後も失敗した場合は、品質警告付きで安全な最小表示へフォールバックする +- パス1の未検証テキストを正常な分析結果としてそのまま表示しない + +## 12. 表示仕様 + +決算の標準表示順を次で固定する。 + +1. 全体要約 +2. 現行の決算評価 +3. 業績サマリー +4. 通期進捗・予想修正 +5. 利益の質 +6. 短期・中期・長期の見方 +7. 好材料 +8. リスク +9. 次回確認点 +10. トピックス + +### 12.1 表示制約 + +- 全体要約は最大3文を基本とする +- 好材料とリスクは各最大2件 +- 次回確認点は最大3件 +- 同一事実を複数セクションで言い換えて繰り返さない +- 根拠ページがある項目は`p.3`形式で表示する +- 根拠ページをクリック可能にする機能は別途可否を調査する +- 空のセクションは見出しごと表示しない +- 「本文に記載なし」を埋めるためだけの行は作らない + +## 13. 実験的スコアリング + +### 13.1 導入条件 + +以下を満たすまで、0〜100点をデフォルト表示しない。 + +- 評価コーパスが整備されている +- 複数モデルでスコア分布を比較済み +- 同一PDFを3回実行したときの変動を計測済み +- 50点、60点、70点、80点、90点の意味を具体例で校正済み +- 点数理由を根拠ページ付きで説明できる + +### 13.2 スコア定義 + +- 50点を中立とする +- 短期、中期、長期、総合を別々に持つ +- 総合点を3期間の単純平均にはしない +- 文書タイプごとに評価軸を変える +- 最大の加点要因と減点要因を必須とする +- 好材料・リスクが存在しない場合に、それらを捏造して点数理由を作らない + +### 13.3 ロールアウト + +1. 開発者向けデバッグ表示 +2. 設定画面の実験機能 +3. 評価結果を確認後、一般設定へ昇格 + +## 14. キャッシュ設計 + +現行のPDF URLだけによるキャッシュキーでは、プロンプトやスキーマ更新後も古い結果が表示される。次をキーまたはエントリへ含める。 + +- `analysisSchemaVersion` +- PDF URL +- プロバイダー +- モデル +- 抽出モード +- 要約モード +- 将来のスコアリング設定 + +旧キャッシュは読み込み時にバージョン不一致を検出し、再分析を案内する。無条件に破棄するか移行するかは、データ構造確定時に決める。 + +## 15. 評価計画 + +### 15.1 評価コーパス + +最低36件を用意する。 + +#### 決算 24件以上 + +- Q1、Q2、Q3、通期 +- 日本基準、IFRS、可能なら米国基準 +- 増収増益、減収増益、減収減益 +- 黒字転換、赤字転落、赤字継続 +- 上方修正、下方修正、据え置き、予想未定 +- レンジ予想 +- 特別利益・特別損失 +- 強い季節性 +- 初連結、新規上場、会計基準変更 + +#### 非決算 12件以上 + +- 業績修正 +- 配当 +- 自己株式取得 +- 株主優待 +- 株式分割 +- M&A +- 資本政策 +- 月次・事業進捗 +- ガバナンス + +PDFそのものをリポジトリへ追加できない場合は、出典URL、取得日、タイトル、期待値JSON、ページ単位の抽出テキストを管理する。APIキーや非公開資料は含めない。 + +### 15.2 正解データ + +各資料について、人手で次を作成する。 + +- 正しい文書タイプ +- 主要数値と単位 +- 前年同期比・前期比 +- 通期予想と進捗率 +- 予想修正 +- 一時損益 +- 利益率 +- CF・財務情報 +- 株主還元 +- 根拠ページ +- 好材料、リスク、確認点の許容例 + +### 15.3 評価指標 + +| 指標 | 必須合格条件 | 目標 | +| -------------------------- | --------------------- | ----------- | +| 文書分類正解率 | 95%以上 | 98%以上 | +| 売上・主要利益の数値一致率 | 98%以上 | 99%以上 | +| 進捗率計算 | 計算可能ケースで100% | 100% | +| 予想修正方向 | 98%以上 | 100% | +| 根拠ページ一致率 | 95%以上 | 98%以上 | +| 重大な数値捏造 | 0件 | 0件 | +| JSON構造成功率 | 99%以上 | 100% | +| 同一情報の重複 | 現行以下 | 現行比50%減 | +| 人手による有用性比較 | 改善版が60%以上で優位 | 70%以上 | + +### 15.4 比較条件 + +- 同じPDF抽出結果を使用する +- 同じモデルと同じ設定で比較する +- キャッシュを使用しない +- 安定性評価では各PDFを3回実行する +- 現行版、改善版の表示順を伏せて評価する +- コストと処理時間も記録する + +## 16. 実装フェーズ + +### Phase 0: 評価基盤とベースライン + +作業: + +- 評価フィクスチャ形式を決定 +- 代表資料を収集 +- 正解データを作成 +- 現行プロンプトの結果を保存 +- 数値一致、分類、JSON成功率を集計するスクリプトを作成 + +完了条件: + +- 36件以上の評価対象が一覧化されている +- 主要12件以上に正解データがある +- 現行版のベースライン指標を再現できる + +### Phase 1: ページ境界保持と根拠型 + +作業: + +- `ExtractedPage[]`を導入 +- full/smart両モードでページ境界を維持 +- LLM入力へ`[PDF_PAGE:N]`を付与 +- `EvidenceFact`とページ範囲検証を導入 + +完了条件: + +- full/smart両モードのページ選択が既存挙動と一致する +- ページ番号が本文中の数字行と混同されない +- 根拠ページ検証の単体テストが通る + +### Phase 2: 分類拡張 + +作業: + +- `DocumentType`を11種類へ拡張 +- タイトル判定パターンと優先順位を追加 +- 表示名、品質ゲート、抽出パラメータを追加 +- 曖昧分類の扱いを実装 + +完了条件: + +- 分類テストがすべて通る +- 評価コーパスで分類正解率95%以上 +- 既存6タイプの判定を退行させない + +### Phase 3: 決算の利益品質と投資診断 + +作業: + +- 決算スキーマへ`EarningsQuality`を追加 +- `InvestmentView`を追加 +- 据え置き、一時損益、市場情報非推測の規則を追加 +- パス2テンプレートと表示を追加 + +完了条件: + +- 主要数値一致率98%以上を維持 +- 一時損益を含む全評価ケースで本業と最終利益を区別できる +- 根拠のない市場コンセンサスや株価を出力しない +- 好材料・リスク・確認点の重複が現行以下 + +### Phase 4: 非決算専用スキーマ + +作業: + +- 株主優待 +- 株式分割 +- 資本政策 +- 事業進捗・月次 +- ガバナンス +- 既存の配当、自己株式取得、M&Aも時間軸別観点へ拡張 + +完了条件: + +- 各タイプに最低2件の評価資料がある +- 業績数値の不在を理由に不要な警告・減点をしない +- 各タイプの重要項目が正解データと一致する + +### Phase 5: 構造化出力とランタイム検証 + +作業: + +- プロバイダー能力を抽象化 +- ネイティブJSON Schema対応 +- ローカルスキーマ検証 +- 1回限定の修復再試行 +- 安全なフォールバック + +完了条件: + +- JSON構造成功率99%以上 +- OpenAI、Anthropic、Google、OpenRouter、customの既存経路を維持 +- 未対応プロバイダーで現行方式へフォールバックできる +- 未検証のパス1出力を正常結果として表示しない + +### Phase 6: キャッシュ・UI・ドキュメント + +作業: + +- 分析スキーマバージョンを導入 +- キャッシュキーを更新 +- 根拠ページ、利益品質、時間軸別診断を表示 +- 設定説明、README、CLAUDE.mdを更新 + +完了条件: + +- 旧キャッシュが新分析として誤表示されない +- 空セクションが表示されない +- Content Scriptのインラインスタイル制約を守る +- Markdown表示の既存セキュリティ制約を退行させない + +### Phase 7: 実験的スコアリング + +作業: + +- 文書タイプ別スコア基準を定義 +- 短期・中期・長期・総合スコアを追加 +- スコア理由と根拠を追加 +- 設定画面に実験機能トグルを追加 +- モデル別の分布と再現性を評価 + +完了条件: + +- 導入条件をすべて満たす +- 同一PDFの3回実行で大幅な判定反転がない +- スコア理由が抽出事実と根拠ページに結び付く +- 実験機能を無効にすれば従来表示へ戻せる + +### Phase 8: 実PDFフィードバック補正 + +作業: + +- TDnet実PDFコーパスでタイトル分類と決算コンテキストを検証 +- 全角英数字を正規化し、複合タイトルの分類優先順位を補正 +- 会計基準別の評価指標から★評価と四半期進捗を決定論的に再計算 +- 前年・前期の比較金額を保持し、黒字転換・赤字転落・赤字継続を符号から判定 +- 赤字継続の損失改善率と、赤字実績・赤字予想の損失消化率を算出 +- 千円・百万円など異なる単位を円換算して比較し、最も精密なPDF記載値を優先 +- 事業P/Lの売上・粗利・営業/事業利益を全社決算評価と分離して前年比較 +- 損益に計上されていないM&A・合併施策を一時損益から除外 +- 同一PDF・同一モデルで修正前後を再評価 + +完了条件: + +- 実PDF 11文書タイプのタイトル分類が全件成功する +- IFRS四半期決算を税引前利益ベースで評価・表示する +- 実績、通期予想、進捗の★評価が定義済み閾値と一致する +- 実APIの構造化出力が検証を通り、主要数値と根拠ページが一致する +- 分析スキーマバージョンを更新し、旧結果を再利用しない + +## 17. テスト方針 + +### 17.1 単体テスト + +- 文書タイプ判定と優先順位 +- 決算期・会計基準・連結区分判定 +- ページ境界の生成と保持 +- ページ番号範囲検証 +- 進捗率とレンジ予想計算 +- JSONスキーマ検証 +- `null`処理 +- 重複排除 +- キャッシュバージョン判定 +- 表示用Markdown生成 + +### 17.2 統合テスト + +- PDF抽出からパス1入力まで +- モックLLMレスポンスからパス2表示まで +- JSON破損時の修復再試行 +- プロバイダー能力別フォールバック +- smart/full切り替え +- 旧キャッシュからの移行 + +### 17.3 手動確認 + +- TDnet一覧のiframe再読み込み +- 要約、表示、非表示、再要約 +- 根拠ページ表示 +- 長い社名・タイトル +- 大量ページPDF +- 画像PDFエラー +- 日本基準・IFRSの表示差 + +## 18. リリース戦略 + +大きな一括リリースにはせず、各Phaseを独立した変更として進める。 + +1. 評価基盤はユーザー機能と分離して先行導入 +2. ページ境界と分類は、表示を変えず内部変更として導入 +3. 新しい分析セクションは設定フラグ付きで導入 +4. 評価指標を満たした後にデフォルト有効化 +5. スコアリングは最後まで実験機能として分離 + +各Phaseで以下を記録する。 + +- 変更前後の評価指標 +- APIコスト +- 処理時間 +- 既知の失敗例 +- ロールバック方法 + +## 19. ロールバック条件 + +次のいずれかを満たした場合、そのPhaseのデフォルト有効化を見送る。 + +- 重大な数値捏造が1件以上発生 +- 主要数値一致率が現行より低下 +- 文書分類正解率が95%未満 +- JSON構造成功率が99%未満 +- 既存プロバイダーのいずれかが利用不能 +- 平均APIコストまたは処理時間が、合意なしに50%以上増加 +- 根拠ページが誤った事実へ紐付く +- 新しい評価が市場データを推測している + +## 20. 実装前に確定すべき事項 + +Phase 0開始前に、以下だけはユーザーと合意する。 + +1. 評価用PDFまたはURLの準備方法 +2. 正解データを誰がレビューするか +3. 初期の評価対象モデル +4. APIコストの上限 +5. 実験スコアをUIへ出す時期 +6. 根拠ページを単なる表示にするか、PDFページへの導線まで作るか + +## 21. 完了の定義 + +全対応完了とは、コードが追加された状態ではなく、以下をすべて満たした状態とする。 + +- 11種類の文書タイプを安定して分類できる +- 決算で利益率、一時損益、CF、財務、株主還元を抽出できる +- 短期・中期・長期の見方を根拠付きで表示できる +- 好材料、リスク、確認点を重複なく表示できる +- 根拠ページを原文で確認できる +- 構造化出力を検証し、壊れた結果を正常表示しない +- プロンプト更新後に古いキャッシュを誤表示しない +- 評価コーパスで必須合格条件を満たす +- 0〜100点は校正済みかつ無効化可能である +- README、CLAUDE.md、設定画面の説明が実装と一致している diff --git a/evaluation/README.md b/evaluation/README.md new file mode 100644 index 0000000..a75cab1 --- /dev/null +++ b/evaluation/README.md @@ -0,0 +1,48 @@ +# 分析精度評価フィクスチャ + +このディレクトリは、分析精度向上計画のベースラインと回帰評価データを管理します。 + +## データの区分 + +- `fixtures/classification-cases.json`: 文書タイトル分類と決算コンテキストの合成フィクスチャ +- `fixtures/real-pdf-cases.json`: TDnet公式PDFの出典、期待分類、抽出必須語 +- `expected/`: 公開PDFから人手で作成する期待値JSON(今後追加) +- `results/`: モデル、設定、実行日時を含む評価結果(APIキーは保存しない) +- `scripts/check-real-pdfs.mjs`: ローカルに取得したPDFのページ抽出・境界・必須語チェック + +`classification-cases.json`の`baselineType`はPhase 0時点の実装結果、`targetType`は分類拡張後の期待値です。Phase 2で分類を拡張した後も、旧挙動との差分を追跡できるよう両方を残します。 + +## 評価上の原則 + +- PDF本文にない情報を正解データへ補わない +- 数値、単位、比較期間、根拠ページをセットで記録する +- 市場コンセンサス、現在株価、バリュエーションを評価対象にしない +- 同じ抽出本文、モデル、設定で変更前後を比較する +- APIキー、非公開資料、個人情報をコミットしない + +## 実PDFコーパス + +合成フィクスチャは分類・計算・スキーマの回帰確認に使用します。LLMの読み取り精度を評価する実PDFコーパスは、計画書の条件に従い、公開TDnet資料36件以上を別途登録します。PDFを直接コミットできない場合は、出典URL、取得日、タイトル、ページ単位抽出テキスト、期待値JSONを保存します。 + +## ローカルLLM評価 + +この機能は評価用CLIだけで使用し、Chrome拡張の実行環境には影響しません。 + +```bash +cp .env.example .env +# .envへAPIキー、プロバイダー、モデル、対象ケースIDを設定 + +# 取得済みPDFからページ境界付きテキストを生成 +npm run test:real-pdf -- /tmp/tdnet-real-eval + +# 既存のパス1抽出→検証→必要時1回修復→パス2整形を実行 +npm run test:real-llm +``` + +APIキーは`TDNET_DIGEST_API_KEY`を優先する。未設定の場合は、選択したプロバイダーに応じて`OPENAI_API_KEY`、`ANTHROPIC_API_KEY`、`OPENROUTER_API_KEY`、`GOOGLE_API_KEY`も利用できる。 + +- `.env`はGit管理外 +- `VITE_`接頭辞は使用せず、拡張機能のバンドルへ公開しない +- 評価対象は誤課金を避けるため1回につき1件 +- 結果はGit管理外の`evaluation/results/local/`へ保存 +- APIキーの値はログ・結果ファイルへ出力しない diff --git a/evaluation/baseline.md b/evaluation/baseline.md new file mode 100644 index 0000000..3802904 --- /dev/null +++ b/evaluation/baseline.md @@ -0,0 +1,35 @@ +# Phase 0 ベースライン + +計測日: 2026年7月14日 + +## 自動評価環境 + +- テストランナー: Vitest +- 合成分類フィクスチャ: 36件 +- 決算コンテキスト対象: 18件 +- テスト結果: 59件成功 +- `type-check`、`lint`、プロダクションビルド: 成功 + +## 文書分類 + +| 指標 | 結果 | +| ------------------------- | -------------- | +| Phase 0実装の再現 | 36/36(100%) | +| 11分類の目標に対する一致 | 29/36(80.6%) | +| Phase 2で再分類するケース | 7件 | + +Phase 2で再分類する対象は、株主優待2件、株式分割1件、資本政策1件、事業進捗2件、ガバナンス1件である。 + +## 未計測 + +以下は公開PDFコーパスとLLM API実行が必要なため、合成フィクスチャだけのPhase 0では未計測とする。 + +- 主要数値一致率 +- 進捗率計算一致率 +- 根拠ページ一致率 +- JSON構造成功率 +- 同一情報の重複率 +- 人手による有用性比較 +- モデル別コストと処理時間 + +これらを未計測のまま「改善済み」と判定しない。実PDFコーパスの登録後、同一抽出本文・同一モデル・同一設定で現行版と改善版を比較する。 diff --git a/evaluation/fixtures/classification-cases.json b/evaluation/fixtures/classification-cases.json new file mode 100644 index 0000000..e572f6d --- /dev/null +++ b/evaluation/fixtures/classification-cases.json @@ -0,0 +1,260 @@ +[ + { + "id": "earnings-q1-jp-consolidated-01", + "title": "2026年3月期 第1四半期決算短信〔日本基準〕(連結)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { "period": "q1", "accountingStandard": "jpGaap", "isConsolidated": true } + }, + { + "id": "earnings-q1-jp-standalone-02", + "title": "2026年3月期 第1四半期決算短信〔日本基準〕(非連結)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { "period": "q1", "accountingStandard": "jpGaap", "isConsolidated": false } + }, + { + "id": "earnings-q1-ifrs-03", + "title": "2026年12月期 第1四半期決算短信〔IFRS〕(連結)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { "period": "q1", "accountingStandard": "ifrs", "isConsolidated": true } + }, + { + "id": "earnings-q1-usgaap-04", + "title": "2026年12月期 第1四半期決算短信〔米国基準〕(連結)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { "period": "q1", "accountingStandard": "usGaap", "isConsolidated": true } + }, + { + "id": "earnings-q2-jp-consolidated-05", + "title": "2026年3月期 第2四半期(中間期)決算短信〔日本基準〕(連結)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { "period": "q2", "accountingStandard": "jpGaap", "isConsolidated": true } + }, + { + "id": "earnings-q2-jp-standalone-06", + "title": "2026年3月期 中間決算短信〔日本基準〕(個別)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { "period": "q2", "accountingStandard": "jpGaap", "isConsolidated": false } + }, + { + "id": "earnings-q2-ifrs-07", + "title": "2026年12月期 第2四半期決算短信〔国際会計基準〕(連結)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { "period": "q2", "accountingStandard": "ifrs", "isConsolidated": true } + }, + { + "id": "earnings-q2-2q-08", + "title": "2026年8月期 2Q決算短信〔日本基準〕(連結)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { "period": "q2", "accountingStandard": "jpGaap", "isConsolidated": true } + }, + { + "id": "earnings-q3-jp-consolidated-09", + "title": "2026年3月期 第3四半期決算短信〔日本基準〕(連結)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { "period": "q3", "accountingStandard": "jpGaap", "isConsolidated": true } + }, + { + "id": "earnings-q3-jp-standalone-10", + "title": "2026年3月期 第3四半期決算短信〔日本基準〕(単体)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { "period": "q3", "accountingStandard": "jpGaap", "isConsolidated": false } + }, + { + "id": "earnings-q3-ifrs-11", + "title": "2026年12月期 3Q決算短信〔IFRS〕(連結)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { "period": "q3", "accountingStandard": "ifrs", "isConsolidated": true } + }, + { + "id": "earnings-q3-usgaap-12", + "title": "2026年12月期 第3四半期決算短信〔米国基準〕(連結)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { "period": "q3", "accountingStandard": "usGaap", "isConsolidated": true } + }, + { + "id": "earnings-full-jp-consolidated-13", + "title": "2026年3月期 決算短信〔日本基準〕(連結)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { + "period": "fullYear", + "accountingStandard": "jpGaap", + "isConsolidated": true + } + }, + { + "id": "earnings-full-jp-standalone-14", + "title": "2026年3月期 決算短信〔日本基準〕(個別)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { + "period": "fullYear", + "accountingStandard": "jpGaap", + "isConsolidated": false + } + }, + { + "id": "earnings-full-ifrs-15", + "title": "2026年12月期 決算短信〔IFRS〕(連結)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { + "period": "fullYear", + "accountingStandard": "ifrs", + "isConsolidated": true + } + }, + { + "id": "earnings-full-usgaap-16", + "title": "2026年12月期 決算短信〔米国基準〕(連結)", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { + "period": "fullYear", + "accountingStandard": "usGaap", + "isConsolidated": true + } + }, + { + "id": "earnings-quarter-generic-17", + "title": "四半期決算短信の補足説明資料", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { + "period": "fullYear", + "accountingStandard": "jpGaap", + "isConsolidated": true + } + }, + { + "id": "earnings-full-correction-18", + "title": "2026年3月期 決算短信の一部訂正について", + "baselineType": "earnings", + "targetType": "earnings", + "expectedContext": { + "period": "fullYear", + "accountingStandard": "jpGaap", + "isConsolidated": true + } + }, + { + "id": "revision-full-up-19", + "title": "通期業績予想の上方修正に関するお知らせ", + "baselineType": "earningsRevision", + "targetType": "earningsRevision" + }, + { + "id": "revision-full-down-20", + "title": "通期業績予想の下方修正に関するお知らせ", + "baselineType": "earningsRevision", + "targetType": "earningsRevision" + }, + { + "id": "revision-range-21", + "title": "業績予想レンジの修正に関するお知らせ", + "baselineType": "earningsRevision", + "targetType": "earningsRevision" + }, + { + "id": "revision-dividend-combined-22", + "title": "業績予想及び配当予想の修正に関するお知らせ", + "baselineType": "earningsRevision", + "targetType": "earningsRevision" + }, + { + "id": "revision-consolidated-23", + "title": "連結業績予想の修正について", + "baselineType": "earningsRevision", + "targetType": "earningsRevision" + }, + { + "id": "revision-individual-24", + "title": "個別業績予想の修正に関するお知らせ", + "baselineType": "earningsRevision", + "targetType": "earningsRevision" + }, + { + "id": "shareholder-benefit-expand-25", + "title": "株主優待制度の変更(拡充)に関するお知らせ", + "baselineType": "other", + "targetType": "shareholderBenefit" + }, + { + "id": "shareholder-benefit-abolish-26", + "title": "株主優待制度の廃止に関するお知らせ", + "baselineType": "other", + "targetType": "shareholderBenefit" + }, + { + "id": "dividend-increase-27", + "title": "剰余金の配当(増配)に関するお知らせ", + "baselineType": "dividend", + "targetType": "dividend" + }, + { + "id": "share-repurchase-28", + "title": "自己株式の取得に係る事項の決定に関するお知らせ", + "baselineType": "shareRepurchase", + "targetType": "shareRepurchase" + }, + { + "id": "stock-split-29", + "title": "株式分割及び定款の一部変更に関するお知らせ", + "baselineType": "other", + "targetType": "stockSplit" + }, + { + "id": "capital-policy-30", + "title": "資本業務提携及び第三者割当増資に関するお知らせ", + "baselineType": "other", + "targetType": "capitalPolicy" + }, + { + "id": "ma-acquisition-31", + "title": "子会社の株式取得に関するお知らせ", + "baselineType": "ma", + "targetType": "ma" + }, + { + "id": "ma-merger-32", + "title": "連結子会社間の吸収合併に関するお知らせ", + "baselineType": "ma", + "targetType": "ma" + }, + { + "id": "business-update-monthly-33", + "title": "2026年6月度 月次売上高に関するお知らせ", + "baselineType": "other", + "targetType": "businessUpdate" + }, + { + "id": "business-update-orders-34", + "title": "受注状況及び受注残高に関するお知らせ", + "baselineType": "other", + "targetType": "businessUpdate" + }, + { + "id": "governance-officers-35", + "title": "取締役及び執行役員の異動に関するお知らせ", + "baselineType": "other", + "targetType": "governance" + }, + { + "id": "other-office-move-36", + "title": "本店移転に関するお知らせ", + "baselineType": "other", + "targetType": "other" + } +] diff --git a/evaluation/fixtures/real-pdf-cases.json b/evaluation/fixtures/real-pdf-cases.json new file mode 100644 index 0000000..09858b4 --- /dev/null +++ b/evaluation/fixtures/real-pdf-cases.json @@ -0,0 +1,182 @@ +[ + { + "id": "140120260709590576", + "publishedDate": "2026-07-14", + "code": "33870", + "company": "クリエイト・レストランツ・ホールディングス", + "title": "2027年2月期第1四半期決算短信〔IFRS〕(連結)", + "expectedType": "earnings", + "url": "https://www.release.tdnet.info/inbs/140120260709590576.pdf", + "requiredTerms": ["売上収益", "営業利益"] + }, + { + "id": "140120260714592721", + "publishedDate": "2026-07-14", + "code": "92150", + "company": "CaSy", + "title": "2026年11月期 第2四半期(中間期)決算短信〔日本基準〕(連結)", + "expectedType": "earnings", + "url": "https://www.release.tdnet.info/inbs/140120260714592721.pdf", + "requiredTerms": ["売上高", "経常利益"] + }, + { + "id": "140120260714593346", + "publishedDate": "2026-07-14", + "code": "55780", + "company": "ARアドバンストテクノロジ", + "title": "2026年8月期 第3四半期決算短信〔日本基準〕(連結)", + "expectedType": "earnings", + "url": "https://www.release.tdnet.info/inbs/140120260714593346.pdf", + "requiredTerms": ["売上高", "経常利益"] + }, + { + "id": "140120260708589925", + "publishedDate": "2026-07-14", + "code": "505A0", + "company": "ギークリー", + "title": "2026年5月期 決算短信〔日本基準〕(非連結)", + "expectedType": "earnings", + "url": "https://www.release.tdnet.info/inbs/140120260708589925.pdf", + "requiredTerms": ["売上高", "営業利益"] + }, + { + "id": "140120260713592617", + "publishedDate": "2026-07-14", + "code": "52460", + "company": "ELEMENTS", + "title": "2026年11月期 第2四半期(中間期)決算短信〔日本基準〕(連結)", + "expectedType": "earnings", + "url": "https://www.release.tdnet.info/inbs/140120260713592617.pdf", + "requiredTerms": ["営業利益", "経常利益"] + }, + { + "id": "140120260713592426", + "publishedDate": "2026-07-14", + "code": "24710", + "company": "エスプール", + "title": "2026年11月期 第2四半期(中間期)決算短信〔IFRS〕(連結)", + "expectedType": "earnings", + "url": "https://www.release.tdnet.info/inbs/140120260713592426.pdf", + "requiredTerms": ["売上収益", "税引前利益"] + }, + { + "id": "140120260713591990", + "publishedDate": "2026-07-14", + "code": "464A0", + "company": "QPSホールディングス", + "title": "2026年5月期 決算短信〔日本基準〕(連結)", + "expectedType": "earnings", + "url": "https://www.release.tdnet.info/inbs/140120260713591990.pdf", + "requiredTerms": ["営業利益", "経常利益"] + }, + { + "id": "140120260713592047", + "publishedDate": "2026-07-14", + "code": "138A0", + "company": "光フードサービス", + "title": "2026年11月期 第2四半期(中間期)決算短信〔日本基準〕(非連結)", + "expectedType": "earnings", + "url": "https://www.release.tdnet.info/inbs/140120260713592047.pdf", + "requiredTerms": ["売上高", "経常利益"] + }, + { + "id": "140120260714593203", + "publishedDate": "2026-07-14", + "code": "62250", + "company": "エコム", + "title": "通期業績予想の修正に関するお知らせ", + "expectedType": "earningsRevision", + "url": "https://www.release.tdnet.info/inbs/140120260714593203.pdf", + "requiredTerms": ["通期業績予想", "前回発表予想"] + }, + { + "id": "140120260714593388", + "publishedDate": "2026-07-14", + "code": "46680", + "company": "明光ネットワークジャパン", + "title": "株主優待制度の変更及び拡充に関するお知らせ", + "expectedType": "shareholderBenefit", + "url": "https://www.release.tdnet.info/inbs/140120260714593388.pdf", + "requiredTerms": ["株主優待", "継続保有"] + }, + { + "id": "140120260714593367", + "publishedDate": "2026-07-14", + "code": "46680", + "company": "明光ネットワークジャパン", + "title": "2026年8月期剰余金の配当(増配)に関するお知らせ", + "expectedType": "dividend", + "url": "https://www.release.tdnet.info/inbs/140120260714593367.pdf", + "requiredTerms": ["増配", "1株当たり"] + }, + { + "id": "140120260709590524", + "publishedDate": "2026-07-14", + "code": "93130", + "company": "丸八倉庫", + "title": "自己株式の取得及び自己株式立会外買付取引(ToSTNeT-3)による自己株式の買付けに関するお知らせ", + "expectedType": "shareRepurchase", + "url": "https://www.release.tdnet.info/inbs/140120260709590524.pdf", + "requiredTerms": ["自己株式", "取得価額"] + }, + { + "id": "140120260612569757", + "publishedDate": "2026-06-25", + "code": "68630", + "company": "ニレコ", + "title": "株式分割及び株式分割に伴う定款の一部変更並びに配当予想の修正に関するお知らせ", + "expectedType": "stockSplit", + "url": "https://www.release.tdnet.info/inbs/140120260612569757.pdf", + "requiredTerms": ["株式分割", "3株の割合"] + }, + { + "id": "140120260714592771", + "publishedDate": "2026-07-14", + "code": "34900", + "company": "アズ企画設計", + "title": "第三者割当による第7回及び第8回新株予約権(行使価額修正条項選択権付)並びに第9回新株予約権(行使価額固定型)の発行条件等の決定に関するお知らせ", + "expectedType": "capitalPolicy", + "url": "https://www.release.tdnet.info/inbs/140120260714592771.pdf", + "requiredTerms": ["新株予約権", "希薄化"] + }, + { + "id": "140120260709590424", + "publishedDate": "2026-07-13", + "code": "551A0", + "company": "IZUMI", + "title": "株式会社富士設計の株式の取得(子会社化)に関するお知らせ", + "expectedType": "ma", + "url": "https://www.release.tdnet.info/inbs/140120260709590424.pdf", + "requiredTerms": ["富士設計", "取得価額"] + }, + { + "id": "140120260714592844", + "publishedDate": "2026-07-14", + "code": "39790", + "company": "うるる", + "title": "2026年6月 月次IRレポート (NJSS月次情報含む)", + "expectedType": "businessUpdate", + "url": "https://www.release.tdnet.info/inbs/140120260714592844.pdf", + "requiredTerms": ["月次", "NJSS"] + }, + { + "id": "140120260714592726", + "publishedDate": "2026-07-14", + "code": "39550", + "company": "イムラ", + "title": "人事異動に関するお知らせ", + "expectedType": "governance", + "url": "https://www.release.tdnet.info/inbs/140120260714592726.pdf", + "requiredTerms": ["人事異動", "執行役員"] + }, + { + "id": "140120260714593268", + "publishedDate": "2026-07-14", + "code": "41930", + "company": "ファブリカホールディングス", + "title": "サイバー攻撃による不正アクセス及び情報漏洩等に関するお知らせとお詫び", + "expectedType": "other", + "url": "https://www.release.tdnet.info/inbs/140120260714593268.pdf", + "requiredTerms": ["不正アクセス", "情報漏洩"] + } +] diff --git a/evaluation/phase-2.md b/evaluation/phase-2.md new file mode 100644 index 0000000..5d766b6 --- /dev/null +++ b/evaluation/phase-2.md @@ -0,0 +1,20 @@ +# Phase 2 文書分類評価 + +計測日: 2026年7月14日 + +## 結果 + +| 指標 | Phase 0 | Phase 2 | +| ------------------------ | -------------- | ------------- | +| 11分類の目標に対する一致 | 29/36(80.6%) | 36/36(100%) | +| 再分類対象 | 7件 | 0件 | + +新たに株主優待、株式分割・併合、資本政策、事業進捗・月次、ガバナンスを分類できるようにした。既存の決算、業績修正、配当、自己株式取得、M&A、その他の評価ケースも維持している。 + +## 追加修正 + +決算コンテキスト判定で、タイトルの「非連結」を個別決算として扱うようにした。 + +## 制約 + +この結果は合成タイトル36件に対するもの。公開TDnet資料による分類正解率は、実PDFコーパス登録後に別途計測する。 diff --git a/evaluation/phase-3.md b/evaluation/phase-3.md new file mode 100644 index 0000000..ef673e2 --- /dev/null +++ b/evaluation/phase-3.md @@ -0,0 +1,20 @@ +# Phase 3 決算分析プロンプト評価 + +計測日: 2026年7月14日 + +## 自動検証 + +- 1パスと2パスの双方に利益の質を追加 +- 1パスと2パスの双方に短期・中期・長期の見方を追加 +- 好材料、リスク、次回確認点を追加 +- 主要数値と判断根拠へページ番号を追加 +- 予想据え置きだけを理由に大幅減点しない規則を追加 +- 市場コンセンサス、現在株価、バリュエーションを推測しない規則を追加 +- 好材料・リスクがない場合に空配列を許可 +- プロンプト構造テスト4件を追加 + +全自動テスト、型チェック、lint、プロダクションビルドは成功した。 + +## 未計測 + +公開PDFとLLMを使った主要数値一致率、一時損益判定、根拠ページ一致率、人手による有用性比較は未計測。実PDF評価前に「精度が向上した」とは判定しない。 diff --git a/evaluation/phase-4.md b/evaluation/phase-4.md new file mode 100644 index 0000000..b8e516b --- /dev/null +++ b/evaluation/phase-4.md @@ -0,0 +1,18 @@ +# Phase 4: 非決算開示の専用分析 + +## 実施内容 + +- 株主優待、株式分割・併合、資本政策、月次・事業進捗、ガバナンスに専用の抽出スキーマ、1パスプロンプト、2パス整形テンプレートを追加 +- 業績修正、配当、M&A、自己株式取得を含む非決算開示に短期・中期・長期の見方、好材料、リスク、次回確認点、評価理由を追加 +- 株式分割単体の価値創出断定、月次実績からの通期外挿、本文にない希薄化率・業績影響の推測を禁止 +- 根拠ページ付きの事実を維持する出力形式を採用 + +## 自動検証 + +- 11文書タイプの分類テストを含む全89テストが成功 +- TypeScript型検査、ESLint、プロダクションビルドが成功 +- 新規5分類について、専用フィールド・固有制約・整形テンプレート・投資判断セクションの存在をテスト + +## 評価上の制約 + +このPhaseで確認したのは静的なプロンプト契約と合成テストです。実際のTDnet PDFと各LLMプロバイダーを使った正解率・再現率・根拠一致率は未測定のため、精度向上を実測済みとは扱いません。 diff --git a/evaluation/phase-5.md b/evaluation/phase-5.md new file mode 100644 index 0000000..54a72c9 --- /dev/null +++ b/evaluation/phase-5.md @@ -0,0 +1,19 @@ +# Phase 5: 構造化出力の検証と修復 + +## 実施内容 + +- LLMプロバイダーのJSON出力能力を分離し、OpenAIではJSON objectモードを利用 +- パス1応答に対し、JSON解析、文書別必須フィールド、投資判断の方向性、配列上限、根拠ページ範囲を実行時検証 +- 検証失敗時は、元PDFを再送せず、壊れた応答・検証エラー・出力形式だけで1回修復 +- 修復後も不正な場合は、生のJSONを表示せず1パス要約へ安全にフォールバック +- Anthropic、Google、OpenRouter、カスタムAPIは能力を過大評価せず、プロンプト制約と実行時検証を使用 + +## 自動検証 + +- 全95テストが成功 +- JSONコードブロック除去、必須フィールド欠落、不正enum、件数超過、PDF範囲外ページ、修復指示、OpenAIリクエスト形式をテスト +- TypeScript型検査、ESLint、プロダクションビルドが成功 + +## 評価上の制約 + +実APIで各モデルのJSON遵守率と修復成功率は未測定です。プロバイダーやモデルごとに対応状況が変わり得るため、未知の互換APIにはJSONモードを自動適用していません。 diff --git a/evaluation/phase-6.md b/evaluation/phase-6.md new file mode 100644 index 0000000..fcb694e --- /dev/null +++ b/evaluation/phase-6.md @@ -0,0 +1,19 @@ +# Phase 6: キャッシュ分離・表示・文書更新 + +## 実施内容 + +- 分析スキーマ版、プロバイダー、モデル、抽出方式、1/2パス方式から分析指紋を生成 +- PDF URLと分析指紋を組み合わせてキャッシュし、旧仕様や別モデルの要約が混在しないよう変更 +- 要約メタデータに分析条件を保存し、抽出ページ情報とともに画面表示 +- カスタムモデル名はHTMLエスケープして表示 +- READMEとCLAUDE.mdを11分類、根拠ページ、時間軸分析、JSON検証・修復、現行キャッシュ仕様へ更新 + +## 自動検証 + +- 全98テストが成功 +- 分析指紋の設定差分、キャッシュキー、分析条件表示、HTMLエスケープをテスト +- TypeScript型検査、ESLint、プロダクションビルドが成功 + +## 移行上の注意 + +旧形式のキャッシュは削除せず保持しますが、新しい分析指紋付きキーからは参照されません。必要に応じて設定画面からキャッシュを削除できます。 diff --git a/evaluation/phase-7.md b/evaluation/phase-7.md new file mode 100644 index 0000000..0fd5ed2 --- /dev/null +++ b/evaluation/phase-7.md @@ -0,0 +1,20 @@ +# Phase 7: 実験的スコアリング + +## 実施内容 + +- 検証済みの短期・中期・長期スタンスを20/35/50/65/80へ固定換算 +- 文書タイプごとに時間軸の重みを定義し、判断不能の時間軸は除外して再加重 +- 総合点、判定、既存の評価理由、根拠ページ、試験値の注意書きを表示 +- LLMには点数を生成させず、ローカルの決定論的な関数で計算 +- 設定画面に既定OFFのトグルを追加し、2パス要約だけで有効化 +- スコアON/OFFを分析キャッシュ指紋へ含め、表示の混在を防止 + +## 自動検証 + +- 全101テストが成功 +- 文書タイプ別の加重、判断不能時の再加重、根拠ページ、注意書き、スコアON/OFFのキャッシュ分離をテスト +- TypeScript型検査、ESLint、プロダクションビルドが成功 + +## 有効化上の制約 + +実PDF・実APIでのモデル別分布、同一PDFを3回実行した際の再現性、投資成果との相関は未評価です。このため実験機能のまま既定OFFとし、校正済みの投資スコアとは扱いません。LLMが出すスタンス自体の変動は、固定換算だけでは抑制できません。 diff --git a/evaluation/results/2026-07-14-real-pdf.md b/evaluation/results/2026-07-14-real-pdf.md new file mode 100644 index 0000000..4cd444d --- /dev/null +++ b/evaluation/results/2026-07-14-real-pdf.md @@ -0,0 +1,133 @@ +# TDnet実PDFスモーク評価(2026-07-14) + +## 対象 + +- TDnet公式の公開PDF 18件 +- 決算短信8件、残り10文書タイプを各1件 +- 公開日は2026年7月14日を中心とし、当日に存在しなかった株式分割とM&Aは直近資料を使用 +- PDFは`/tmp/tdnet-real-eval`へ一時保存し、リポジトリには公式URLとメタデータだけを保存 + +## 結果 + +| 評価項目 | 結果 | +| -------------------------- | ------------: | +| PDF取得 | 18/18 | +| PDF.jsページ抽出 | 18/18 | +| 全ページ非空 | 146/146ページ | +| `[PDF_PAGE:N]`境界数 | 146/146 | +| 文書別必須語 | 36/36 | +| タイトル文書分類 | 18/18(100%) | +| IFRS四半期コンテキスト | 成功 | +| 日本基準中間期コンテキスト | 成功 | +| LLM JSON検証 | 8/8(成功) | +| LLMエンドツーエンド完走 | 8/8(成功) | +| 主要決算数値・根拠 | 73/73(一致) | + +PDF.jsはフォント関連の警告を出した資料があったものの、全ページから文字を抽出でき、指定した主要語も確認できた。 + +## 初回評価で発見した不具合 + +1. `株式分割...配当予想の修正`は、配当判定が株式分割より先に実行されるため`dividend`になる。期待値は`stockSplit`。 +2. `人事異動に関するお知らせ`は、ガバナンス用パターンに`人事異動`がなく`other`になる。 +3. `第1四半期`と`IFRS`の全角英数字を正規化していないため、`fullYear`かつ`jpGaap`になる。 + +上記3件はタイトルのNFKC正規化、判定順、語彙追加で修正し、`real-pdf-corpus.test.ts`の通常テストとして固定した。 + +## 実API評価で発見した不具合 + +OpenRouter経由で決算短信1件を2パス評価し、主要数値と根拠ページは一致した。一方、全角タイトルの誤判定に起因する出力形式の誤り、IFRSで営業利益を使った★評価、通期予想の★評価、損益ではない合併施策の`oneOffItems`混入を確認した。 + +タイトル正規化に加え、会計基準別の評価指標、進捗率、★評価を抽出JSONから決定論的に再計算し、損益語彙のない施策説明を一時損益から除外する補正を追加した。APIキーはソース、結果、ログへ保存しない。 + +## 修正後の実API再評価 + +同じPDFと`google/gemini-3.1-flash-lite-preview`を使って再評価し、JSON検証は修復なしで成功した。 + +- タイトル判定: 第1四半期・IFRS・連結を正しく認識 +- 実績評価: 税引前利益+7.7%を`★★★☆☆` +- 通期予想評価: 税引前利益+1.8%を`★★☆☆☆` +- 進捗評価: 3,221百万円 ÷ 8,000百万円 = 40.3%、Q1標準25%に対して`★★★★★` +- 一時損益: 合併施策の説明を除外し、実際のアドバイザリー費用だけを保持 +- 表示: `税引前利益ベース`および`税引前利益: 40.3%`へ統一 + +## 別PDFでの再評価 + +CaSyの「2026年11月期 第2四半期(中間期)決算短信〔日本基準〕(連結)」をTDnetから追加取得し、同じモデルで評価した。 + +- PDF抽出: 9/9ページ、ページ境界9/9、必須語2/2 +- コンテキスト: Q2・日本基準・連結を正しく認識 +- JSON検証: 修復なしで成功 +- 主要数値: 実績4項目は詳細損益計算書の7ページ目、通期予想4項目は1ページ目と一致 +- 表示: 経常利益ベース、赤字実績と赤字通期予想から損失消化率を算出 +- 一時損益: 空配列で、事業施策の誤混入なし + +初回は、前年同期の経常利益16百万円から当期経常損失5百万円への赤字転落が、`—(評価対象指標を取得不能)`になった。抽出JSONの業績項目が前年金額を保持せず、増減率もPDF上では`-`だったことが原因。 + +修正後は業績項目に`previousAmount`を追加し、比較金額の符号から黒字転換、赤字転落、赤字縮小、赤字拡大を決定論的に判定する。分析スキーマをv6へ更新し、赤字実績と赤字通期予想では損失の絶対値から損失消化率を算出する。同じPDFを再評価した結果、修復なしで次の表示になった。 + +- 実績: `★☆☆☆☆(赤字転落: 16,185千円 → △5,818千円)` +- 進捗: `★★★★★(損失消化率4.2% / 標準50%)` +- 進捗明細: `経常利益の損失消化率: 4.2%` +- 通期予想: `★—(赤字・前期比を算出不能)` + +事業P/L専用抽出を追加して再評価した結果、損益計算書の主要段階も修復なしで取得できた。 + +- 売上高: 1,033,710千円、前年同期比+15.1%(増収) +- 売上総利益: 380,708千円、前年同期比+12.6%(粗利増加) +- 営業利益: 13,217千円 → △6,758千円(赤字転落) +- 全社決算評価の経常利益とは別セクションで表示 + +## 複数社での決算短信評価 + +決算期、連結区分、損益状態が異なる3社を追加し、同じ`google/gemini-3.1-flash-lite-preview`で2パス評価した。3件ともJSON検証は修復なしで成功し、実績4項目、通期予想2項目、事業P/L 3項目の数値と根拠ページはPDFに一致した。 + +| 会社 | コンテキスト | 決算評価・事業P/L | 確認した問題 | +| --- | --- | --- | --- | +| ARアドバンストテクノロジ | Q3・日本基準・連結 | 経常利益+63.3%、進捗77.7%、事業P/L 3項目とも妥当 | `キャッシュ・フロー計算書は作成していない`を営業CFとして表示する。株式分割を株主還元として扱う | +| ギークリー | 通期・日本基準・非連結 | 経常利益+202.3%、来期予想+17.6%、事業P/L 3項目とも妥当 | 非連結資料を`連結実績`と表示する。来期予想の評価欄に当期配当の修正`30円→32円`を表示し、来期予想`32円→57円`と時間軸が混在する | +| ELEMENTS | Q2・日本基準・連結 | 経常利益の黒字転換、進捗99.3%〜149.0%、通期予想の黒字転換、事業P/L 3項目とも妥当 | 重大な問題なし。進捗率は短信サマリーの百万円単位で計算するため、詳細値での計算とは約0.2ポイント差がある | + +ギークリーの2件は投資判断時に決算の範囲と配当の比較対象を誤認させるため、優先的な修正対象とする。ARアドバンストテクノロジの2件は数値評価を変えないが、意味のある情報だけを表示する観点で改善対象とする。ELEMENTSでは、前年赤字でも比較金額から黒字転換を判定でき、レンジ予想に対する進捗率も表示できた。 + +## LLM意味分類による改善後の再評価 + +会社固有の表現を固定語句で判定せず、LLMが根拠文、意味カテゴリ、確信度を構造化して返す分析スキーマv8へ更新した。コード側はタイトル由来の連結区分、配当の年度、意味分類の整合性、表示条件だけを検証する。同じ3社を最終スキーマで再評価し、全件がJSON検証を修復なしで通過した。 + +- ARアドバンストテクノロジ: CF未作成の説明と株式分割を利益の質から除外。配当予想には「1:3株式分割を考慮しており単純比較困難」と表示 +- ギークリー: `2026年5月期 実績`と非連結で表示。当期配当修正`30円→32円`と来期配当予想`32円→57円`を分離。金額付き営業CFだけを表示 +- ELEMENTS: 黒字転換と進捗率を維持。ゼロをまたぐ旧経常利益予想`△100〜100百万円`について、根拠のない増減率を作らず新予想`200〜300百万円`との金額比較で表示 + +最終評価でも3社の実績、通期予想、事業P/Lの主要27項目はPDFと一致した。意味分類が`unknown`の場合は数値自体を削除せず、未確定の説明文だけを表示しない。 + +## 追加3社での汎化評価 + +前回と重複しないエスプール、QPSホールディングス、光フードサービスを追加した。IFRS中間連結、日本基準通期連結、日本基準中間非連結の3条件で、合計39ページを評価した。 + +| 会社 | コンテキスト | 数値・文脈 | 問題 | +| --- | --- | --- | --- | +| エスプール | Q2・IFRS・連結 | 税引前利益△31.2%、進捗18.9%、通期予想+14.7%は妥当 | 配当年度の`interpretation: null`をJSON検証が受理し、補正時の`trim()`で実行時エラー | +| QPSホールディングス | 通期・日本基準・連結 | 前期比較なし、営業赤字、経常黒字、来期経常利益+71.4%を正しく区別 | 1回のJSON修復後に完走。ただし営業利益率が`前年同期null、前年差null`、配当内訳が`中間 / 期末0.00円`と表示される | +| 光フードサービス | Q2・日本基準・非連結 | 経常利益+38.3%、進捗74.8%、非連結表示、増配予想は妥当 | エスプールと同じ`interpretation: null`で実行時エラー | + +クラッシュした2社は、診断時だけ`null`を空欄へ置き換えて後段を確認した。両社とも主要数値、★評価、連結区分、配当の時間軸はPDFと一致しており、LLMの意味理解ではなくnullable値の検証・整形境界が原因と判断できる。製品コードはこの評価では変更していない。 + +## nullable境界修正後の再評価 + +分析スキーマv9でnullable値の型検証と安全な正規化を追加し、営業利益率の比較文と配当内訳はコード側で欠損を除いて表示文字列を生成するようにした。修正前後の配当額がない`currentRevision`オブジェクトは、修正情報なしとして全体を`null`へ正規化する。 + +同じ3社を製品コードの通常経路で最終再評価し、全社がJSON修復なしで完走した。 + +- エスプール: `interpretation: null`によるクラッシュなし。IFRS税引前利益評価と配当据置を維持 +- QPSホールディングス: 営業利益率は`△21.9%`のみを表示。配当は`期末0.00円 / 年間0.00円`となり、`null`と空の区切りを除去 +- 光フードサービス: `interpretation: null`によるクラッシュなし。配当修正がない場合の`null→null`表示も除去 + +## 再実行 + +公式URLからPDFを取得して任意のディレクトリへ保存後、次を実行する。 + +```bash +node evaluation/scripts/check-real-pdfs.mjs /path/to/pdf-directory +npm test -- --run src/lib/real-pdf-corpus.test.ts +``` + +LLM評価の次段階では、少なくとも決算、業績修正、配当、株主優待の4件について人手の期待値JSONを作り、主要数値一致、根拠ページ一致、JSON検証成功率を計測する。 diff --git a/evaluation/scripts/check-real-pdfs.mjs b/evaluation/scripts/check-real-pdfs.mjs new file mode 100644 index 0000000..85380aa --- /dev/null +++ b/evaluation/scripts/check-real-pdfs.mjs @@ -0,0 +1,62 @@ +import { readFile, writeFile, mkdir } from 'node:fs/promises'; +import path from 'node:path'; +import process from 'node:process'; +import { getDocument } from 'pdfjs-dist/legacy/build/pdf.mjs'; + +const root = process.cwd(); +const manifestPath = path.join(root, 'evaluation/fixtures/real-pdf-cases.json'); +const pdfDirectory = process.argv[2] || path.join(root, 'evaluation/fixtures/real-pdfs'); +const manifest = JSON.parse(await readFile(manifestPath, 'utf8')); +const results = []; + +for (const item of manifest) { + const filePath = path.join(pdfDirectory, `${item.id}.pdf`); + let data; + try { + data = new Uint8Array(await readFile(filePath)); + } catch { + results.push({ id: item.id, status: 'missing', filePath }); + continue; + } + + const document = await getDocument({ data, disableWorker: true }).promise; + const pages = []; + for (let pageNumber = 1; pageNumber <= document.numPages; pageNumber += 1) { + const page = await document.getPage(pageNumber); + const content = await page.getTextContent(); + const text = content.items + .map((entry) => ('str' in entry ? entry.str : '')) + .join(' ') + .replace(/\s+/g, ' ') + .trim(); + pages.push({ pageNumber, text }); + } + + const markedText = pages + .map(({ pageNumber, text }) => `[PDF_PAGE:${pageNumber}]\n${text}`) + .join('\n\n'); + const missingTerms = item.requiredTerms.filter((term) => !markedText.includes(term)); + const result = { + id: item.id, + expectedType: item.expectedType, + pages: document.numPages, + nonEmptyPages: pages.filter(({ text }) => text.length > 0).length, + characters: markedText.length, + pageMarkers: (markedText.match(/\[PDF_PAGE:\d+\]/g) || []).length, + missingTerms, + status: + missingTerms.length === 0 && pages.every(({ text }) => text.length > 0) ? 'ok' : 'warning', + }; + results.push(result); + + await mkdir(path.join(pdfDirectory, 'text'), { recursive: true }); + await writeFile(path.join(pdfDirectory, 'text', `${item.id}.txt`), markedText, 'utf8'); +} + +const checked = results.filter(({ status }) => status !== 'missing'); +const passed = checked.filter(({ status }) => status === 'ok'); +console.table(results); +console.log( + `PDF extraction: ${passed.length}/${checked.length} passed; missing files: ${results.length - checked.length}` +); +if (checked.length === 0 || passed.length !== checked.length) process.exitCode = 1; diff --git a/evaluation/scripts/run-real-llm.ts b/evaluation/scripts/run-real-llm.ts new file mode 100644 index 0000000..3837c5b --- /dev/null +++ b/evaluation/scripts/run-real-llm.ts @@ -0,0 +1,162 @@ +import { mkdir, readFile, writeFile } from 'node:fs/promises'; +import path from 'node:path'; +import process from 'node:process'; +import { detectEarningsContext, type DocumentType } from '../../src/lib/document-type'; +import { getFormatPrompt } from '../../src/lib/format-prompts'; +import { refineEarningsExtraction } from '../../src/lib/earnings-refinement'; +import { generateText, type ChatMessage, type LLMConfig } from '../../src/lib/llm-client'; +import { getProvider } from '../../src/lib/llm-providers'; +import { getExtractionPrompt } from '../../src/lib/prompts'; +import { getJsonSchema, type EarningsExtraction } from '../../src/lib/summary-schema'; +import { + buildJsonRepairMessages, + getProviderCapabilities, + parseAndValidateExtraction, +} from '../../src/lib/structured-output'; + +interface RealPdfCase { + id: string; + publishedDate: string; + code: string; + company: string; + title: string; + expectedType: DocumentType; + url: string; +} + +const root = process.cwd(); +const provider = process.env.TDNET_DIGEST_PROVIDER || 'openai'; +const apiKey = getApiKey(provider); +const model = process.env.TDNET_DIGEST_MODEL || getProvider(provider)?.defaultModel; +const baseUrl = process.env.TDNET_DIGEST_BASE_URL || undefined; +const caseId = process.env.TDNET_EVAL_CASE_ID || process.argv[2]; +const pdfDirectory = process.env.TDNET_EVAL_PDF_DIR || process.argv[3]; + +if (!caseId) throw new Error('TDNET_EVAL_CASE_IDまたは第1引数で評価対象IDを1件指定してください。'); +if (!pdfDirectory) { + throw new Error('TDNET_EVAL_PDF_DIRまたは第2引数でPDF評価ディレクトリを指定してください。'); +} +if (!apiKey) { + throw new Error( + 'APIキーがありません。TDNET_DIGEST_API_KEYまたはプロバイダー別APIキーを.envに設定してください。' + ); +} +if (!model) throw new Error('TDNET_DIGEST_MODELを設定してください。'); +if (provider === 'custom' && !baseUrl) { + throw new Error('customプロバイダーではTDNET_DIGEST_BASE_URLが必要です。'); +} + +const manifest = JSON.parse( + await readFile(path.join(root, 'evaluation/fixtures/real-pdf-cases.json'), 'utf8') +) as RealPdfCase[]; +const item = manifest.find(({ id }) => id === caseId); +if (!item) throw new Error(`評価対象ID ${caseId} はreal-pdf-cases.jsonにありません。`); + +const pdfText = await readFile(path.join(pdfDirectory, 'text', `${item.id}.txt`), 'utf8'); +const totalPages = (pdfText.match(/\[PDF_PAGE:\d+\]/g) || []).length; +if (totalPages === 0) { + throw new Error( + 'ページ境界付きテキストがありません。先にcheck-real-pdfs.mjsを実行してください。' + ); +} + +const earningsContext = + item.expectedType === 'earnings' ? detectEarningsContext(item.title) : undefined; +const capabilities = getProviderCapabilities(provider); +const extractionConfig: LLMConfig = { + provider, + apiKey, + model, + baseUrl, + temperature: 0, + ...(capabilities.jsonObject && { responseFormat: 'json_object' as const }), +}; + +console.log(`Evaluating ${item.id}: ${item.company} / ${item.expectedType}`); +console.log(`Provider: ${provider}, model: ${model}, pages: ${totalPages}`); + +const extractionPrompt = getExtractionPrompt(item.expectedType, pdfText, earningsContext); +let extractedText = await generateText(extractionConfig, toMessages(extractionPrompt)); +let validation = parseAndValidateExtraction(extractedText, item.expectedType, totalPages); +let repairAttempted = false; + +if (!validation.success) { + repairAttempted = true; + extractedText = await generateText( + extractionConfig, + buildJsonRepairMessages( + extractedText, + validation.errors, + getJsonSchema(item.expectedType, earningsContext) + ) + ); + validation = parseAndValidateExtraction(extractedText, item.expectedType, totalPages); +} + +if (!validation.success || !validation.data) { + await saveResult({ + item, + provider, + model, + totalPages, + repairAttempted, + success: false, + validationErrors: validation.errors, + }); + throw new Error(`JSON検証に失敗しました: ${validation.errors.join(' / ')}`); +} + +const extractionData = + item.expectedType === 'earnings' && earningsContext + ? refineEarningsExtraction(validation.data as EarningsExtraction, earningsContext, item.title) + : validation.data; +const formatPrompt = getFormatPrompt(item.expectedType, extractionData, earningsContext); +const summary = await generateText( + { ...extractionConfig, responseFormat: undefined, temperature: 0.3 }, + toMessages(formatPrompt) +); +const outputPath = await saveResult({ + item, + provider, + model, + totalPages, + repairAttempted, + success: true, + extraction: extractionData, + summary, +}); + +console.log(`Validation: success${repairAttempted ? ' after one repair' : ''}`); +console.log(`Result: ${outputPath}`); +console.log('\n' + summary); + +function getApiKey(selectedProvider: string): string | undefined { + if (process.env.TDNET_DIGEST_API_KEY) return process.env.TDNET_DIGEST_API_KEY; + const names: Record = { + openai: 'OPENAI_API_KEY', + anthropic: 'ANTHROPIC_API_KEY', + openrouter: 'OPENROUTER_API_KEY', + google: 'GOOGLE_API_KEY', + }; + const name = names[selectedProvider]; + return name ? process.env[name] : undefined; +} + +function toMessages(prompt: { system: string; user: string }): ChatMessage[] { + return [ + { role: 'system', content: prompt.system }, + { role: 'user', content: prompt.user }, + ]; +} + +async function saveResult(result: Record): Promise { + const directory = path.join(root, 'evaluation/results/local'); + await mkdir(directory, { recursive: true }); + const timestamp = new Date().toISOString().replace(/[:.]/g, '-'); + const outputPath = path.join(directory, `${caseId}-${provider}-${timestamp}.json`); + await writeFile( + outputPath, + JSON.stringify({ createdAt: new Date().toISOString(), ...result }, null, 2) + ); + return outputPath; +} diff --git a/package-lock.json b/package-lock.json index 5177f86..576cd12 100644 --- a/package-lock.json +++ b/package-lock.json @@ -1,12 +1,12 @@ { "name": "tdnet-digest", - "version": "0.4.2", + "version": "0.5.1", "lockfileVersion": 3, "requires": true, "packages": { "": { "name": "tdnet-digest", - "version": "0.4.2", + "version": "0.5.1", "dependencies": { "marked": "^17.0.4", "pdfjs-dist": "^5.4.394", @@ -28,8 +28,10 @@ "eslint-plugin-react-hooks": "^5.1.0", "prettier": "^3.4.2", "tailwindcss": "^4.0.0-beta.7", + "tsx": "^4.23.1", "typescript": "^5.7.2", - "vite": "^6.0.3" + "vite": "^6.0.3", + "vitest": "^4.1.10" }, "engines": { "node": ">=20.0.0" @@ -1680,6 +1682,13 @@ "win32" ] }, + "node_modules/@standard-schema/spec": { + "version": "1.1.0", + "resolved": "https://registry.npmjs.org/@standard-schema/spec/-/spec-1.1.0.tgz", + "integrity": "sha512-l2aFy5jALhniG5HgqrD6jXLi/rUWrKvqN/qJx6yoJsgKhblVd+iqqU4RCXavm/jPityDo5TCvKMnpjKnOriy0w==", + "dev": true, + "license": "MIT" + }, "node_modules/@tailwindcss/node": { "version": "4.1.17", "resolved": "https://registry.npmjs.org/@tailwindcss/node/-/node-4.1.17.tgz", @@ -1997,6 +2006,17 @@ "@babel/types": "^7.28.2" } }, + "node_modules/@types/chai": { + "version": "5.2.3", + "resolved": "https://registry.npmjs.org/@types/chai/-/chai-5.2.3.tgz", + "integrity": "sha512-Mw558oeA9fFbv65/y4mHtXDs9bPnFMZAL/jxdPFUpOHHIXX91mcgEHbS5Lahr+pwZFR8A7GQleRWeI6cGFC2UA==", + "dev": true, + "license": "MIT", + "dependencies": { + "@types/deep-eql": "*", + "assertion-error": "^2.0.1" + } + }, "node_modules/@types/chrome": { "version": "0.0.280", "resolved": "https://registry.npmjs.org/@types/chrome/-/chrome-0.0.280.tgz", @@ -2008,6 +2028,13 @@ "@types/har-format": "*" } }, + "node_modules/@types/deep-eql": { + "version": "4.0.2", + "resolved": "https://registry.npmjs.org/@types/deep-eql/-/deep-eql-4.0.2.tgz", + "integrity": "sha512-c9h9dVVMigMPc4bwTvC5dxqtqJZwQPePsWjPlpSOnojbor6pGqdk541lfA7AqFQr5pB1BRdq0juY9db81BwyFw==", + "dev": true, + "license": "MIT" + }, "node_modules/@types/estree": { "version": "1.0.8", "resolved": "https://registry.npmjs.org/@types/estree/-/estree-1.0.8.tgz", @@ -2330,6 +2357,129 @@ "vite": "^4.2.0 || ^5.0.0 || ^6.0.0 || ^7.0.0" } }, + "node_modules/@vitest/expect": { + "version": "4.1.10", + "resolved": "https://registry.npmjs.org/@vitest/expect/-/expect-4.1.10.tgz", + "integrity": "sha512-YsCn+qAk1GWjQOWFEsEcL2gNQ0zmVmQu3T03qP6UyjhtmdtwtbuI+DASn/7iQB3HGTXkdBwGddzxPlmiql5vlA==", + "dev": true, + "license": "MIT", + "dependencies": { + "@standard-schema/spec": "^1.1.0", + "@types/chai": "^5.2.2", + "@vitest/spy": "4.1.10", + "@vitest/utils": "4.1.10", + "chai": "^6.2.2", + "tinyrainbow": "^3.1.0" + }, + "funding": { + "url": "https://opencollective.com/vitest" + } + }, + "node_modules/@vitest/mocker": { + "version": "4.1.10", + "resolved": "https://registry.npmjs.org/@vitest/mocker/-/mocker-4.1.10.tgz", + "integrity": "sha512-v0xaezt+DKEmKfaxg133ldzADrwLGd7Ze1MfQQTYfvs8OqZIwbxyxaYURivwV7sWy5fqn3rH5uOrSp07bp44Ow==", + "dev": true, + "license": "MIT", + "dependencies": { + "@vitest/spy": "4.1.10", + "estree-walker": "^3.0.3", + "magic-string": "^0.30.21" + }, + "funding": { + "url": "https://opencollective.com/vitest" + }, + "peerDependencies": { + "msw": "^2.4.9", + "vite": "^6.0.0 || ^7.0.0 || ^8.0.0" + }, + "peerDependenciesMeta": { + "msw": { + "optional": true + }, + "vite": { + "optional": true + } + } + }, + "node_modules/@vitest/mocker/node_modules/estree-walker": { + "version": "3.0.3", + "resolved": "https://registry.npmjs.org/estree-walker/-/estree-walker-3.0.3.tgz", + "integrity": "sha512-7RUKfXgSMMkzt6ZuXmqapOurLGPPfgj6l9uRZ7lRGolvk0y2yocc35LdcxKC5PQZdn2DMqioAQ2NoWcrTKmm6g==", + "dev": true, + "license": "MIT", + "dependencies": { + "@types/estree": "^1.0.0" + } + }, + "node_modules/@vitest/pretty-format": { + "version": "4.1.10", + "resolved": "https://registry.npmjs.org/@vitest/pretty-format/-/pretty-format-4.1.10.tgz", + "integrity": "sha512-W1HsjSH4MXQ9YfmmhLAoIYf1HRfekQCGngeIgcei6MP5QQGWUe0gkopdZQaVCFO+JDJMrAJGwa5pRpNpvy4P8Q==", + "dev": true, + "license": "MIT", + "dependencies": { + "tinyrainbow": "^3.1.0" + }, + "funding": { + "url": "https://opencollective.com/vitest" + } + }, + "node_modules/@vitest/runner": { + "version": "4.1.10", + "resolved": "https://registry.npmjs.org/@vitest/runner/-/runner-4.1.10.tgz", + "integrity": "sha512-IKI6kpIH+LmpROplyLwBBaCfMgOZOMsygVa6BARD6ahA04VRuJSa6OaVG7kRvSEMD870Vd91rSSw0eegtWyLGg==", + "dev": true, + "license": "MIT", + "dependencies": { + "@vitest/utils": "4.1.10", + "pathe": "^2.0.3" + }, + "funding": { + "url": "https://opencollective.com/vitest" + } + }, + "node_modules/@vitest/snapshot": { + "version": "4.1.10", + "resolved": "https://registry.npmjs.org/@vitest/snapshot/-/snapshot-4.1.10.tgz", + "integrity": "sha512-xRkfOT1qpTAi/Ti4Y1LtfRc3kEuqxGw59eN2jN9pRWMtS/XDevekhcFSqvQqjUNGksfjMJu3Y+oJ+4Ypn2OaJw==", + "dev": true, + "license": "MIT", + "dependencies": { + "@vitest/pretty-format": "4.1.10", + "@vitest/utils": "4.1.10", + "magic-string": "^0.30.21", + "pathe": "^2.0.3" + }, + "funding": { + "url": "https://opencollective.com/vitest" + } + }, + "node_modules/@vitest/spy": { + "version": "4.1.10", + "resolved": "https://registry.npmjs.org/@vitest/spy/-/spy-4.1.10.tgz", + "integrity": "sha512-PLf/Ugvoq5wO/b4rwYCR1h2PSIdXz7wnkQFMiUpLdtM7l6pqVFcQIBEHyT1+l+cj7mNwAfZHzqXqDyjvOuwbDw==", + "dev": true, + "license": "MIT", + "funding": { + "url": "https://opencollective.com/vitest" + } + }, + "node_modules/@vitest/utils": { + "version": "4.1.10", + "resolved": "https://registry.npmjs.org/@vitest/utils/-/utils-4.1.10.tgz", + "integrity": "sha512-fy9am/HWxbaGt/Sawrp90vt6Y6jQwf1RX77cz3uwoJwJVMli/e1IEwRPnMNJ7vKfPTwo0diXifkpPvwH9v7nGA==", + "dev": true, + "license": "MIT", + "dependencies": { + "@vitest/pretty-format": "4.1.10", + "convert-source-map": "^2.0.0", + "tinyrainbow": "^3.1.0" + }, + "funding": { + "url": "https://opencollective.com/vitest" + } + }, "node_modules/@webcomponents/custom-elements": { "version": "1.6.0", "resolved": "https://registry.npmjs.org/@webcomponents/custom-elements/-/custom-elements-1.6.0.tgz", @@ -2551,6 +2701,16 @@ "url": "https://github.com/sponsors/ljharb" } }, + "node_modules/assertion-error": { + "version": "2.0.1", + "resolved": "https://registry.npmjs.org/assertion-error/-/assertion-error-2.0.1.tgz", + "integrity": "sha512-Izi8RQcffqCeNVgFigKli1ssklIbpHnCYc6AknXGYoB6grJqyeby7jv12JUQgmTAnIDnbck1uxksT4dzN3PWBA==", + "dev": true, + "license": "MIT", + "engines": { + "node": ">=12" + } + }, "node_modules/async-function": { "version": "1.0.0", "resolved": "https://registry.npmjs.org/async-function/-/async-function-1.0.0.tgz", @@ -2739,6 +2899,16 @@ ], "license": "CC-BY-4.0" }, + "node_modules/chai": { + "version": "6.2.2", + "resolved": "https://registry.npmjs.org/chai/-/chai-6.2.2.tgz", + "integrity": "sha512-NUPRluOfOiTKBKvWPtSD4PhFvWCqOi0BGStNWs57X9js7XGTprSmFoz5F0tWhR4WPjNeR9jXqdC7/UpSJTnlRg==", + "dev": true, + "license": "MIT", + "engines": { + "node": ">=18" + } + }, "node_modules/chalk": { "version": "4.1.2", "resolved": "https://registry.npmjs.org/chalk/-/chalk-4.1.2.tgz", @@ -3709,6 +3879,16 @@ "node": ">=0.10.0" } }, + "node_modules/expect-type": { + "version": "1.4.0", + "resolved": "https://registry.npmjs.org/expect-type/-/expect-type-1.4.0.tgz", + "integrity": "sha512-KfYbmpRm0VbLjEvVa9yGwCi9GI34xvi7A/HXYWQO65CSD2u3MczUJSuwXKFIxlGsgBQizV9q5J9NHj4VG0n+pA==", + "dev": true, + "license": "Apache-2.0", + "engines": { + "node": ">=12.0.0" + } + }, "node_modules/fast-deep-equal": { "version": "3.1.3", "resolved": "https://registry.npmjs.org/fast-deep-equal/-/fast-deep-equal-3.1.3.tgz", @@ -5352,6 +5532,20 @@ "url": "https://github.com/sponsors/ljharb" } }, + "node_modules/obug": { + "version": "2.1.3", + "resolved": "https://registry.npmjs.org/obug/-/obug-2.1.3.tgz", + "integrity": "sha512-9miFgM2OFba7hB+pRgvtV84pYTBaoTHohvmIgiRt6dRIzbwEOIaNaP+dIlGs2fNFoB0SeISs0Jz5WFVRid6Xyg==", + "dev": true, + "funding": [ + "https://github.com/sponsors/sxzz", + "https://opencollective.com/debug" + ], + "license": "MIT", + "engines": { + "node": ">=12.20.0" + } + }, "node_modules/optionator": { "version": "0.9.4", "resolved": "https://registry.npmjs.org/optionator/-/optionator-0.9.4.tgz", @@ -6093,6 +6287,13 @@ "url": "https://github.com/sponsors/ljharb" } }, + "node_modules/siginfo": { + "version": "2.0.0", + "resolved": "https://registry.npmjs.org/siginfo/-/siginfo-2.0.0.tgz", + "integrity": "sha512-ybx0WO1/8bSBLEWXZvEd7gMW3Sn3JFlW3TvX1nREbDLRNQNaeNN8WK0meBwPdAaOI7TtRRRJn/Es1zhrrCHu7g==", + "dev": true, + "license": "ISC" + }, "node_modules/source-map-js": { "version": "1.2.1", "resolved": "https://registry.npmjs.org/source-map-js/-/source-map-js-1.2.1.tgz", @@ -6103,6 +6304,20 @@ "node": ">=0.10.0" } }, + "node_modules/stackback": { + "version": "0.0.2", + "resolved": "https://registry.npmjs.org/stackback/-/stackback-0.0.2.tgz", + "integrity": "sha512-1XMJE5fQo1jGH6Y/7ebnwPOBEkIEnT4QF32d5R1+VXdXveM0IBMJt8zfaxX1P3QhVwrYe+576+jkANtSS2mBbw==", + "dev": true, + "license": "MIT" + }, + "node_modules/std-env": { + "version": "4.2.0", + "resolved": "https://registry.npmjs.org/std-env/-/std-env-4.2.0.tgz", + "integrity": "sha512-oCUKSupKTHX53EyjDtuZQ64pjLJ6yYCtpmEw0goYxtjG9KpbRe8KAsl2tBUGU9DyMcJ0RwJ8GqJAFzMXcXW1Rw==", + "dev": true, + "license": "MIT" + }, "node_modules/stop-iteration-iterator": { "version": "1.1.0", "resolved": "https://registry.npmjs.org/stop-iteration-iterator/-/stop-iteration-iterator-1.1.0.tgz", @@ -6275,6 +6490,23 @@ "url": "https://opencollective.com/webpack" } }, + "node_modules/tinybench": { + "version": "2.9.0", + "resolved": "https://registry.npmjs.org/tinybench/-/tinybench-2.9.0.tgz", + "integrity": "sha512-0+DUvqWMValLmha6lr4kD8iAMK1HzV0/aKnCtWb9v9641TnP/MFb7Pc2bxoxQjTXAErryXVgUOfv2YqNllqGeg==", + "dev": true, + "license": "MIT" + }, + "node_modules/tinyexec": { + "version": "1.2.4", + "resolved": "https://registry.npmjs.org/tinyexec/-/tinyexec-1.2.4.tgz", + "integrity": "sha512-SHf/r48b7vOrjve9PxJo3MN5v5yuyjHvdUcrQffT3WXMUfnGmHDVbC4k3sHJaJTgZCwpUplIaAo5ANtMyp3YHg==", + "dev": true, + "license": "MIT", + "engines": { + "node": ">=18" + } + }, "node_modules/tinyglobby": { "version": "0.2.15", "resolved": "https://registry.npmjs.org/tinyglobby/-/tinyglobby-0.2.15.tgz", @@ -6323,6 +6555,16 @@ "url": "https://github.com/sponsors/jonschlinkert" } }, + "node_modules/tinyrainbow": { + "version": "3.1.0", + "resolved": "https://registry.npmjs.org/tinyrainbow/-/tinyrainbow-3.1.0.tgz", + "integrity": "sha512-Bf+ILmBgretUrdJxzXM0SgXLZ3XfiaUuOj/IKQHuTXip+05Xn+uyEYdVg0kYDipTBcLrCVyUzAPz7QmArb0mmw==", + "dev": true, + "license": "MIT", + "engines": { + "node": ">=14.0.0" + } + }, "node_modules/to-regex-range": { "version": "5.0.1", "resolved": "https://registry.npmjs.org/to-regex-range/-/to-regex-range-5.0.1.tgz", @@ -6356,116 +6598,619 @@ "dev": true, "license": "0BSD" }, - "node_modules/type-check": { - "version": "0.4.0", - "resolved": "https://registry.npmjs.org/type-check/-/type-check-0.4.0.tgz", - "integrity": "sha512-XleUoc9uwGXqjWwXaUTZAmzMcFZ5858QA2vvx1Ur5xIcixXIP+8LnFDgRplU30us6teqdlskFfu+ae4K79Ooew==", + "node_modules/tsx": { + "version": "4.23.1", + "resolved": "https://registry.npmjs.org/tsx/-/tsx-4.23.1.tgz", + "integrity": "sha512-GQHnkIfxyx1wYCOS/wonik5MVRZU9hi1TEZmzGZSCJB1y9YgoZ8H6itNE/u4suE+yLmOzuE4E5S4TZ/ZX2wcWQ==", "dev": true, "license": "MIT", "dependencies": { - "prelude-ls": "^1.2.1" + "esbuild": "~0.28.0" + }, + "bin": { + "tsx": "dist/cli.mjs" }, "engines": { - "node": ">= 0.8.0" + "node": ">=18.0.0" + }, + "optionalDependencies": { + "fsevents": "~2.3.3" } }, - "node_modules/typed-array-buffer": { - "version": "1.0.3", - "resolved": "https://registry.npmjs.org/typed-array-buffer/-/typed-array-buffer-1.0.3.tgz", - "integrity": "sha512-nAYYwfY3qnzX30IkA6AQZjVbtK6duGontcQm1WSG1MD94YLqK0515GNApXkoxKOWMusVssAHWLh9SeaoefYFGw==", + "node_modules/tsx/node_modules/@esbuild/aix-ppc64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/aix-ppc64/-/aix-ppc64-0.28.1.tgz", + "integrity": "sha512-Svl7tq8k/08+p6CXPpRjQ1fKX+1odH/BQbb48fV6fj3CWHhsoIOoY87w1oHXm0qEpkIK3ZfVgp0hed3XBXzXMQ==", + "cpu": [ + "ppc64" + ], "dev": true, "license": "MIT", - "dependencies": { - "call-bound": "^1.0.3", - "es-errors": "^1.3.0", - "is-typed-array": "^1.1.14" - }, + "optional": true, + "os": [ + "aix" + ], "engines": { - "node": ">= 0.4" + "node": ">=18" } }, - "node_modules/typed-array-byte-length": { - "version": "1.0.3", - "resolved": "https://registry.npmjs.org/typed-array-byte-length/-/typed-array-byte-length-1.0.3.tgz", - "integrity": "sha512-BaXgOuIxz8n8pIq3e7Atg/7s+DpiYrxn4vdot3w9KbnBhcRQq6o3xemQdIfynqSeXeDrF32x+WvfzmOjPiY9lg==", + "node_modules/tsx/node_modules/@esbuild/android-arm": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/android-arm/-/android-arm-0.28.1.tgz", + "integrity": "sha512-0k2F129Xdio1TdJfzJ8sy1Q47vUD2NnwdhiAf7drUN1EBTfPf4hsFCtmMgu/6m8JSzsBrlmVjudMBQqOfG8usQ==", + "cpu": [ + "arm" + ], "dev": true, "license": "MIT", - "dependencies": { - "call-bind": "^1.0.8", - "for-each": "^0.3.3", - "gopd": "^1.2.0", - "has-proto": "^1.2.0", - "is-typed-array": "^1.1.14" - }, + "optional": true, + "os": [ + "android" + ], "engines": { - "node": ">= 0.4" - }, - "funding": { - "url": "https://github.com/sponsors/ljharb" + "node": ">=18" } }, - "node_modules/typed-array-byte-offset": { - "version": "1.0.4", - "resolved": "https://registry.npmjs.org/typed-array-byte-offset/-/typed-array-byte-offset-1.0.4.tgz", - "integrity": "sha512-bTlAFB/FBYMcuX81gbL4OcpH5PmlFHqlCCpAl8AlEzMz5k53oNDvN8p1PNOWLEmI2x4orp3raOFB51tv9X+MFQ==", + "node_modules/tsx/node_modules/@esbuild/android-arm64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/android-arm64/-/android-arm64-0.28.1.tgz", + "integrity": "sha512-34EGEbCIAgosYz6goLcopX6Mo7NyGv9tfwEM2/7Ce2VcVRk568iSvniGWcUXIy7wEDR1wzolcxcriFVrWYcwBg==", + "cpu": [ + "arm64" + ], "dev": true, "license": "MIT", - "dependencies": { - "available-typed-arrays": "^1.0.7", - "call-bind": "^1.0.8", - "for-each": "^0.3.3", - "gopd": "^1.2.0", - "has-proto": "^1.2.0", - "is-typed-array": "^1.1.15", - "reflect.getprototypeof": "^1.0.9" - }, + "optional": true, + "os": [ + "android" + ], "engines": { - "node": ">= 0.4" - }, - "funding": { - "url": "https://github.com/sponsors/ljharb" + "node": ">=18" } }, - "node_modules/typed-array-length": { - "version": "1.0.7", - "resolved": "https://registry.npmjs.org/typed-array-length/-/typed-array-length-1.0.7.tgz", - "integrity": "sha512-3KS2b+kL7fsuk/eJZ7EQdnEmQoaho/r6KUef7hxvltNA5DR8NAUM+8wJMbJyZ4G9/7i3v5zPBIMN5aybAh2/Jg==", + "node_modules/tsx/node_modules/@esbuild/android-x64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/android-x64/-/android-x64-0.28.1.tgz", + "integrity": "sha512-dbwY7ltSMDWsRatcRpCnES4F+im88OCUgGZjy52shC7GqHRE/cYlxNbB4Z4UpJswpcc4Qxd2oE/ufM0p61IKng==", + "cpu": [ + "x64" + ], "dev": true, "license": "MIT", - "dependencies": { - "call-bind": "^1.0.7", - "for-each": "^0.3.3", - "gopd": "^1.0.1", - "is-typed-array": "^1.1.13", - "possible-typed-array-names": "^1.0.0", - "reflect.getprototypeof": "^1.0.6" - }, + "optional": true, + "os": [ + "android" + ], "engines": { - "node": ">= 0.4" - }, - "funding": { - "url": "https://github.com/sponsors/ljharb" + "node": ">=18" } }, - "node_modules/typescript": { - "version": "5.9.3", - "resolved": "https://registry.npmjs.org/typescript/-/typescript-5.9.3.tgz", - "integrity": "sha512-jl1vZzPDinLr9eUt3J/t7V6FgNEw9QjvBPdysz9KfQDD41fQrC2Y4vKQdiaUpFT4bXlb1RHhLpp8wtm6M5TgSw==", + "node_modules/tsx/node_modules/@esbuild/darwin-arm64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/darwin-arm64/-/darwin-arm64-0.28.1.tgz", + "integrity": "sha512-TZbWkQY7kvTAXbXUT7uVACR5cMHsDiSz9z7ZKAX/RTq/WJEk3QyRr0wZpNhBDX+/0CtdqUIJlOiodQcta6tY3Q==", + "cpu": [ + "arm64" + ], "dev": true, - "license": "Apache-2.0", - "bin": { - "tsc": "bin/tsc", - "tsserver": "bin/tsserver" - }, + "license": "MIT", + "optional": true, + "os": [ + "darwin" + ], "engines": { - "node": ">=14.17" + "node": ">=18" } }, - "node_modules/unbox-primitive": { - "version": "1.1.0", - "resolved": "https://registry.npmjs.org/unbox-primitive/-/unbox-primitive-1.1.0.tgz", - "integrity": "sha512-nWJ91DjeOkej/TA8pXQ3myruKpKEYgqvpw9lz4OPHj/NWFNluYrjbz9j01CJ8yKQd2g4jFoOkINCTW2I5LEEyw==", - "dev": true, + "node_modules/tsx/node_modules/@esbuild/darwin-x64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/darwin-x64/-/darwin-x64-0.28.1.tgz", + "integrity": "sha512-zfdzgK9ACBNZLI/CyHTOx81SyNbM6YXn7rxSgX97VjyiPl9W1i4Ka4fgKECEoFCKGpvBj5qArWIGgQjOwkgskQ==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "darwin" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/freebsd-arm64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/freebsd-arm64/-/freebsd-arm64-0.28.1.tgz", + "integrity": "sha512-wG2EA8ENdEI0qhkSZMjfqrdY+ziCYCPMmtZjjIwOmXFjmyzEHn+UUxk5of+SYsjtfs3VpnlC7QLzSI5hY/rOAw==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "freebsd" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/freebsd-x64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/freebsd-x64/-/freebsd-x64-0.28.1.tgz", + "integrity": "sha512-i7dZ9vQgnvSCzi/rYCXNgtF/U+eKZNJBzu3eTQbRgHnM7tNSizLOkRFAl3qzVc/Op/u5YkHHa4pf/3DOYHthLQ==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "freebsd" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/linux-arm": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/linux-arm/-/linux-arm-0.28.1.tgz", + "integrity": "sha512-qVXBOHQS+d5Y722GwJzJUtOLlX7km3CraOaGormF1pDtPd2C/l1SHRPgjLunLGe51Sh5YYWKMFDyV4SxgMQYTQ==", + "cpu": [ + "arm" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/linux-arm64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/linux-arm64/-/linux-arm64-0.28.1.tgz", + "integrity": "sha512-yHs+0uc8+nvEAfAfxrWQKK5peSNzBc4PegcMO0EJ2hT71uA7vB8Ihg2e77R2P7SG5uYjPbHlLLmve4LLLRCf0g==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/linux-ia32": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/linux-ia32/-/linux-ia32-0.28.1.tgz", + "integrity": "sha512-d1z4ZuP0ajrfz/FhGT4vv278rX8KnPPJx8i5+AtK7TYbx9Le9F1hyzurZpkEyjkGa9dUGhQow4C1NmeGvqxN2w==", + "cpu": [ + "ia32" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/linux-loong64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/linux-loong64/-/linux-loong64-0.28.1.tgz", + "integrity": "sha512-M5sRjUVZrkm1OAPR3dlOYzNmN+loZKGVi1VUQGrwuqLcbR6qeAz+famMhjASeH3YVKvZz+zT1jlh/keC3Rj/lg==", + "cpu": [ + "loong64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/linux-mips64el": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/linux-mips64el/-/linux-mips64el-0.28.1.tgz", + "integrity": "sha512-mRObBZeHh2OxcBFPWE/FjylkRgZdYuiTR3vaTozquCGOH14iP9oN4x4Ge81CoIDYQrXmIxpFumJBu5MtZpnQJQ==", + "cpu": [ + "mips64el" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/linux-ppc64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/linux-ppc64/-/linux-ppc64-0.28.1.tgz", + "integrity": "sha512-slScBsMAb3GFDcdrCgLwZtPYRoH2H/youv10QiZyRjmsP48fznoveWytSgCI/R0ZcUgpc0ZhIUEx6LHts8yrfQ==", + "cpu": [ + "ppc64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/linux-riscv64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/linux-riscv64/-/linux-riscv64-0.28.1.tgz", + "integrity": "sha512-kw0owk1o0GFETUJyW0jc0G4Yzs0BHZn0JDZ8JRT088vjJYX777BAs1fDGxAC+q831qOs2DTC96mNsG2opdfyyQ==", + "cpu": [ + "riscv64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/linux-s390x": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/linux-s390x/-/linux-s390x-0.28.1.tgz", + "integrity": "sha512-/lAIjX8aYFRByhh6L5rYtPEDRqa9de/4V/juOXcta5frjvzXO4/sqEtyytse0g3zZFuWu5cDN0MkLz2qRDD2Ag==", + "cpu": [ + "s390x" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/linux-x64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/linux-x64/-/linux-x64-0.28.1.tgz", + "integrity": "sha512-u/anNYF2mmVOEDwLtnQ1wOr3EZ9sTNGLWrsYGYwHWzGA3Si84IOkHXlbWTD1NB+9/1lcnweYKO54uhxZydNzfA==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/netbsd-arm64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/netbsd-arm64/-/netbsd-arm64-0.28.1.tgz", + "integrity": "sha512-oks0DYbLwWMmaakTsCb+zL4E+aHRVLom9IJZOAthMQEPiQmydXHkziYEsGYRx0uNV/IjEKGAV941JzH02pflqw==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "netbsd" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/netbsd-x64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/netbsd-x64/-/netbsd-x64-0.28.1.tgz", + "integrity": "sha512-aeL6lAnN89Hz43Mlh1G8ARasbuoYvSITDEx0tHh5b7jJnHcssqgjy9Yx430GDpmCa6OyrKoS0aNRjKundRizGg==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "netbsd" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/openbsd-arm64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/openbsd-arm64/-/openbsd-arm64-0.28.1.tgz", + "integrity": "sha512-MEFJe5C3R8pwXdZ5Y21oo6m7ePiS0d9pWucn99O/wvyJZChoIQKrQDxKrGeW8F5+T0okTHesAmDeiHDTIq0V/Q==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "openbsd" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/openbsd-x64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/openbsd-x64/-/openbsd-x64-0.28.1.tgz", + "integrity": "sha512-i/ZLIOafE0Z8cI/XANJAixoJL/uRAoS2xOA3rb0xN+KK0K177cMAsQYkzHtBrtMXAKuAc7HGgcWiZ/sRC1Nxgw==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "openbsd" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/openharmony-arm64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/openharmony-arm64/-/openharmony-arm64-0.28.1.tgz", + "integrity": "sha512-ge+Z7EXFNt2BO1oAMsVpiQ8EwndV9i1xXerAeTIK7AtPs3bKFXQM7nlRxDSIUIMeueR1CNXxqztLzdNeReKBJg==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "openharmony" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/sunos-x64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/sunos-x64/-/sunos-x64-0.28.1.tgz", + "integrity": "sha512-BEjgtECkL3vY+SaSQ6nzVfiALUeFxpawyp8Jmf5PtYhf1Ug40N1h/hxlhts+f1FvSvarEigdxS3BlSMI2PJLcQ==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "sunos" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/win32-arm64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/win32-arm64/-/win32-arm64-0.28.1.tgz", + "integrity": "sha512-lCv9eK/H6ZJWbE7bh2nw54CZ9M2nupBxJcTsdk/QQnWkdSjKGuxmmH8/GWrlT1eMmZfn4dGcCjRte397WqfQXA==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "win32" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/win32-ia32": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/win32-ia32/-/win32-ia32-0.28.1.tgz", + "integrity": "sha512-zvb/mB2bSCoJOpoCBgYKKpX6YM6mJBlBUVUtVj41DlZJVEB6/0CKlRYxP5wWl1C1ILiCoAU5wZZ4q1P3qeS6Eg==", + "cpu": [ + "ia32" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "win32" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/@esbuild/win32-x64": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/@esbuild/win32-x64/-/win32-x64-0.28.1.tgz", + "integrity": "sha512-bm4Mowrv+GXMlpWX++EcXw/iLyd1o3+bJkC2DkWXYVvgZCqD/bSj9ctZeAMC3cIxgjRVR2Dufaiu4YPxr5gW1A==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "MIT", + "optional": true, + "os": [ + "win32" + ], + "engines": { + "node": ">=18" + } + }, + "node_modules/tsx/node_modules/esbuild": { + "version": "0.28.1", + "resolved": "https://registry.npmjs.org/esbuild/-/esbuild-0.28.1.tgz", + "integrity": "sha512-HrJrvZv5ayxBzPfwphOoNzkzOIIlifzk0KJrGK2c8R4+LKpMtpYLQeUdjnwjWv/LZlkH2laZk+4w78pi99D4Vw==", + "dev": true, + "hasInstallScript": true, + "license": "MIT", + "bin": { + "esbuild": "bin/esbuild" + }, + "engines": { + "node": ">=18" + }, + "optionalDependencies": { + "@esbuild/aix-ppc64": "0.28.1", + "@esbuild/android-arm": "0.28.1", + "@esbuild/android-arm64": "0.28.1", + "@esbuild/android-x64": "0.28.1", + "@esbuild/darwin-arm64": "0.28.1", + "@esbuild/darwin-x64": "0.28.1", + "@esbuild/freebsd-arm64": "0.28.1", + "@esbuild/freebsd-x64": "0.28.1", + "@esbuild/linux-arm": "0.28.1", + "@esbuild/linux-arm64": "0.28.1", + "@esbuild/linux-ia32": "0.28.1", + "@esbuild/linux-loong64": "0.28.1", + "@esbuild/linux-mips64el": "0.28.1", + "@esbuild/linux-ppc64": "0.28.1", + "@esbuild/linux-riscv64": "0.28.1", + "@esbuild/linux-s390x": "0.28.1", + "@esbuild/linux-x64": "0.28.1", + "@esbuild/netbsd-arm64": "0.28.1", + "@esbuild/netbsd-x64": "0.28.1", + "@esbuild/openbsd-arm64": "0.28.1", + "@esbuild/openbsd-x64": "0.28.1", + "@esbuild/openharmony-arm64": "0.28.1", + "@esbuild/sunos-x64": "0.28.1", + "@esbuild/win32-arm64": "0.28.1", + "@esbuild/win32-ia32": "0.28.1", + "@esbuild/win32-x64": "0.28.1" + } + }, + "node_modules/type-check": { + "version": "0.4.0", + "resolved": "https://registry.npmjs.org/type-check/-/type-check-0.4.0.tgz", + "integrity": "sha512-XleUoc9uwGXqjWwXaUTZAmzMcFZ5858QA2vvx1Ur5xIcixXIP+8LnFDgRplU30us6teqdlskFfu+ae4K79Ooew==", + "dev": true, + "license": "MIT", + "dependencies": { + "prelude-ls": "^1.2.1" + }, + "engines": { + "node": ">= 0.8.0" + } + }, + "node_modules/typed-array-buffer": { + "version": "1.0.3", + "resolved": "https://registry.npmjs.org/typed-array-buffer/-/typed-array-buffer-1.0.3.tgz", + "integrity": "sha512-nAYYwfY3qnzX30IkA6AQZjVbtK6duGontcQm1WSG1MD94YLqK0515GNApXkoxKOWMusVssAHWLh9SeaoefYFGw==", + "dev": true, + "license": "MIT", + "dependencies": { + "call-bound": "^1.0.3", + "es-errors": "^1.3.0", + "is-typed-array": "^1.1.14" + }, + "engines": { + "node": ">= 0.4" + } + }, + "node_modules/typed-array-byte-length": { + "version": "1.0.3", + "resolved": "https://registry.npmjs.org/typed-array-byte-length/-/typed-array-byte-length-1.0.3.tgz", + "integrity": "sha512-BaXgOuIxz8n8pIq3e7Atg/7s+DpiYrxn4vdot3w9KbnBhcRQq6o3xemQdIfynqSeXeDrF32x+WvfzmOjPiY9lg==", + "dev": true, + "license": "MIT", + "dependencies": { + "call-bind": "^1.0.8", + "for-each": "^0.3.3", + "gopd": "^1.2.0", + "has-proto": "^1.2.0", + "is-typed-array": "^1.1.14" + }, + "engines": { + "node": ">= 0.4" + }, + "funding": { + "url": "https://github.com/sponsors/ljharb" + } + }, + "node_modules/typed-array-byte-offset": { + "version": "1.0.4", + "resolved": "https://registry.npmjs.org/typed-array-byte-offset/-/typed-array-byte-offset-1.0.4.tgz", + "integrity": "sha512-bTlAFB/FBYMcuX81gbL4OcpH5PmlFHqlCCpAl8AlEzMz5k53oNDvN8p1PNOWLEmI2x4orp3raOFB51tv9X+MFQ==", + "dev": true, + "license": "MIT", + "dependencies": { + "available-typed-arrays": "^1.0.7", + "call-bind": "^1.0.8", + "for-each": "^0.3.3", + "gopd": "^1.2.0", + "has-proto": "^1.2.0", + "is-typed-array": "^1.1.15", + "reflect.getprototypeof": "^1.0.9" + }, + "engines": { + "node": ">= 0.4" + }, + "funding": { + "url": "https://github.com/sponsors/ljharb" + } + }, + "node_modules/typed-array-length": { + "version": "1.0.7", + "resolved": "https://registry.npmjs.org/typed-array-length/-/typed-array-length-1.0.7.tgz", + "integrity": "sha512-3KS2b+kL7fsuk/eJZ7EQdnEmQoaho/r6KUef7hxvltNA5DR8NAUM+8wJMbJyZ4G9/7i3v5zPBIMN5aybAh2/Jg==", + "dev": true, + "license": "MIT", + "dependencies": { + "call-bind": "^1.0.7", + "for-each": "^0.3.3", + "gopd": "^1.0.1", + "is-typed-array": "^1.1.13", + "possible-typed-array-names": "^1.0.0", + "reflect.getprototypeof": "^1.0.6" + }, + "engines": { + "node": ">= 0.4" + }, + "funding": { + "url": "https://github.com/sponsors/ljharb" + } + }, + "node_modules/typescript": { + "version": "5.9.3", + "resolved": "https://registry.npmjs.org/typescript/-/typescript-5.9.3.tgz", + "integrity": "sha512-jl1vZzPDinLr9eUt3J/t7V6FgNEw9QjvBPdysz9KfQDD41fQrC2Y4vKQdiaUpFT4bXlb1RHhLpp8wtm6M5TgSw==", + "dev": true, + "license": "Apache-2.0", + "bin": { + "tsc": "bin/tsc", + "tsserver": "bin/tsserver" + }, + "engines": { + "node": ">=14.17" + } + }, + "node_modules/unbox-primitive": { + "version": "1.1.0", + "resolved": "https://registry.npmjs.org/unbox-primitive/-/unbox-primitive-1.1.0.tgz", + "integrity": "sha512-nWJ91DjeOkej/TA8pXQ3myruKpKEYgqvpw9lz4OPHj/NWFNluYrjbz9j01CJ8yKQd2g4jFoOkINCTW2I5LEEyw==", + "dev": true, "license": "MIT", "dependencies": { "call-bound": "^1.0.3", @@ -6647,6 +7392,116 @@ "url": "https://github.com/sponsors/jonschlinkert" } }, + "node_modules/vitest": { + "version": "4.1.10", + "resolved": "https://registry.npmjs.org/vitest/-/vitest-4.1.10.tgz", + "integrity": "sha512-R9jUTe5S4Qb0HCd4TNqpC7oGcrMssMRGXLW80ubjWsW9VH5GF8y1Y0SFLY9AbqSk6nt0PnOx4H4WNJYZ13GUPw==", + "dev": true, + "license": "MIT", + "dependencies": { + "@vitest/expect": "4.1.10", + "@vitest/mocker": "4.1.10", + "@vitest/pretty-format": "4.1.10", + "@vitest/runner": "4.1.10", + "@vitest/snapshot": "4.1.10", + "@vitest/spy": "4.1.10", + "@vitest/utils": "4.1.10", + "es-module-lexer": "^2.0.0", + "expect-type": "^1.3.0", + "magic-string": "^0.30.21", + "obug": "^2.1.1", + "pathe": "^2.0.3", + "picomatch": "^4.0.3", + "std-env": "^4.0.0-rc.1", + "tinybench": "^2.9.0", + "tinyexec": "^1.0.2", + "tinyglobby": "^0.2.15", + "tinyrainbow": "^3.1.0", + "vite": "^6.0.0 || ^7.0.0 || ^8.0.0", + "why-is-node-running": "^2.3.0" + }, + "bin": { + "vitest": "vitest.mjs" + }, + "engines": { + "node": "^20.0.0 || ^22.0.0 || >=24.0.0" + }, + "funding": { + "url": "https://opencollective.com/vitest" + }, + "peerDependencies": { + "@edge-runtime/vm": "*", + "@opentelemetry/api": "^1.9.0", + "@types/node": "^20.0.0 || ^22.0.0 || >=24.0.0", + "@vitest/browser-playwright": "4.1.10", + "@vitest/browser-preview": "4.1.10", + "@vitest/browser-webdriverio": "4.1.10", + "@vitest/coverage-istanbul": "4.1.10", + "@vitest/coverage-v8": "4.1.10", + "@vitest/ui": "4.1.10", + "happy-dom": "*", + "jsdom": "*", + "vite": "^6.0.0 || ^7.0.0 || ^8.0.0" + }, + "peerDependenciesMeta": { + "@edge-runtime/vm": { + "optional": true + }, + "@opentelemetry/api": { + "optional": true + }, + "@types/node": { + "optional": true + }, + "@vitest/browser-playwright": { + "optional": true + }, + "@vitest/browser-preview": { + "optional": true + }, + "@vitest/browser-webdriverio": { + "optional": true + }, + "@vitest/coverage-istanbul": { + "optional": true + }, + "@vitest/coverage-v8": { + "optional": true + }, + "@vitest/ui": { + "optional": true + }, + "happy-dom": { + "optional": true + }, + "jsdom": { + "optional": true + }, + "vite": { + "optional": false + } + } + }, + "node_modules/vitest/node_modules/es-module-lexer": { + "version": "2.3.1", + "resolved": "https://registry.npmjs.org/es-module-lexer/-/es-module-lexer-2.3.1.tgz", + "integrity": "sha512-shc1dbU90Yl/xq1QrC7QRtfcwURZuVRfPhZbDoldJ1cn1gzDvBaBWlv0eFolj5+0znnPJz5TXLxsN77X/12KTA==", + "dev": true, + "license": "MIT" + }, + "node_modules/vitest/node_modules/picomatch": { + "version": "4.0.5", + "resolved": "https://registry.npmjs.org/picomatch/-/picomatch-4.0.5.tgz", + "integrity": "sha512-RvwwcruNjI1ncT5xRakeyS9Lf8lcItv34KD+aif+VH9kduAyfYBipGh12274xtenIPZ119/R9BdTBa8gAwSh0A==", + "dev": true, + "license": "MIT", + "engines": { + "node": ">=12" + }, + "funding": { + "url": "https://github.com/sponsors/jonschlinkert" + } + }, "node_modules/whatwg-encoding": { "version": "3.1.1", "resolved": "https://registry.npmjs.org/whatwg-encoding/-/whatwg-encoding-3.1.1.tgz", @@ -6775,6 +7630,23 @@ "url": "https://github.com/sponsors/ljharb" } }, + "node_modules/why-is-node-running": { + "version": "2.3.0", + "resolved": "https://registry.npmjs.org/why-is-node-running/-/why-is-node-running-2.3.0.tgz", + "integrity": "sha512-hUrmaWBdVDcxvYqnyh09zunKzROWjbZTiNy8dBEjkS7ehEDQibXJ7XvlmtbwuTclUiIyN+CyXQD4Vmko8fNm8w==", + "dev": true, + "license": "MIT", + "dependencies": { + "siginfo": "^2.0.0", + "stackback": "0.0.2" + }, + "bin": { + "why-is-node-running": "cli.js" + }, + "engines": { + "node": ">=8" + } + }, "node_modules/word-wrap": { "version": "1.2.5", "resolved": "https://registry.npmjs.org/word-wrap/-/word-wrap-1.2.5.tgz", diff --git a/package.json b/package.json index bebfcb4..e62bbb5 100644 --- a/package.json +++ b/package.json @@ -9,6 +9,10 @@ "build": "tsc && vite build", "lint": "eslint src --ext ts,tsx", "format": "prettier --write \"**/*.{ts,tsx,js,jsx,json,css,md}\"", + "test": "vitest run", + "test:watch": "vitest", + "test:real-pdf": "node evaluation/scripts/check-real-pdfs.mjs", + "test:real-llm": "node --env-file=.env --import tsx evaluation/scripts/run-real-llm.ts", "type-check": "tsc --noEmit" }, "dependencies": { @@ -32,8 +36,10 @@ "eslint-plugin-react-hooks": "^5.1.0", "prettier": "^3.4.2", "tailwindcss": "^4.0.0-beta.7", + "tsx": "^4.23.1", "typescript": "^5.7.2", - "vite": "^6.0.3" + "vite": "^6.0.3", + "vitest": "^4.1.10" }, "packageManager": "npm@10.9.2", "engines": { diff --git a/src/background/index.ts b/src/background/index.ts index 91bf3e2..7204b3b 100644 --- a/src/background/index.ts +++ b/src/background/index.ts @@ -1,7 +1,17 @@ import { generateText, type LLMConfig, type ChatMessage } from '@/lib/llm-client'; +import { ANALYSIS_SCHEMA_VERSION, buildAnalysisFingerprint } from '@/lib/analysis-version'; import { detectDocumentType, detectEarningsContext, type DocumentType } from '@/lib/document-type'; import { getPromptForDocumentType, getExtractionPrompt } from '@/lib/prompts'; import { getFormatPrompt } from '@/lib/format-prompts'; +import { getJsonSchema } from '@/lib/summary-schema'; +import type { EarningsExtraction } from '@/lib/summary-schema'; +import { refineEarningsExtraction } from '@/lib/earnings-refinement'; +import { calculateExperimentalScore, formatExperimentalScore } from '@/lib/scoring'; +import { + buildJsonRepairMessages, + getProviderCapabilities, + parseAndValidateExtraction, +} from '@/lib/structured-output'; import type { SummaryMetadata, ExtractionMode } from '@/types/summaryMetadata'; interface SummarizeRequest { @@ -18,6 +28,7 @@ interface Settings { customUrl?: string; extractionMode?: ExtractionMode; twoPassMode?: boolean; + experimentalScoring?: boolean; } // 拡張機能のインストール・更新時 @@ -92,9 +103,7 @@ async function handleSummarize( } if (settings.provider === 'custom' && !settings.customUrl) { - throw new Error( - 'カスタムプロバイダーを使用する場合はAPI URLを設定してください。' - ); + throw new Error('カスタムプロバイダーを使用する場合はAPI URLを設定してください。'); } // 文書タイプを判別 @@ -123,7 +132,15 @@ async function handleSummarize( async function getSettings(): Promise { return new Promise((resolve) => { chrome.storage.sync.get( - ['provider', 'apiKey', 'model', 'customUrl', 'extractionMode', 'twoPassMode'], + [ + 'provider', + 'apiKey', + 'model', + 'customUrl', + 'extractionMode', + 'twoPassMode', + 'experimentalScoring', + ], (result) => { resolve({ provider: result.provider || 'openai', @@ -132,6 +149,7 @@ async function getSettings(): Promise { customUrl: result.customUrl || '', extractionMode: result.extractionMode || 'full', twoPassMode: result.twoPassMode !== undefined ? result.twoPassMode : true, + experimentalScoring: result.experimentalScoring === true, }); } ); @@ -153,27 +171,6 @@ async function fetchPDF(url: string): Promise { } } -/** - * LLMレスポンスからJSONを解析する(フォールバック付き) - */ -function tryParseJson(text: string): unknown | null { - // コードブロック内のJSONを抽出 - const codeBlockMatch = text.match(/```(?:json)?\s*([\s\S]*?)```/); - const jsonStr = codeBlockMatch ? codeBlockMatch[1].trim() : text.trim(); - - try { - return JSON.parse(jsonStr); - } catch { - // 先頭/末尾の非JSON文字を除去して再試行 - const cleaned = jsonStr.replace(/^[^{[]*/, '').replace(/[^}\]]*$/, ''); - try { - return JSON.parse(cleaned); - } catch { - return null; - } - } -} - async function summarizeWithLLM( pdfData: ArrayBuffer, settings: Settings, @@ -223,9 +220,29 @@ async function summarizeWithLLM( // 2パスモード判定(デフォルトON) const useTwoPass = settings.twoPassMode !== false; + metadata.analysisSchemaVersion = ANALYSIS_SCHEMA_VERSION; + metadata.provider = settings.provider; + metadata.model = settings.model; + metadata.summaryMode = useTwoPass ? 'two-pass' : 'one-pass'; + metadata.experimentalScoring = useTwoPass && settings.experimentalScoring === true; + metadata.analysisFingerprint = buildAnalysisFingerprint({ + provider: settings.provider, + model: settings.model, + extractionMode, + twoPassMode: useTwoPass, + experimentalScoring: metadata.experimentalScoring, + }); if (useTwoPass) { - return await summarizeTwoPass(llmConfig, documentType, pdfText, earningsContext, metadata); + return await summarizeTwoPass( + llmConfig, + documentType, + pdfText, + earningsContext, + title, + metadata, + settings.experimentalScoring === true + ); } else { return await summarizeOnePass(llmConfig, documentType, pdfText, earningsContext, metadata); } @@ -262,34 +279,68 @@ async function summarizeTwoPass( documentType: DocumentType, pdfText: string, earningsContext: ReturnType | undefined, - metadata: SummaryMetadata + documentTitle: string, + metadata: SummaryMetadata, + experimentalScoring: boolean ): Promise<{ summary: string; metadata: SummaryMetadata }> { // パス1: 情報抽出(JSON) console.log('[Background] 2パス要約: パス1(情報抽出)開始'); const { system: s1, user: u1 } = getExtractionPrompt(documentType, pdfText, earningsContext); - const extractedText = await generateText(llmConfig, [ + const capabilities = getProviderCapabilities(llmConfig.provider); + const extractionConfig: LLMConfig = { + ...llmConfig, + temperature: 0, + ...(capabilities.jsonObject && { responseFormat: 'json_object' as const }), + }; + const extractedText = await generateText(extractionConfig, [ { role: 'system', content: s1 }, { role: 'user', content: u1 }, ]); - // JSON解析 - const parsed = tryParseJson(extractedText); - if (!parsed) { - // JSON解析失敗 → パス1の出力をそのまま返す(1パスフォールバック) - console.warn('[Background] 2パス要約: JSON解析失敗、パス1出力をそのまま使用'); - return { summary: extractedText, metadata }; + let validation = parseAndValidateExtraction(extractedText, documentType, metadata.totalPages); + if (!validation.success) { + console.warn('[Background] 2パス要約: 検証失敗、JSON修復を1回実行', validation.errors); + const repairMessages = buildJsonRepairMessages( + extractedText, + validation.errors, + getJsonSchema(documentType, earningsContext) + ); + const repairedText = await generateText(extractionConfig, repairMessages); + validation = parseAndValidateExtraction(repairedText, documentType, metadata.totalPages); + } + + if (!validation.success || !validation.data) { + console.warn( + '[Background] 2パス要約: JSON修復後も検証失敗、検証済み1パス要約へフォールバック', + validation.errors + ); + return summarizeOnePass(llmConfig, documentType, pdfText, earningsContext, metadata); } console.log('[Background] 2パス要約: パス1完了、パス2(フォーマット整形)開始'); + const extractionData = + documentType === 'earnings' && earningsContext + ? refineEarningsExtraction( + validation.data as EarningsExtraction, + earningsContext, + documentTitle + ) + : validation.data; + // パス2: フォーマット整形(低temperature) const formatConfig: LLMConfig = { ...llmConfig, temperature: 0.3 }; - const { system: s2, user: u2 } = getFormatPrompt(documentType, parsed, earningsContext); - const formatted = await generateText(formatConfig, [ + const { system: s2, user: u2 } = getFormatPrompt(documentType, extractionData, earningsContext); + let formatted = await generateText(formatConfig, [ { role: 'system', content: s2 }, { role: 'user', content: u2 }, ]); + if (experimentalScoring) { + const score = calculateExperimentalScore(documentType, extractionData); + if (score) formatted += formatExperimentalScore(score); + } + console.log('[Background] 2パス要約: パス2完了'); return { summary: formatted, metadata }; } diff --git a/src/content/hooks/useSummarize.ts b/src/content/hooks/useSummarize.ts index 6af7652..6704940 100644 --- a/src/content/hooks/useSummarize.ts +++ b/src/content/hooks/useSummarize.ts @@ -3,6 +3,7 @@ */ import { useState, useEffect, useCallback } from 'react'; +import { buildAnalysisFingerprint, buildSummaryCacheKey } from '@/lib/analysis-version'; import type { SummaryMetadata, ExtractionMode, @@ -25,19 +26,33 @@ interface SummarizeResult { const CACHE_KEY = 'summaryCache'; -function buildCacheKey(pdfUrl: string): string { - return pdfUrl; -} - export function useSummarize({ pdfUrl, title, code, companyName }: UseSummarizeOptions) { const [loading, setLoading] = useState(false); const [result, setResult] = useState(null); const [hasCached, setHasCached] = useState(false); + const [cacheKey, setCacheKey] = useState(null); - const cacheKey = buildCacheKey(pdfUrl); + useEffect(() => { + chrome.storage.sync.get( + ['provider', 'model', 'extractionMode', 'twoPassMode', 'experimentalScoring'], + (settings) => { + const fingerprint = buildAnalysisFingerprint({ + provider: settings.provider || 'openai', + model: settings.model || 'gpt-4o', + extractionMode: settings.extractionMode || 'full', + twoPassMode: settings.twoPassMode !== undefined ? settings.twoPassMode : true, + experimentalScoring: + (settings.twoPassMode !== undefined ? settings.twoPassMode : true) && + settings.experimentalScoring === true, + }); + setCacheKey(buildSummaryCacheKey(pdfUrl, fingerprint)); + } + ); + }, [pdfUrl]); // マウント時にキャッシュの存在チェック useEffect(() => { + if (!cacheKey) return; chrome.storage.local.get(CACHE_KEY, (data) => { const store: SummaryCacheStore = data[CACHE_KEY] || {}; setHasCached(cacheKey in store); @@ -49,6 +64,11 @@ export function useSummarize({ pdfUrl, title, code, companyName }: UseSummarizeO */ const saveToCache = useCallback( (summary: string, metadata: SummaryMetadata) => { + const entryKey = metadata.analysisFingerprint + ? buildSummaryCacheKey(pdfUrl, metadata.analysisFingerprint) + : cacheKey; + if (!entryKey) return; + chrome.storage.local.get(CACHE_KEY, (data) => { const store: SummaryCacheStore = data[CACHE_KEY] || {}; const entry: CachedSummary = { @@ -59,19 +79,20 @@ export function useSummarize({ pdfUrl, title, code, companyName }: UseSummarizeO code, cachedAt: Date.now(), }; - store[cacheKey] = entry; + store[entryKey] = entry; chrome.storage.local.set({ [CACHE_KEY]: store }, () => { - setHasCached(true); + setHasCached(entryKey === cacheKey); }); }); }, - [cacheKey, companyName, title, code] + [cacheKey, companyName, title, code, pdfUrl] ); /** * キャッシュから読み込んで result にセット */ const showCached = useCallback(() => { + if (!cacheKey) return; chrome.storage.local.get(CACHE_KEY, (data) => { const store: SummaryCacheStore = data[CACHE_KEY] || {}; const cached = store[cacheKey]; diff --git a/src/content/types/summaryMetadata.ts b/src/content/types/summaryMetadata.ts index 777817a..0a203d6 100644 --- a/src/content/types/summaryMetadata.ts +++ b/src/content/types/summaryMetadata.ts @@ -1 +1,10 @@ -export type { ExtractionMode, QualityWarning, SummaryMetadata, CachedSummary, SummaryCacheStore } from '../../types/summaryMetadata'; +export type { + ExtractionMode, + ExtractedPage, + EvidenceFact, + QualityWarning, + SummaryMetadata, + PdfExtractionResult, + CachedSummary, + SummaryCacheStore, +} from '../../types/summaryMetadata'; diff --git a/src/content/utils/summaryHtmlBuilder.test.ts b/src/content/utils/summaryHtmlBuilder.test.ts new file mode 100644 index 0000000..92bd4c3 --- /dev/null +++ b/src/content/utils/summaryHtmlBuilder.test.ts @@ -0,0 +1,18 @@ +import { describe, expect, it } from 'vitest'; +import { buildMetadataHtml } from './summaryHtmlBuilder'; + +describe('分析メタデータ表示', () => { + it('分析条件を表示しモデル名をHTMLエスケープする', () => { + const html = buildMetadataHtml({ + totalPages: 3, + extractedPages: [1, 2, 3], + extractionMode: 'full', + provider: 'custom', + model: '', + summaryMode: 'two-pass', + analysisSchemaVersion: 7, + }); + expect(html).toContain('custom/<model>・2パス・v7'); + expect(html).not.toContain('custom/'); + }); +}); diff --git a/src/content/utils/summaryHtmlBuilder.ts b/src/content/utils/summaryHtmlBuilder.ts index 3377155..6f0f46e 100644 --- a/src/content/utils/summaryHtmlBuilder.ts +++ b/src/content/utils/summaryHtmlBuilder.ts @@ -24,12 +24,26 @@ export function buildErrorHtml(errorText: string): string { export function buildMetadataHtml(metadata: SummaryMetadata | null): string { if (!metadata) return ''; - const { extractionMode, totalPages, extractedPages, qualityWarning } = metadata; + const { + extractionMode, + totalPages, + extractedPages, + qualityWarning, + provider, + model, + summaryMode, + analysisSchemaVersion, + experimentalScoring, + } = metadata; + const analysisInfo = + provider && model && summaryMode + ? ` | 分析: ${escapeMetadataText(provider)}/${escapeMetadataText(model)}・${summaryMode === 'two-pass' ? '2パス' : '1パス'}・v${analysisSchemaVersion ?? '?'}${experimentalScoring ? '・実験スコアON' : ''}` + : ''; let html = `
抽出モード: ${extractionMode === 'smart' ? 'スマート抽出' : '全文抽出'} | - ページ: ${extractedPages?.length || totalPages}/${totalPages}ページ + ページ: ${extractedPages?.length || totalPages}/${totalPages}ページ${analysisInfo}
`; @@ -45,6 +59,15 @@ export function buildMetadataHtml(metadata: SummaryMetadata | null): string { return html; } +function escapeMetadataText(value: string): string { + return value + .replace(/&/g, '&') + .replace(//g, '>') + .replace(/"/g, '"') + .replace(/'/g, '''); +} + /** * 要約結果全体のHTMLを生成 */ diff --git a/src/lib/analysis-version.test.ts b/src/lib/analysis-version.test.ts new file mode 100644 index 0000000..d643aba --- /dev/null +++ b/src/lib/analysis-version.test.ts @@ -0,0 +1,41 @@ +import { describe, expect, it } from 'vitest'; +import { + ANALYSIS_SCHEMA_VERSION, + buildAnalysisFingerprint, + buildSummaryCacheKey, +} from './analysis-version'; + +describe('分析バージョン付きキャッシュキー', () => { + it('分析仕様・モデル・抽出方式・パス方式を含む', () => { + const fingerprint = buildAnalysisFingerprint({ + provider: 'openrouter', + model: 'google/gemini flash', + extractionMode: 'full', + twoPassMode: true, + experimentalScoring: false, + }); + expect(fingerprint).toBe( + `v${ANALYSIS_SCHEMA_VERSION}:openrouter:google%2Fgemini%20flash:full:two-pass:score-off` + ); + expect(buildSummaryCacheKey('20260714.pdf', fingerprint)).toBe(`${fingerprint}:20260714.pdf`); + }); + + it('設定が変わると別のキャッシュになる', () => { + const base = { + provider: 'openai', + model: 'gpt-4o', + extractionMode: 'full' as const, + twoPassMode: true, + experimentalScoring: false, + }; + expect(buildAnalysisFingerprint(base)).not.toBe( + buildAnalysisFingerprint({ ...base, model: 'gpt-4o-mini' }) + ); + expect(buildAnalysisFingerprint(base)).not.toBe( + buildAnalysisFingerprint({ ...base, twoPassMode: false }) + ); + expect(buildAnalysisFingerprint(base)).not.toBe( + buildAnalysisFingerprint({ ...base, experimentalScoring: true }) + ); + }); +}); diff --git a/src/lib/analysis-version.ts b/src/lib/analysis-version.ts new file mode 100644 index 0000000..2fd5f6a --- /dev/null +++ b/src/lib/analysis-version.ts @@ -0,0 +1,27 @@ +import type { ExtractionMode } from '@/types/summaryMetadata'; + +export const ANALYSIS_SCHEMA_VERSION = 9; + +export interface AnalysisFingerprintSettings { + provider: string; + model: string; + extractionMode: ExtractionMode; + twoPassMode: boolean; + experimentalScoring: boolean; +} + +export function buildAnalysisFingerprint(settings: AnalysisFingerprintSettings): string { + const mode = settings.twoPassMode ? 'two-pass' : 'one-pass'; + return [ + `v${ANALYSIS_SCHEMA_VERSION}`, + encodeURIComponent(settings.provider), + encodeURIComponent(settings.model), + settings.extractionMode, + mode, + settings.experimentalScoring ? 'score-on' : 'score-off', + ].join(':'); +} + +export function buildSummaryCacheKey(pdfUrl: string, fingerprint: string): string { + return `${fingerprint}:${pdfUrl}`; +} diff --git a/src/lib/document-type.test.ts b/src/lib/document-type.test.ts new file mode 100644 index 0000000..2939b33 --- /dev/null +++ b/src/lib/document-type.test.ts @@ -0,0 +1,31 @@ +import { describe, expect, it } from 'vitest'; +import fixtures from '../../evaluation/fixtures/classification-cases.json'; +import { detectDocumentType, detectEarningsContext } from './document-type'; + +interface ClassificationFixture { + id: string; + title: string; + baselineType: ReturnType; + targetType: string; + expectedContext?: ReturnType; +} + +const cases = fixtures as ClassificationFixture[]; + +describe('文書分類', () => { + it.each(cases)('$id: $title', ({ title, targetType }) => { + expect(detectDocumentType(title)).toBe(targetType); + }); + + it.each(cases.filter(({ expectedContext }) => expectedContext))( + '$id: 決算コンテキストを判定する', + ({ title, expectedContext }) => { + expect(detectEarningsContext(title)).toEqual(expectedContext); + } + ); + + it('Phase 0から再分類した対象を記録している', () => { + const pending = cases.filter(({ baselineType, targetType }) => baselineType !== targetType); + expect(pending.length).toBeGreaterThan(0); + }); +}); diff --git a/src/lib/document-type.ts b/src/lib/document-type.ts index 82d6194..94afe95 100644 --- a/src/lib/document-type.ts +++ b/src/lib/document-type.ts @@ -28,12 +28,17 @@ export interface EarningsContext { * 文書タイプ */ export type DocumentType = - | 'earnings' // 決算短信 - | 'earningsRevision' // 業績修正 - | 'dividend' // 配当 - | 'ma' // M&A(株式取得・譲渡等) - | 'shareRepurchase' // 自己株式取得 - | 'other'; // その他 + | 'earnings' // 決算短信 + | 'earningsRevision' // 業績修正 + | 'shareholderBenefit' // 株主優待 + | 'dividend' // 配当 + | 'shareRepurchase' // 自己株式取得 + | 'stockSplit' // 株式分割・併合 + | 'capitalPolicy' // 資本政策・資本業務提携 + | 'ma' // M&A(株式取得・譲渡等) + | 'businessUpdate' // 月次・受注・事業進捗 + | 'governance' // 役員・ガバナンス + | 'other'; // その他 /** * タイトルから文書タイプを判別 @@ -50,41 +55,78 @@ export type DocumentType = * @returns 文書タイプ */ export function detectDocumentType(title: string): DocumentType { + const normalizedTitle = title.normalize('NFKC'); + // 1. 業績修正(`業績予想` + `修正`) - if (title.includes('業績予想') && title.includes('修正')) { + if (normalizedTitle.includes('業績予想') && normalizedTitle.includes('修正')) { return 'earningsRevision'; } // 2. 決算短信(`決算短信` or `四半期`、ただし`通期`単独は除外) // 注意: `通期`は他の文書タイプでも使われるため除外 - if (title.includes('決算短信') || title.includes('四半期')) { + if (normalizedTitle.includes('決算短信') || normalizedTitle.includes('四半期')) { return 'earnings'; } - // 3. 配当 - if (title.includes('配当')) { - return 'dividend'; + // 3. 株主優待 + if (/株主優待|優待制度/.test(normalizedTitle)) { + return 'shareholderBenefit'; } - // 4. 自己株式取得(M&Aより優先) - // 注意: `自己株式`は`株式`を含むため、M&Aの前に判定する必要がある - if (title.includes('自己株式')) { + // 4. 自己株式取得(資本政策・M&Aより優先) + if (/自己株式.{0,20}(取得|消却)|自己株買い/.test(normalizedTitle)) { return 'shareRepurchase'; } - // 5. M&A(`自己株式`を含む場合は除外) - // 注意: 自己株式取得は既に判定済みなので、ここでは`株式取得`や`株式譲渡`などが対象 + // 5. 株式分割・併合(配当予想修正との複合開示では主取引を優先) + if (/株式分割|株式併合|単元株式数|単元株/.test(normalizedTitle)) { + return 'stockSplit'; + } + + // 6. 配当 + if (normalizedTitle.includes('配当')) { + return 'dividend'; + } + + // 7. 資本政策・資本業務提携 + if ( + /資本業務提携|業務資本提携|第三者割当|新株予約権|公募増資|株式の発行|資本政策|自己株式の処分/.test( + normalizedTitle + ) + ) { + return 'capitalPolicy'; + } + + // 8. M&A if ( - title.includes('株式取得') || - title.includes('株式譲渡') || - title.includes('子会社') || - title.includes('合併') || - title.includes('買収') + normalizedTitle.includes('株式取得') || + normalizedTitle.includes('株式譲渡') || + normalizedTitle.includes('子会社') || + normalizedTitle.includes('合併') || + normalizedTitle.includes('買収') || + normalizedTitle.includes('会社分割') || + normalizedTitle.includes('事業譲渡') || + normalizedTitle.includes('公開買付') || + /M&A/i.test(normalizedTitle) ) { return 'ma'; } - // 6. その他(デフォルト) + // 9. 月次・受注・事業進捗 + if (/月次|受注状況|受注残|事業進捗|売上速報|販売状況|稼働率|主要KPI/i.test(normalizedTitle)) { + return 'businessUpdate'; + } + + // 10. 役員・ガバナンス + if ( + /人事異動|取締役|執行役員|代表取締役|役員|ガバナンス|内部統制|不祥事|再発防止|監査法人|会計監査人/.test( + normalizedTitle + ) + ) { + return 'governance'; + } + + // 11. その他(デフォルト) return 'other'; } @@ -95,13 +137,15 @@ export function detectDocumentType(title: string): DocumentType { * @returns 決算コンテキスト(期区分・会計基準・連結/個別) */ export function detectEarningsContext(title: string): EarningsContext { + const normalizedTitle = title.normalize('NFKC'); + // 期区分の判定 let period: EarningsPeriod; - if (/第1四半期|1Q/.test(title)) { + if (/第1四半期|1Q/i.test(normalizedTitle)) { period = 'q1'; - } else if (/第2四半期|2Q|中間/.test(title)) { + } else if (/第2四半期|2Q|中間/i.test(normalizedTitle)) { period = 'q2'; - } else if (/第3四半期|3Q/.test(title)) { + } else if (/第3四半期|3Q/i.test(normalizedTitle)) { period = 'q3'; } else { period = 'fullYear'; @@ -109,16 +153,16 @@ export function detectEarningsContext(title: string): EarningsContext { // 会計基準の判定 let accountingStandard: AccountingStandard; - if (/IFRS|国際会計基準/.test(title)) { + if (/IFRS|国際会計基準/i.test(normalizedTitle)) { accountingStandard = 'ifrs'; - } else if (/米国基準/.test(title)) { + } else if (/米国基準/.test(normalizedTitle)) { accountingStandard = 'usGaap'; } else { accountingStandard = 'jpGaap'; } // 連結/個別の判定 - const isConsolidated = !/個別|単体/.test(title); + const isConsolidated = !/個別|単体|非連結/.test(normalizedTitle); return { period, accountingStandard, isConsolidated }; } @@ -135,12 +179,22 @@ export function getDocumentTypeName(type: DocumentType): string { return '決算短信'; case 'earningsRevision': return '業績修正'; + case 'shareholderBenefit': + return '株主優待'; case 'dividend': return '配当'; - case 'ma': - return 'M&A'; case 'shareRepurchase': return '自己株式取得'; + case 'stockSplit': + return '株式分割・併合'; + case 'capitalPolicy': + return '資本政策'; + case 'ma': + return 'M&A'; + case 'businessUpdate': + return '事業進捗・月次'; + case 'governance': + return 'ガバナンス'; case 'other': return 'その他'; } diff --git a/src/lib/earnings-analysis-prompts.test.ts b/src/lib/earnings-analysis-prompts.test.ts new file mode 100644 index 0000000..2c7e1a0 --- /dev/null +++ b/src/lib/earnings-analysis-prompts.test.ts @@ -0,0 +1,82 @@ +import { describe, expect, it } from 'vitest'; +import { getFormatPrompt } from './format-prompts'; +import { getExtractionPrompt, getPromptForDocumentType } from './prompts'; +import { getJsonSchema } from './summary-schema'; + +const context = { + period: 'q2' as const, + accountingStandard: 'jpGaap' as const, + isConsolidated: true, +}; + +describe('決算分析プロンプト', () => { + it('1パスでも利益の質と時間軸別診断を要求する', () => { + const { system } = getPromptForDocumentType('earnings', '[PDF_PAGE:1]\n売上高', context); + expect(system).toContain('## 利益の質'); + expect(system).toContain('## 時間軸別の見方'); + expect(system).toContain('据え置きだけを理由に大幅なマイナス評価をしない'); + expect(system).toContain('市場コンセンサス'); + }); + + it('パス1で根拠ページと空配列を要求する', () => { + const { system } = getExtractionPrompt('earnings', '[PDF_PAGE:1]\n売上高', context); + expect(system).toContain('[PDF_PAGE:N]'); + expect(system).toContain('好材料・リスクに根拠がない場合は空配列'); + expect(system).toContain('earningsQuality'); + expect(system).toContain('investmentView'); + expect(system).toContain('"previousAmount"'); + expect(system).toContain('"businessPl"'); + expect(system).toContain('増減率が「-」でも、比較金額は省略しない'); + expect(system).toContain('最も精密な金額'); + expect(system).toContain('businessPl.items'); + expect(system).toContain('会社固有の言い回しを意味として解釈'); + expect(system).toContain('当期の配当修正と来期配当予想を混同しない'); + expect(system).toContain('「(予想)」行を省略せず'); + expect(system).toContain('旧予想レンジがゼロをまたぐ場合'); + expect(system).toContain('comparisonBasisをsplitAdjusted'); + expect(system).toContain('根拠原文と確信度'); + }); + + it('会計基準別の評価指標と一時損益の境界を明示する', () => { + const ifrsContext = { ...context, accountingStandard: 'ifrs' as const }; + const { system } = getExtractionPrompt('earnings', '[PDF_PAGE:1]\n税引前利益', ifrsContext); + expect(system).toContain('IFRS・米国基準では税引前利益'); + expect(system).toContain('税引前利益について'); + expect(system).toContain('損失消化率'); + expect(system).toContain('M&A、合併、事業施策の説明だけを入れない'); + }); + + it('決算JSONスキーマに利益品質と投資診断を含める', () => { + const schema = getJsonSchema('earnings', context); + expect(schema).toContain('"earningsQuality"'); + expect(schema).toContain('"investmentView"'); + expect(schema).toContain('"watchPoints"'); + expect(schema).toContain('"capitalActions"'); + expect(schema).toContain('"currentRevision"'); + expect(schema).toContain('"confidence"'); + }); + + it('パス2で方向性と根拠ページを表示する', () => { + const { system } = getFormatPrompt('earnings', {}, context); + expect(system).toContain('positive=強気'); + expect(system).toContain('[p.{page}]'); + expect(system).toContain('## 評価理由'); + expect(system).toContain('## 事業P/L'); + expect(system).toContain('dividend.periods'); + expect(system).toContain('当期配当予想の修正'); + expect(system).toContain('operatingCashFlow.interpretation'); + expect(system).toContain('capitalActions'); + expect(system).toContain('{displayText}'); + expect(system).toContain('operatingMargin.comparisonText'); + expect(system).not.toContain('前年同期{{earningsQuality.operatingMargin.previous}}'); + }); + + it('IFRSのパス2では税引前利益の表示名を使う', () => { + const ifrsContext = { ...context, accountingStandard: 'ifrs' as const }; + const { system } = getFormatPrompt('earnings', {}, ifrsContext); + expect(system).toContain('## 決算評価(税引前利益ベース)'); + expect(system).toContain('税引前利益の損失消化率'); + expect(system).toContain('lastYearProgressがnullでない場合のみ'); + expect(system).not.toContain('## 決算評価(経常利益ベース)'); + }); +}); diff --git a/src/lib/earnings-refinement.test.ts b/src/lib/earnings-refinement.test.ts new file mode 100644 index 0000000..9038e61 --- /dev/null +++ b/src/lib/earnings-refinement.test.ts @@ -0,0 +1,446 @@ +import { describe, expect, it } from 'vitest'; +import type { EarningsExtraction } from './summary-schema'; +import { refineEarningsExtraction } from './earnings-refinement'; + +function extraction(): EarningsExtraction { + return { + summary: '要約', + performance: { + periodLabel: '第1四半期連結実績', + items: [ + { + name: '売上収益', + amount: '43,277百万円', + previousAmount: '41,824百万円', + change: '+3.5%', + page: 1, + }, + { + name: '営業利益', + amount: '3,378百万円', + previousAmount: '3,049百万円', + change: '+10.8%', + page: 1, + }, + { name: '税引前利益', amount: '3,221百万円', change: '+7.7%', page: 1 }, + ], + }, + businessPl: { + items: [ + { + name: '売上総利益', + amount: '12,000百万円', + previousAmount: '10,000百万円', + change: '+20.0%', + page: 5, + }, + ], + }, + evaluation: { + actual: { vsLastYear: '★★★★★(前年同期比+10.8%)', progressOrLanding: null }, + forecast: { + vsLastYear: '★★★★☆(前期比+1.8%)', + revisionOrDividend: '→据置', + }, + }, + progress: null, + forecast: { + label: '通期予想', + items: [{ name: '税引前利益', amount: '8,000百万円', change: '+1.8%', page: 1 }], + }, + forecastRevision: { + direction: 'unchanged', + metric: null, + before: null, + after: null, + interpretation: '修正なし', + page: 1, + confidence: 'high', + }, + revision: '修正なし', + dividend: null, + earningsQuality: { + operatingMargin: null, + coreEarnings: null, + oneOffItems: [ + { text: 'SFPとの合併により経営効率化を推進', page: 4 }, + { text: '減損損失115百万円を計上', page: 12 }, + ], + operatingCashFlow: null, + financialHealth: [], + capitalActions: [], + }, + investmentView: { + shortTerm: { stance: 'neutral', rationale: [] }, + mediumTerm: { stance: 'neutral', rationale: [] }, + longTerm: { stance: 'neutral', rationale: [] }, + positives: [], + risks: [], + watchPoints: [], + rationale: '理由', + }, + topics: [], + }; +} + +describe('決算抽出の決定論的補正', () => { + const context = { + period: 'q1' as const, + accountingStandard: 'ifrs' as const, + isConsolidated: true, + }; + + it('IFRSの税引前利益で対前年と通期予想を再評価する', () => { + const result = refineEarningsExtraction(extraction(), context); + expect(result.evaluation?.actual.vsLastYear).toBe('★★★☆☆(前年同期比+7.7%)'); + expect(result.evaluation?.forecast?.vsLastYear).toBe('★★☆☆☆(前期比+1.8%)'); + }); + + it('タイトルから非連結の業績期間ラベルを確定する', () => { + const data = extraction(); + data.performance.periodLabel = '2026年5月期連結実績'; + const result = refineEarningsExtraction( + data, + { period: 'fullYear', accountingStandard: 'jpGaap', isConsolidated: false }, + '2026年5月期 決算短信〔日本基準〕(非連結)' + ); + expect(result.performance.periodLabel).toBe('2026年5月期 実績'); + }); + + it('来期配当予想と当期配当修正の時間軸を混同しない', () => { + const data = extraction(); + data.dividend = { + forecastAvailability: 'reported', + periods: [ + { + fiscalYear: '2026年5月期', + status: 'actual', + interim: '0円00銭', + yearEnd: '32円00銭', + annual: '32円00銭', + comparisonAnnual: '13円50銭', + comparisonBasis: 'reported', + assessment: 'increase', + interpretation: 'unknown', + evidenceText: '2026年5月期 32円00銭', + page: 1, + confidence: 'high', + }, + { + fiscalYear: '2027年5月期', + status: 'forecast', + interim: '0円00銭', + yearEnd: '57円00銭', + annual: '57円00銭', + comparisonAnnual: '32円00銭', + comparisonBasis: 'reported', + assessment: 'increase', + interpretation: '来期も増配予想', + evidenceText: '2027年5月期(予想)57円00銭', + page: 1, + confidence: 'high', + }, + ], + currentRevision: { + fiscalYear: '2026年5月期', + before: '30円00銭', + after: '32円00銭', + reason: '増配', + page: 1, + }, + }; + const result = refineEarningsExtraction(data, { + period: 'fullYear', + accountingStandard: 'jpGaap', + isConsolidated: false, + }); + expect(result.evaluation?.forecast?.revisionOrDividend).toBe('↑増配(32円→57円)'); + expect(result.dividend?.currentRevision).toMatchObject({ before: '30円00銭', after: '32円00銭' }); + expect(result.dividend?.periods[0].interpretation).toBe(''); + }); + + it('LLMが配当の意味説明へnullを返してもクラッシュしない', () => { + const data = extraction(); + data.dividend = { + forecastAvailability: 'reported', + periods: [ + { + fiscalYear: '2026年11月期', + status: 'forecast', + interim: '0.00円', + yearEnd: '10.00円', + annual: '10.00円', + comparisonAnnual: '10.00円', + comparisonBasis: 'reported', + assessment: 'unchanged', + interpretation: null, + evidenceText: '配当の状況', + page: 1, + confidence: 'high', + }, + ], + currentRevision: null, + }; + expect(() => refineEarningsExtraction(data, context)).not.toThrow(); + expect(refineEarningsExtraction(data, context).dividend?.periods[0].interpretation).toBe(''); + }); + + it('欠損した配当内訳の区切りを表示文字列へ残さない', () => { + const data = extraction(); + data.dividend = { + forecastAvailability: 'reported', + periods: [ + { + fiscalYear: '2027年5月期', + status: 'forecast', + interim: null, + yearEnd: '0.00円', + annual: '0.00円', + comparisonAnnual: '0.00円', + comparisonBasis: 'reported', + assessment: 'unchanged', + interpretation: '無配継続', + evidenceText: '配当の状況', + page: 1, + confidence: 'high', + }, + ], + currentRevision: null, + }; + const result = refineEarningsExtraction(data, context); + expect(result.dividend?.periods[0].displayText).toBe('期末0.00円 / 年間0.00円'); + expect(result.dividend?.periods[0].displayText).not.toContain('中間'); + }); + + it('修正前後の金額がない配当修正オブジェクトを非表示にする', () => { + const data = extraction(); + data.dividend = { + forecastAvailability: 'notReported', + periods: [], + currentRevision: { + fiscalYear: '2026年11月期', + before: null, + after: null, + reason: null, + page: null, + }, + }; + expect(refineEarningsExtraction(data, context).dividend?.currentRevision).toBeNull(); + }); + + it('営業利益率の比較値がなければ現在値だけを表示対象にする', () => { + const data = extraction(); + data.earningsQuality.operatingMargin = { + current: '△21.9%', + previous: null, + change: null, + page: 1, + }; + const result = refineEarningsExtraction(data, { + period: 'fullYear', + accountingStandard: 'jpGaap', + isConsolidated: true, + }); + expect(result.earningsQuality.operatingMargin).toMatchObject({ + current: '△21.9%', + comparisonText: null, + }); + }); + + it.each([ + ['キャッシュ・フロー計算書は作成していない', 'notPrepared'], + ['当該情報は開示していない', 'notReported'], + ] as const)('営業CFの非報告表現「%s」を意味分類から非表示にする', (evidenceText, status) => { + const data = extraction(); + data.earningsQuality.operatingCashFlow = { + status, + amount: null, + direction: 'unknown', + interpretation: '営業CFは確認できない', + evidenceText, + page: 7, + confidence: 'high', + }; + expect(refineEarningsExtraction(data, context).earningsQuality.operatingCashFlow).toBeNull(); + }); + + it('金額と根拠のある営業CFは会社固有の表現でも保持する', () => { + const data = extraction(); + data.earningsQuality.operatingCashFlow = { + status: 'reported', + amount: '527,243千円', + direction: 'inflow', + interpretation: '営業活動による資金は増加', + evidenceText: '営業活動の結果得られた資金は527,243千円となりました', + page: 5, + confidence: 'high', + }; + expect(refineEarningsExtraction(data, context).earningsQuality.operatingCashFlow).toMatchObject({ + amount: '527,243千円', + direction: 'inflow', + }); + }); + + it('ゼロをまたぐ予想修正レンジは増減率を作らず金額で表示する', () => { + const data = extraction(); + data.forecastRevision = { + direction: 'up', + metric: '経常利益', + before: '△100〜100百万円', + after: '200〜300百万円', + interpretation: '経常利益予想を上方修正', + page: 6, + confidence: 'high', + }; + const result = refineEarningsExtraction(data, { + period: 'q2', + accountingStandard: 'jpGaap', + isConsolidated: true, + }); + expect(result.evaluation?.forecast?.revisionOrDividend).toBe( + '↑上方修正(経常利益:△100〜100百万円→200〜300百万円)' + ); + }); + + it('LLMの意味分類に基づき株主還元だけを表示対象にする', () => { + const data = extraction(); + data.earningsQuality.capitalActions = [ + { + type: 'stockSplit', + purpose: '投資単位の引下げ', + returnAssessment: 'capitalAction', + interpretation: '1株を3株に分割', + reason: '金銭的還元を伴わない', + evidenceText: '普通株式1株につき3株の割合で株式分割を行う', + page: 1, + confidence: 'high', + }, + { + type: 'dividend', + purpose: '利益還元', + returnAssessment: 'shareholderReturn', + interpretation: '年間配当を32円へ増額', + reason: '配当額の増加を伴う', + evidenceText: '期末配当金を30円から32円に変更予定', + page: 1, + confidence: 'high', + }, + ]; + expect(refineEarningsExtraction(data, context).earningsQuality.capitalActions).toEqual([ + expect.objectContaining({ type: 'dividend', interpretation: '年間配当を32円へ増額' }), + ]); + }); + + it('実績と通期予想から四半期進捗を再計算する', () => { + const result = refineEarningsExtraction(extraction(), context); + expect(result.progress?.ordinaryIncome).toBe('40.3%'); + expect(result.evaluation?.actual.progressOrLanding).toBe('★★★★★(進捗率40.3% / 標準25%)'); + }); + + it('損益ではない合併説明を一時損益から除外する', () => { + const result = refineEarningsExtraction(extraction(), context); + expect(result.earningsQuality.oneOffItems).toEqual([ + { text: '減損損失115百万円を計上', page: 12 }, + ]); + }); + + it('売上と本業利益を事業P/Lとして別評価する', () => { + const result = refineEarningsExtraction(extraction(), context); + expect(result.businessPl?.items).toEqual([ + expect.objectContaining({ + name: '売上収益', + assessment: '前年同期比+3.5%(増収)', + }), + expect.objectContaining({ + name: '売上総利益', + assessment: '前年同期比+20.0%(粗利増加)', + }), + expect.objectContaining({ + name: '営業利益', + assessment: '前年同期比+10.8%(増益)', + }), + ]); + }); + + it('事業P/Lの本業赤字縮小を改善として表示する', () => { + const data = extraction(); + data.performance.items[1] = { + name: '営業利益', + amount: '△5百万円', + previousAmount: '△16百万円', + change: null, + page: 1, + }; + const result = refineEarningsExtraction(data, context); + expect(result.businessPl?.items[2]?.assessment).toBe('赤字縮小68.8%: △16百万円 → △5百万円'); + }); + + it('黒字転換・赤字転落は増減率がなくても明示判定する', () => { + const data = extraction(); + data.performance.items[2].change = '黒字転換'; + data.forecast!.items[0].change = '赤字転落'; + const result = refineEarningsExtraction(data, context); + expect(result.evaluation?.actual.vsLastYear).toBe('★★★★★(黒字転換)'); + expect(result.evaluation?.forecast?.vsLastYear).toBe('★☆☆☆☆(赤字転落)'); + }); + + it('比較金額から増減率を補完する', () => { + const data = extraction(); + data.performance.items[2].change = null; + data.performance.items[2].previousAmount = '2,990百万円'; + const result = refineEarningsExtraction(data, context); + expect(result.evaluation?.actual.vsLastYear).toBe('★★★☆☆(前年同期比+7.7%)'); + }); + + it('CaSyの前年黒字から当期赤字への文脈を赤字転落として表示する', () => { + const data = extraction(); + data.performance.items = [ + { + name: '経常利益', + amount: '△5,818千円(損失)', + previousAmount: '16,185千円', + change: null, + page: 1, + }, + ]; + data.forecast = { + label: '通期予想', + items: [ + { + name: '経常利益', + amount: '△139百万円', + previousAmount: null, + change: null, + page: 1, + }, + ], + }; + const result = refineEarningsExtraction(data, { + period: 'q2', + accountingStandard: 'jpGaap', + isConsolidated: true, + }); + expect(result.evaluation?.actual.vsLastYear).toBe('★☆☆☆☆(赤字転落: 16,185千円 → △5,818千円)'); + expect(result.evaluation?.actual.progressOrLanding).toBe('★★★★★(損失消化率4.2% / 標準50%)'); + expect(result.evaluation?.forecast?.vsLastYear).toBe('★—(赤字・前期比を算出不能)'); + expect(result.progress).toMatchObject({ + ordinaryIncome: '4.2%', + basis: 'lossConsumption', + }); + }); + + it('赤字継続は金額の文脈から縮小・拡大を区別する', () => { + const data = extraction(); + data.performance.items[2] = { + name: '税引前利益', + amount: '△5百万円', + previousAmount: '△16百万円', + change: null, + page: 1, + }; + const result = refineEarningsExtraction(data, context); + expect(result.evaluation?.actual.vsLastYear).toBe( + '★★★★★(赤字縮小68.8%: △16百万円 → △5百万円)' + ); + }); +}); diff --git a/src/lib/earnings-refinement.ts b/src/lib/earnings-refinement.ts new file mode 100644 index 0000000..fedab18 --- /dev/null +++ b/src/lib/earnings-refinement.ts @@ -0,0 +1,439 @@ +import type { EarningsContext } from './document-type'; +import type { EarningsExtraction } from './summary-schema'; + +type FinancialItem = EarningsExtraction['performance']['items'][number]; + +export function refineEarningsExtraction( + extraction: EarningsExtraction, + context: EarningsContext, + documentTitle?: string +): EarningsExtraction { + const actualMetric = findEvaluationMetric(extraction.performance.items, context); + const forecastMetric = extraction.forecast + ? findEvaluationMetric(extraction.forecast.items, context) + : undefined; + const actualComparison = buildYearComparisonRating( + actualMetric, + context.period === 'fullYear' ? '前期比' : '前年同期比' + ); + const forecastComparison = extraction.forecast + ? buildYearComparisonRating(forecastMetric, '前期比') + : null; + const progress = + context.period === 'fullYear' + ? extraction.progress + : buildProgress(actualMetric, forecastMetric, extraction.progress?.lastYearProgress); + + const previousEvaluation = extraction.evaluation; + const dividendEvaluation = buildDividendEvaluation(extraction); + const evaluation = { + actual: { + vsLastYear: actualComparison, + progressOrLanding: + context.period === 'fullYear' + ? (previousEvaluation?.actual.progressOrLanding ?? null) + : progress + ? buildProgressRating(progress, context) + : buildUnavailableProgressRating(actualMetric, forecastMetric), + }, + forecast: extraction.forecast + ? { + vsLastYear: forecastComparison, + revisionOrDividend: + context.period === 'fullYear' + ? dividendEvaluation + : (buildForecastRevisionEvaluation(extraction.forecastRevision) ?? + previousEvaluation?.forecast?.revisionOrDividend ?? + null), + } + : null, + }; + + return { + ...extraction, + performance: { + ...extraction.performance, + periodLabel: buildPerformanceLabel(extraction.performance.periodLabel, context, documentTitle), + }, + dividend: extraction.dividend + ? { + ...extraction.dividend, + periods: extraction.dividend.periods.map((period) => ({ + ...period, + interpretation: normalizeOptionalInterpretation(period.interpretation), + displayText: buildDividendPeriodDisplayText(period), + })), + currentRevision: normalizeDividendRevision(extraction.dividend.currentRevision), + } + : null, + businessPl: buildBusinessPl( + [...(extraction.businessPl?.items ?? []), ...extraction.performance.items], + context + ), + evaluation, + progress, + earningsQuality: { + ...extraction.earningsQuality, + operatingMargin: extraction.earningsQuality.operatingMargin + ? { + ...extraction.earningsQuality.operatingMargin, + comparisonText: buildOperatingMarginComparison( + extraction.earningsQuality.operatingMargin, + context + ), + } + : null, + oneOffItems: extraction.earningsQuality.oneOffItems.filter(isProfitAndLossItem), + operatingCashFlow: refineOperatingCashFlow(extraction.earningsQuality.operatingCashFlow), + capitalActions: extraction.earningsQuality.capitalActions.filter( + (action) => + action.returnAssessment === 'shareholderReturn' && action.confidence !== 'low' + ), + }, + }; +} + +function normalizeDividendRevision( + revision: NonNullable['currentRevision'] +): NonNullable['currentRevision'] { + if (!revision?.before || !revision.after) return null; + return revision; +} + +function buildDividendPeriodDisplayText( + period: NonNullable['periods'][number] +): string { + const details = [ + period.interim ? `中間${period.interim}` : null, + period.yearEnd ? `期末${period.yearEnd}` : null, + period.annual ? `年間${period.annual}` : null, + ].filter((value): value is string => value !== null); + return details.length > 0 ? details.join(' / ') : '配当額の記載なし'; +} + +function buildOperatingMarginComparison( + margin: NonNullable, + context: EarningsContext +): string | null { + const comparisonLabel = context.period === 'fullYear' ? '前期' : '前年同期'; + const details = [ + margin.previous ? `${comparisonLabel}${margin.previous}` : null, + margin.change ? `前年差${margin.change}` : null, + ].filter((value): value is string => value !== null); + return details.length > 0 ? details.join('、') : null; +} + +function buildForecastRevisionEvaluation( + revision: EarningsExtraction['forecastRevision'] +): string | null { + if (!revision || revision.confidence === 'low') return null; + if (revision.direction === 'unchanged') return '→修正なし'; + + const arrow = { up: '↑上方修正', down: '↓下方修正', unknown: '—判定不能' }[ + revision.direction + ]; + const amounts = + revision.before && revision.after + ? `${revision.metric ? `${revision.metric}:` : ''}${revision.before}→${revision.after}` + : revision.interpretation; + return amounts ? `${arrow}(${amounts})` : arrow; +} + +function refineOperatingCashFlow( + cashFlow: EarningsExtraction['earningsQuality']['operatingCashFlow'] +): EarningsExtraction['earningsQuality']['operatingCashFlow'] { + if ( + !cashFlow || + cashFlow.status !== 'reported' || + !cashFlow.amount || + cashFlow.confidence === 'low' + ) { + return null; + } + return cashFlow; +} + +function buildPerformanceLabel( + llmLabel: string, + context: EarningsContext, + documentTitle?: string +): string { + const fiscalYear = extractFiscalYearLabel(documentTitle) ?? extractFiscalYearLabel(llmLabel); + const period = { + q1: '第1四半期', + q2: '第2四半期', + q3: '第3四半期', + fullYear: '', + }[context.period]; + const consolidation = context.isConsolidated ? '連結' : ''; + return [fiscalYear, `${period}${consolidation}実績`].filter(Boolean).join(' '); +} + +function extractFiscalYearLabel(value: string | undefined): string | null { + const match = value?.normalize('NFKC').match(/\d{4}年\s*\d{1,2}月期/); + return match ? match[0].replace(/\s+/g, '') : null; +} + +function buildDividendEvaluation(extraction: EarningsExtraction): string | null { + const forecast = extraction.dividend?.periods.find((period) => period.status === 'forecast'); + if (!forecast) return null; + const before = forecast.comparisonAnnual; + const after = forecast.annual; + if (!before || !after) return '—未定or記載なし'; + + const comparison = `${normalizeDividendAmount(before)}→${normalizeDividendAmount(after)}`; + switch (forecast.assessment) { + case 'increase': + return `↑増配(${comparison})`; + case 'unchanged': + return `→据置(${comparison})`; + case 'decrease': + return `↓減配(${comparison})`; + case 'unknown': + return `—判定不能(${comparison})`; + } +} + +function normalizeDividendAmount(value: string): string { + return value + .normalize('NFKC') + .replace(/(\d+)円00銭/g, '$1円') + .replace(/(\d+)\.00円/g, '$1円'); +} + +function normalizeOptionalInterpretation(value: unknown): string { + if (typeof value !== 'string') return ''; + return /^(?:unknown|不明|判定不能)$/i.test(value.trim()) ? '' : value.trim(); +} + +function buildBusinessPl( + items: FinancialItem[], + context: EarningsContext +): NonNullable | null { + const candidates = [ + findFirstItem(items, [/^売上高$/, /^売上収益$/, /^営業収益$/]), + findFirstItem(items, [/売上総利益/, /粗利益/, /粗利/]), + findFirstItem(items, [/^事業利益$/, /コア営業利益/, /調整後営業利益/, /^営業利益$/]), + ].filter((item): item is FinancialItem => item !== undefined); + + if (candidates.length === 0) return null; + const comparisonLabel = context.period === 'fullYear' ? '前期比' : '前年同期比'; + return { + items: candidates.map((item) => ({ + ...item, + assessment: buildBusinessPlAssessment(item, comparisonLabel), + })), + }; +} + +function findFirstItem(items: FinancialItem[], patterns: RegExp[]): FinancialItem | undefined { + for (const pattern of patterns) { + const item = items.find((candidate) => pattern.test(candidate.name)); + if (item) return item; + } + return undefined; +} + +function buildBusinessPlAssessment(item: FinancialItem, comparisonLabel: string): string { + const current = parseFinancialAmount(item.amount); + const previous = parseFinancialAmount(item.previousAmount); + const comparison = `${formatComparisonAmount(item.previousAmount)} → ${formatComparisonAmount(item.amount)}`; + if (current !== null && previous !== null) { + if (previous > 0 && current < 0) return `赤字転落: ${comparison}`; + if (previous < 0 && current > 0) return `黒字転換: ${comparison}`; + if (previous < 0 && current === 0) return `赤字解消: ${comparison}`; + if (previous < 0 && current < 0) { + const improvement = ((Math.abs(previous) - Math.abs(current)) / Math.abs(previous)) * 100; + const state = improvement > 0 ? '赤字縮小' : improvement < 0 ? '赤字拡大' : '赤字横ばい'; + return `${state}${Math.abs(improvement).toFixed(1)}%: ${comparison}`; + } + } + + const percentage = parsePercentage(item.change) ?? calculatePercentageChange(current, previous); + if (percentage === null) return '比較不能'; + const direction = buildBusinessPlDirection(item.name, percentage); + return `${comparisonLabel}${formatPercentage(percentage)}(${direction})`; +} + +function buildBusinessPlDirection(name: string, percentage: number): string { + if (percentage === 0) return '横ばい'; + const positive = percentage > 0; + if (/売上高|売上収益|営業収益/.test(name)) return positive ? '増収' : '減収'; + if (/売上総利益|粗利益|粗利/.test(name)) return positive ? '粗利増加' : '粗利減少'; + return positive ? '増益' : '減益'; +} + +function findEvaluationMetric( + items: FinancialItem[], + context: EarningsContext +): FinancialItem | undefined { + const preferred = context.accountingStandard === 'jpGaap' ? /経常利益/ : /税引前/; + return items.find((item) => preferred.test(item.name)); +} + +function buildYearComparisonRating(item: FinancialItem | undefined, label: string): string { + const current = parseFinancialAmount(item?.amount); + const previous = parseFinancialAmount(item?.previousAmount); + if (current !== null && previous !== null) { + const comparison = `${formatComparisonAmount(item?.previousAmount)} → ${formatComparisonAmount(item?.amount)}`; + if (previous > 0 && current < 0) return `★☆☆☆☆(赤字転落: ${comparison})`; + if (previous < 0 && current > 0) return `★★★★★(黒字転換: ${comparison})`; + if (previous < 0 && current === 0) return `★★★★★(赤字解消: ${comparison})`; + if (previous < 0 && current < 0) { + const improvement = ((Math.abs(previous) - Math.abs(current)) / Math.abs(previous)) * 100; + const state = improvement > 0 ? '赤字縮小' : improvement < 0 ? '赤字拡大' : '赤字横ばい'; + return `${ratingStars(yearComparisonScore(improvement))}(${state}${Math.abs(improvement).toFixed(1)}%: ${comparison})`; + } + } + + const normalized = item?.change?.normalize('NFKC') ?? ''; + if (normalized.includes('黒字転換')) return '★★★★★(黒字転換)'; + if (normalized.includes('赤字転落')) return '★☆☆☆☆(赤字転落)'; + if (/赤字(?:幅)?(?:拡大|縮小)/.test(normalized)) return '★—(赤字のため評価対象外)'; + + const percentage = parsePercentage(item?.change) ?? calculatePercentageChange(current, previous); + if (percentage === null && current !== null && current < 0) { + return `★—(赤字・${label}を算出不能)`; + } + if (percentage === null) return '—(評価対象指標を取得不能)'; + return `${ratingStars(yearComparisonScore(percentage))}(${label}${formatPercentage(percentage)})`; +} + +function calculatePercentageChange(current: number | null, previous: number | null): number | null { + if (current === null || previous === null || previous <= 0) return null; + return ((current - previous) / previous) * 100; +} + +function yearComparisonScore(percentage: number): number { + if (percentage >= 30) return 5; + if (percentage >= 10) return 4; + if (percentage >= 3) return 3; + if (percentage >= -3) return 2; + return 1; +} + +function buildProgress( + actual: FinancialItem | undefined, + forecast: FinancialItem | undefined, + lastYearProgress: string | null | undefined +): EarningsExtraction['progress'] { + const actualAmount = parseFinancialAmount(actual?.amount); + const forecastAmounts = parseFinancialAmounts(forecast?.amount).filter((amount) => amount !== 0); + if (actualAmount === null || actualAmount === 0 || forecastAmounts.length === 0) return null; + + const isLossConsumption = + actualAmount < 0 && forecastAmounts.every((forecastAmount) => forecastAmount < 0); + const isProfitProgress = + actualAmount > 0 && forecastAmounts.every((forecastAmount) => forecastAmount > 0); + if (!isLossConsumption && !isProfitProgress) return null; + + const rates = forecastAmounts + .map((amount) => (Math.abs(actualAmount) / Math.abs(amount)) * 100) + .sort((a, b) => a - b); + const ordinaryIncome = + rates.length === 1 + ? `${rates[0].toFixed(1)}%` + : `${rates[0].toFixed(1)}%〜${rates[rates.length - 1].toFixed(1)}%`; + return { + ordinaryIncome, + basis: isLossConsumption ? 'lossConsumption' : 'profitProgress', + lastYearProgress: lastYearProgress ?? null, + page: actual?.page ?? forecast?.page ?? null, + }; +} + +function buildProgressRating( + progress: NonNullable, + context: EarningsContext +): string { + const rates = parseAmounts(progress.ordinaryIncome); + if (rates.length === 0) return '—(進捗率を算出不能)'; + const midpoint = rates.reduce((sum, rate) => sum + rate, 0) / rates.length; + const standard = { q1: 25, q2: 50, q3: 75, fullYear: 100 }[context.period]; + const difference = + progress.basis === 'lossConsumption' ? standard - midpoint : midpoint - standard; + let score: number; + if (difference >= 10) score = 5; + else if (difference >= 5) score = 4; + else if (difference > -5) score = 3; + else if (difference >= -10) score = 2; + else score = 1; + const label = progress.basis === 'lossConsumption' ? '損失消化率' : '進捗率'; + return `${ratingStars(score)}(${label}${progress.ordinaryIncome} / 標準${standard}%)`; +} + +function buildUnavailableProgressRating( + actual: FinancialItem | undefined, + forecast: FinancialItem | undefined +): string { + const forecastAmount = parseFinancialAmount(forecast?.amount); + const actualAmount = parseFinancialAmount(actual?.amount); + if (actualAmount !== null && forecastAmount !== null) { + if (actualAmount < 0 && forecastAmount > 0) { + return '★—(赤字実績 / 通期黒字予想)'; + } + if (actualAmount > 0 && forecastAmount < 0) { + return '★—(黒字実績 / 通期赤字予想)'; + } + } + return '—(進捗率を算出不能)'; +} + +function parsePercentage(value: string | null | undefined): number | null { + if (!value) return null; + const normalized = value.normalize('NFKC').replace(/,/g, '').replace(/▲/g, '△'); + const match = normalized.match(/([+△-]?)(\d+(?:\.\d+)?)%/); + if (!match) return null; + const amount = Number(match[2]); + return match[1] === '△' || match[1] === '-' ? -amount : amount; +} + +function parseAmounts(value: string | null | undefined): number[] { + if (!value) return []; + const normalized = value.normalize('NFKC').replace(/,/g, '').replace(/▲/g, '△'); + return [...normalized.matchAll(/([△-]?)(\d+(?:\.\d+)?)/g)].map((match) => { + const amount = Number(match[2]); + return match[1] === '△' || match[1] === '-' ? -amount : amount; + }); +} + +function parseFinancialAmount(value: string | null | undefined): number | null { + return parseFinancialAmounts(value)[0] ?? null; +} + +function parseFinancialAmounts(value: string | null | undefined): number[] { + if (!value) return []; + const normalized = value.normalize('NFKC').replace(/,/g, '').replace(/▲/g, '△'); + const multipliers: Record = { + 兆円: 1e12, + 億円: 1e8, + 百万円: 1e6, + 千円: 1e3, + 円: 1, + }; + const sharedUnit = normalized.match(/兆円|億円|百万円|千円|円/)?.[0] ?? '円'; + return [...normalized.matchAll(/([△-]?)(\d+(?:\.\d+)?)(兆円|億円|百万円|千円|円)?/g)].map( + (match) => { + const multiplier = multipliers[match[3] ?? sharedUnit] ?? 1; + const amount = Number(match[2]) * multiplier; + return match[1] === '△' || match[1] === '-' ? -amount : amount; + } + ); +} + +function formatPercentage(value: number): string { + if (value < 0) return `△${Math.abs(value).toFixed(1)}%`; + return `+${value.toFixed(1)}%`; +} + +function formatComparisonAmount(value: string | null | undefined): string { + return (value ?? '').replace(/\s*[((](?:利益|損失)[))]\s*$/, '').trim(); +} + +function ratingStars(score: number): string { + return `${'★'.repeat(score)}${'☆'.repeat(5 - score)}`; +} + +function isProfitAndLossItem(item: { text: string }): boolean { + return /利益|損失|損益|費用|引当金|減損|売却益|売却損/.test(item.text); +} diff --git a/src/lib/evaluation.test.ts b/src/lib/evaluation.test.ts new file mode 100644 index 0000000..2b2e9bd --- /dev/null +++ b/src/lib/evaluation.test.ts @@ -0,0 +1,34 @@ +import { describe, expect, it } from 'vitest'; +import { calculateAccuracy, compareNormalizedValues, normalizeEvaluationValue } from './evaluation'; + +describe('calculateAccuracy', () => { + it('一致件数と正解率を集計する', () => { + expect( + calculateAccuracy([ + { expected: 'earnings', actual: 'earnings' }, + { expected: 'dividend', actual: 'other' }, + ]) + ).toEqual({ total: 2, matched: 1, accuracy: 0.5 }); + }); + + it('空の評価集合を成功扱いにしない', () => { + expect(calculateAccuracy([])).toEqual({ total: 0, matched: 0, accuracy: 0 }); + }); +}); + +describe('normalizeEvaluationValue', () => { + it('全角文字、桁区切り、空白、赤字記号を正規化する', () => { + expect(normalizeEvaluationValue(' ▲ 1,234 百万円 ')).toBe('△1234百万円'); + }); +}); + +describe('compareNormalizedValues', () => { + it('意味を変えない表記揺れを同一として比較する', () => { + expect( + compareNormalizedValues([ + { expected: '1,234百万円', actual: '1,234 百万円' }, + { expected: '△5.0%', actual: '▲5.0%' }, + ]) + ).toEqual({ total: 2, matched: 2, accuracy: 1 }); + }); +}); diff --git a/src/lib/evaluation.ts b/src/lib/evaluation.ts new file mode 100644 index 0000000..986080c --- /dev/null +++ b/src/lib/evaluation.ts @@ -0,0 +1,44 @@ +export interface EvaluationCount { + total: number; + matched: number; + accuracy: number; +} + +export interface FieldComparison { + expected: T; + actual: T; +} + +/** + * 評価件数と一致件数から、0〜1の正解率を返す。 + * 空の評価集合は成功扱いにせず0とする。 + */ +export function calculateAccuracy(comparisons: FieldComparison[]): EvaluationCount { + const matched = comparisons.filter(({ expected, actual }) => expected === actual).length; + return { + total: comparisons.length, + matched, + accuracy: comparisons.length === 0 ? 0 : matched / comparisons.length, + }; +} + +/** + * LLM出力に含まれる表記揺れを評価前に最小限だけ正規化する。 + * 単位変換や数値の推測は行わない。 + */ +export function normalizeEvaluationValue(value: string): string { + return value + .normalize('NFKC') + .replace(/[\s,,]/g, '') + .replace(/▲/g, '△') + .trim(); +} + +export function compareNormalizedValues(comparisons: FieldComparison[]): EvaluationCount { + return calculateAccuracy( + comparisons.map(({ expected, actual }) => ({ + expected: normalizeEvaluationValue(expected), + actual: normalizeEvaluationValue(actual), + })) + ); +} diff --git a/src/lib/format-prompts.ts b/src/lib/format-prompts.ts index 28420bc..1b7b302 100644 --- a/src/lib/format-prompts.ts +++ b/src/lib/format-prompts.ts @@ -21,18 +21,48 @@ const FORMAT_RULES = ` - セクション全体のデータがnull・空配列の場合: セクション(見出し含む)を丸ごと省略 - 箇条書き項目の値がnullの場合: その行を丸ごと省略(「null」という文字列を出力しない) - items配列内のchangeがnullの場合: 括弧部分を省略し「- {name}: {amount}」のみ出力 -- 「null」という文字列は絶対に出力しないでください`; +- 「null」という文字列は絶対に出力しないでください + +【根拠ページ】 +- EvidenceFactのpageが整数の場合は文末に「[p.{page}]」を付けてください +- pageがnullの場合はページ表記を省略してください +- 同じ項目内に複数の根拠がある場合は「[p.1, p.3]」形式にまとめてください + +【方向性の表示】 +- positive=強気、slightlyPositive=やや強気、neutral=中立、slightlyNegative=やや弱気、negative=弱気、unknown=判断不能 と変換してください`; + +const INVESTMENT_VIEW_TEMPLATE = ` +## 時間軸別の見方 +- 短期: {{investmentView.shortTerm.stanceを日本語変換}} — {{rationaleのtextを「 / 」で連結}} {{根拠ページ}} +- 中期: {{investmentView.mediumTerm.stanceを日本語変換}} — {{rationaleのtextを「 / 」で連結}} {{根拠ページ}} +- 長期: {{investmentView.longTerm.stanceを日本語変換}} — {{rationaleのtextを「 / 」で連結}} {{根拠ページ}} + +## 好材料 +{{investmentView.positives を1行ずつ: - {text} [p.{page}]}} + +## リスク +{{investmentView.risks を1行ずつ: - {text} [p.{page}]}} + +## 次回確認点 +{{investmentView.watchPoints を1行ずつ: - {text} [p.{page}]}} + +## 評価理由 +{{investmentView.rationale}}`; // ── 決算短信テンプレート ── function buildEarningsTemplate(ctx: EarningsContext): string { const isQuarterly = ctx.period !== 'fullYear'; const forecastGroupLabel = isQuarterly ? '【通期予想】' : '【来期予想】(データがある場合のみ)'; + const evaluationMetric = ctx.accountingStandard === 'jpGaap' ? '経常利益' : '税引前利益'; return ` --- 出力テンプレート --- -## 決算評価(経常利益ベース) +## 全体要約 +{{summary}} + +## 決算評価(${evaluationMetric}ベース) 【実績】 - 対前年: {{evaluation.actual.vsLastYear}} - ${isQuarterly ? '進捗' : '着地'}: {{evaluation.actual.progressOrLanding}} @@ -41,24 +71,50 @@ ${forecastGroupLabel} - 対前年: {{evaluation.forecast.vsLastYear}} - ${isQuarterly ? '予想修正' : '配当'}: {{evaluation.forecast.revisionOrDividend}} -## 全体要約 -{{summary}} - ## 業績サマリー({{performance.periodLabel}}) -{{performance.items を1行ずつ: - {name}: {amount}({change}) ※changeがnullなら括弧ごと省略}} +{{performance.items を1行ずつ: - {name}: {amount}({change}) [p.{page}] ※changeがnullなら括弧ごと省略}} -${isQuarterly ? `## 進捗率(通期予想に対して) -- 経常利益: {{progress.ordinaryIncome}}(前年同期{{progress.lastYearProgress}}) -` : ''}## {{forecast.label}} -{{forecast.items を1行ずつ: - {name}: {amount}({change}) ※changeがnullなら括弧ごと省略}} +## 事業P/L +{{businessPl.items を1行ずつ: - {name}: {amount} — {assessment} [p.{page}]}} + +${ + isQuarterly + ? `## 進捗率(通期予想に対して) +{{progress.basisがlossConsumptionなら「- ${evaluationMetric}の損失消化率: {progress.ordinaryIncome}」、それ以外は「- ${evaluationMetric}: {progress.ordinaryIncome}」}}{{progress.lastYearProgressがnullでない場合のみ: (前年同期{progress.lastYearProgress})}} [p.{{progress.page}}] +` + : '' +}## {{forecast.label}} +{{forecast.items を1行ずつ: - {name}: {amount}({change}) [p.{page}] ※changeがnullなら括弧ごと省略}} ## 修正・配当 - 業績予想の修正: {{revision}} -※以下のdividendフィールドがnullの項目は行ごと省略すること: -- 中間配当: {{dividend.interim}} -- 期末配当: {{dividend.yearEnd}} -- 年間配当: {{dividend.annual}} -- 配当予想の修正: {{dividend.dividendRevision}} +{{dividend.periods を年度ごとに1行ずつ: - 配当({fiscalYear}・{statusがactualなら実績、forecastなら予想}): {displayText}{{interpretationが空でない場合のみ: — {interpretation}}} [p.{page}]}} +- 当期配当予想の修正({{dividend.currentRevision.fiscalYear}}): {{dividend.currentRevision.before}}→{{dividend.currentRevision.after}} {{pageがあれば[p.N]}} + +## 利益の質 +- 営業利益率: {{earningsQuality.operatingMargin.current}}{{earningsQuality.operatingMargin.comparisonTextがnullでない場合のみ: ({comparisonText})}} {{pageがあれば[p.N]}} +- 本業利益: {{earningsQuality.coreEarnings.text}} {{pageがあれば[p.N]}} +{{earningsQuality.oneOffItems を1行ずつ: - 一時損益: {text} [p.{page}]}} +- 営業CF: {{earningsQuality.operatingCashFlow.interpretation}}{{earningsQuality.operatingCashFlow.amountがnullでなければ: ({amount})}} {{pageがあれば[p.N]}} +{{earningsQuality.financialHealth を1行ずつ: - 財務: {text} [p.{page}]}} +{{earningsQuality.capitalActions を1行ずつ: - 株主還元: {interpretation} [p.{page}]}} + +## 時間軸別の見方 +- 短期: {{investmentView.shortTerm.stanceを日本語変換}} — {{rationaleのtextを「 / 」で連結}} {{根拠ページ}} +- 中期: {{investmentView.mediumTerm.stanceを日本語変換}} — {{rationaleのtextを「 / 」で連結}} {{根拠ページ}} +- 長期: {{investmentView.longTerm.stanceを日本語変換}} — {{rationaleのtextを「 / 」で連結}} {{根拠ページ}} + +## 好材料 +{{investmentView.positives を1行ずつ: - {text} [p.{page}]}} + +## リスク +{{investmentView.risks を1行ずつ: - {text} [p.{page}]}} + +## 次回確認点 +{{investmentView.watchPoints を1行ずつ: - {text} [p.{page}]}} + +## 評価理由 +{{investmentView.rationale}} ## トピックス {{topics を1行ずつ: - {内容}}} @@ -84,6 +140,8 @@ const EARNINGS_REVISION_TEMPLATE = ` - 修正内容: {{dividendRevision.content}} - 修正理由: {{dividendRevision.reason}} +${INVESTMENT_VIEW_TEMPLATE} + ## トピックス {{topics を1行ずつ: - {内容}}} @@ -108,6 +166,8 @@ const DIVIDEND_TEMPLATE = ` ## 配当方針 {{policy}} +${INVESTMENT_VIEW_TEMPLATE} + ## トピックス {{topics を1行ずつ: - {内容}}} @@ -138,6 +198,8 @@ const MA_TEMPLATE = ` - 利益への影響: {{impact.profit}} - 連結範囲の変更: {{impact.consolidation}} +${INVESTMENT_VIEW_TEMPLATE} + ## トピックス {{topics を1行ずつ: - {内容}}} @@ -161,6 +223,139 @@ const SHARE_REPURCHASE_TEMPLATE = ` ## 目的 {{purpose}} +${INVESTMENT_VIEW_TEMPLATE} + +## トピックス +{{topics を1行ずつ: - {内容}}} + +--- テンプレートここまで ---`; + +const SHAREHOLDER_BENEFIT_TEMPLATE = ` +--- 出力テンプレート --- + +## 全体要約 +{{summary}} + +## 優待変更 +- 変更区分: {{changeType}} +- 変更前: {{details.before}} +- 変更後: {{details.after}} +- 対象株主: {{details.eligibleShareholders}} +- 必要保有株数: {{details.requiredShares}} +- 基準日: {{details.referenceDate}} +- 開始日: {{details.startDate}} +- 継続保有条件: {{details.holdingRequirement}} +- 会社負担・業績影響: {{details.costImpact}} + +## 目的 +{{purpose}} + +${INVESTMENT_VIEW_TEMPLATE} + +## トピックス +{{topics を1行ずつ: - {内容}}} + +--- テンプレートここまで ---`; + +const STOCK_SPLIT_TEMPLATE = ` +--- 出力テンプレート --- + +## 全体要約 +{{summary}} + +## 分割・併合内容 +- 区分: {{details.action}} +- 比率: {{details.ratio}} +- 基準日: {{details.recordDate}} +- 効力発生日: {{details.effectiveDate}} +- 実施前株式数: {{details.sharesBefore}} +- 実施後株式数: {{details.sharesAfter}} +- 発行可能株式総数: {{details.authorizedSharesChange}} +- 配当への影響: {{details.dividendImpact}} + +## 目的 +{{purpose}} + +${INVESTMENT_VIEW_TEMPLATE} + +## トピックス +{{topics を1行ずつ: - {内容}}} + +--- テンプレートここまで ---`; + +const CAPITAL_POLICY_TEMPLATE = ` +--- 出力テンプレート --- + +## 全体要約 +{{summary}} + +## 取引内容 +- 方法: {{transaction.method}} +- 割当先・提携先: {{transaction.counterparty}} +- 調達額: {{transaction.amount}} +- 発行株式・新株予約権: {{transaction.sharesOrRights}} +- 希薄化率: {{transaction.dilution}} +- 発行・行使価額: {{transaction.price}} +- 払込期日: {{transaction.paymentDate}} + +## 資金使途 +{{useOfFunds を1行ずつ: - {text} [p.{page}]}} + +## 業務提携 +{{partnership を1行ずつ: - {text} [p.{page}]}} + +${INVESTMENT_VIEW_TEMPLATE} + +## トピックス +{{topics を1行ずつ: - {内容}}} + +--- テンプレートここまで ---`; + +const BUSINESS_UPDATE_TEMPLATE = ` +--- 出力テンプレート --- + +## 全体要約 +{{summary}} + +## 対象期間 +{{period}} + +## 主要KPI +{{kpis を1行ずつ: - {name}: {value}({comparison}、{scope}) [p.{page}] ※null部分は省略}} + +## 増減要因 +{{drivers を1行ずつ: - {text} [p.{page}]}} + +## 一過性要因 +{{oneOffFactors を1行ずつ: - {text} [p.{page}]}} + +${INVESTMENT_VIEW_TEMPLATE} + +## トピックス +{{topics を1行ずつ: - {内容}}} + +--- テンプレートここまで ---`; + +const GOVERNANCE_TEMPLATE = ` +--- 出力テンプレート --- + +## 全体要約 +{{summary}} + +## 変更区分 +{{changeType}} + +## 人事 +{{people を1行ずつ: - {name}: {previousRole} → {newRole}({effectiveDate}) ※null部分は省略}} + +## ガバナンス体制 +{{governanceChanges を1行ずつ: - {text} [p.{page}]}} + +## 内部統制・再発防止 +{{internalControl を1行ずつ: - {text} [p.{page}]}} + +${INVESTMENT_VIEW_TEMPLATE} + ## トピックス {{topics を1行ずつ: - {内容}}} @@ -211,6 +406,21 @@ export function getFormatPrompt( case 'earningsRevision': template = EARNINGS_REVISION_TEMPLATE; break; + case 'shareholderBenefit': + template = SHAREHOLDER_BENEFIT_TEMPLATE; + break; + case 'stockSplit': + template = STOCK_SPLIT_TEMPLATE; + break; + case 'capitalPolicy': + template = CAPITAL_POLICY_TEMPLATE; + break; + case 'businessUpdate': + template = BUSINESS_UPDATE_TEMPLATE; + break; + case 'governance': + template = GOVERNANCE_TEMPLATE; + break; case 'dividend': template = DIVIDEND_TEMPLATE; break; diff --git a/src/lib/llm-client.ts b/src/lib/llm-client.ts index 0d09cad..a8abe54 100644 --- a/src/lib/llm-client.ts +++ b/src/lib/llm-client.ts @@ -9,6 +9,7 @@ export interface LLMConfig { model: string; baseUrl?: string; // カスタムプロバイダー用 temperature?: number; // 生成温度(0-2、低いほど安定した出力) + responseFormat?: 'json_object'; } export interface ChatMessage { @@ -69,6 +70,9 @@ async function generateTextOpenAI(config: LLMConfig, messages: ChatMessage[]): P content: msg.content, })), ...(config.temperature !== undefined && { temperature: config.temperature }), + ...(config.responseFormat === 'json_object' && { + response_format: { type: 'json_object' }, + }), }), }); diff --git a/src/lib/non-earnings-prompts.test.ts b/src/lib/non-earnings-prompts.test.ts new file mode 100644 index 0000000..d192064 --- /dev/null +++ b/src/lib/non-earnings-prompts.test.ts @@ -0,0 +1,76 @@ +import { describe, expect, it } from 'vitest'; +import type { DocumentType } from './document-type'; +import { getFormatPrompt } from './format-prompts'; +import { getExtractionPrompt, getPromptForDocumentType } from './prompts'; +import { getJsonSchema } from './summary-schema'; + +const cases: Array<{ + type: DocumentType; + promptText: string; + schemaField: string; + templateText: string; +}> = [ + { + type: 'shareholderBenefit', + promptText: '継続保有条件', + schemaField: 'eligibleShareholders', + templateText: '## 優待変更', + }, + { + type: 'stockSplit', + promptText: '株式分割それ自体は企業価値や株主価値を創出するものと断定しない', + schemaField: 'authorizedSharesChange', + templateText: '## 分割・併合内容', + }, + { + type: 'capitalPolicy', + promptText: '希薄化率', + schemaField: 'useOfFunds', + templateText: '## 資金使途', + }, + { + type: 'businessUpdate', + promptText: '通期業績を外挿・断定しない', + schemaField: 'oneOffFactors', + templateText: '## 主要KPI', + }, + { + type: 'governance', + promptText: '内部統制・再発防止策', + schemaField: 'governanceChanges', + templateText: '## 内部統制・再発防止', + }, +]; + +describe.each(cases)('$type 専用分析', ({ type, promptText, schemaField, templateText }) => { + it('1パスプロンプトを専用化する', () => { + const { system } = getPromptForDocumentType(type, '[PDF_PAGE:1]\n本文'); + expect(system).toContain(promptText); + expect(system).toContain('## 時間軸別の見方'); + }); + + it('パス1スキーマと抽出制約を専用化する', () => { + const schema = getJsonSchema(type); + const { system } = getExtractionPrompt(type, '[PDF_PAGE:1]\n本文'); + expect(schema).toContain(`"${schemaField}"`); + expect(schema).toContain('"investmentView"'); + expect(system).toContain('短期は開示直後〜数週間'); + }); + + it('パス2テンプレートを専用化する', () => { + const { system } = getFormatPrompt(type, {}); + expect(system).toContain(templateText); + expect(system).toContain('## 評価理由'); + }); +}); + +describe('既存の非決算系分析', () => { + it.each(['earningsRevision', 'dividend', 'shareRepurchase', 'ma'])( + '%s に時間軸別評価を含める', + (type) => { + expect(getJsonSchema(type)).toContain('"investmentView"'); + expect(getPromptForDocumentType(type, '本文').system).toContain('## 時間軸別の見方'); + expect(getFormatPrompt(type, {}).system).toContain('## 時間軸別の見方'); + } + ); +}); diff --git a/src/lib/page-text.test.ts b/src/lib/page-text.test.ts new file mode 100644 index 0000000..5d640c0 --- /dev/null +++ b/src/lib/page-text.test.ts @@ -0,0 +1,43 @@ +import { describe, expect, it } from 'vitest'; +import { + cleanPageText, + isValidEvidencePage, + selectExtractedPages, + serializePagesForAnalysis, + serializePagesForDetection, +} from './page-text'; + +const pages = [ + { pageNumber: 1, text: '売上高 100百万円' }, + { pageNumber: 2, text: '営業利益 20百万円' }, + { pageNumber: 3, text: '通期予想 30百万円' }, +]; + +describe('page text', () => { + it('LLM用の曖昧でないページ境界を生成する', () => { + expect(serializePagesForAnalysis(pages)).toContain('[PDF_PAGE:1]\n売上高'); + expect(serializePagesForAnalysis(pages)).toContain('[PDF_PAGE:3]\n通期予想'); + }); + + it('セクション検出用のページ境界を生成する', () => { + expect(serializePagesForDetection(pages)).toBe( + '1\n売上高 100百万円\n\n2\n営業利益 20百万円\n\n3\n通期予想 30百万円' + ); + }); + + it('指定ページだけを元の順序で選択する', () => { + expect(selectExtractedPages(pages, [3, 1])).toEqual([pages[0], pages[2]]); + }); + + it('当該ページのフッターだけを除去し、本文の数値行は保持する', () => { + expect(cleanPageText('見出し\n100\n2\n2 / 10', 2)).toBe('見出し\n100'); + }); + + it('根拠ページの範囲と抽出対象を検証する', () => { + expect(isValidEvidencePage(null, 3, [1, 3])).toBe(true); + expect(isValidEvidencePage(3, 3, [1, 3])).toBe(true); + expect(isValidEvidencePage(2, 3, [1, 3])).toBe(false); + expect(isValidEvidencePage(4, 3, [1, 3])).toBe(false); + expect(isValidEvidencePage(0, 3, [1, 3])).toBe(false); + }); +}); diff --git a/src/lib/page-text.ts b/src/lib/page-text.ts new file mode 100644 index 0000000..e23fb5c --- /dev/null +++ b/src/lib/page-text.ts @@ -0,0 +1,56 @@ +import type { ExtractedPage } from '@/types/summaryMetadata'; + +const ANALYSIS_PAGE_MARKER = 'PDF_PAGE'; + +/** PDFページ本文を、ページ境界を壊さずに正規化する。 */ +export function cleanPageText(text: string, pageNumber: number): string { + return ( + text + .replace(/[ \t]+/g, ' ') + .replace(/\n{3,}/g, '\n\n') + .replace(/[ \t]+\n/g, '\n') + // eslint-disable-next-line no-irregular-whitespace + .replace(/ /g, ' ') + // eslint-disable-next-line no-control-regex + .replace(/[\x00-\x08\x0B-\x0C\x0E-\x1F\x7F]/g, '') + .split('\n') + .filter((line) => { + const trimmed = line.trim(); + return ( + trimmed !== String(pageNumber) && + !new RegExp(`^${pageNumber}\\s*/\\s*\\d+$`).test(trimmed) + ); + }) + .join('\n') + .trim() + ); +} + +/** LLMへ渡すページ番号付きテキストを生成する。 */ +export function serializePagesForAnalysis(pages: ExtractedPage[]): string { + return pages + .map(({ pageNumber, text }) => `[${ANALYSIS_PAGE_MARKER}:${pageNumber}]\n${text}`) + .join('\n\n'); +} + +/** 既存のセクション検出・ページスコアリング向け形式へ変換する。 */ +export function serializePagesForDetection(pages: ExtractedPage[]): string { + return pages.map(({ pageNumber, text }) => `${pageNumber}\n${text}`).join('\n\n'); +} + +export function selectExtractedPages( + pages: ExtractedPage[], + selectedPageNumbers: number[] +): ExtractedPage[] { + const selected = new Set(selectedPageNumbers); + return pages.filter(({ pageNumber }) => selected.has(pageNumber)); +} + +export function isValidEvidencePage( + page: number | null, + totalPages: number, + extractedPages: number[] +): boolean { + if (page === null) return true; + return Number.isInteger(page) && page >= 1 && page <= totalPages && extractedPages.includes(page); +} diff --git a/src/lib/prompts.ts b/src/lib/prompts.ts index 4068ae3..85c7862 100644 --- a/src/lib/prompts.ts +++ b/src/lib/prompts.ts @@ -27,18 +27,28 @@ const PROMPT_CONFIG = { MAX_TOPICS: { earnings: 8, earningsRevision: 4, + shareholderBenefit: 4, dividend: 4, - ma: 4, shareRepurchase: 4, + stockSplit: 4, + capitalPolicy: 4, + ma: 4, + businessUpdate: 4, + governance: 4, other: 4, }, /** 全体要約の推奨スタイル */ SUMMARY_STYLE: { - earnings: '簡潔な文章体(2-5段落程度)', + earnings: '簡潔な文章体(1-3文)', earningsRevision: '簡潔な文章体(1-3段落程度)', + shareholderBenefit: '簡潔な文章体(1-3段落程度)', dividend: '簡潔な文章体(1-3段落程度)', - ma: '簡潔な文章体(1-3段落程度)', shareRepurchase: '簡潔な文章体(1-3段落程度)', + stockSplit: '簡潔な文章体(1-3段落程度)', + capitalPolicy: '簡潔な文章体(1-3段落程度)', + ma: '簡潔な文章体(1-3段落程度)', + businessUpdate: '簡潔な文章体(1-3段落程度)', + governance: '簡潔な文章体(1-3段落程度)', other: '簡潔な文章体(1-3段落程度)', }, } as const; @@ -64,6 +74,9 @@ const COMMON_RULES = ` 6. 前年同期比/前期比の増減率が本文にある場合は必ず記載し、省略しないでください 7. 勘定科目名は本文の表記をそのまま使用してください(例: 売上収益、事業利益、経常収益など)。赤字の場合は金額を「△」で始め、括弧内に「赤字」または「損失」を付記してください 8. 日付は「YYYY年M月D日」形式で統一してください(例: 2026年1月14日、元号表記がある場合も西暦に変換) +9. [PDF_PAGE:N]はPDFのページ境界です。根拠ページを求める項目は、このNを使用してください +10. PDFにない市場コンセンサス、現在株価、バリュエーション、織り込み度を推測しないでください +11. 「サプライズ」は会社計画比、従来予想比、前年同期比の根拠を明示できる場合だけ使用してください 【数値表記ルール】 - 金額単位は本文の表記をそのまま使用してください(同一セクション内で統一) @@ -92,22 +105,32 @@ const COMMON_TOPICS_RULES = ` - 先行指標(受注残、パイプライン、月次動向、新規出店等) - 前回開示からの変化点やサプライズ要素`; +const NON_EARNINGS_INVESTMENT_RULES = ` +【投資判断の注意事項】 +- 短期は開示直後〜数週間、中期は6か月〜1年、長期は1年以上の観点とします +- 各時間軸の方向性はPDFに記載された事実だけを根拠に判定してください +- 好材料とリスクは根拠があるものだけ各最大2点とし、存在しない側を捏造しないでください +- 次回確認点は最大3点とし、将来を断定せず確認すべき事実・指標として記載してください +- 市場コンセンサス、現在株価、バリュエーション、織り込み度は推測しないでください`; + /** * 決算評価の判定ルールを生成(出力形式の前に配置する内部ルール) * * 重要: これは出力フォーマットではなく、LLMへの判定指示。 * 基準表自体は出力に含めないよう明示する。 * - * 評価は経常利益に一本化し、実績/予想の2グループで構成する。 + * 評価は会計基準に応じた利益指標に一本化し、実績/予想の2グループで構成する。 */ function buildRatingRules(ctx: EarningsContext): string { const isQuarterly = ctx.period !== 'fullYear'; + const evaluationMetric = getEvaluationMetricName(ctx); const progressOrLanding = isQuarterly - ? `■ 進捗: 経常利益の進捗率 − 標準進捗率の差で判定 + ? `■ 進捗: 実績と通期予想が黒字なら${evaluationMetric}の進捗率、両方赤字なら損失消化率で判定 ★5: +10pt以上 / ★4: +5〜+10pt / ★3: ±5pt / ★2: △5〜△10pt / ★1: △10pt超 / 通期予想が「未定」と明記→「★—」 +※損失消化率は「当期損失の絶対値 ÷ 通期予想損失の絶対値 × 100」で算出し、標準より低いほど高評価とする ※レンジ予想の場合は中央値で進捗率を算出して判定すること(レンジ予想は「未定」ではない)` - : `■ 着地: 経常利益の実績 vs 会社予想の乖離率で判定 + : `■ 着地: ${evaluationMetric}の実績 vs 会社予想の乖離率で判定 ★5: +15%以上or黒字転換 / ★4: +5〜+15% / ★3: ±5% / ★2: △5〜△15% / ★1: △15%未満or赤字転落 / 会社予想なし→「—(取得不能)」`; const forecastRevision = isQuarterly @@ -119,31 +142,33 @@ function buildRatingRules(ctx: EarningsContext): string { return ` 【内部判定ルール】以下は判定用の基準です。出力には判定結果(★の数と根拠数値)のみを記載してください。基準表は出力しないでください。 -■ 対前年: 経常利益の増減率で判定(実績・予想共通) +■ 対前年: ${evaluationMetric}の増減率で判定(実績・予想共通) ★5: +30%以上or黒字転換 / ★4: +10〜+30% / ★3: +3〜+10% / ★2: △3〜+3% / ★1: △3%未満or赤字転落 +※当期・前年がともに赤字なら「(前年損失の絶対値 − 当期損失の絶対値)÷ 前年損失の絶対値」で損失改善率を算出し、赤字縮小はプラス、赤字拡大はマイナスとして同じ★基準で判定する ※前年同期比/前期比の増減率が本文に記載されていない場合(初連結化、新規上場、会計基準変更等)は「★—(前年同期比なし)」 ${progressOrLanding} ${forecastRevision} -※数値が本文にない場合は「—(取得不能)」、赤字で増減率が無意味な場合は「★—(赤字のため評価対象外)」 +※数値が本文にない場合は「—(取得不能)」 ※必ず本文の数値に基づいて判断し、印象で評価しないこと`; } /** * 決算評価の出力テンプレート(出力形式の中に配置) * - * 経常利益ベースの【実績】【通期予想/来期予想】2グループ構造。 + * 会計基準別の利益指標を使う【実績】【通期予想/来期予想】2グループ構造。 */ function buildEvaluationTemplate(ctx: EarningsContext): string { const isQuarterly = ctx.period !== 'fullYear'; const actualComparisonLabel = isQuarterly ? '前年同期比' : '前期比'; + const evaluationMetric = getEvaluationMetricName(ctx); if (isQuarterly) { const standardRate = getStandardProgressRate(ctx.period); return ` -## 決算評価(経常利益ベース) +## 決算評価(${evaluationMetric}ベース) 【実績】 - 対前年: ★★★★☆(${actualComparisonLabel}+XX.X%) ※増減率が本文にない場合は「★—(前年同期比なし)」 - 進捗: ★★★★☆(進捗率XX.X% / 標準${standardRate}%) ※レンジ予想なら中央値で算出。通期予想が「未定」明記の場合のみ「★—」 @@ -154,7 +179,7 @@ function buildEvaluationTemplate(ctx: EarningsContext): string { } return ` -## 決算評価(経常利益ベース) +## 決算評価(${evaluationMetric}ベース) 【実績】 - 対前年: ★★★★☆(${actualComparisonLabel}+XX.X%) - 着地: ★★★★★(対会社予想+XX.X%) @@ -181,6 +206,8 @@ function buildEarningsPrompt(ctx: EarningsContext): string { const progressSection = isQuarterly ? buildProgressSection(ctx) : ''; const forecastSection = buildForecastSection(ctx); const revisionAndDividendSection = buildRevisionAndDividendSection(); + const earningsQualitySection = buildEarningsQualitySection(); + const investmentViewSection = buildInvestmentViewSection(); const topicsSection = buildTopicsSection(); return [ @@ -190,12 +217,14 @@ function buildEarningsPrompt(ctx: EarningsContext): string { buildRatingRules(ctx), buildEarningsSpecificRules(ctx), `\n--- 出力形式 ---`, - buildEvaluationTemplate(ctx), summarySection, + buildEvaluationTemplate(ctx), performanceSection, progressSection, forecastSection, revisionAndDividendSection, + earningsQualitySection, + investmentViewSection, topicsSection, `\n--- 出力形式ここまで ---`, ] @@ -233,13 +262,10 @@ function buildAccountingNote(ctx: EarningsContext): string { } } -function buildPerformanceSection( - comparisonLabel: string, - periodLabel: string -): string { +function buildPerformanceSection(comparisonLabel: string, periodLabel: string): string { return ` ## 業績サマリー(${periodLabel}) -- {勘定科目}: {金額}(${comparisonLabel}{増減率}) ※増減率が本文にない場合は括弧ごと省略し「- {勘定科目}: {金額}」のみ +- {勘定科目}: {金額}(${comparisonLabel}{増減率}) [p.{根拠ページ}] ※増減率が本文にない場合は括弧ごと省略 - ...(本文に記載されている主要な勘定科目をすべて記載)`; } @@ -264,10 +290,11 @@ function getStandardProgressRate(period: EarningsPeriod): number { function buildProgressSection(ctx: EarningsContext): string { const standardRate = getStandardProgressRate(ctx.period); + const evaluationMetric = getEvaluationMetricName(ctx); return ` ## 進捗率(通期予想に対して) -- 経常利益: {進捗率}(前年同期{前年進捗率}、標準進捗率${standardRate}%) +- ${evaluationMetric}: {進捗率}(前年同期{前年進捗率}、標準進捗率${standardRate}%) [p.{根拠ページ}] ※進捗率は「当期実績 ÷ 通期予想 × 100」で必ず自分で計算すること ※通期予想がレンジ形式(例: 3,706〜4,097百万円)の場合は下限・上限それぞれで「XX.X%〜YY.Y%」形式で記載(レンジ予想は「未定」ではないので必ず算出すること) ※通期予想が「未定」と本文に明記されている場合のみセクションごと省略 @@ -278,12 +305,12 @@ function buildForecastSection(ctx: EarningsContext): string { if (ctx.period !== 'fullYear') { return ` ## 通期予想 -- {勘定科目}: {金額}(前期比{増減率}) ※増減率が本文にない場合は括弧ごと省略 +- {勘定科目}: {金額}(前期比{増減率}) [p.{根拠ページ}] ※増減率が本文にない場合は括弧ごと省略 - ...`; } return ` ## 来期予想(本文に記載がある場合のみ) -- {勘定科目}: {金額}(前期比{増減率}) ※増減率が本文にない場合は括弧ごと省略 +- {勘定科目}: {金額}(前期比{増減率}) [p.{根拠ページ}] ※増減率が本文にない場合は括弧ごと省略 - ...`; } @@ -304,6 +331,38 @@ function buildSummarySection(): string { {${PROMPT_CONFIG.SUMMARY_STYLE.earnings}で、業績の傾向、通期見通し、修正/配当の有無を含めて記載}`; } +function buildEarningsQualitySection(): string { + return ` +## 利益の質 +- 営業利益率: {当期利益率}(前年同期{前年利益率}、前年差{増減pt}) [p.{根拠ページ}] +- 本業利益: {営業利益・事業利益等から見た本業の方向} [p.{根拠ページ}] +- 一時損益: {特別利益・特別損失等の内容と金額} [p.{根拠ページ}] +- 営業CF: {営業CFの状況} [p.{根拠ページ}] +- 財務: {自己資本比率・有利子負債・資金余力等} [p.{根拠ページ}] +- 株主還元: {配当・自己株式取得等} [p.{根拠ページ}] +※本文と計算根拠がある項目だけを出力してください`; +} + +function buildInvestmentViewSection(): string { + return ` +## 時間軸別の見方 +- 短期: {強気/やや強気/中立/やや弱気/弱気/判断不能} — {根拠を最大2点} [p.{根拠ページ}] +- 中期: {強気/やや強気/中立/やや弱気/弱気/判断不能} — {根拠を最大2点} [p.{根拠ページ}] +- 長期: {強気/やや強気/中立/やや弱気/弱気/判断不能} — {根拠を最大2点} [p.{根拠ページ}] + +## 好材料 +- {最大2点。根拠がなければセクションごと省略} [p.{根拠ページ}] + +## リスク +- {最大2点。根拠がなければセクションごと省略} [p.{根拠ページ}] + +## 次回確認点 +- {最大3点。将来予測ではなく確認すべき指標・事実} [p.{現在の根拠ページ}] + +## 評価理由 +{最大の加点要因と減点要因を一文で記載。点数は付けない}`; +} + function buildTopicsSection(): string { return ` ## トピックス @@ -312,19 +371,27 @@ function buildTopicsSection(): string { function buildEarningsSpecificRules(ctx: EarningsContext): string { const isQuarterly = ctx.period !== 'fullYear'; + const evaluationMetric = getEvaluationMetricName(ctx); const progressRules = isQuarterly ? ` -- 進捗率は経常利益について「当期実績 ÷ 通期予想 × 100」で算出してください +- 実績と通期予想が黒字なら、${evaluationMetric}について「当期実績 ÷ 通期予想 × 100」で進捗率を算出してください +- 実績と通期予想が赤字なら「当期損失の絶対値 ÷ 通期予想損失の絶対値 × 100」で損失消化率を算出してください - 通期予想がレンジ形式の場合は下限・上限それぞれで算出し「XX.X%〜YY.Y%」形式で記載してください - 1行形式で記載し、計算式・計算過程・説明文は書かないでください - 前年同期の進捗率が本文から得られない場合は省略可 -- 通期予想が「未定」と明記されている場合、またはゼロ・赤字予想の場合のみ「算出不可(理由)」と記載してください` +- 通期予想が「未定」と明記されている場合、ゼロ予想、または実績と予想の符号が異なる場合のみ「算出不可(理由)」と記載してください` : ''; return ` 【決算短信の注意事項】 - ★評価は★(黒星)と☆(白星)を並べて5段階で表記してください(例: ★★★★☆=4点、★★☆☆☆=2点)。数字やMarkdown記法(**太字**等)は使わないでください。括弧は全角()を使用してください - 黒字転換/赤字転落/赤字拡大/赤字縮小は本文に明記がある場合のみ記載し、増減率の後ろに補足として付記してください${progressRules} +- 営業利益率または事業利益率は、本文に利益と売上の計算根拠がある場合だけ「利益 ÷ 売上 × 100」で算出してください +- 純利益が特別利益に依存する場合は利益の質を下げて記載しますが、本業の増益は別に評価してください +- 特別損失は内容、金額、継続性を分けてください。M&A、合併、事業施策の説明だけを一時損益として扱わないでください +- 好業績でも通期予想が据え置かれる場合、据え置きだけを理由に大幅なマイナス評価をしないでください +- 進捗率の標準値は参考基準です。強い季節性や前年同期進捗が本文にある場合は、それらも併記してください +- 好材料とリスクは根拠があるものだけ各最大2点とし、存在しない側を捏造しないでください - トピックスは最大${PROMPT_CONFIG.MAX_TOPICS.earnings}点までにしてください ${COMMON_TOPICS_RULES}`; } @@ -337,6 +404,7 @@ function buildEarningsRevisionPrompt(): string { 【業績修正の注意事項】 - トピックスは最大${PROMPT_CONFIG.MAX_TOPICS.earningsRevision}点までにしてください +${NON_EARNINGS_INVESTMENT_RULES} ${COMMON_TOPICS_RULES} --- 出力形式 --- @@ -355,6 +423,8 @@ ${COMMON_TOPICS_RULES} - 修正内容: {中間/期末/年間の 旧予想→新予想を記載} - 修正理由: {配当修正の理由を1-2行で簡潔に} +${buildInvestmentViewSection()} + ## トピックス - {全体要約で触れていない具体的な数値・事実を簡潔に記載} --- 出力形式ここまで ---`; @@ -369,6 +439,7 @@ function buildDividendPrompt(): string { 【配当の注意事項】 - 増配/減配/据置は本文に明記されている場合のみ記載してください - トピックスは最大${PROMPT_CONFIG.MAX_TOPICS.dividend}点までにしてください +${NON_EARNINGS_INVESTMENT_RULES} ${COMMON_TOPICS_RULES} --- 出力形式 --- @@ -386,6 +457,8 @@ ${COMMON_TOPICS_RULES} ## 配当方針 {配当方針や株主還元方針を1-2行で簡潔に} +${buildInvestmentViewSection()} + ## トピックス - {全体要約で触れていない具体的な数値・事実を簡潔に記載} --- 出力形式ここまで ---`; @@ -399,6 +472,7 @@ function buildMAPrompt(): string { 【M&Aの注意事項】 - トピックスは最大${PROMPT_CONFIG.MAX_TOPICS.ma}点までにしてください +${NON_EARNINGS_INVESTMENT_RULES} ${COMMON_TOPICS_RULES} --- 出力形式 --- @@ -422,6 +496,8 @@ ${COMMON_TOPICS_RULES} - 利益への影響: {金額または説明} - 連結範囲の変更: {変更内容} +${buildInvestmentViewSection()} + ## トピックス - {全体要約で触れていない具体的な数値・事実を簡潔に記載} --- 出力形式ここまで ---`; @@ -435,6 +511,7 @@ function buildShareRepurchasePrompt(): string { 【自己株式取得の注意事項】 - トピックスは最大${PROMPT_CONFIG.MAX_TOPICS.shareRepurchase}点までにしてください +${NON_EARNINGS_INVESTMENT_RULES} ${COMMON_TOPICS_RULES} --- 出力形式 --- @@ -451,11 +528,188 @@ ${COMMON_TOPICS_RULES} ## 目的 {取得の目的を1-2行で簡潔に} +${buildInvestmentViewSection()} + ## トピックス - {全体要約で触れていない具体的な数値・事実を簡潔に記載} --- 出力形式ここまで ---`; } +function buildShareholderBenefitPrompt(): string { + return `${ROLE_DEFINITION}${COMMON_RULES} + +【株主優待の注意事項】 +- 新設/拡充/縮小/廃止/変更を、変更前後の内容と対象株主を比較して判定してください +- 必要保有株数、基準日、開始日、継続保有条件、会社負担は本文にある場合のみ記載してください +- トピックスは最大${PROMPT_CONFIG.MAX_TOPICS.shareholderBenefit}点までにしてください +${NON_EARNINGS_INVESTMENT_RULES} +${COMMON_TOPICS_RULES} + +--- 出力形式 --- +## 全体要約 +{${PROMPT_CONFIG.SUMMARY_STYLE.shareholderBenefit}で、変更区分と対象範囲を含めて記載} + +## 優待変更 +- 変更区分: {新設/拡充/縮小/廃止/変更/判断不能} +- 変更前: {変更前の優待内容} +- 変更後: {変更後の優待内容} +- 対象株主: {対象株主} +- 必要保有株数: {株数} +- 基準日: {日付} +- 開始日: {日付} +- 継続保有条件: {期間等} +- 会社負担・業績影響: {本文記載の内容} + +## 目的 +{制度変更の目的} + +${buildInvestmentViewSection()} + +## トピックス +- {全体要約で触れていない具体的な数値・事実} +--- 出力形式ここまで ---`; +} + +function buildStockSplitPrompt(): string { + return `${ROLE_DEFINITION}${COMMON_RULES} + +【株式分割・併合の注意事項】 +- 分割/併合比率、基準日、効力発生日、実施前後の株式数を正確に記載してください +- 1株配当が変わっても実質配当総額が維持される場合は区別してください +- 株式分割それ自体は企業価値や株主価値を創出するものと断定しないでください +- トピックスは最大${PROMPT_CONFIG.MAX_TOPICS.stockSplit}点までにしてください +${NON_EARNINGS_INVESTMENT_RULES} +${COMMON_TOPICS_RULES} + +--- 出力形式 --- +## 全体要約 +{${PROMPT_CONFIG.SUMMARY_STYLE.stockSplit}で、比率、日程、実質的な株主価値の変更有無を含めて記載} + +## 分割・併合内容 +- 区分: {分割/併合/判断不能} +- 比率: {比率} +- 基準日: {日付} +- 効力発生日: {日付} +- 実施前株式数: {株式数} +- 実施後株式数: {株式数} +- 発行可能株式総数: {変更内容} +- 配当への影響: {1株配当と実質配当への影響} + +## 目的 +{実施目的} + +${buildInvestmentViewSection()} + +## トピックス +- {全体要約で触れていない具体的な数値・事実} +--- 出力形式ここまで ---`; +} + +function buildCapitalPolicyPrompt(): string { + return `${ROLE_DEFINITION}${COMMON_RULES} + +【資本政策の注意事項】 +- 調達方法、割当先、調達額、発行数、希薄化率、発行・行使価額、払込期日を区別してください +- 資金使途と業務提携の内容を混同せず、本文の根拠ページを付けてください +- 希薄化率や調達額が本文にない場合は推測・独自計算しないでください +- トピックスは最大${PROMPT_CONFIG.MAX_TOPICS.capitalPolicy}点までにしてください +${NON_EARNINGS_INVESTMENT_RULES} +${COMMON_TOPICS_RULES} + +--- 出力形式 --- +## 全体要約 +{${PROMPT_CONFIG.SUMMARY_STYLE.capitalPolicy}で、調達・提携内容、希薄化、資金使途を含めて記載} + +## 取引内容 +- 方法: {第三者割当/新株予約権/資本業務提携等} +- 割当先・提携先: {名称} +- 調達額: {金額} +- 発行株式・新株予約権: {数量} +- 希薄化率: {パーセント} +- 発行・行使価額: {金額} +- 払込期日: {日付} + +## 資金使途 +- {用途と金額} [p.{根拠ページ}] + +## 業務提携 +- {提携内容} [p.{根拠ページ}] + +${buildInvestmentViewSection()} + +## トピックス +- {全体要約で触れていない具体的な数値・事実} +--- 出力形式ここまで ---`; +} + +function buildBusinessUpdatePrompt(): string { + return `${ROLE_DEFINITION}${COMMON_RULES} + +【月次・事業進捗の注意事項】 +- 対象期間、KPIの値、前年比、既存店/全店等の対象範囲を一組として記載してください +- 増減要因と天候・休日数等の一過性要因を区別してください +- 単月や短期間の実績だけから通期業績を外挿・断定しないでください +- トピックスは最大${PROMPT_CONFIG.MAX_TOPICS.businessUpdate}点までにしてください +${NON_EARNINGS_INVESTMENT_RULES} +${COMMON_TOPICS_RULES} + +--- 出力形式 --- +## 全体要約 +{${PROMPT_CONFIG.SUMMARY_STYLE.businessUpdate}で、主要KPIの方向と要因を含めて記載} + +## 対象期間 +{対象月・対象期間} + +## 主要KPI +- {KPI名}: {実績値}({前年同月比/前年同期比}、{対象範囲}) [p.{根拠ページ}] + +## 増減要因 +- {要因} [p.{根拠ページ}] + +## 一過性要因 +- {天候・休日数等} [p.{根拠ページ}] + +${buildInvestmentViewSection()} + +## トピックス +- {全体要約で触れていない具体的な数値・事実} +--- 出力形式ここまで ---`; +} + +function buildGovernancePrompt(): string { + return `${ROLE_DEFINITION}${COMMON_RULES} + +【ガバナンスの注意事項】 +- 人物名、旧役職、新役職、就任・退任日を混同せず記載してください +- 体制変更と内部統制・再発防止策を区別してください +- 本文に記載がない業績・株価への影響を推測しないでください +- トピックスは最大${PROMPT_CONFIG.MAX_TOPICS.governance}点までにしてください +${NON_EARNINGS_INVESTMENT_RULES} +${COMMON_TOPICS_RULES} + +--- 出力形式 --- +## 全体要約 +{${PROMPT_CONFIG.SUMMARY_STYLE.governance}で、変更内容と施行日を含めて記載} + +## 変更区分 +{役員異動/体制変更/内部統制/再発防止等} + +## 人事 +- {氏名}: {旧役職} → {新役職}({就任・退任日}) + +## ガバナンス体制 +- {変更内容} [p.{根拠ページ}] + +## 内部統制・再発防止 +- {施策} [p.{根拠ページ}] + +${buildInvestmentViewSection()} + +## トピックス +- {全体要約で触れていない具体的な事実} +--- 出力形式ここまで ---`; +} + /** * その他の文書用プロンプト */ @@ -493,9 +747,14 @@ const PROMPTS: Record = { isConsolidated: true, }), earningsRevision: buildEarningsRevisionPrompt(), + shareholderBenefit: buildShareholderBenefitPrompt(), dividend: buildDividendPrompt(), - ma: buildMAPrompt(), shareRepurchase: buildShareRepurchasePrompt(), + stockSplit: buildStockSplitPrompt(), + capitalPolicy: buildCapitalPolicyPrompt(), + ma: buildMAPrompt(), + businessUpdate: buildBusinessUpdatePrompt(), + governance: buildGovernancePrompt(), other: buildOtherPrompt(), }; @@ -555,7 +814,10 @@ const EXTRACTION_RULES = ` 9. 増減率は小数点第1位まで記載してください(例: +12.3%、△5.0%) 10. 該当情報がない項目はnullを設定してください(空文字""ではなくnull) 11. 配列フィールドで該当情報がない場合は空配列[]を設定してください -12. items配列内のchangeフィールド: 増減率が本文にない場合はnullを設定してください("null"という文字列ではなくJSON null値)`; +12. items配列内のchangeフィールド: 増減率が本文にない場合はnullを設定してください("null"という文字列ではなくJSON null値) +13. [PDF_PAGE:N]はPDFのページ境界です。根拠ページにはNを整数で設定し、特定不能な場合はnullにしてください +14. PDFにない市場コンセンサス、現在株価、バリュエーション、織り込み度を推測しないでください +15. 好材料・リスクに根拠がない場合は空配列にし、項目数を満たすための内容を捏造しないでください`; const EXTRACTION_TOPICS_RULES = ` 【トピックス抽出の重点事項】 @@ -575,13 +837,15 @@ function buildEarningsExtractionNote(ctx: EarningsContext): string { const isQuarterly = ctx.period !== 'fullYear'; const accountingNote = buildAccountingNote(ctx); const ratingRules = getEarningsRatingRulesText(ctx); + const evaluationMetric = getEvaluationMetricName(ctx); const progressNote = isQuarterly ? ` 【進捗率について】 -- 進捗率は経常利益について「当期実績 ÷ 通期予想 × 100」で算出してください +- 実績と通期予想が黒字なら、${evaluationMetric}について「当期実績 ÷ 通期予想 × 100」で進捗率を算出してください +- 実績と通期予想が赤字なら「当期損失の絶対値 ÷ 通期予想損失の絶対値 × 100」で損失消化率を算出してください - 通期予想がレンジ形式(例: 3,706〜4,097百万円)の場合は、下限と上限それぞれで進捗率を算出し「XX.X%〜YY.Y%」形式で記載してください -- 通期予想が「未定」と明記されている場合、またはゼロ・赤字予想の場合のみ「算出不可(理由)」と記載してください +- 通期予想が「未定」と明記されている場合、ゼロ予想、または実績と予想の符号が異なる場合のみ「算出不可(理由)」と記載してください - 通期予想が数値として存在する場合(レンジ含む)は必ず算出してください` : ''; @@ -591,7 +855,52 @@ function buildEarningsExtractionNote(ctx: EarningsContext): string { 以下の基準に従って★評価を判定してください。 ★は★(黒星)と☆(白星)を並べて5段階で表記してください(例: ★★★★☆=4点、★★☆☆☆=2点)。 括弧は全角()を使用してください。 -${ratingRules}${progressNote}`; +${ratingRules}${progressNote} + +【利益の質と時間軸別評価】 +- 日本基準では経常利益、IFRS・米国基準では税引前利益を評価対象とし、実績と通期予想のitemsへ必ず含めてください +- performance.itemsのpreviousAmountには、同じ表または本文にある前年同期・前期の比較金額を入れてください。増減率が「-」でも、比較金額は省略しないでください +- businessPl.itemsには、売上高/売上収益、売上総利益/粗利、営業利益/事業利益を本文にある範囲で必ず含め、同一勘定科目を当期と前年で比較できるようにしてください +- 同じ業績項目が複数ページにある場合は、百万円単位のサマリーより千円単位の財務諸表など、最も精密な金額とそのページを優先してください +- 当期と比較対象の利益・損失の符号が変わる場合は、黒字転換または赤字転落として判定してください +- 営業利益率または事業利益率は、本文に利益と売上の計算根拠がある場合だけ「利益 ÷ 売上 × 100」で算出してください +- 純利益が特別利益に依存する場合は利益の質を下げますが、本業利益の改善は別に評価してください +- oneOffItemsには実際に損益へ計上された利益・損失・費用だけを入れ、M&A、合併、事業施策の説明だけを入れないでください +- 営業CFは会社固有の言い回しを意味として解釈し、数値報告、未記載、未作成、不明を区別してください。単語の完全一致ではなく根拠文全体で判定してください +- 「配当の状況」の表は全年度行を確認し、実績行と「(予想)」行を省略せずdividend.periodsへ別々に入れてください。「(予想)」行が1行でもあればforecastAvailabilityはreportedとし、forecastのperiodを必ず含めてください +- 配当表は年度ラベル、実績/予想、年間配当、比較対象を組にして抽出し、当期の配当修正と来期配当予想を混同しないでください +- 株式分割・併合で1株配当の比較基準が変わる場合、表の生値を直接増配・減配判定せず、資料に調整根拠があればcomparisonAnnualを調整後金額、comparisonBasisをsplitAdjustedとしてください。根拠不足ならassessmentとcomparisonBasisをunknownにし、interpretationで比較不能の理由を説明してください +- 株式施策は配当、自己株式取得・消却、優待、分割・併合等を分類し、会社が記載した目的と根拠から株主還元か資本施策かを判断してください +- 営業CF、自己資本、有利子負債、配当、株式施策は本文にある情報だけを抽出し、意味分類には根拠原文と確信度を付けてください +- 表現が曖昧な場合は推測で埋めず、status、assessment、returnAssessmentをunknownにしてください +- 通期予想の据え置きだけを理由に大幅なマイナス評価をしないでください +- forecastRevisionは従来予想と今回予想を同じ利益指標で抽出してください。旧予想レンジがゼロをまたぐ場合や増減率が本文で「-」の場合、増減率を推測せず金額レンジの変化をinterpretationへ記載してください +- 短期は開示直後〜数週間、中期は6か月〜1年、長期は1年以上の観点とします +- 短期・中期・長期とも、PDFにある事実だけを根拠に方向性を判定してください +- 市場コンセンサス、現在株価、バリュエーション、織り込み度は推測しないでください`; +} + +function getEvaluationMetricName(ctx: EarningsContext): '経常利益' | '税引前利益' { + return ctx.accountingStandard === 'jpGaap' ? '経常利益' : '税引前利益'; +} + +function buildNonEarningsExtractionNote(documentType: DocumentType): string { + const specificRules: Partial> = { + shareholderBenefit: + '変更前後、対象株主、必要保有株数、基準日、開始日、継続保有条件を区別してください。', + stockSplit: + '分割・併合比率と日程を正確に抽出し、株式分割それ自体を企業価値の創出と評価しないでください。', + capitalPolicy: + '調達条件、希薄化、資金使途、業務提携を区別し、本文にない希薄化率を計算しないでください。', + businessUpdate: + 'KPIごとに対象期間・比較値・対象範囲を保持し、短期実績から通期業績を外挿しないでください。', + governance: + '人事、体制変更、内部統制・再発防止を区別し、本文にない業績影響を推測しないでください。', + }; + + if (documentType === 'other') return ''; + + return `${NON_EARNINGS_INVESTMENT_RULES}\n${specificRules[documentType] ?? ''}`; } /** @@ -612,7 +921,7 @@ export function getExtractionPrompt( const extraRules = documentType === 'earnings' && earningsContext ? buildEarningsExtractionNote(earningsContext) - : ''; + : buildNonEarningsExtractionNote(documentType); const maxTopics = documentType === 'earnings' diff --git a/src/lib/real-pdf-corpus.test.ts b/src/lib/real-pdf-corpus.test.ts new file mode 100644 index 0000000..52cf778 --- /dev/null +++ b/src/lib/real-pdf-corpus.test.ts @@ -0,0 +1,61 @@ +import { describe, expect, it } from 'vitest'; +import cases from '../../evaluation/fixtures/real-pdf-cases.json'; +import type { DocumentType } from './document-type'; +import { detectDocumentType, detectEarningsContext } from './document-type'; + +describe('TDnet実PDFコーパスのタイトル分類', () => { + it.each(cases)('$id $title', ({ title, expectedType }) => { + expect(detectDocumentType(title)).toBe(expectedType as DocumentType); + }); + + it('全角表記のIFRS連結四半期コンテキストを判定する', () => { + const earnings = cases.find((item) => item.id === '140120260709590576'); + expect(earnings).toBeDefined(); + expect(detectEarningsContext(earnings!.title)).toEqual({ + period: 'q1', + accountingStandard: 'ifrs', + isConsolidated: true, + }); + }); + + it('全角表記の日本基準連結中間期コンテキストを判定する', () => { + const earnings = cases.find((item) => item.id === '140120260714592721'); + expect(earnings).toBeDefined(); + expect(detectEarningsContext(earnings!.title)).toEqual({ + period: 'q2', + accountingStandard: 'jpGaap', + isConsolidated: true, + }); + }); + + it.each([ + ['140120260714593346', 'q3', true], + ['140120260708589925', 'fullYear', false], + ['140120260713592617', 'q2', true], + ] as const)('$0 の期区分と連結区分を判定する', (id, period, isConsolidated) => { + const earnings = cases.find((item) => item.id === id); + expect(earnings).toBeDefined(); + expect(detectEarningsContext(earnings!.title)).toEqual({ + period, + accountingStandard: 'jpGaap', + isConsolidated, + }); + }); + + it.each([ + ['140120260713592426', 'q2', 'ifrs', true], + ['140120260713591990', 'fullYear', 'jpGaap', true], + ['140120260713592047', 'q2', 'jpGaap', false], + ] as const)( + '$0 の追加決算コンテキストを判定する', + (id, period, accountingStandard, isConsolidated) => { + const earnings = cases.find((item) => item.id === id); + expect(earnings).toBeDefined(); + expect(detectEarningsContext(earnings!.title)).toEqual({ + period, + accountingStandard, + isConsolidated, + }); + } + ); +}); diff --git a/src/lib/scoring.test.ts b/src/lib/scoring.test.ts new file mode 100644 index 0000000..f23e08d --- /dev/null +++ b/src/lib/scoring.test.ts @@ -0,0 +1,54 @@ +import { describe, expect, it } from 'vitest'; +import type { DividendExtraction } from './summary-schema'; +import { calculateExperimentalScore, formatExperimentalScore } from './scoring'; + +function extraction(): DividendExtraction { + return { + summary: '増配', + dividendDetails: { + interim: null, + yearEnd: null, + annual: null, + payoutRatio: null, + revision: null, + comparison: null, + }, + policy: null, + investmentView: { + shortTerm: { stance: 'positive', rationale: [{ text: '増配', page: 2 }] }, + mediumTerm: { stance: 'neutral', rationale: [{ text: '方針維持', page: 1 }] }, + longTerm: { stance: 'negative', rationale: [] }, + positives: [], + risks: [], + watchPoints: [], + rationale: '増配は好材料だが長期余力に懸念。', + }, + topics: [], + }; +} + +describe('実験的スコア', () => { + it('文書タイプ別の重みで固定換算する', () => { + const score = calculateExperimentalScore('dividend', extraction()); + expect(score).toMatchObject({ shortTerm: 80, mediumTerm: 50, longTerm: 20, overall: 50 }); + expect(score?.reason).toBe('増配は好材料だが長期余力に懸念。'); + expect(score?.evidencePages).toEqual([1, 2]); + }); + + it('判断不能の時間軸を除外して再加重する', () => { + const value = extraction(); + value.investmentView.longTerm.stance = 'unknown'; + const score = calculateExperimentalScore('dividend', value); + expect(score?.longTerm).toBeNull(); + expect(score?.overall).toBe(63); + }); + + it('表示に実験値の注意書きを含める', () => { + const score = calculateExperimentalScore('dividend', extraction()); + expect(score).not.toBeNull(); + const text = formatExperimentalScore(score!); + expect(text).toContain('## 実験的スコア(参考)'); + expect(text).toContain('根拠ページ: [p.1, p.2]'); + expect(text).toContain('株価・コンセンサス・バリュエーションは含みません'); + }); +}); diff --git a/src/lib/scoring.ts b/src/lib/scoring.ts new file mode 100644 index 0000000..2d53795 --- /dev/null +++ b/src/lib/scoring.ts @@ -0,0 +1,114 @@ +import type { DocumentType } from './document-type'; +import type { ExtractionResult, InvestmentStance, InvestmentView } from './summary-schema'; + +export interface ExperimentalScore { + shortTerm: number | null; + mediumTerm: number | null; + longTerm: number | null; + overall: number | null; + verdict: string; + reason: string; + evidencePages: number[]; +} + +const STANCE_SCORE: Record = { + positive: 80, + slightlyPositive: 65, + neutral: 50, + slightlyNegative: 35, + negative: 20, + unknown: null, +}; + +const WEIGHTS: Record = { + earnings: [0.4, 0.4, 0.2], + earningsRevision: [0.5, 0.35, 0.15], + shareholderBenefit: [0.45, 0.35, 0.2], + dividend: [0.3, 0.4, 0.3], + shareRepurchase: [0.4, 0.35, 0.25], + stockSplit: [0.5, 0.3, 0.2], + capitalPolicy: [0.25, 0.4, 0.35], + ma: [0.25, 0.4, 0.35], + businessUpdate: [0.5, 0.35, 0.15], + governance: [0.2, 0.35, 0.45], + other: [0, 0, 0], +}; + +export function calculateExperimentalScore( + documentType: DocumentType, + extraction: ExtractionResult +): ExperimentalScore | null { + const investmentView = getInvestmentView(extraction); + if (!investmentView || documentType === 'other') return null; + + const scores: [number | null, number | null, number | null] = [ + STANCE_SCORE[investmentView.shortTerm.stance], + STANCE_SCORE[investmentView.mediumTerm.stance], + STANCE_SCORE[investmentView.longTerm.stance], + ]; + const overall = weightedScore(scores, WEIGHTS[documentType]); + + return { + shortTerm: scores[0], + mediumTerm: scores[1], + longTerm: scores[2], + overall, + verdict: scoreVerdict(overall), + reason: investmentView.rationale, + evidencePages: collectEvidencePages(investmentView), + }; +} + +export function formatExperimentalScore(score: ExperimentalScore): string { + const display = (value: number | null) => (value === null ? '算出不能' : `${value}/100`); + const evidence = + score.evidencePages.length > 0 ? `\n- 根拠ページ: [p.${score.evidencePages.join(', p.')}]` : ''; + return ` + +## 実験的スコア(参考) +- 短期: ${display(score.shortTerm)} +- 中期: ${display(score.mediumTerm)} +- 長期: ${display(score.longTerm)} +- 総合: ${display(score.overall)}(${score.verdict}) +- 根拠: ${score.reason}${evidence} +- 注意: PDF内の方向性を固定換算した試験値であり、株価・コンセンサス・バリュエーションは含みません。`; +} + +function collectEvidencePages(investmentView: InvestmentView): number[] { + const pages = [ + ...investmentView.shortTerm.rationale, + ...investmentView.mediumTerm.rationale, + ...investmentView.longTerm.rationale, + ] + .map((fact) => fact.page) + .filter((page): page is number => page !== null); + return [...new Set(pages)].sort((a, b) => a - b); +} + +function getInvestmentView(extraction: ExtractionResult): InvestmentView | null { + if (!('investmentView' in extraction)) return null; + return extraction.investmentView; +} + +function weightedScore( + scores: [number | null, number | null, number | null], + weights: [number, number, number] +): number | null { + let weightedTotal = 0; + let activeWeight = 0; + scores.forEach((score, index) => { + if (score === null) return; + weightedTotal += score * weights[index]; + activeWeight += weights[index]; + }); + return activeWeight === 0 ? null : Math.round(weightedTotal / activeWeight); +} + +function scoreVerdict(score: number | null): string { + if (score === null) return '判断不能'; + if (score >= 70) return '強気'; + if (score >= 58) return 'やや強気'; + if (score >= 43) return '中立'; + if (score >= 30) return 'やや弱気'; + return '弱気'; +} diff --git a/src/lib/section-detector.test.ts b/src/lib/section-detector.test.ts new file mode 100644 index 0000000..e1d266b --- /dev/null +++ b/src/lib/section-detector.test.ts @@ -0,0 +1,31 @@ +import { describe, expect, it } from 'vitest'; +import { detectSections, selectTopPages } from './section-detector'; + +describe('detectSections', () => { + it('セクション開始ページを後続ページで上書きしない', () => { + const sections = detectSections( + ['1', '【業績】', '売上高 100百万円', '2', '【見通し】', '通期予想 120百万円'].join('\n') + ); + + expect(sections).toEqual([ + { heading: '業績', text: '売上高 100百万円', pageNumber: 1 }, + { heading: '見通し', text: '通期予想 120百万円', pageNumber: 2 }, + ]); + }); +}); + +describe('selectTopPages', () => { + it('サマリーページとスコア上位ページの近傍を選ぶ', () => { + expect( + selectTopPages( + [ + { pageNumber: 5, score: 10 }, + { pageNumber: 3, score: 5 }, + ], + 1, + 1, + 1 + ) + ).toEqual([1, 4, 5, 6]); + }); +}); diff --git a/src/lib/section-detector.ts b/src/lib/section-detector.ts index 2e597d2..3472e73 100644 --- a/src/lib/section-detector.ts +++ b/src/lib/section-detector.ts @@ -11,9 +11,9 @@ import type { DocumentType } from './document-type'; * セクション情報 */ export interface Section { - heading: string; // 見出し - text: string; // 本文 - pageNumber: number; // ページ番号(開始位置) + heading: string; // 見出し + text: string; // 本文 + pageNumber: number; // ページ番号(開始位置) } /** @@ -28,10 +28,10 @@ export interface PageScore { * 品質チェック結果 */ export interface QualityCheckResult { - passed: boolean; // 品質基準を満たしているか + passed: boolean; // 品質基準を満たしているか matchedKeywords: string[]; // マッチしたキーワード missingKeywords: string[]; // 不足しているキーワード - matchRate: number; // マッチ率(0-1) + matchRate: number; // マッチ率(0-1) } /** @@ -45,9 +45,14 @@ export const EXTRACTION_PARAMS: Record< > = { earnings: { summaryPages: 2, topK: 8, neighbor: 1 }, earningsRevision: { summaryPages: 1, topK: 3, neighbor: 1 }, + shareholderBenefit: { summaryPages: 1, topK: 3, neighbor: 1 }, dividend: { summaryPages: 1, topK: 2, neighbor: 1 }, - ma: { summaryPages: 2, topK: 4, neighbor: 1 }, shareRepurchase: { summaryPages: 1, topK: 2, neighbor: 1 }, + stockSplit: { summaryPages: 1, topK: 2, neighbor: 1 }, + capitalPolicy: { summaryPages: 2, topK: 4, neighbor: 1 }, + ma: { summaryPages: 2, topK: 4, neighbor: 1 }, + businessUpdate: { summaryPages: 1, topK: 4, neighbor: 1 }, + governance: { summaryPages: 1, topK: 3, neighbor: 1 }, other: { summaryPages: 2, topK: 5, neighbor: 1 }, }; @@ -70,25 +75,14 @@ const IMPORTANT_SECTION_KEYWORDS: Record = { '業務純益', ], earningsRevision: ['業績予想', '修正', '理由', '業績', '見通し'], + shareholderBenefit: ['株主優待', '優待内容', '対象株主', '保有株式数', '基準日', '継続保有'], dividend: ['配当', '株主還元', '剰余金', '配当予想'], - ma: [ - '取得', - '譲渡', - '子会社', - '関連会社', - '目的', - '取得価額', - '業績', - '日程', - ], - shareRepurchase: [ - '自己株式', - '取得', - '株数', - '取得価額', - '取得期間', - '取得方法', - ], + shareRepurchase: ['自己株式', '取得', '株数', '取得価額', '取得期間', '取得方法'], + stockSplit: ['株式分割', '株式併合', '分割割合', '基準日', '効力発生日', '配当'], + capitalPolicy: ['資本業務提携', '第三者割当', '新株予約権', '希薄化', '資金使途', '日程'], + ma: ['取得', '譲渡', '子会社', '関連会社', '目的', '取得価額', '業績', '日程'], + businessUpdate: ['月次', '売上高', '受注', '受注残', '既存店', '全店', 'KPI'], + governance: ['取締役', '役員', 'ガバナンス', '内部統制', '異動', '就任', '退任'], other: [], }; @@ -120,33 +114,15 @@ const PAGE_SCORING_KEYWORDS: Record = { '通期予想', '修正', ], - earningsRevision: [ - '売上高', - '営業利益', - '経常利益', - '当期純利益', - '修正', - '理由', - '前回予想', - ], + earningsRevision: ['売上高', '営業利益', '経常利益', '当期純利益', '修正', '理由', '前回予想'], + shareholderBenefit: ['株主優待', '優待内容', '保有株式数', '基準日', '継続保有'], dividend: ['配当', '1株当たり', '配当金', '期末配当', '中間配当'], - ma: [ - '取得価額', - '譲渡価額', - '取得株数', - '議決権', - '子会社', - '関連会社', - '業績', - ], - shareRepurchase: [ - '自己株式', - '取得株数', - '取得価額', - '取得期間', - '取得方法', - '消却', - ], + shareRepurchase: ['自己株式', '取得株数', '取得価額', '取得期間', '取得方法', '消却'], + stockSplit: ['分割割合', '分割比率', '基準日', '効力発生日', '発行可能株式総数'], + capitalPolicy: ['調達額', '希薄化', '割当先', '資金使途', '払込期日', '提携内容'], + ma: ['取得価額', '譲渡価額', '取得株数', '議決権', '子会社', '関連会社', '業績'], + businessUpdate: ['前年同月比', '既存店', '全店', '受注高', '受注残高', '稼働率'], + governance: ['取締役', '役員', '異動', '内部統制', '再発防止', '就任日'], other: [], }; @@ -168,7 +144,14 @@ const QUALITY_GATE_KEYWORD_SETS: Record = { ['修正', '変更'], ['理由', '要因'], ], - dividend: [['配当', '配当金'], ['1株当たり', '1株']], + shareholderBenefit: [ + ['株主優待', '優待制度'], + ['基準日', '対象株主', '保有株式数'], + ], + dividend: [ + ['配当', '配当金'], + ['1株当たり', '1株'], + ], ma: [ ['取得価額', '譲渡価額', '対価'], ['取得株数', '議決権'], @@ -181,6 +164,24 @@ const QUALITY_GATE_KEYWORD_SETS: Record = { ['取得期間', '期間'], ['取得方法', '方法'], ], + stockSplit: [ + ['株式分割', '株式併合'], + ['分割割合', '分割比率', '併合比率'], + ['基準日', '効力発生日'], + ], + capitalPolicy: [ + ['第三者割当', '新株予約権', '資本業務提携'], + ['資金使途', '提携内容'], + ['払込期日', '日程', '予定'], + ], + businessUpdate: [ + ['月次', '受注', '事業進捗'], + ['前年同月比', '前年同期比', '受注残高', 'KPI'], + ], + governance: [ + ['取締役', '役員', 'ガバナンス', '内部統制'], + ['異動', '就任', '退任', '再発防止'], + ], other: [], }; @@ -220,6 +221,7 @@ export function detectSections(text: string): Section[] { let currentHeading = ''; let currentText = ''; let currentPageNumber = 1; + let currentSectionPageNumber = 1; for (const line of lines) { // ページ番号の検出(行が数字のみの場合) @@ -241,13 +243,14 @@ export function detectSections(text: string): Section[] { sections.push({ heading: currentHeading, text: currentText.trim(), - pageNumber: currentPageNumber, + pageNumber: currentSectionPageNumber, }); } // 新しいセクション開始 currentHeading = match[1] || match[2] || ''; currentText = ''; + currentSectionPageNumber = currentPageNumber; isHeading = true; break; } @@ -264,7 +267,7 @@ export function detectSections(text: string): Section[] { sections.push({ heading: currentHeading, text: currentText.trim(), - pageNumber: currentPageNumber, + pageNumber: currentSectionPageNumber, }); } @@ -289,14 +292,10 @@ export function filterImportantSections( return sections.filter((section) => { // 見出しにキーワードが含まれているか - const headingMatch = keywords.some((keyword) => - section.heading.includes(keyword) - ); + const headingMatch = keywords.some((keyword) => section.heading.includes(keyword)); // 本文にキーワードが含まれているか(ボーナススコア) - const textMatch = keywords.some((keyword) => - section.text.includes(keyword) - ); + const textMatch = keywords.some((keyword) => section.text.includes(keyword)); return headingMatch || textMatch; }); @@ -309,10 +308,7 @@ export function filterImportantSections( * @param documentType 文書タイプ * @returns ページスコア配列(スコア降順) */ -export function scorePages( - text: string, - documentType: DocumentType -): PageScore[] { +export function scorePages(text: string, documentType: DocumentType): PageScore[] { const keywords = PAGE_SCORING_KEYWORDS[documentType]; if (keywords.length === 0) { return []; diff --git a/src/lib/structured-output.test.ts b/src/lib/structured-output.test.ts new file mode 100644 index 0000000..8353d86 --- /dev/null +++ b/src/lib/structured-output.test.ts @@ -0,0 +1,204 @@ +import { afterEach, describe, expect, it, vi } from 'vitest'; +import { generateText } from './llm-client'; +import { + buildJsonRepairMessages, + getProviderCapabilities, + parseAndValidateExtraction, +} from './structured-output'; + +function validDividend(overrides: Record = {}): Record { + return { + summary: '増配を発表した。', + dividendDetails: {}, + investmentView: { + shortTerm: { stance: 'positive', rationale: [{ text: '増配', page: 1 }] }, + mediumTerm: { stance: 'neutral', rationale: [] }, + longTerm: { stance: 'unknown', rationale: [] }, + positives: [{ text: '年間配当を増額', page: 1 }], + risks: [], + watchPoints: [], + rationale: '増配は好材料だが長期影響は判断不能。', + }, + topics: [], + ...overrides, + }; +} + +function validEarnings(overrides: Record = {}): Record { + return { + summary: '決算要約', + performance: { periodLabel: '通期実績', items: [] }, + forecastRevision: null, + dividend: null, + earningsQuality: { + operatingMargin: null, + coreEarnings: null, + oneOffItems: [], + operatingCashFlow: null, + financialHealth: [], + capitalActions: [], + }, + investmentView: validDividend().investmentView, + topics: [], + ...overrides, + }; +} + +afterEach(() => vi.restoreAllMocks()); + +describe('プロバイダー能力', () => { + it('OpenAIだけ既知のJSON objectモードを有効にする', () => { + expect(getProviderCapabilities('openai').jsonObject).toBe(true); + expect(getProviderCapabilities('anthropic').jsonObject).toBe(false); + expect(getProviderCapabilities('custom').jsonObject).toBe(false); + }); + + it('JSON object指定時だけOpenAI互換リクエストへresponse_formatを付ける', async () => { + const fetchMock = vi.fn().mockResolvedValue( + new Response(JSON.stringify({ choices: [{ message: { content: '{}' } }] }), { + status: 200, + headers: { 'Content-Type': 'application/json' }, + }) + ); + vi.stubGlobal('fetch', fetchMock); + + await generateText( + { + provider: 'openai', + apiKey: 'test', + model: 'test-model', + responseFormat: 'json_object', + }, + [{ role: 'user', content: 'JSONで返す' }] + ); + + const body = JSON.parse(fetchMock.mock.calls[0][1].body as string); + expect(body.response_format).toEqual({ type: 'json_object' }); + }); +}); + +describe('抽出JSON検証', () => { + it('コードブロックを除去して有効な抽出結果を受理する', () => { + const text = `\`\`\`json\n${JSON.stringify(validDividend())}\n\`\`\``; + const result = parseAndValidateExtraction(text, 'dividend', 2); + expect(result.success).toBe(true); + expect(result.data).toBeDefined(); + }); + + it('文書固有の必須フィールド欠落を拒否する', () => { + const result = parseAndValidateExtraction( + JSON.stringify(validDividend({ dividendDetails: undefined })), + 'dividend', + 2 + ); + expect(result.success).toBe(false); + expect(result.errors.join(' ')).toContain('dividendDetails'); + }); + + it('不正な方向性、件数超過、PDF範囲外ページを拒否する', () => { + const value = validDividend(); + const view = value.investmentView as Record; + view.shortTerm = { stance: 'veryPositive', rationale: [{ text: '根拠', page: 9 }] }; + view.positives = [ + { text: 'a', page: 1 }, + { text: 'b', page: 1 }, + { text: 'c', page: 1 }, + ]; + + const result = parseAndValidateExtraction(JSON.stringify(value), 'dividend', 2); + expect(result.success).toBe(false); + expect(result.errors.join(' ')).toContain('許可値'); + expect(result.errors.join(' ')).toContain('最大2件'); + expect(result.errors.join(' ')).toContain('PDF範囲外'); + }); + + it('修復指示には検証エラーと壊れた応答だけを渡す', () => { + const messages = buildJsonRepairMessages('{broken}', ['summaryがありません'], '{schema}'); + expect(messages).toHaveLength(2); + expect(messages[0].content).toContain('{schema}'); + expect(messages[1].content).toContain('summaryがありません'); + expect(messages[1].content).toContain('{broken}'); + expect(messages[1].content).not.toContain('[PDF_PAGE:'); + }); + + it('決算の意味分類に許可されていない値を拒否する', () => { + const value = validEarnings(); + const quality = value.earningsQuality as Record; + quality.operatingCashFlow = { + status: 'omittedMaybe', + amount: null, + confidence: 'certain', + page: 1, + }; + const result = parseAndValidateExtraction(JSON.stringify(value), 'earnings', 2); + expect(result.success).toBe(false); + expect(result.errors.join(' ')).toContain('operatingCashFlow.status'); + expect(result.errors.join(' ')).toContain('operatingCashFlow.confidence'); + }); + + it('配当予想ありならforecast年度の欠落を拒否する', () => { + const value = validEarnings({ + dividend: { + forecastAvailability: 'reported', + periods: [ + { + status: 'actual', + assessment: 'increase', + comparisonBasis: 'reported', + confidence: 'high', + page: 1, + }, + ], + }, + }); + const result = parseAndValidateExtraction(JSON.stringify(value), 'earnings', 2); + expect(result.success).toBe(false); + expect(result.errors.join(' ')).toContain('forecastがありません'); + }); + + it('配当予想なしとforecast年度の矛盾を拒否する', () => { + const value = validEarnings({ + dividend: { + forecastAvailability: 'notReported', + periods: [ + { + status: 'forecast', + assessment: 'unchanged', + comparisonBasis: 'reported', + confidence: 'high', + page: 1, + }, + ], + }, + }); + const result = parseAndValidateExtraction(JSON.stringify(value), 'earnings', 2); + expect(result.success).toBe(false); + expect(result.errors.join(' ')).toContain('forecastがあります'); + }); + + it('配当の意味説明が不要な場合はnullを正当な欠損として受理する', () => { + const value = validEarnings({ + dividend: { + forecastAvailability: 'reported', + periods: [ + { + fiscalYear: '2026年11月期', + status: 'forecast', + interim: '0.00円', + yearEnd: '10.00円', + annual: '10.00円', + comparisonAnnual: '10.00円', + comparisonBasis: 'reported', + assessment: 'unchanged', + interpretation: null, + evidenceText: '配当の状況', + confidence: 'high', + page: 1, + }, + ], + }, + }); + const result = parseAndValidateExtraction(JSON.stringify(value), 'earnings', 2); + expect(result.success).toBe(true); + }); +}); diff --git a/src/lib/structured-output.ts b/src/lib/structured-output.ts new file mode 100644 index 0000000..82faf82 --- /dev/null +++ b/src/lib/structured-output.ts @@ -0,0 +1,417 @@ +import type { DocumentType } from './document-type'; +import type { ChatMessage } from './llm-client'; +import type { ExtractionResult, InvestmentStance } from './summary-schema'; + +export interface ProviderCapabilities { + jsonObject: boolean; + strictJsonSchema: boolean; +} + +export interface ValidationResult { + success: boolean; + data?: ExtractionResult; + errors: string[]; +} + +const INVESTMENT_STANCES = new Set([ + 'positive', + 'slightlyPositive', + 'neutral', + 'slightlyNegative', + 'negative', + 'unknown', +]); + +const REQUIRED_ROOT_FIELDS: Record = { + earnings: [ + 'summary', + 'performance', + 'forecastRevision', + 'dividend', + 'earningsQuality', + 'investmentView', + 'topics', + ], + earningsRevision: ['summary', 'revisionItems', 'investmentView', 'topics'], + shareholderBenefit: ['summary', 'changeType', 'details', 'investmentView', 'topics'], + dividend: ['summary', 'dividendDetails', 'investmentView', 'topics'], + shareRepurchase: ['summary', 'details', 'investmentView', 'topics'], + stockSplit: ['summary', 'details', 'investmentView', 'topics'], + capitalPolicy: ['summary', 'transaction', 'investmentView', 'topics'], + ma: ['summary', 'deal', 'investmentView', 'topics'], + businessUpdate: ['summary', 'kpis', 'investmentView', 'topics'], + governance: ['summary', 'people', 'investmentView', 'topics'], + other: ['summary', 'content', 'topics'], +}; + +export function getProviderCapabilities(provider: string): ProviderCapabilities { + switch (provider) { + case 'openai': + return { jsonObject: true, strictJsonSchema: false }; + case 'anthropic': + case 'google': + case 'openrouter': + case 'custom': + default: + return { jsonObject: false, strictJsonSchema: false }; + } +} + +export function parseAndValidateExtraction( + text: string, + documentType: DocumentType, + totalPages: number +): ValidationResult { + const parsed = parseJsonResponse(text); + if (!parsed || !isRecord(parsed)) { + return { success: false, errors: ['応答をJSONオブジェクトとして解析できません'] }; + } + + const errors: string[] = []; + for (const field of REQUIRED_ROOT_FIELDS[documentType]) { + if (!(field in parsed)) errors.push(`必須フィールド ${field} がありません`); + } + + if (typeof parsed.summary !== 'string' || parsed.summary.trim() === '') { + errors.push('summary は空でない文字列である必要があります'); + } + if (!Array.isArray(parsed.topics)) errors.push('topics は配列である必要があります'); + + if (documentType !== 'other') { + validateInvestmentView(parsed.investmentView, errors); + } + if (documentType === 'earnings') validateEarningsSemantics(parsed, errors); + validateArrayLimits(parsed, documentType, errors); + validatePageValues(parsed, totalPages, 'root', errors); + + if (errors.length > 0) return { success: false, errors }; + + sanitizeArraysAndPages(parsed, totalPages); + return { success: true, data: parsed as unknown as ExtractionResult, errors: [] }; +} + +function validateEarningsSemantics(value: Record, errors: string[]): void { + const forecastRevision = value.forecastRevision; + if (forecastRevision !== null) { + if (!isRecord(forecastRevision)) { + errors.push('forecastRevision はオブジェクトまたはnullである必要があります'); + } else { + if (!new Set(['up', 'unchanged', 'down', 'unknown']).has(String(forecastRevision.direction))) { + errors.push('forecastRevision.direction が許可値ではありません'); + } + validateConfidence(forecastRevision.confidence, 'forecastRevision.confidence', errors); + } + } + + const dividend = value.dividend; + if (dividend !== null) { + if (!isRecord(dividend) || !Array.isArray(dividend.periods)) { + errors.push('dividend.periods は配列である必要があります'); + } else { + const statuses = new Set(['actual', 'forecast']); + const assessments = new Set(['increase', 'unchanged', 'decrease', 'unknown']); + dividend.periods.forEach((period, index) => { + if (!isRecord(period)) { + errors.push(`dividend.periods[${index}] はオブジェクトである必要があります`); + return; + } + if (!statuses.has(String(period.status))) { + errors.push(`dividend.periods[${index}].status が許可値ではありません`); + } + if (!assessments.has(String(period.assessment))) { + errors.push(`dividend.periods[${index}].assessment が許可値ではありません`); + } + if (!new Set(['reported', 'splitAdjusted', 'unknown']).has(String(period.comparisonBasis))) { + errors.push(`dividend.periods[${index}].comparisonBasis が許可値ではありません`); + } + validateRequiredString( + period.fiscalYear, + `dividend.periods[${index}].fiscalYear`, + errors + ); + for (const field of ['interim', 'yearEnd', 'annual', 'comparisonAnnual'] as const) { + validateNullableString( + period[field], + `dividend.periods[${index}].${field}`, + errors + ); + } + validateNullableString( + period.interpretation, + `dividend.periods[${index}].interpretation`, + errors + ); + validateRequiredString( + period.evidenceText, + `dividend.periods[${index}].evidenceText`, + errors + ); + validateConfidence(period.confidence, `dividend.periods[${index}].confidence`, errors); + }); + const availability = String(dividend.forecastAvailability); + if (!new Set(['reported', 'notReported', 'unknown']).has(availability)) { + errors.push('dividend.forecastAvailability が許可値ではありません'); + } + if ( + availability === 'reported' && + !dividend.periods.some((period) => isRecord(period) && period.status === 'forecast') + ) { + errors.push('配当予想がreportedですがdividend.periodsにforecastがありません'); + } + if ( + availability === 'notReported' && + dividend.periods.some((period) => isRecord(period) && period.status === 'forecast') + ) { + errors.push('dividend.periodsにforecastがありますが配当予想がnotReportedです'); + } + if (dividend.currentRevision != null && isRecord(dividend.currentRevision)) { + for (const field of ['fiscalYear', 'before', 'after', 'reason'] as const) { + validateNullableString( + dividend.currentRevision[field], + `dividend.currentRevision.${field}`, + errors + ); + } + } else if (dividend.currentRevision != null) { + errors.push('dividend.currentRevision はオブジェクトまたはnullである必要があります'); + } + } + } + + const quality = value.earningsQuality; + if (!isRecord(quality)) { + errors.push('earningsQuality はオブジェクトである必要があります'); + return; + } + const cashFlow = quality.operatingCashFlow; + if (cashFlow !== null) { + if (!isRecord(cashFlow)) { + errors.push('earningsQuality.operatingCashFlow はオブジェクトまたはnullである必要があります'); + } else { + if (!new Set(['reported', 'notReported', 'notPrepared', 'unknown']).has(String(cashFlow.status))) { + errors.push('earningsQuality.operatingCashFlow.status が許可値ではありません'); + } + validateConfidence(cashFlow.confidence, 'earningsQuality.operatingCashFlow.confidence', errors); + validateNullableString( + cashFlow.amount, + 'earningsQuality.operatingCashFlow.amount', + errors + ); + validateRequiredString( + cashFlow.interpretation, + 'earningsQuality.operatingCashFlow.interpretation', + errors + ); + validateRequiredString( + cashFlow.evidenceText, + 'earningsQuality.operatingCashFlow.evidenceText', + errors + ); + } + } + if (!Array.isArray(quality.capitalActions)) { + errors.push('earningsQuality.capitalActions は配列である必要があります'); + } else { + const assessments = new Set(['shareholderReturn', 'capitalAction', 'unknown']); + quality.capitalActions.forEach((action, index) => { + if (!isRecord(action)) { + errors.push(`earningsQuality.capitalActions[${index}] はオブジェクトである必要があります`); + return; + } + if (!assessments.has(String(action.returnAssessment))) { + errors.push(`earningsQuality.capitalActions[${index}].returnAssessment が許可値ではありません`); + } + validateRequiredString( + action.interpretation, + `earningsQuality.capitalActions[${index}].interpretation`, + errors + ); + validateRequiredString( + action.evidenceText, + `earningsQuality.capitalActions[${index}].evidenceText`, + errors + ); + validateConfidence( + action.confidence, + `earningsQuality.capitalActions[${index}].confidence`, + errors + ); + }); + } +} + +function validateConfidence(value: unknown, path: string, errors: string[]): void { + if (!new Set(['high', 'medium', 'low']).has(String(value))) { + errors.push(`${path} が許可値ではありません`); + } +} + +function validateRequiredString(value: unknown, path: string, errors: string[]): void { + if (typeof value !== 'string' || value.trim() === '') { + errors.push(`${path} は空でない文字列である必要があります`); + } +} + +function validateNullableString(value: unknown, path: string, errors: string[]): void { + if (value !== null && typeof value !== 'string') { + errors.push(`${path} は文字列またはnullである必要があります`); + } +} + +export function buildJsonRepairMessages( + invalidText: string, + errors: string[], + schema: string +): ChatMessage[] { + return [ + { + role: 'system', + content: `あなたはJSON修復アシスタントです。入力にない事実を追加せず、指定形式に合うJSONオブジェクトだけを返してください。コードブロックや説明文は禁止です。\n\n【形式】\n${schema}`, + }, + { + role: 'user', + content: `次の応答を修復してください。\n\n【検証エラー】\n- ${errors.join('\n- ')}\n\n【応答】\n${invalidText}`, + }, + ]; +} + +function parseJsonResponse(text: string): unknown | null { + const codeBlock = text.match(/```(?:json)?\s*([\s\S]*?)```/i); + const candidate = (codeBlock?.[1] ?? text).trim(); + + try { + return JSON.parse(candidate); + } catch { + const start = candidate.indexOf('{'); + const end = candidate.lastIndexOf('}'); + if (start < 0 || end <= start) return null; + try { + return JSON.parse(candidate.slice(start, end + 1)); + } catch { + return null; + } + } +} + +function validateInvestmentView(value: unknown, errors: string[]): void { + if (!isRecord(value)) { + errors.push('investmentView はオブジェクトである必要があります'); + return; + } + + for (const horizon of ['shortTerm', 'mediumTerm', 'longTerm'] as const) { + const assessment = value[horizon]; + if (!isRecord(assessment)) { + errors.push(`investmentView.${horizon} がありません`); + continue; + } + if (!INVESTMENT_STANCES.has(assessment.stance as InvestmentStance)) { + errors.push(`investmentView.${horizon}.stance が許可値ではありません`); + } + validateEvidenceArray(assessment.rationale, 2, `${horizon}.rationale`, errors); + } + + validateEvidenceArray(value.positives, 2, 'positives', errors); + validateEvidenceArray(value.risks, 2, 'risks', errors); + validateEvidenceArray(value.watchPoints, 3, 'watchPoints', errors); + if (typeof value.rationale !== 'string') { + errors.push('investmentView.rationale は文字列である必要があります'); + } +} + +function validateEvidenceArray( + value: unknown, + maxItems: number, + path: string, + errors: string[] +): void { + if (!Array.isArray(value)) { + errors.push(`investmentView.${path} は配列である必要があります`); + return; + } + if (value.length > maxItems) errors.push(`investmentView.${path} は最大${maxItems}件です`); + + value.forEach((item, index) => { + if (!isRecord(item) || typeof item.text !== 'string' || item.text.trim() === '') { + errors.push(`investmentView.${path}[${index}] のtextが不正です`); + } + }); +} + +function validateArrayLimits( + value: Record, + documentType: DocumentType, + errors: string[] +): void { + const limits: Array<[unknown, number, string]> = [ + [value.topics, documentType === 'earnings' ? 8 : 4, 'topics'], + ]; + + if (documentType === 'capitalPolicy') { + limits.push([value.useOfFunds, 3, 'useOfFunds'], [value.partnership, 3, 'partnership']); + } + if (documentType === 'businessUpdate') { + limits.push([value.drivers, 3, 'drivers'], [value.oneOffFactors, 2, 'oneOffFactors']); + } + if (documentType === 'governance') { + limits.push( + [value.governanceChanges, 3, 'governanceChanges'], + [value.internalControl, 3, 'internalControl'] + ); + } + + for (const [array, max, path] of limits) { + if (Array.isArray(array) && array.length > max) errors.push(`${path} は最大${max}件です`); + } +} + +function validatePageValues( + value: unknown, + totalPages: number, + path: string, + errors: string[] +): void { + if (Array.isArray(value)) { + value.forEach((item, index) => + validatePageValues(item, totalPages, `${path}[${index}]`, errors) + ); + return; + } + if (!isRecord(value)) return; + + if ( + 'page' in value && + value.page !== null && + (!Number.isInteger(value.page) || + (value.page as number) < 1 || + (value.page as number) > totalPages) + ) { + errors.push(`${path}.page がPDF範囲外です`); + } + for (const [key, child] of Object.entries(value)) { + validatePageValues(child, totalPages, `${path}.${key}`, errors); + } +} + +function sanitizeArraysAndPages(value: unknown, totalPages: number): void { + if (Array.isArray(value)) { + value.forEach((item) => sanitizeArraysAndPages(item, totalPages)); + return; + } + if (!isRecord(value)) return; + + if ( + 'page' in value && + value.page !== null && + (!Number.isInteger(value.page) || + (value.page as number) < 1 || + (value.page as number) > totalPages) + ) { + value.page = null; + } + for (const child of Object.values(value)) sanitizeArraysAndPages(child, totalPages); +} + +function isRecord(value: unknown): value is Record { + return typeof value === 'object' && value !== null && !Array.isArray(value); +} diff --git a/src/lib/summary-schema.ts b/src/lib/summary-schema.ts index 9c30b46..d722b11 100644 --- a/src/lib/summary-schema.ts +++ b/src/lib/summary-schema.ts @@ -6,13 +6,123 @@ */ import type { DocumentType, EarningsContext } from './document-type'; +import type { EvidenceFact } from '@/types/summaryMetadata'; // ── 共通型 ── interface FinancialItem { name: string; amount: string; + previousAmount?: string | null; change?: string | null; + page: number | null; +} + +export type InvestmentStance = + | 'positive' + | 'slightlyPositive' + | 'neutral' + | 'slightlyNegative' + | 'negative' + | 'unknown'; + +export type SemanticConfidence = 'high' | 'medium' | 'low'; + +export interface OperatingCashFlowAnalysis { + status: 'reported' | 'notReported' | 'notPrepared' | 'unknown'; + amount: string | null; + direction: 'inflow' | 'outflow' | 'unknown'; + interpretation: string; + evidenceText: string; + page: number | null; + confidence: SemanticConfidence; +} + +export interface CapitalActionAnalysis { + type: + | 'dividend' + | 'shareRepurchase' + | 'shareCancellation' + | 'shareholderBenefit' + | 'stockSplit' + | 'stockConsolidation' + | 'lotSizeChange' + | 'other'; + purpose: string | null; + returnAssessment: 'shareholderReturn' | 'capitalAction' | 'unknown'; + interpretation: string; + reason: string; + evidenceText: string; + page: number | null; + confidence: SemanticConfidence; +} + +export interface DividendPeriodAnalysis { + fiscalYear: string; + status: 'actual' | 'forecast'; + interim: string | null; + yearEnd: string | null; + annual: string | null; + comparisonAnnual: string | null; + comparisonBasis: 'reported' | 'splitAdjusted' | 'unknown'; + assessment: 'increase' | 'unchanged' | 'decrease' | 'unknown'; + interpretation: string | null; + evidenceText: string; + page: number | null; + confidence: SemanticConfidence; + /** パス1後にコード側で生成する欠損安全な表示文字列 */ + displayText?: string; +} + +export interface DividendRevisionAnalysis { + fiscalYear: string | null; + before: string | null; + after: string | null; + reason: string | null; + page: number | null; +} + +export interface ForecastRevisionAnalysis { + direction: 'up' | 'unchanged' | 'down' | 'unknown'; + metric: string | null; + before: string | null; + after: string | null; + interpretation: string; + page: number | null; + confidence: SemanticConfidence; +} + +export interface EarningsQuality { + operatingMargin: { + current: string | null; + previous: string | null; + change: string | null; + page: number | null; + /** パス1後にコード側で生成する比較表示。比較不能ならnull */ + comparisonText?: string | null; + } | null; + coreEarnings: EvidenceFact | null; + oneOffItems: EvidenceFact[]; + operatingCashFlow: OperatingCashFlowAnalysis | null; + financialHealth: EvidenceFact[]; + capitalActions: CapitalActionAnalysis[]; + /** analysis schema v7以前のキャッシュとの後方互換用 */ + shareholderReturns?: EvidenceFact[]; +} + +export interface HorizonAssessment { + stance: InvestmentStance; + rationale: EvidenceFact[]; +} + +export interface InvestmentView { + shortTerm: HorizonAssessment; + mediumTerm: HorizonAssessment; + longTerm: HorizonAssessment; + positives: EvidenceFact[]; + risks: EvidenceFact[]; + watchPoints: EvidenceFact[]; + rationale: string; } // ── 決算短信 ── @@ -23,6 +133,9 @@ export interface EarningsExtraction { periodLabel: string; items: FinancialItem[]; }; + businessPl?: { + items: Array; + } | null; evaluation: { actual: { vsLastYear: string | null; @@ -35,19 +148,23 @@ export interface EarningsExtraction { } | null; progress: { ordinaryIncome: string; + basis?: 'profitProgress' | 'lossConsumption'; lastYearProgress: string | null; + page: number | null; } | null; forecast: { label: string; items: FinancialItem[]; } | null; + forecastRevision: ForecastRevisionAnalysis | null; revision: string | null; dividend: { - interim: string | null; - yearEnd: string | null; - annual: string | null; - dividendRevision: string | null; + forecastAvailability: 'reported' | 'notReported' | 'unknown'; + periods: DividendPeriodAnalysis[]; + currentRevision: DividendRevisionAnalysis | null; } | null; + earningsQuality: EarningsQuality; + investmentView: InvestmentView; topics: string[]; } @@ -66,6 +183,25 @@ export interface EarningsRevisionExtraction { content: string; reason: string | null; } | null; + investmentView: InvestmentView; + topics: string[]; +} + +export interface ShareholderBenefitExtraction { + summary: string; + changeType: 'establish' | 'expand' | 'reduce' | 'abolish' | 'change' | 'unknown'; + details: { + before: string | null; + after: string | null; + eligibleShareholders: string | null; + requiredShares: string | null; + referenceDate: string | null; + startDate: string | null; + holdingRequirement: string | null; + costImpact: string | null; + }; + purpose: string | null; + investmentView: InvestmentView; topics: string[]; } @@ -82,6 +218,7 @@ export interface DividendExtraction { comparison: string | null; }; policy: string | null; + investmentView: InvestmentView; topics: string[]; } @@ -104,6 +241,7 @@ export interface MAExtraction { profit: string | null; consolidation: string | null; } | null; + investmentView: InvestmentView; topics: string[]; } @@ -119,6 +257,72 @@ export interface ShareRepurchaseExtraction { cancellation: string | null; }; purpose: string | null; + investmentView: InvestmentView; + topics: string[]; +} + +export interface StockSplitExtraction { + summary: string; + details: { + action: 'split' | 'consolidation' | 'unknown'; + ratio: string | null; + recordDate: string | null; + effectiveDate: string | null; + sharesBefore: string | null; + sharesAfter: string | null; + authorizedSharesChange: string | null; + dividendImpact: string | null; + }; + purpose: string | null; + investmentView: InvestmentView; + topics: string[]; +} + +export interface CapitalPolicyExtraction { + summary: string; + transaction: { + method: string | null; + counterparty: string | null; + amount: string | null; + sharesOrRights: string | null; + dilution: string | null; + price: string | null; + paymentDate: string | null; + }; + useOfFunds: EvidenceFact[]; + partnership: EvidenceFact[]; + investmentView: InvestmentView; + topics: string[]; +} + +export interface BusinessUpdateExtraction { + summary: string; + period: string | null; + kpis: { + name: string; + value: string; + comparison: string | null; + scope: string | null; + page: number | null; + }[]; + drivers: EvidenceFact[]; + oneOffFactors: EvidenceFact[]; + investmentView: InvestmentView; + topics: string[]; +} + +export interface GovernanceExtraction { + summary: string; + changeType: string | null; + people: { + name: string; + previousRole: string | null; + newRole: string | null; + effectiveDate: string | null; + }[]; + governanceChanges: EvidenceFact[]; + internalControl: EvidenceFact[]; + investmentView: InvestmentView; topics: string[]; } @@ -140,9 +344,14 @@ export interface OtherExtraction { export type ExtractionResult = | EarningsExtraction | EarningsRevisionExtraction + | ShareholderBenefitExtraction | DividendExtraction | MAExtraction | ShareRepurchaseExtraction + | StockSplitExtraction + | CapitalPolicyExtraction + | BusinessUpdateExtraction + | GovernanceExtraction | OtherExtraction; // ── スキーマ文字列生成 ── @@ -160,17 +369,24 @@ function buildEarningsSchema(ctx: EarningsContext): string { ? ` "progress": { // 進捗率(通期予想に対して)※通期予想が「未定」と明記の場合のみprogress全体をnull "ordinaryIncome": "経常利益の進捗率(例: 58.3%)※レンジ予想なら「XX.X%〜YY.Y%」形式。通期予想が「未定」と明記の場合のみprogress全体をnullに", - "lastYearProgress": "前年同期の進捗率 ※不明ならnull" + "basis": "profitProgress(黒字実績÷黒字予想)またはlossConsumption(赤字実績の絶対値÷赤字予想の絶対値)", + "lastYearProgress": "前年同期の進捗率 ※不明ならnull", + "page": 3 },` : ` "progress": null, // 通期決算では不要`; return `{ - "summary": "全体要約(2-5文。業績の傾向、通期見通し、修正/配当の有無を含む)", + "summary": "全体要約(1-3文。業績の傾向、通期見通し、修正/配当の有無を含む)", "performance": { "periodLabel": "期間ラベル(例: 第2四半期連結実績)", "items": [ - { "name": "勘定科目名", "amount": "金額(単位付き)", "change": "前年同期比/前期比(例: +12.3%) ※本文に増減率がない場合はnull" } + { "name": "勘定科目名", "amount": "当期金額(単位付き。同じ数値が複数ある場合は最も精密な桁を優先)", "previousAmount": "同じ表または本文にある前年同期/前期の比較金額(当期金額と同じ単位) ※なければnull", "change": "前年同期比/前期比(例: +12.3%) ※本文に増減率がない場合はnull", "page": 1 } + ] + }, + "businessPl": { + "items": [ + { "name": "売上高/売上収益、売上総利益/粗利、営業利益/事業利益のいずれか", "amount": "当期金額(最も精密な単位)", "previousAmount": "前年同期/前期金額(当期と同じ単位) ※なければnull", "change": "前年同期比/前期比 ※なければnull", "page": 1 } ] }, "evaluation": { @@ -186,15 +402,40 @@ function buildEarningsSchema(ctx: EarningsContext): string { "forecast": { "label": "${forecastLabel}", "items": [ - { "name": "勘定科目名", "amount": "金額", "change": "前期比(例: +8.5%) ※本文に増減率がない場合はnull" } + { "name": "勘定科目名", "amount": "予想金額", "previousAmount": "比較対象となる前期実績金額 ※本文になければnull", "change": "前期比(例: +8.5%) ※本文に増減率がない場合はnull", "page": 1 } ] }, + "forecastRevision": { "direction": "up/unchanged/down/unknown", "metric": "評価対象の利益指標 ※なければnull", "before": "従来予想額またはレンジ ※なければnull", "after": "今回予想額またはレンジ ※なければnull", "interpretation": "予想修正の内容を金額ベースで簡潔に正規化", "page": 1, "confidence": "high/medium/low" }, "revision": "業績予想の修正内容(修正なしの場合は'修正なし')", "dividend": { - "interim": "中間配当額 ※本文に記載がなければnull", - "yearEnd": "期末配当額 ※本文に記載がなければnull", - "annual": "年間配当額 ※本文に記載がなければnull", - "dividendRevision": "配当予想の修正(旧→新) ※修正がなければnull" + "forecastAvailability": "配当の状況の表に(予想)行があればreported、明示的になければnotReported、判別不能ならunknown", + "periods": [ + { "fiscalYear": "年度ラベル", "status": "actualまたはforecast", "interim": "中間配当額 ※なければnull", "yearEnd": "期末配当額 ※なければnull", "annual": "年間配当額 ※なければnull", "comparisonAnnual": "この年度と比較可能な直前年度の年間配当額 ※株式分割等があれば調整後金額、なければ記載額、不明ならnull", "comparisonBasis": "reported/splitAdjusted/unknown", "assessment": "increase/unchanged/decrease/unknown", "interpretation": "株式数変化も考慮した配当の意味を簡潔に説明 ※説明不要ならnull", "evidenceText": "判断根拠となる表または本文の記述", "page": 1, "confidence": "high/medium/low" } + ], + "currentRevision": { "fiscalYear": "修正対象年度", "before": "修正前年間配当", "after": "修正後年間配当", "reason": "修正理由 ※なければnull", "page": 1 } + // 配当修正がない場合はcurrentRevision全体をnull。beforeとafterが両方ないオブジェクトを作らない + }, + "earningsQuality": { + "operatingMargin": { + "current": "当期の営業利益率/事業利益率(例: 8.2%)", + "previous": "前年同期の利益率 ※算出根拠がなければnull", + "change": "前年差(例: +1.2pt) ※算出不能ならnull", + "page": 1 + }, + "coreEarnings": { "text": "本業利益の方向と根拠", "page": 1 }, + "oneOffItems": [{ "text": "特別損益など一時要因(最大3点)", "page": 1 }], + "operatingCashFlow": { "status": "reported/notReported/notPrepared/unknown", "amount": "営業CF金額 ※数値がなければnull", "direction": "inflow/outflow/unknown", "interpretation": "会社固有の表現を正規化した意味", "evidenceText": "判断根拠となる原文", "page": 4, "confidence": "high/medium/low" }, + "financialHealth": [{ "text": "自己資本・有利子負債・資金余力等(最大3点)", "page": 4 }], + "capitalActions": [{ "type": "dividend/shareRepurchase/shareCancellation/shareholderBenefit/stockSplit/stockConsolidation/lotSizeChange/other", "purpose": "資料に記載された目的 ※なければnull", "returnAssessment": "shareholderReturn/capitalAction/unknown", "interpretation": "投資家向けに簡潔に正規化した施策内容", "reason": "分類理由", "evidenceText": "判断根拠となる原文", "page": 1, "confidence": "high/medium/low" }] + }, + "investmentView": { + "shortTerm": { "stance": "positive/slightlyPositive/neutral/slightlyNegative/negative/unknown", "rationale": [{ "text": "開示直後〜数週間の根拠(最大2点)", "page": 1 }] }, + "mediumTerm": { "stance": "positive/slightlyPositive/neutral/slightlyNegative/negative/unknown", "rationale": [{ "text": "6か月〜1年の根拠(最大2点)", "page": 2 }] }, + "longTerm": { "stance": "positive/slightlyPositive/neutral/slightlyNegative/negative/unknown", "rationale": [{ "text": "1年以上の根拠(最大2点)", "page": 4 }] }, + "positives": [{ "text": "最大の好材料(最大2点)", "page": 1 }], + "risks": [{ "text": "最大のリスク(最大2点。根拠がなければ空配列)", "page": 4 }], + "watchPoints": [{ "text": "次回確認点(最大3点)", "page": 2 }], + "rationale": "最大の加点要因と減点要因を一文で説明。点数や市場データは使用しない" }, "topics": ["具体的な数値を含むトピック(最大8点)"] }`; @@ -202,6 +443,7 @@ function buildEarningsSchema(ctx: EarningsContext): string { function getEarningsRatingRules(ctx: EarningsContext): string { const isQuarterly = ctx.period !== 'fullYear'; + const evaluationMetric = ctx.accountingStandard === 'jpGaap' ? '経常利益' : '税引前利益'; const standardRates: Record = { q1: 25, @@ -212,10 +454,11 @@ function getEarningsRatingRules(ctx: EarningsContext): string { const standardRate = standardRates[ctx.period]; const progressOrLanding = isQuarterly - ? `■ 進捗: 経常利益の進捗率 − 標準進捗率(${standardRate}%)の差で判定 + ? `■ 進捗: 実績と通期予想が黒字なら${evaluationMetric}の進捗率、両方赤字なら損失消化率を標準進捗率(${standardRate}%)と比較して判定 ★5: +10pt以上 / ★4: +5〜+10pt / ★3: ±5pt / ★2: △5〜△10pt / ★1: △10pt超 / 通期予想が「未定」と明記→「★—」 +※損失消化率は「当期損失の絶対値 ÷ 通期予想損失の絶対値 × 100」で算出し、標準より低いほど高評価とする ※レンジ予想の場合は中央値で進捗率を算出して判定すること(レンジ予想は「未定」ではない)` - : `■ 着地: 経常利益の実績 vs 会社予想の乖離率で判定 + : `■ 着地: ${evaluationMetric}の実績 vs 会社予想の乖離率で判定 ★5: +15%以上or黒字転換 / ★4: +5〜+15% / ★3: ±5% / ★2: △5〜△15% / ★1: △15%未満or赤字転落 / 会社予想なし→「—(取得不能)」`; const forecastRevision = isQuarterly @@ -225,8 +468,9 @@ function getEarningsRatingRules(ctx: EarningsContext): string { ↑増配(XX円→YY円) / →据置 / ↓減配 / —未定or記載なし`; return ` -■ 対前年: 経常利益の増減率で判定 +■ 対前年: ${evaluationMetric}の増減率で判定 ★5: +30%以上or黒字転換 / ★4: +10〜+30% / ★3: +3〜+10% / ★2: △3〜+3% / ★1: △3%未満or赤字転落 +※当期・前年がともに赤字なら損失改善率を算出し、赤字縮小はプラス、赤字拡大はマイナスとして同じ★基準で判定する ※前年同期比/前期比の増減率が本文に記載されていない場合(初連結化、新規上場等)は「★—(前年同期比なし)」 ${progressOrLanding} @@ -235,9 +479,19 @@ ${forecastRevision} ※★は★(黒星)と☆(白星)を並べて5段階(例: ★★★★☆=4点)。括弧は全角() ※数値が本文にない場合は「—(取得不能)」 -※赤字で増減率が無意味な場合は「★—(赤字のため評価対象外)」`; +※赤字でも比較金額がある場合は評価対象外にせず、黒字転換・赤字転落・赤字縮小・赤字拡大を判定する`; } +const INVESTMENT_VIEW_SCHEMA = `"investmentView": { + "shortTerm": { "stance": "positive/slightlyPositive/neutral/slightlyNegative/negative/unknown", "rationale": [{ "text": "短期の根拠(最大2点)", "page": 1 }] }, + "mediumTerm": { "stance": "positive/slightlyPositive/neutral/slightlyNegative/negative/unknown", "rationale": [{ "text": "中期の根拠(最大2点)", "page": 1 }] }, + "longTerm": { "stance": "positive/slightlyPositive/neutral/slightlyNegative/negative/unknown", "rationale": [{ "text": "長期の根拠(最大2点)", "page": 1 }] }, + "positives": [{ "text": "好材料(最大2点)", "page": 1 }], + "risks": [{ "text": "リスク(最大2点。根拠がなければ空配列)", "page": 1 }], + "watchPoints": [{ "text": "次回確認点(最大3点)", "page": 1 }], + "rationale": "最大の加点要因と減点要因を一文で説明。点数や市場データは使用しない" + }`; + const EARNINGS_REVISION_SCHEMA = `{ "summary": "全体要約(1-3文。修正の方向性と主要因、配当への影響を含む)", "revisionItems": [ @@ -248,6 +502,25 @@ const EARNINGS_REVISION_SCHEMA = `{ "content": "配当予想の修正内容(中間/期末/年間の旧→新)", "reason": "配当修正の理由" }, + ${INVESTMENT_VIEW_SCHEMA}, + "topics": ["具体的な数値を含むトピック(最大4点)"] +}`; + +const SHAREHOLDER_BENEFIT_SCHEMA = `{ + "summary": "全体要約(1-3文。拡充/縮小/廃止と対象範囲を含む)", + "changeType": "establish/expand/reduce/abolish/change/unknown", + "details": { + "before": "変更前の優待内容。なければnull", + "after": "変更後の優待内容。なければnull", + "eligibleShareholders": "対象株主", + "requiredShares": "必要保有株数", + "referenceDate": "基準日", + "startDate": "開始日", + "holdingRequirement": "継続保有条件", + "costImpact": "会社負担・業績影響。本文になければnull" + }, + "purpose": "制度変更の目的", + ${INVESTMENT_VIEW_SCHEMA}, "topics": ["具体的な数値を含むトピック(最大4点)"] }`; @@ -262,6 +535,7 @@ const DIVIDEND_SCHEMA = `{ "comparison": "前期比較(前期年間配当→今期年間配当、増減額、増配/減配/据置)" }, "policy": "配当方針や株主還元方針(1-2行)", + ${INVESTMENT_VIEW_SCHEMA}, "topics": ["具体的な数値を含むトピック(最大4点)"] }`; @@ -282,6 +556,7 @@ const MA_SCHEMA = `{ "profit": "利益への影響", "consolidation": "連結範囲の変更" }, + ${INVESTMENT_VIEW_SCHEMA}, "topics": ["具体的な数値を含むトピック(最大4点)"] }`; @@ -295,9 +570,64 @@ const SHARE_REPURCHASE_SCHEMA = `{ "cancellation": "消却予定の有無と時期" }, "purpose": "取得の目的(1-2行で簡潔に)", + ${INVESTMENT_VIEW_SCHEMA}, "topics": ["具体的な数値を含むトピック(最大4点)"] }`; +const STOCK_SPLIT_SCHEMA = `{ + "summary": "全体要約(1-3文。比率、日程、実質的な株主価値の変更有無を含む)", + "details": { + "action": "split/consolidation/unknown", + "ratio": "分割・併合比率", + "recordDate": "基準日", + "effectiveDate": "効力発生日", + "sharesBefore": "実施前株式数", + "sharesAfter": "実施後株式数", + "authorizedSharesChange": "発行可能株式総数の変更", + "dividendImpact": "1株配当と実質配当への影響" + }, + "purpose": "実施目的", + ${INVESTMENT_VIEW_SCHEMA}, + "topics": ["具体的な数値を含むトピック(最大4点)"] +}`; + +const CAPITAL_POLICY_SCHEMA = `{ + "summary": "全体要約(1-3文。調達・提携内容、希薄化、資金使途を含む)", + "transaction": { + "method": "第三者割当/新株予約権/資本業務提携等", + "counterparty": "割当先・提携先", + "amount": "調達額", + "sharesOrRights": "発行株式数・新株予約権数", + "dilution": "希薄化率", + "price": "発行価額・行使価額", + "paymentDate": "払込期日" + }, + "useOfFunds": [{ "text": "資金使途(最大3点)", "page": 1 }], + "partnership": [{ "text": "業務提携内容(最大3点)", "page": 1 }], + ${INVESTMENT_VIEW_SCHEMA}, + "topics": ["具体的な数値を含むトピック(最大4点)"] +}`; + +const BUSINESS_UPDATE_SCHEMA = `{ + "summary": "全体要約(1-3文。主要KPIの方向と要因を含む)", + "period": "対象月・対象期間", + "kpis": [{ "name": "KPI名", "value": "実績値", "comparison": "前年同月比/前年同期比", "scope": "既存店/全店/事業範囲等", "page": 1 }], + "drivers": [{ "text": "増減要因(最大3点)", "page": 1 }], + "oneOffFactors": [{ "text": "天候・休日数等の一過性要因(最大2点)", "page": 1 }], + ${INVESTMENT_VIEW_SCHEMA}, + "topics": ["具体的な数値を含むトピック(最大4点)"] +}`; + +const GOVERNANCE_SCHEMA = `{ + "summary": "全体要約(1-3文。変更内容と施行日を含む)", + "changeType": "役員異動/体制変更/内部統制/再発防止等", + "people": [{ "name": "氏名", "previousRole": "旧役職", "newRole": "新役職", "effectiveDate": "就任・退任日" }], + "governanceChanges": [{ "text": "ガバナンス体制の変更(最大3点)", "page": 1 }], + "internalControl": [{ "text": "内部統制・再発防止策(最大3点)", "page": 1 }], + ${INVESTMENT_VIEW_SCHEMA}, + "topics": ["具体的な事実を含むトピック(最大4点)"] +}`; + const OTHER_SCHEMA = `{ "summary": "全体要約(1-3文。影響の有無と重要点を含む)", "content": { @@ -323,12 +653,22 @@ export function getJsonSchema( ); case 'earningsRevision': return EARNINGS_REVISION_SCHEMA; + case 'shareholderBenefit': + return SHAREHOLDER_BENEFIT_SCHEMA; case 'dividend': return DIVIDEND_SCHEMA; case 'ma': return MA_SCHEMA; case 'shareRepurchase': return SHARE_REPURCHASE_SCHEMA; + case 'stockSplit': + return STOCK_SPLIT_SCHEMA; + case 'capitalPolicy': + return CAPITAL_POLICY_SCHEMA; + case 'businessUpdate': + return BUSINESS_UPDATE_SCHEMA; + case 'governance': + return GOVERNANCE_SCHEMA; case 'other': return OTHER_SCHEMA; } diff --git a/src/offscreen/index.ts b/src/offscreen/index.ts index 4a1a8f9..c11e208 100644 --- a/src/offscreen/index.ts +++ b/src/offscreen/index.ts @@ -18,7 +18,18 @@ import { checkExtractionQuality, type QualityCheckResult, } from '@/lib/section-detector'; -import type { SummaryMetadata, ExtractionMode } from '@/types/summaryMetadata'; +import { + cleanPageText, + selectExtractedPages, + serializePagesForAnalysis, + serializePagesForDetection, +} from '@/lib/page-text'; +import type { + SummaryMetadata, + ExtractionMode, + ExtractedPage, + PdfExtractionResult, +} from '@/types/summaryMetadata'; console.log('[Offscreen] Offscreen Documentが起動しました'); @@ -49,7 +60,7 @@ chrome.runtime.onMessage.addListener((request, _sender, sendResponse) => { * 品質ゲートを常に実行し、リトライ判定を正しく処理 */ async function extractSmartMode( - fullText: string, + allPages: ExtractedPage[], totalPages: number, documentType: DocumentType ): Promise { @@ -63,7 +74,8 @@ async function extractSmartMode( missingKeywords: [], matchRate: 0, }; - let extractedText = ''; + const detectionText = serializePagesForDetection(allPages); + let extractedPageData: ExtractedPage[] = []; let extractedPages: number[] = []; let sectionsUsed: string[] = []; @@ -73,7 +85,7 @@ async function extractSmartMode( const params = getExtractionParams(documentType, retryCount); // セクション検出を試みる - const allSections = detectSections(fullText); + const allSections = detectSections(detectionText); console.log(`[Offscreen] セクション検出: ${allSections.length}個 (試行 ${retryCount + 1})`); if (allSections.length > 0) { @@ -84,29 +96,27 @@ async function extractSmartMode( // 重要セクションが空の場合はページスコアリングに切り替え if (importantSections.length === 0) { console.log('[Offscreen] 重要セクション空 → ページスコアリングに切替'); - const result = extractByPageScoring(fullText, totalPages, documentType, params); - extractedText = result.text; - extractedPages = result.metadata.extractedPages; - sectionsUsed = result.metadata.sectionsUsed ?? []; + extractedPages = selectPagesByScoring(detectionText, documentType, params); + sectionsUsed = [`topK=${params.topK} (スコアリング)`]; } else { - // 重要セクションからテキストを抽出 - extractedText = importantSections.map((s) => s.text).join('\n\n'); - extractedPages = Array.from( - new Set(importantSections.map((s) => s.pageNumber)) - ).sort((a, b) => a - b); + extractedPages = Array.from(new Set(importantSections.map((s) => s.pageNumber))).sort( + (a, b) => a - b + ); sectionsUsed = importantSections.map((s) => s.heading || '(見出しなし)'); } } else { // セクション検出失敗 → ページスコアリング console.log('[Offscreen] セクション検出失敗 → ページスコアリング'); - const result = extractByPageScoring(fullText, totalPages, documentType, params); - extractedText = result.text; - extractedPages = result.metadata.extractedPages; - sectionsUsed = result.metadata.sectionsUsed ?? []; + extractedPages = selectPagesByScoring(detectionText, documentType, params); + sectionsUsed = [`topK=${params.topK} (スコアリング)`]; } + extractedPageData = selectExtractedPages(allPages, extractedPages); + extractedPages = extractedPageData.map(({ pageNumber }) => pageNumber); + const qualityText = extractedPageData.map(({ text }) => text).join('\n\n'); + // 品質ゲートを常に実行(セクション検出の成否に関わらず) - qualityCheck = checkExtractionQuality(extractedText, documentType); + qualityCheck = checkExtractionQuality(qualityText, documentType); console.log( `[Offscreen] 品質チェック: ${qualityCheck.passed ? '合格' : '不合格'} (マッチ率: ${(qualityCheck.matchRate * 100).toFixed(0)}%)` ); @@ -124,10 +134,9 @@ async function extractSmartMode( } } - // テキストクリーニング - const cleanedText = cleanExtractedText(extractedText); + const analysisText = serializePagesForAnalysis(extractedPageData); console.log( - `[Offscreen] PDF抽出完了 (smartモード, ${extractedPages.length}/${totalPages}ページ, ${cleanedText.length}文字)` + `[Offscreen] PDF抽出完了 (smartモード, ${extractedPages.length}/${totalPages}ページ, ${analysisText.length}文字)` ); // メタデータ作成 @@ -149,7 +158,8 @@ async function extractSmartMode( } return { - text: cleanedText, + text: analysisText, + pages: extractedPageData, metadata, }; } @@ -157,61 +167,17 @@ async function extractSmartMode( /** * ページスコアリングによる抽出 */ -function extractByPageScoring( +function selectPagesByScoring( fullText: string, - totalPages: number, documentType: DocumentType, params: { summaryPages: number; topK: number; neighbor: number } -): ExtractionResult { +): number[] { // ページスコアリングを実行 const pageScores = scorePages(fullText, documentType); console.log(`[Offscreen] ページスコアリング: トップ${params.topK}ページを選択`); // topKページとその近傍ページを選択 - const selectedPages = selectTopPages( - pageScores, - params.topK, - params.neighbor, - params.summaryPages - ); - - // 選択されたページのテキストを抽出 - const lines = fullText.split('\n'); - const extractedLines: string[] = []; - let currentPage = 0; - - for (const line of lines) { - // ページ番号の検出(行が数字のみの場合) - if (/^\d+$/.test(line.trim())) { - const pageNum = parseInt(line.trim(), 10); - if (pageNum > currentPage) { - currentPage = pageNum; - } - } - - // 選択されたページの場合、行を追加 - if (selectedPages.includes(currentPage)) { - extractedLines.push(line); - } - } - - const extractedText = extractedLines.join('\n'); - const cleanedText = cleanExtractedText(extractedText); - - console.log( - `[Offscreen] ページスコアリング完了 (${selectedPages.length}/${totalPages}ページ, ${cleanedText.length}文字)` - ); - - return { - text: cleanedText, - metadata: { - totalPages, - extractedPages: selectedPages, - sectionsUsed: [`topK=${params.topK} (スコアリング)`], - extractionMode: 'smart', - documentType, - }, - }; + return selectTopPages(pageScores, params.topK, params.neighbor, params.summaryPages); } /** @@ -257,41 +223,6 @@ function groupTextItemsByY(items: Array): string[] return sortedYs.map((y) => lines.get(y)!.join(' ')); } -/** - * 抽出したテキストをクリーニング - */ -function cleanExtractedText(text: string): string { - let cleaned = text; - - // 1. 連続する空白を1つに - cleaned = cleaned.replace(/[ \t]+/g, ' '); - - // 2. 連続する改行を最大2つに(段落区切りを維持) - cleaned = cleaned.replace(/\n{3,}/g, '\n\n'); - - // 3. 行末の空白を削除 - cleaned = cleaned.replace(/[ \t]+\n/g, '\n'); - - // 4. 全角スペースを半角スペースに統一 - // eslint-disable-next-line no-irregular-whitespace - cleaned = cleaned.replace(/ /g, ' '); - - // 5. 制御文字を除去(改行・タブは維持) - // eslint-disable-next-line no-control-regex - cleaned = cleaned.replace(/[\x00-\x08\x0B-\x0C\x0E-\x1F\x7F]/g, ''); - - // 6. ページ番号を行限定で除去 - // 行全体が数字のみの場合のみ削除(本文中の数値は保持) - cleaned = cleaned.replace(/^[-\s]*\d+[-\s]*$/gm, ''); - cleaned = cleaned.replace(/^\d+\s*\/\s*\d+$/gm, ''); - cleaned = cleaned.replace(/^ページ\s*\d+$/gm, ''); - - // 7. 先頭と末尾の空白を除去 - cleaned = cleaned.trim(); - - return cleaned; -} - /** * メタデータ型定義 */ @@ -300,10 +231,7 @@ type ExtractionMetadata = SummaryMetadata; /** * 抽出結果型定義 */ -interface ExtractionResult { - text: string; - metadata: ExtractionMetadata; -} +type ExtractionResult = PdfExtractionResult; /** * PDFからテキストを抽出 @@ -338,7 +266,7 @@ async function extractTextFromPDF( const numPages = pdf.numPages; console.log(`[Offscreen] PDF抽出開始 (${numPages}ページ)`); - const textPages: string[] = []; + const pages: ExtractedPage[] = []; // 全ページからテキストを抽出 for (let pageNum = 1; pageNum <= numPages; pageNum++) { @@ -349,34 +277,35 @@ async function extractTextFromPDF( // Y座標で行をグループ化して改行を復元 const lines = groupTextItemsByY(textContent.items); - // ページ番号を先頭に追加(セクション検出・ページスコアリングで使用) - const pageText = `${pageNum}\n${lines.join('\n')}`; - - textPages.push(pageText); + pages.push({ + pageNumber: pageNum, + text: cleanPageText(lines.join('\n'), pageNum), + }); // メモリ解放 page.cleanup(); } catch (pageError) { console.error(`[Offscreen] ページ ${pageNum} の抽出エラー:`, pageError); - textPages.push(`[ページ ${pageNum} の抽出に失敗しました]`); + pages.push({ + pageNumber: pageNum, + text: `[ページ ${pageNum} の抽出に失敗しました]`, + }); } } - // 全ページのテキストを結合 - const fullText = textPages.join('\n\n'); - - if (!fullText.trim()) { + if (!pages.some(({ text }) => text.trim())) { throw new Error('PDFからテキストを抽出できませんでした。画像PDFの可能性があります。'); } // 抽出モード分岐 if (extractionMode === 'full') { // fullモード: 全文返却 - const cleanedText = cleanExtractedText(fullText); - console.log(`[Offscreen] PDF抽出完了 (fullモード, ${cleanedText.length}文字)`); + const analysisText = serializePagesForAnalysis(pages); + console.log(`[Offscreen] PDF抽出完了 (fullモード, ${analysisText.length}文字)`); return { - text: cleanedText, + text: analysisText, + pages, metadata: { totalPages: numPages, extractedPages: Array.from({ length: numPages }, (_, i) => i + 1), @@ -387,7 +316,7 @@ async function extractTextFromPDF( }; } else { // smartモード: セマンティック抽出 - return await extractSmartMode(fullText, numPages, documentType); + return await extractSmartMode(pages, numPages, documentType); } } catch (error) { console.error('[Offscreen] PDF抽出エラー:', error); diff --git a/src/options/Options.tsx b/src/options/Options.tsx index 82a0a91..d888de6 100644 --- a/src/options/Options.tsx +++ b/src/options/Options.tsx @@ -12,6 +12,7 @@ const Options: React.FC = () => { const [useCustomModel, setUseCustomModel] = useState(false); const [extractionMode, setExtractionMode] = useState('full'); const [twoPassMode, setTwoPassMode] = useState(true); + const [experimentalScoring, setExperimentalScoring] = useState(false); const [saved, setSaved] = useState(false); const [autoSwitchedToCustom, setAutoSwitchedToCustom] = useState(false); const [hasAutoSwitched, setHasAutoSwitched] = useState(false); @@ -25,6 +26,7 @@ const Options: React.FC = () => { 'useCustomModel', 'extractionMode', 'twoPassMode', + 'experimentalScoring', ] as const; const handleExportSettings = () => { @@ -69,7 +71,10 @@ const Options: React.FC = () => { setUseCustomModel(validData.useCustomModel as boolean); if (validData.extractionMode) setExtractionMode(validData.extractionMode as ExtractionMode); - if (validData.twoPassMode !== undefined) setTwoPassMode(validData.twoPassMode as boolean); + if (validData.twoPassMode !== undefined) + setTwoPassMode(validData.twoPassMode as boolean); + if (validData.experimentalScoring !== undefined) + setExperimentalScoring(validData.experimentalScoring as boolean); setSaved(true); setTimeout(() => setSaved(false), 3000); }); @@ -104,7 +109,16 @@ const Options: React.FC = () => { useEffect(() => { chrome.storage.sync.get( - ['provider', 'apiKey', 'model', 'customUrl', 'useCustomModel', 'extractionMode', 'twoPassMode'], + [ + 'provider', + 'apiKey', + 'model', + 'customUrl', + 'useCustomModel', + 'extractionMode', + 'twoPassMode', + 'experimentalScoring', + ], (result) => { if (result.provider) setProvider(result.provider); if (result.apiKey) setApiKey(result.apiKey); @@ -113,6 +127,8 @@ const Options: React.FC = () => { if (result.useCustomModel !== undefined) setUseCustomModel(result.useCustomModel); if (result.extractionMode) setExtractionMode(result.extractionMode); if (result.twoPassMode !== undefined) setTwoPassMode(result.twoPassMode); + if (result.experimentalScoring !== undefined) + setExperimentalScoring(result.experimentalScoring); } ); loadCacheEntries(); @@ -180,6 +196,7 @@ const Options: React.FC = () => { useCustomModel, extractionMode, twoPassMode, + experimentalScoring, }, () => { setSaved(true); @@ -216,9 +233,7 @@ const Options: React.FC = () => { ))} -

- 使用するLLMプロバイダーを選択してください -

+

使用するLLMプロバイダーを選択してください

{/* カスタムURL入力(カスタムプロバイダーの場合のみ表示) */} @@ -322,7 +337,10 @@ const Options: React.FC = () => {
- +

+ 検証済みの短期・中期・長期の方向性を固定換算します。投資判断や将来収益を保証する点数ではなく、2パス要約でのみ表示されます。 +

+
+