Skip to content

feat: 決算分析精度と実PDF評価基盤を改善 - #21

Merged
ivgtr merged 24 commits into
mainfrom
feat/analysis-accuracy-improvements
Jul 14, 2026
Merged

ivgtr merged 24 commits into
mainfrom
feat/analysis-accuracy-improvements

Conversation

@ivgtr

@ivgtr ivgtr commented Jul 14, 2026

Copy link
Copy Markdown
Owner

概要

TDnet決算資料の読み取り精度を高めるため、PDF抽出からLLM分析、構造化出力検証、表示までを段階的に改善しました。会社ごとに異なる決算資料の表現はLLMで意味的に解釈しつつ、元PDFの根拠と決定論的な検証処理を組み合わせています。

主な変更

  • PDFのページ境界と根拠ページを保持し、重要ページの抽出精度を改善
  • 決算短信・決算説明資料・業績予想修正などの文書分類を拡張
  • 決算資料と非決算資料で分析プロンプトを分離
  • 業績、進捗率、前年同期比、事業PL、配当を意味的に抽出・補正
  • 赤字でも進捗率や前年からの改善・悪化を評価できるように変更
  • 欠損値を推測せず、nullableな構造化出力として検証
  • 分析バージョンをキャッシュキーへ反映
  • 任意の投資スコアリングを追加
  • envベースのローカルLLM評価と、TDnet実PDFコーパスを追加
  • 複数社・複数様式の決算資料で回帰テストを追加
  • 実装計画とPhaseごとの評価記録を文書化

背景

従来は会社ごとの表記差、赤字決算、進捗率、事業別損益などを固定的な文字列判定だけで扱うと、誤判定や不適切な表示が発生する余地がありました。本変更ではLLMによる文脈理解を活用し、その結果をスキーマ検証と決定論的な補正で安全に扱います。

影響

  • 決算サマリーの根拠追跡性と表示の一貫性が向上します
  • 欠損情報をゼロや根拠のない数値として表示しません
  • APIキーはGit管理外の .env からローカル評価時のみ読み込みます
  • 本番の拡張機能動作にローカル評価基盤は必須ではありません

検証

  • npm test: 12ファイル / 153テスト合格
  • npm run type-check: 合格
  • npm run lint: 合格
  • npm run build: 合格
  • TDnet実PDFコーパス: 18件 / 146ページを確認
  • 複数社の実PDFを用いたLLM出力評価を実施

@ivgtr ivgtr self-assigned this Jul 14, 2026
@ivgtr
ivgtr marked this pull request as ready for review July 14, 2026 10:02
@ivgtr
ivgtr merged commit af028e9 into main Jul 14, 2026
@ivgtr
ivgtr deleted the feat/analysis-accuracy-improvements branch July 14, 2026 10:02
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant