Skip to content

IR要約の原文検証と共通事実の契約を改善 - #24

Merged
ivgtr merged 7 commits into
mainfrom
feat/ir-semantic-contract-pr
Oct 1, 2026
Merged

ivgtr merged 7 commits into
mainfrom
feat/ir-semantic-contract-pr

Conversation

@ivgtr

@ivgtr ivgtr commented Sep 30, 2026 •

Copy link
Copy Markdown
Owner

IR要約で数値や期間の意味を取り違える問題を修正します。BlueMemeの通期純利益−400百万円を正しく採用し、営業利益率1.4%を1%へ切り捨てた候補を拒否します。

変更内容

  • PDFの原文字・段落・表・数量の全断片を保持し、指標、会社/範囲、対象期間、上限/概算、予定/実績、否定/条件を原文と照合します。要約・採点・追加分析は共通の確定事実を使います。
  • 決算の実績/予想と損失背景、自己株取得の上限/予定、月次の対象月を確認します。前年・別会社・EPSによる必須項目の誤充足、配当総額の1株配当への誤分類を拒否します。
  • smartのモデル入力と必須判定を選択ページに揃え、未選択ページの事実混入を防ぎます。追加分析/採点時は全文を再取得して元事実を照合します。
  • Anthropicの事実生成/修復の出力予算と打ち切り検出を修正しました。相対PDFリンクからの保存スコア復元と、原文で範囲指定のない1株配当の採点も修正しました。
  • 分析指紋v32で旧条件のキャッシュと分離します。旧スキーマや不正な値を暗黙変換せず、確認できない事実は不足/エラーとして示します。更新後は要約の再生成が必要です。

検証と残る制約

製品コード 113635c で410テスト、型チェック、lint、ビルドが成功し、Codex再レビューは重大な問題なしでした。以降の変更は文書のみです。パッチ版の版更新・同じ検証・ZIP生成はRelease Actionsで行います。

公開PDF18資料の抽出、保存原文字の照合、途中版v28の実LLM応答とv29での再判定、重点3資料の固定API拡張経路を確認済みです。レビュー修正後v32の実LLM/ブラウザー追試と、過去資料取得を含む実API比較採点の成功は未確認です。7月の自己株取得/月次の当時のTDnet実一覧経路は404のため未確認です。

画像OCR、グラフ値、回転数値、曖昧な結合表は未対応です。未知形式の成功率は未測定で、配当の対象期や区分を一意に確認できない場合も不足を明示します。根拠IDの存在だけで自然言語全般や推論の正しさを保証しません。

設計・基準・レビュー対応は 開発ガイド、実API/固定応答の区別と未達条件は 評価ガイド に記録しています。

@chatgpt-codex-connector

chatgpt-codex-connector Bot commented Sep 30, 2026 •

Copy link
Copy Markdown

Codex Review Summary

This comment shows the latest Codex review activity on this pull request.

Review Status Commit Review trigger
📝 Code Review ✅ Completed 2026-09-30T23:57:44.291274Z 113635c Manual request
ℹ️ About Codex in GitHub

Your team has set up Codex to review pull requests in this repo. Reviews are triggered when you

  • Open a pull request for review
  • Mark a draft as ready
  • Comment "@codex review" or "@codex security review".

Codex reacts with 👀 while any review is running, comments if it has suggestions, and reacts with 👍 once all reviews finish with no findings.

@chatgpt-codex-connector chatgpt-codex-connector Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

💡 Codex Review

Here are some automated review suggestions for this pull request.

Reviewed commit: db9d1a7cb6

ℹ️ About Codex in GitHub

Your team has set up Codex to review pull requests in this repo. Reviews are triggered when you

  • Open a pull request for review
  • Mark a draft as ready
  • Comment "@codex review".

If Codex has suggestions, it will comment; otherwise it will react with 👍.

Codex can also answer questions or update the PR. Try commenting "@codex address that feedback".

Comment thread src/offscreen/index.ts Resolved
Comment thread src/lib/fact-summary.ts Resolved
@ivgtr

ivgtr commented Sep 30, 2026

Copy link
Copy Markdown
Owner Author

@codex review

前回レビューの2件を修正しました。最新HEAD 6498007 について再レビューをお願いします。

  • 6179617:verifyCoverage の必須判定を selection=selected のページに揃えました。Offscreenからの全ページ返却と、全ページの原文・構造・根拠関係の検証は維持しています。BlueMeme p.18が未選択なら同ページの損失予定を要求せず、選択時は欠落を拒否する回帰を追加しました。未選択ページの抽出失敗・原文改変も引き続き拒否します。
  • 6498007:Anthropicクライアントへ maxOutputTokens を渡し、事実v4の初回・修復は通常32,768、Sonnet 3.5は既知上限8,192、明示予算は指定値を使います。max_tokens / model_context_window_exceeded は有効なJSONでも拒否し、停止理由と利用量を記録します。不正予算と空・不正本文も拒否します。評価スクリプトは同じ予算関数を使い、分析指紋をv30へ更新しました。

全387テスト、型チェック、lint、ビルドが成功しています。Anthropicの検証は固定Messages API応答で、実クライアント→事実v4の原文照合→表示まで確認しました。実Anthropicモデル生成とsmartの実LLM/拡張の追試は未実施です。以前の実API証拠をv30での新規生成成功として扱っていません。

前回の2指摘には個別返信済みです。設計・検証結果・未達条件は docs/development.md と evaluation/README.md に追記しています。特に、選択ページへの限定で必須判定やページ間根拠の整合性が崩れないか、Anthropicの予算と打ち切り処理が初回/修復へ正しく適用されるかをご確認ください。

@chatgpt-codex-connector chatgpt-codex-connector Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

💡 Codex Review

Here are some automated review suggestions for this pull request.

Reviewed commit: 64980070ec

ℹ️ About Codex in GitHub

Your team has set up Codex to review pull requests in this repo. Reviews are triggered when you

  • Open a pull request for review
  • Mark a draft as ready
  • Comment "@codex review".

If Codex has suggestions, it will comment; otherwise it will react with 👍.

Codex can also answer questions or update the PR. Try commenting "@codex address that feedback".

Comment thread src/lib/fact-coverage.ts Resolved
Comment thread src/content/hooks/useSummarize.ts Resolved
Comment thread src/lib/score-extraction.ts Resolved
@ivgtr

ivgtr commented Sep 30, 2026

Copy link
Copy Markdown
Owner Author

@codex review

前回レビューの3件を修正しました。最新HEAD 60f5c10 について再レビューをお願いします。前回のレビュー対象 6498007 からの差分は次のとおりです。

  • 061d409:smart要約の追加分析/採点で、全文再抽出後に未選択ページの必須項目を再要求しないようにしました。初回は選択範囲で必須判定し、後続要求では全文を再取得して元の確定事実の数量・意味・根拠を再照合します。事実とPDFバイトを含むresultIdの一致検査は維持しています。BlueMeme p.1/p.5選択・p.18未選択の要約からanalyze/scoreへ進む回帰と、事実改変・PDFバイト変更・再抽出失敗の拒否を追加しました。
  • 061d409:TDnet PDF URLの検証/正規化を共通化し、Backgroundの取得/採点生成とContentの保存スコア復元で同じ絶対URLを使います。相対リンク3形式からの復元と、別PDFの保存URLの拒否を確認しました。要約キー/resultIdに使う元リンクは保持し、旧キャッシュの暗黙変換は追加していません。
  • 60f5c10:ScoreSource.scopeをnullableにし、原文検証済みのmetricKind=perShareかつ配当指標に限りscope=nullを採点入力・比較・表示・保存検査へ渡します。連結範囲や会計基準を補わず、「範囲の指定なし」と表示します。主体・指標・期間・状態・限定/条件の一致は維持し、範囲指定あり/なしを混ぜません。財務金額・利益率・EPS・株数比率の範囲欠落は引き続き拒否します。原PDF文字で検証した配当125→127円を、確定事実IDの選択→比較→固定API推論→表示→保存復元まで通しました。

現在の分析指紋はv31です。事実スキーマv4・採点v4・追加分析v2は維持しています。全395テスト、型チェック、lint、ビルドが成功しました。今回の追加検証は固定取得/抽出/モデル応答による回帰で、実LLM/ブラウザーの追試は未実施です。以前の実API証拠をv31での新規生成成功として扱っていません。

3指摘には個別返信済みです。設計・検証結果・残る未達条件は docs/development.md と evaluation/README.md に追記しました。特に、後続要求で必須判定を再実行しない構成でも原文改変を拒否できるか、URL正規化で資料の同一性を緩めていないか、配当のnull許容が他の不明な範囲へ広がっていないかをご確認ください。

@chatgpt-codex-connector chatgpt-codex-connector Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

💡 Codex Review

Here are some automated review suggestions for this pull request.

Reviewed commit: 60f5c10223

ℹ️ About Codex in GitHub

Your team has set up Codex to review pull requests in this repo. Reviews are triggered when you

  • Open a pull request for review
  • Mark a draft as ready
  • Comment "@codex review".

If Codex has suggestions, it will comment; otherwise it will react with 👍.

Codex can also answer questions or update the PR. Try commenting "@codex address that feedback".

Comment thread src/lib/scoring.ts Resolved
Comment thread src/lib/fact-coverage.ts Resolved
Comment thread src/lib/pdf-layout.ts Resolved
@ivgtr

ivgtr commented Sep 30, 2026

Copy link
Copy Markdown
Owner Author

@codex review

前回レビューの3件を修正しました。最新HEAD 113635c の再レビューをお願いします。前回の対象 60f5c10 からの差分は次のとおりです。

  • 配当総額の誤分類:metric-semantics.ts に指標名・分母・単位の共通判定を置き、原文検証・採点入口・比較のnull範囲許容・保存スコア検査で使用します。配当金総額(円/百万円)や配当金(百万円)はamount、増減率はrateとし、scope=nullの許容は真正の1株配当に限定しました。正しい総額の原文事実は確定できますが、範囲/基準なしの採点とperShareへの誤分類は拒否します。原PDF文字で検証した配当125→127円の採点・表示・保存復元は引き続き通ります。
  • 配当の必須判定:選択ページの配当表から報告期/業績予想対象期の数値と実績/予想を確認し、関連する配当予想があればその予想、なければ報告期の実績を要求します。確定事実の対象期・valueKind/state・通期・主体・配当指標/単位を照合し、「期末」だけでは配当と認めません。BlueMemeの2025年/2026年実績配当は原文照合には通りますが、2027年3月期予想の代用にすると不足を拒否します。対象期や数値区分を一意に読めない形式は明示不足とします。
  • smartの未選択ページ:見出し候補・継続表・系列注記・段落注記も本文と同じ選択ページ集合からモデル入力を生成します。未選択ページを主根拠とする新規事実と、そのページの根拠ID借用も拒否します。全ページの原文字/構造の整合性検査と、後続要求の全文再取得による確定事実照合は維持します。

分析指紋はv32へ更新し、弱い条件で生成した旧結果と分離しました。事実v4・採点v4・追加分析v2の形式は維持し、旧形式の暗黙変換は追加していません。

24ファイル410テスト、型チェック、lint、ビルドが成功しています。追加証拠は保存原文字・合成原文・固定モデル応答による回帰で、今回の変更を通す実LLM生成/ブラウザー実経路の追試は未実施です。以前の実API証拠をv32での新規生成成功とは扱っていません。3指摘への個別返信と、docs/development.md / evaluation/README.md の更新は完了しています。

特に、1株配当と総額の分類が採点/保存まで一貫するか、配当対象期の選択で正しい当期事実を誤拒否しないか、smartの選択範囲と全ページ整合性検査・後続の全文照合が両立するかをご確認ください。

@chatgpt-codex-connector

Copy link
Copy Markdown

Codex Review: Didn't find any major issues. 🎉

Reviewed commit: 113635c0bd

ℹ️ About Codex in GitHub

Your team has set up Codex to review pull requests in this repo. Reviews are triggered when you

  • Open a pull request for review
  • Mark a draft as ready
  • Comment "@codex review".

If Codex has suggestions, it will comment; otherwise it will react with 👍.

Codex can also answer questions or update the PR. Try commenting "@codex address that feedback".

@ivgtr
ivgtr merged commit ebb8edd into main Oct 1, 2026
@ivgtr
ivgtr deleted the feat/ir-semantic-contract-pr branch October 1, 2026 00:16
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant