Skip to content

米国株SEC EDGAR対応・EDINET DBクォータガード・深掘りタイムアウト延長 - #18

Open
mogi0406 wants to merge 5 commits into
edinetdb:mainfrom
mogi0406:feat/us-stock-sec-edgar-and-quota-guard
Open

mogi0406 wants to merge 5 commits into
edinetdb:mainfrom
mogi0406:feat/us-stock-sec-edgar-and-quota-guard

Conversation

@mogi0406

@mogi0406 mogi0406 commented Sep 5, 2026

Copy link
Copy Markdown

概要

ローカルで先行実装していた4つの変更を、本家の最新main(v1.0.5-jp、上流追従#17)に追いついた状態でPRとして提出します。

変更内容

  • feat: add EDINET DB daily quota guard and headless MAGI deep-dive script
    EDINET DB Freeプランの100回/日上限に対し、実ネットワーク呼び出し直前でカウントし上限到達でエラー送出するquota.tsを新設。あわせてMAGIスクリーニング(investment-screener側)との連携用ヘッドレススクリプトmagi-deep-dive.tsを追加。
  • fix: extend deep-dive timeout from 5min to 15min
    Phi-4のエージェント多段推論(財務データ取得→分析→レポート作成、最大8イテレーション)が5分では完了せず打ち切られていたため、15分に延長。
  • feat: 米国株版read_sec_filingsツールを追加(SEC EDGAR、無料)
    ティッカー→CIK解決→提出書類一覧→本文取得→Item番号ベースのセクション抽出(10-KはItem 1/1A/7)→markdown化→長文要約、のパイプライン。米国株ティッカーではエージェントが自然にread_sec_filingsを選ぶよう registry.ts に登録。
  • test: SEC EDGAR関連ツールの単体テストを追加、bun testに--isolateを既定化
    複数テストファイル同時実行時にmock.moduleがプロセス全体のモジュールレジストリを汚染する問題を発見、--isolateをpackage.jsonのtestスクリプトに既定化して解消。

マージについて

本ブランチはorigin/main(74コミット先行、上流追従#17まで反映済み)に追いつくマージを含みます。コンフリクトは2ファイル(README.md, src/tools/registry.ts)で発生し、いずれも「両方の変更を保持すべき」性質の衝突だったため両方残す形で解消しました。

検証

  • bun install 成功
  • tsc --noEmit エラーなし
  • bun test --isolate: 367 pass / 21 fail
    • 失敗21件は全てAgentRunnerController(タイムアウト系)とshell-runner(/bin/sh依存)のテストで、マージ元の本家コミット単体でも同じ構造であることを確認済み(Windows実行環境を想定していない既存のテスト側の制約、本PRの変更とは無関係)
    • 本PRで追加したread-sec-filings.test.tsは5/5 pass

🤖 Generated with Claude Code

茂木光 and others added 5 commits July 23, 2026 23:13
quota.ts: EDINET DB呼び出しを100回/日(Freeプラン相当、EDINETDB_DAILY_LIMITで上書き可)に
制限し、超過時はエラーを投げてlogger.error+console.errorでアラートする。
api.tsのexecuteRequest(実ネットワーク呼び出しの直前)に組み込み。

scripts/magi-deep-dive.ts: 自動投資/magi_batch.pyのMAGIスクリーニング本命候補を、
TUIを介さずAgent.create/run()で1回だけ深掘りリサーチするヘッドレス実行スクリプト。
標準入力でJSON(銘柄コード・判定・財務データ)を受け取りレポート本文を標準出力に返す。
書き込み系ツールを除いた読み取り専用ツールに限定し、5分でタイムアウトする。

bun test / tsc --noEmit で検証済み。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
実機検証で、Phi-4によるエージェントの多段推論(財務データ取得→分析→レポート作成)が
5分のAbortControllerで打ち切られることが判明(実際に発生: "The operation was aborted")。
15分に延長したところ正常に完了しトヨタ(7203)の実レポートを取得できた。
MAGI本体でも同じPhi-4を「バッチ実行前提で低速は許容」と既に方針決定済みのため、
このスクリプトも同じ方針に合わせる。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
- sec-edgar-client.ts: ティッカー→CIK解決(company_tickers.json)、
  提出書類一覧取得(submissions API)。当初RECENT_FILINGS_FETCH_LIMIT=200
  で直近分のみ見ていたが、大企業(JPM等)は8-K/Form4等に埋もれ10-Kが
  13,351番目に出現し0件になるバグを発見・修正(上限を撤廃し全件走査)
- sec-edgar-sections.ts: 10-K/10-QのItem番号ベースのセクション抽出
  (Business/Risk Factors/MD&A、SEC規則Regulation S-Kにより全社共通)
- read-sec-filings.ts: ツール本体。ティッカー解決→書類一覧→本文DL→
  セクション抽出→Turndownでmarkdown化→長文はLLM要約、のパイプライン
- registry.ts/finance/index.ts: read_sec_filingsツールを登録
- magi-deep-dive.ts: RESEARCH_TOOLSにread_sec_filingsを追加、米国株
  ティッカーでも深掘りエージェントが使えるように

実地検証で2件のバグを発見・修正:
1. summarizeIfTooLongがgetFastModel(resolveProvider(model).id, model)で
   「軽量モデル」に切替していたが、ローカルLM Studio運用ではmodel名が
   どのプロバイダプレフィックスにもマッチせずOpenAIにフォールバックし、
   実在しないfastModel名('gpt-5.4-mini')で400エラーになっていた。
   呼び出し元のmodelをそのまま使うよう修正(getFastModel/resolveProvider
   への依存を削除)。web-fetch/utils.tsの同パターンは今回のスコープ外。
2. phi-4のネイティブ最大コンテキストが16,384トークンで頭打ち(それ以上は
   指定しても実際には拡張されない)と判明。要約入力を45,000文字程度に
   切り詰めるよう調整。

JPM(JPMorgan Chase)のRisk FactorsセクションをSEC EDGARから取得・要約し、
magi-deep-dive.tsのヘッドレス実行で深掘りレポートが生成されることを
実地確認済み(投資分析リポジトリ側のus_magi_batch.pyから呼び出す)。

README.mdにSEC EDGARの位置づけ・実装方針を追記。
- sec-edgar-sections.test.ts: extractSectionHtml/sectionsForFormの純粋関数
  テスト(9件)。目次と本文の重複マッチ回避、セクション長上限、フォーム別
  切替を検証
- sec-edgar-client.test.ts: getRecentFilingsのテスト(5件、globalThis.fetch
  をモック)。RECENT_FILINGS_FETCH_LIMIT撤廃バグ(直近200件に埋もれ0件に
  なっていた不具合)の回帰テストを含む
- read-sec-filings.test.ts: ツール本体のテスト(5件、mock.moduleで
  sec-edgar-client.js/model/llm.jsをモック)。summarizeIfTooLongの
  getFastModel廃止バグ(呼び出し元のmodelがそのままcallLlmへ渡ることを
  確認)の回帰テストを含む

package.json: testスクリプトに--isolateを追加。mock.module()はプロセス
全体のモジュールレジストリを書き換えるため、複数テストファイルを同時実行
すると片方のモックがもう片方の本物の実装を汚染する事象を実地で発見
(read-sec-filings.test.tsのモックがsec-edgar-client.test.tsの結果を
狂わせていた)。--isolateで各ファイルをフレッシュなグローバルオブジェクト
で実行するよう既定化して解消(全63テスト、実行時間は+1秒程度で許容範囲)。
# Conflicts:
#	README.md
#	src/tools/registry.ts
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant