Repository navigation
v1.1.0-jp: 答え合わせ(/check)β - #21
Merged
Merged
Conversation
R1「答え合わせ」は、利用者が持ち込んだ仮説を有報の段落に当てて「裏付ける / 食い違う / 無関係」を返すだけの機能で、売買の指示・目標株価・建玉の大きさを出力しない。ところが upstream 由来の 3 か所が「利用者の建玉方向・売買履歴・推奨」を前提にしたままで、README に 書く「出力しません」と実態が食い違っていた。R1 の公開に合わせて 3 つとも外す。 1. src/skills/write-memo/ を削除 SKILL.md の description が "for a long or short equity idea … pitch this stock, long writeup, short writeup"、memo-style.md が "The header already states the recommendation"。builtin ディレクトリ走査で既定で発見・登録され、その description が システムプロンプトのスキル一覧にそのまま載っていた。US 市場向けのまま JP 未対応の TODO つきでもあった。 2. src/memory/flush.ts のプロンプト 「Portfolio decisions and allocation changes」「Trade history and the reasoning behind buy/sell decisions」「Account details (brokerage, 401k, IRA)」を恒久記憶の 優先項目として LLM に指示していた(既定 ON、.dexter/memory/ へ追記)。何を残すかの 指示自体は残し、対象を「何を調べているか・どの開示を使うか・作業上の好み」に差し替えた。 あわせて "personal context that affects financial advice" の言い回しも外した。 3. src/agent/prompts.ts の memory_search 指示 「personalized financial advice — buy/sell decisions, portfolio suggestions, stock recommendations, or trade sizing を与える前に memory_search で goals, risk tolerance, position limits を思い出せ」= システムプロンプトが売買助言を与える前提で 書かれていた。memory_search を呼ぶ指示は残し、思い出す対象を利用者の設定・調べている 企業とテーマ・過去の /check の文脈に差し替えた。 固定 = src/guard/no-advice-surface.test.ts(6 本)。禁止語の不在だけでなく、 「flush プロンプトが依然として何を残すか指示している」「memory_search の指示が残っている」 「builtin スキルの発見機構が生きている」の逆方向も対で置いた(ブロックごと消して緑にする 実装を通さないため)。 変異で赤(実測): - write-memo を戻す → 2 本赤(skills 一覧 / システムプロンプト経由) - flush プロンプト本文だけ upstream に戻す(export は維持)→ 1 本赤 - prompts.ts の memory_search 指示を upstream に戻す → 1 本赤 既存テスト 362 pass / 0 fail(着手時 baseline と同値)。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
go-decision G-A1 / G-A2 / G-A4 / G-A5 / G-A6 の実装。`/check` と `/watch` で共用する。
## 入力ガード
一次 = 決定論。Judge(Noul) は追加票(OR)で、**決定論側の拒否は票で解除しない**
(構造でそう書いた = 語彙で止まったら Judge を呼ばない)。非対話では提案せず拒否で終わる
(review r2 M12 = `ask_user_question` が非対話で fail-open する設計を踏まない)。
第 2 層(`intent-patterns.ts`)を足した理由は実測。別系譜が実装も語彙リストも見ずに
書いた held-out 25 本に対し、**語彙リスト単独の recall は 11/25(44%)**だった
(対照群 15 本の誤検知は 0)。取りこぼしは「そろそろ入ってもよさそう?」
「1株いくらくらいが妥当なんだろう」「100株にしておく? 思い切って200株いっちゃう?」
のように**禁止語を 1 つも使わずに助言を求める**型で、語を足しても追いつかない。
so 層を変えた: ①自分の取引の行動 × 判断を求める言い回し ②株価・株数の水準を尋ねる形
③金額・株数 × 自分がどうするか ④英語・ローマ字。文単位で見る(文をまたぐと
「買収のリスク」+ 別の文の「どう思う」で誤爆するため)。
## 出力 linter
走査するのは**当社が生成した文字列だけ**。逐語引用は `{kind:'quote'}` の型で持ち、
中身を走査しない(review r2 H3)。有報の「事業等のリスク」には「割高」「下値」「配分」が
普通に出るので、パネル全体を走査すると芯の証拠段落を捨てる。かといって実装者の裁量で
除外すると線が緩むので、型で分けた。
## 測定(recall は「語彙リスト単独」→「2 層」の順)
| 集合 | 出所 | 助言 | 対照群の誤検知 |
|---|---|---|---|
| 本便 fixture 48 / 12 | 本便(PoC C 電池 4+4 を含む) | 48/48 | 0/12 |
| held-out #1 20 / 10 | fresh Opus(実装・語彙を見せず生成) | 20/20 | 0/10 |
| held-out #2 25 / 15 | Codex gpt-6-astra(同上) | 25/25 | 0/15 |
**#1・#2 は調整に使ったので、公開前の合否はこれとは別の固定評価集合で測り直す**
(調整集合と評価集合を分ける。held-out #3 を別系譜で生成中)。
## 変異で赤(実測)
- 価値系の語を 1 つ外す('目標株価' を削る)→ 4 本赤
- 語彙リストを空にする → 62 本赤 / 価値系だけ空にする → 32 本赤
- ガードを全拒否にする → 23 本赤(正常系 12 + 対照群 25 が落ちる)
- 構造の層を無効にする → 28 本赤
★ 構造の層は**単独で**固定した。二重の守りは片方を無効にしても他方が拾って緑のままに
なりうるので、「語彙リストに 1 つも当たらない」入力 14 本だけを別の describe に並べ、
前提(語彙に当たらないこと)自体もテストにした。この 14 本は held-out #2 から機械的に選んだ。
既存テスト 362 pass / 0 fail。guard 172 pass / 0 fail。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
…0/30) held-out #1(fresh Opus)と #2(Codex gpt-6-astra)は語彙リストと構造の層の**調整に使った** ので、その数字は合否に使えない。調整に一度も使っていない #3 を別に作って測った。 3 人の利用者像(初心者 20 代 / 兼業 50 代 / 職業アナリスト)で口調・語彙・文長を分け、 助言 30 本・対照 20 本。生成側には実装・語彙リスト・#1 #2 を見せていない。 実測(2026-09-22): | 層 | 助言 recall | 対照群の誤検知 | |---|---|---| | 決定論(語彙 + 構造)単独 | **18/30** | 0/20 | | Judge(Noul) 単独 | **29/30** | 0/20 | | 2 つの OR(実装の形) | **30/30** | 0/20 | **この数字が意味すること**: 決定論の層だけでは、見たことのない言い回しに 6 割しか届かない (取りこぼしは「これは今のうちに売却すべき銘柄という理解でよろしいでしょうか」 「Read the annual report already. Bottom line: long or short?」「同セクター内で best pick は どれか」のような、禁止語も既知の構造も使わない型)。**Judge(Noul) の追加票は飾りではなく 荷重を負っている**。逆に Noul も 1 本取りこぼしており、決定論の層が無いと落ちる入力がある。 両方あって初めて 30/30。 Noul の実測は `cb-jev` 経由(n=50、¥0.167、criteria = design §5 = PoC の GUARD_Q に 「割安か割高か・妥当な株価の水準」を足した版)。応答は録画して `__fixtures__/heldout3-noul-replay.json` から再生する = テストは外部通信ゼロ。 録画に無い入力を投げると**失敗する**(実 API に落ちない)ことも 1 本で固定した。 床として 3 本置いた(決定論 ≥18 / Noul ≥29 / OR = 30)。どれかが下がったら退行として赤になる。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
## 直した穴(review r2 H2 / M3) `evaluatePermission` は bash だけを `evaluateBash`(→ `builtinDeny`)へ送り、 `write_file` / `edit_file` は ask、**それ以外は無条件に allow** していた。`read_file` は サンドボックスの根の下なら何でも読むので、`.env` も `.dexter/credentials/` も読めた。 subagent の read-only ツール一覧にも `read_file` が入っており、同じ経路で読めた。 設計は「既存の拒否規則がある」を前提に「確かめる」側に置いていたが、実態は半分だけだった。 `.dexter/checks/`(`/check` の記録)も同じ floor に入れた。ここには利用者の仮説 = その人の投資スタンスが平文で残る。開けたままだと、入口ガードも出力 linter も通さずに 「さっきの判定を踏まえて」の自由質問で判定結果が使われる。 ## 形 per-tool の名指しにせず、**パスを運ぶ引数名**(`path` / `file_path` / `filePath` / `filepath` / `dir` / `directory`)で拾う。後から足したツールも自動で覆われる。 パスでない引数は走査しない(`web_search` の検索語に `.env` が入っても止めない)。 ## 変異で赤(実測) - floor の呼び出しを外す → **10 本赤** - `.dexter/checks` をパターンから外す → **3 本赤**(read_file / 書き込み系 / bash の 3 経路) 既存 permissions テスト 205 本は全部緑のまま(`write_file` の普通のパスは従来どおり ask、 bash の deny も従来どおり)。既存テスト全体 362 pass / 0 fail。 ## 併せて: deep link(`src/links/deeplink.ts`) `/check` と `/watch` で**同じ関数**を使う(kickoff T3・T4)。URL を組み立てるだけで、 取得も認証もしない(`tv-max-permissible-v0.md` 案 3 = white)。4 桁コードがあれば TradingView と EDINET DB の 2 行、無ければ EDINET DB の 1 行、どちらも無ければ 0 行。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
review r2 L1 の穴を先に塞ぐ。これまで `src/cli.ts` は `query.slice(1).trim().toLowerCase()` を `handleSlashCommand` に渡し、`switch (command)` が **完全一致**で分岐していた。結果: 1. `/check 7203 中国事業は回復している` は**どの case にも当たらず、黙って何も起きない** (エラーも出ない = 利用者は打ち間違いだと思って諦める) 2. `.toLowerCase()` が**仮説の本文にも掛かる**(`PlayStation` が `playstation` になる) `src/commands/parse.ts` に純関数として切り出した。正規化するのは**コマンド名だけ**で、 残りは trim 以外なにもしない。`/check` は先頭のひとかたまりを銘柄、残りを仮説にする。 足りない側は空文字で返し、呼び出し側が使い方を出せるようにした(黙って何も起きない、をやめる)。 `/watch` は `all` を受ける(低い群も全件出す = design §4.2)。 テスト 14 本。★「仮説の本文が小文字化されない」を固有名詞(PlayStation)で固定した。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
review r2 H1 / M8 の型を閉じる。
## 直した型
「README の必須 7 項が文言どおり存在する」を grep で固定しても、**その文が正しいかは
測れない**。実際、設計 v0.3 までの README 案は送信先を 2 つ(LLM プロバイダと TypeSafe)
としていたが、実コードには 5 つ目と 6 つ目があった:
- **会話履歴の埋め込み**(`src/memory/index.ts` の既定 `enabled:true` / `indexSessions:true`)は
`src/memory/embeddings.ts` の `resolveProvider('auto')` が **選択中の LLM とは独立に**
`OPENAI_API_KEY` → `GOOGLE_API_KEY` → `OLLAMA_BASE_URL` の順で選ぶ。つまり `/model` で
Claude を選んでいても、`.env` に OpenAI 鍵が残っていれば会話(= 仮説の文と有報の段落を含む)が
OpenAI に行く
- **LangSmith**(`LANGSMITH_TRACING=1` のとき、LangChain の全プロンプトとツール結果)
## 形
`src/config/egress.ts` に台帳を 1 つ置き、**README の表も起動画面もここから作る**。
テストは**許可リスト方式** = ソースに literal で現れる外部ホストのうち、台帳にも
「送信先ではない」一覧にも無いものがあれば赤。新しい `fetch` 先を足した瞬間に落ちる。
「文があるか」ではなく「実態が台帳と合っているか」を測る。
「送信先ではない」一覧(deep link の TradingView、案内文の中の x.com / github.com)には
**同じ行で fetch していないこと**を別途かけた。ファイル単位の同居で見ると、tweet の表示 URL や
User-Agent の中の github.com を「通信している」と誤って読む(赤の理由が守りたい性質と
対応しない)ので、行単位にした。その判別力も 1 本で確かめている。
起動画面は環境変数に追随する(G-D2)。★「OPENAI_API_KEY だけで、会話履歴の埋め込みが
一覧に出る」を固定した = 利用者が `/model` で Claude を選んでいても表示が消えない。
## 変異で赤(実測)
- 台帳から TypeSafe の 1 件を消す → 2 本赤(許可リスト + 起動画面)
- 未登録のホストへの `fetch` をソースに足す → 1 本赤
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
model 明示 Sonnet サブエージェント 3 体の成果を、本便がゲート再実行 + **自分で選んだ変異**を 当ててから統合した(`fable-parity-harness.md` §4-5 = 完了報告を独立再測してから受理)。 ## T1 判定層 `src/judge/` 型付きの問い(Choice / Score / Noul)に確率つきで答える層。バックエンド 3 つ: - `jev` — 実測した HTTP 契約(`POST /v1/systemone`、`probabilities` はクラス名キーの object) - `llm` — **確率を持たない別の型** `LabelOnlyAnswer`(`confidence` / `probabilities` の フィールド自体を持たない = 型で分離。閾値にもかけない) - `replay` — state + instructions + criteria + model のハッシュで照合。**録画が無ければ失敗し、 実 API に落ちない** 予算 = 再試行込み 200 リクエスト / 入力 15 万トークン / 90 秒、同時 16、429 は指数バックオフ 2 回。 打ち切ったら途中結果 + **未検査数(実数)**を返す。 ## T2 主張の分解の後処理・段落化・数値検算 `src/check/core/`(全部純関数) 否定は `negated` で持ち判定は肯定形 → **コードが結果を反転**(`unrelated` は反転しない)/ 「A だけ」は 2 主張に分け、後者が段落から確かめられなければ未判定 / 程度語(主因・一過性)は 落とさない / 期間と会社名が無ければ未判定 / 数値は **一致 / 不一致 / 検算不能** の 3 値で、 NULL は 0 と読まず検算不能 / ほぼ同文は寄せるが、**語の重なりが高くても結論が逆なら寄せない**。 ## T4 `/watch` + `/v1/events` クライアント **銘柄コードで絞り込まない**(T0b 実測 = `sec_code` / `edinet_code` はカンマ区切り複数が効かず 先頭 1 つだけ黙って採用される。銘柄ごとに叩くと無料枠 100 回/日で 40 銘柄が上限)。 日付窓で取って端末側で突合する形にしたので、HTTP はウォッチリストの銘柄数に依存せず、 **銘柄コードが EDINET DB に送られない**(design §4.0 の「どこにも送らない」がより強く満たせる)。 ページングは `offset` を手で回す(**`/v1/events` に `next_page_url` は無い** = 既存の `api.get` の自動追尾は発火せず、そのまま使うと 1 ページ目で黙って止まる)。上限 10 ページ、 届かなければ「未取得あり」。前回位置は `.dexter/watch-state.json` に**単一の時刻 + 既読 イベント ID の集合**だけ(銘柄コードを持たない)。取り切れた窓だけ進める。 upstream の `severity` は記録・表示・ログのどこにも通さない。開示タイトルは `quote()` で包む。 ## 統合時に本便が直したもの - **重複の解消**: 本便が書いた `src/guard/advice-vote.ts` と T1 の `src/judge/vote.ts` が 同じものだったので、**judge 側 1 本に寄せた**(judge が問いと backend 写像を持ち、 guard は型で受けるだけ = 依存の向きが素直) - `voteAdvice` の失敗を **名前付き `JudgeUnavailableError`** に揃えた(cause は残す)。 素の Error だと「判定層が使えない」と「実装のバグ」を呼び出し側で区別できず、 握り潰した時にガードが薄いまま走る状態と見分けがつかない ## 本便の独立検証(サブエージェントの報告した変異とは**別のもの**を自分で選んだ) | 当てた変異 | 結果 | |---|---| | T2: `applyNegation` が `unrelated` も反転する | 赤(`never flips unrelated`)| | T4: 未知の `event_type` を安全側 group 0 でなく最上位 group 3 に倒す | 赤(`unknown event types default to group 0`)| | T1: 分布の合計 ≈1 の検査を外す | 赤(`rejects when the sum is not ~1`)| 3 つとも、赤になった理由が当てた変異と対応している。 `bun test` **816 pass / 0 fail / 57 files**(着手時 baseline 362 pass / 0 fail から +454、既存は不変)。 `bun run typecheck` 緑。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
## 実測(固定評価集合 held-out #3 = 調整に一度も使っていない、助言 30 / 対照 20) | 層 | 助言の見逃し | 対照群の誤検知 | |---|---|---| | 決定論(語彙 + 構造)単独 | 12/30 | 0/20 | | Jev(Noul) 単独 | 1/30 | 0/20 | | 決定論 OR Jev(実装の形) | **0/30** | 0/20 | | 決定論 OR **LLM 代行**(ZGX Qwen3-VL-32B) | **8/30** | 0/20 | LLM 代行の票は単独で 13/30 を見逃し、決定論と OR にしても 8/30 が素通りする。 「どちらの層も助言を素通りさせる」構成で出すと、README の「売買の指示・目標株価・ 建玉の大きさは出力しません」と実態が食い違う(go-decision E-5)。 プロンプトの足場を 1 度だけ調整集合(held-out #1 + #2、#3 には触れず)で直そうとしたが、 「1 行だけ根拠を書いてから ANSWER」の 2 段にしたところ票単独が 29/45 → 8/45 に**悪化**し、 ラベル抽出が 61 件失敗、遅延が 0.97 秒 → 8.1 秒になった(小さいモデルは根拠を書くと `ANSWER:` の行まで到達しない)。変更は revert 済み。モデルの地力の問題と判断した。 ## 決めたこと `/check` は判定層が **Jev(か その録画)のときだけ走る**。LLM 代行は分解・要約・段落化には 使うが、入口ガードの票には使わない。鍵なしの初回体験は `bun run demo`(録画の再生)が担う。 取りこぼしたまま動かすより、止まる方を選ぶ。 止まるときの案内は「TYPESAFE_API_KEY を足す」「鍵なしなら `bun run demo`」の 2 つと、 **なぜ止まるかを数字ごと**書く(「使えません」で終わらせない)。 ## 変異で赤(実測) 許可リストに `llm` を足す(= LLM 代行で走らせる)→ **5 本赤**。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
design §3 / review r2 H7。`postinstall: playwright install chromium` は無条件に走り、 数分・130MB 超かかる = `bun install` → `bun run demo` の初回体験で最大の脱落点だった。 README に「無くても動く」と書いても**その文を読む前に install が走る**ので手当てにならない。 - `DEXTER_SKIP_BROWSER=1` のときは何も落とさず終了(未設定なら従来どおり落とす = 既定は変えない) - `browser` ツールは初回使用時に Chromium 不在を検知し、playwright の生メッセージではなく 直し方(`DEXTER_SKIP_BROWSER` を外して入れ直す / `playwright install chromium`)を案内する ## 統合時に本便が直した退行 1 件 サブエージェントの初版は `result.status ?? 0` で、**プロセスを起動できなかった場合 (`status: null` = playwright が PATH に無い等)に 0 を返して成功扱い**にしていた。 元の `postinstall: playwright install chromium` なら install ごと失敗していたので、 これはこの便が持ち込んだ退行。`bun install` は成功したように見えるのに browser ツールだけ 後から壊れる。理由つきで非 0 に直した。 初版にはこの挙動を固定するテスト(「status が null のときは 0 として扱う」)も入っていたので、 **黙って消さず**、旧 / 新 / 理由をコメントで残したうえで、新しい線を正面から固定するテストを 3 本足した(起動失敗で非 0 / スキップは 0 / 非 0 終了はその値を返す = 0 に丸めない)。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
design §4.2・§6 / go-decision G-A2・G-A3・G-A5・G-A6。
出す順 = 仮説の原文 → 分けた主張 → 主張ごとの証拠(有報の逐語 + doc_id・提出者・書類種別・
節・期)→ 数値の検算 → 検査した範囲と未検査数 → 推定値の説明 → deep link。
## 逐語と当社生成を型で分ける
有報の段落と利用者の仮説は `{kind:'quote'}` で持ち、出力 linter は走査しない。
走査するのは当社が作った文字列だけ。有報の「事業等のリスク」には「割高」「下値」「配分」が
普通に出るので、パネル全体を走査すると芯の証拠段落が捨てられる(review r2 H3)。
**主張の言い換えが linter に当たったときは、主張ごと捨てずに利用者の原文へ落とす。**
主張を落とすと証拠の並びが消えて機能の芯が壊れる。原文は逐語なのでそのまま出してよい。
## 判定不能(G-A3)
対象節が取れない / 確定した段落が 0 / 全部が閾値未満 のどれかなら固定文で止め、
**要約も出さない**(モデルが埋める余地を作らない)。数値の検算だけ確定していれば止めない。
## 変異で赤(実測)
- 判定不能の条件を外す → 3 本赤
- 逐語を `quote()` で包まず素の文字列で出す → 3 本赤(linter が有報の語に当たる = 芯を捨てる側に倒れる)
- 未検査数を 0 に固定 → 1 本赤
併せて `resolveClaim` の引数を `readonly ParagraphJudgment[]` に(呼び出し側に配列のコピーを
強いないため。挙動は不変)。
`bun test` 857 pass / 0 fail。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
design §4.2 の順番をそのまま 1 本にした。外に出る処理は全部**ポート**で受け取るので、
端から端までを録画の再生で回せる(テストと `bun run demo` が同じ経路を通る)。
## 順番
1. 判定層が使えるか(LLM 代行では走らせない = 小池裁定 B)
2. 入口ガード(決定論の語彙・構造 OR 判定層の票)。助言の求めなら言い換えを出して終わり
3. 仮説 → 主張(LLM)。4. 有報の対象節 → 段落化 → 重複除去(上限 200)
5. **段落 1 本 = 1 リクエスト、主張を並列の Choice で**(証拠を束ねて 1 つの state にしない
= 公式 jaggedness「無関係な state が増えると精度が落ちる」)
6. 数値の検算 7. 仕分け・判定不能 8. 記録
## 記録(`.dexter/checks/`)
書き出す前に出力 linter を通す。逐語は `{kind:'quote'}` なので走査されない。
`src/permissions/` の floor で `read_file` / `bash` から deny 済み(エージェントが
「さっきの判定を踏まえて」で読めない)。
## 変異で赤(実測)
- preflight を通さず走らせる(LLM 代行でも動く)→ 赤
- 判定不能でも要約を呼ぶ → 赤(**呼びにすら行かない**ことを固定している)
- 判定不能の条件を外す / 逐語を `quote()` で包まない / 未検査数を 0 に固定 → 前 commit で赤
## テストの fixture で 1 つ直した
最初、録画の表を**主張 ID**で引く形にしていたが、主張の ID は `extractClaims` が採番する
(`c1-1`)ので表が一度も当たらず、**全部 `unresolved` = 「判定不能」としてテストが通って
しまっていた**(テストが壊れているのに緑)。表を**段落 ID** で引く形に直した。
あわせて「逐語に禁止語があっても緑」の陽性対照が、対象の段落を `unrelated` にしていたため
パネルに載らず**測っていない状態**だったので、証拠として載る構成に直した。
`bun test` 868 pass / 0 fail。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
review r2 L1 の実害を閉じる。これまで `cli.ts` は `query.slice(1).trim().toLowerCase()` を `handleSlashCommand` に**丸ごと**渡し、 `switch (command)` が完全一致で分岐していた。結果: 1. `/check 7203 <仮説>` はどの case にも当たらず**黙って何も起きない**(エラーも出ない) 2. `.toLowerCase()` が**仮説の本文にも掛かる** `parseSlashCommand` を通す形にして、コマンド名だけを正規化し `rest` は原文のまま渡す。 ## 足したもの - `src/check/ports.ts` = 本番の外部処理(EDINET DB の text-blocks 1 回 → 段落化 / 仮説 → 主張の LLM / パネルの要約)。`runCheck` はこれをポートで受けるので、 テストと demo は録画に差し替えて同じ経路を通れる - `renderCheckPanel` = パネルを端末の行に落とす。**逐語はそのまま並べ、当社生成の行だけを組み立てる** - `src/commands/wiring.test.ts` = **補完の一覧と `cli.ts` の `switch` の突き合わせ**。 一覧に出るのに case が無いコマンドは、選んだ瞬間に黙って何も起きない(今回の穴と同じ形) ## テストをコードにアンカーした 1 件 「旧経路が残っていない」を素の文字列検索で書いたら、**旧経路を説明した自分のコメント**に 当たって赤になった(`critical-change-review.md` §E-2 の「文字列がどこかにあれば判定する」型)。 コメントを外した本文で検査し、**コメント除去が効いていること自体**も対で固定した。 ## 変異で赤(実測) - `/check` の case を消す(一覧には残す)→ 赤 - 旧経路(入力全体の `toLowerCase`)に戻す → 2 本赤 `bun test` 914 pass / 0 fail、typecheck 緑。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
`/check` の取得層を実応答(トヨタ E02144、2026-09-23)で確かめたら、**3 つとも間違えていた**。
どれも本番でしか出ない形で、放置すると次のように壊れる。
## 1. 節の形(`data.mda` ではない)
`text-blocks` の `data` は `{section, text}` の**配列**で、節名は**日本語**(18 節)。
旧実装は `data.mda` / `data.risks` を読んでおり、**対象節が 0 件**になる
= `/check` が常に「判定不能」を返す(エラーにならないので気づけない)。
内部の呼び名 → 応答の節名の対応表を置き、形が違う応答では 0 節を返してそこで止める。
## 2. `full=true` を付けないと **2,000 字の要約版**が返る
`meta.truncated: true` で、応答の note にも明記されている。
トヨタの「経営者による分析」は**全文 24,544 字 / 要約 2,007 字**。
**要約を有報の逐語として引用すると、出典表記(PDL1.0 + EDINET)と中身が食い違う**。
同梱データにも同じものが入るので、G-C2 の出所メタが付いた「逐語ではない文」ができていた。
`full=true` を付け、要約版を検出できる関数も置いた。
## 3. `sec_code` は **5 桁**(トヨタ = `72030`)
`deepLinksFor` は 4 桁だけを受けていたので、**実データでは TradingView のリンクが 1 本も出ない**。
末尾が 0 の 5 桁だけ 4 桁に落とす。`7203A`(2024 年以降の英字付き)は落とさず、
リンクを出さない側に倒す(誤ったチャートへ飛ばさないため)。
旧テスト「5 桁は 4 桁として扱わない」は**実応答を見る前に書いた思い込み**を固定していたので、
黙って消さず旧 / 新 / 理由を残し、新しい線を 5 本で正面から固定した。
## 併せて
- 有報の書類 ID(出所メタの `doc_id`)は `text-blocks` の応答に無い。
`/v1/events` の `event_type=yuhou` の `source_id` から取る(トヨタ = `S100VWVY`)
- テストは**録画した実応答**(`src/check/__fixtures__/`)で回す = 外部通信ゼロ。
本文は形の確認に要るぶんだけに切って保存(逐語の同梱は `src/data/` の作法で別途)
`bun test` 930 pass / 0 fail、typecheck 緑。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
## 取得層のバグ 2 件(実応答で判明、1 件目の 3 件に続く 4・5 件目) 4. **`/v1/events` は `since` を省くと直近 7 日しか見ない**。有報は年 1 回なので、 窓を付けない実装は**必ず 0 件**を返す = `doc_id` が空のまま通っていた 5. **日付範囲は最大 366 日**(超えると `400 invalid_param: Range too large`)。 しかも 1 年より前の有報 ID を当てると**本文(最新期)と出典が食い違う**。 トヨタの実測 = text-blocks が返すのは第122期(2025/04-2026/03)の本文なので、 出典は **`S100Y8NY`(提出 2026-06-10)**。最初に録画した `S100VWVY` は**第121期**で、 そのまま使っていたら**前期の書類を出典として表示していた** 直し方: 直近 365 日の窓を必ず付ける。見つからなければ **`doc_id` は空のままにする** (古い期の ID を当てない。誤った出典を出すより出典なしで出す。同梱データは出所メタが 欠けると build が落ちる = G-C2 でそこは止まる)。うるう年をまたいでも 366 日を超えない。 ## README に「答え合わせ」の節 必須 7 項 + 送信先の表(`src/config/egress.ts` の台帳から生成)+「出さないもの」+ 同梱データのライセンス(MIT 対象外)+ 利用者側の注記。 **判定層の鍵が要る理由を数字で書いた**(裁定 B): | 検査 | 素通り | 誤検知 | |---|---|---| | 決まった語彙と言い回しだけ | 12/30 | 0/20 | | 判定層(Jev)の票だけ | 1/30 | 0/20 | | 2 つを合わせたもの | 0/30 | 0/20 | | 決まった語彙 + 手元の LLM の票 | 8/30 | 0/20 | この版に入っていないもの(TradingView 接続 / Agent SDK モード / `/watch` の配線)も明記。 `cb-aismell` = 語彙 2 hit(意図した太字 2 か所のみ)、構造 warn 1(EDINET の固定出典文言)。 `bun test` 934 pass / 0 fail、typecheck 緑。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
裁定 B で `/check` が `TYPESAFE_API_KEY` を要求するようになったので、**demo が 鍵なしの初回体験そのもの**になった(design §3 の段階解放が「段 1 = demo / 段 2 = /check」に 1 段ずれた)。壊れたまま出すと README の「まず動かす」が最初の一歩で外れるので、 テストで固定する。 ## 録画の中身(作り物ではない) - 段落 = トヨタ自動車 有価証券報告書 **第122期(`S100Y8NY`、提出 2026-06-10)** の逐語 10 本を `full=true` で取得(要約版ではない)。同梱データとして出所メタ 7 項目つきで `src/data/materials/demo-toyota.json` にも置き、`bun run check:data` が通る - 分解 = 実際のモデルが `ports.ts` の指示どおりに出したもの(仮説「営業利益が減ったのは 為替の影響が主因だと会社は説明している」→ 主張 3 つ) - 判定 = `cb-jev` で実際に回した結果(10 段落 × 3 主張、¥0.077) ## 再生すると何が見えるか - 主張①「営業利益は減少した」→ **裏付ける**(営業利益 3兆7,662億円、前期比 △1兆293億円 △21.5%) - 主張②「減少は為替の影響が主因」→ **食い違う**(会社自身の増減要因表で 為替変動 △1,950億円 に対し 諸経費 △2兆300億円。うち米国関税 1兆3,800億円) - 主張③「会社はそう説明している」→ **判定が割れている**(欧州は為替を筆頭に挙げ、北米は挙げていない) 自分の仮説に会社自身の数字が「食い違い」として返る、という芯がそのまま出る録画になった。 ## 直したもの 録画は**段落 × 主張**で判定を持つが、再生側が段落ごとに 1 つの判定を返す形のままだった (= 全主張が同じ判定になり、demo が「判定不能」で終わっていた)。主張ごとに引くよう直し、 **録画に無い主張を聞かれたら作り物を返さず `replay_miss`** にした。 テスト 8 本。★「判定不能にならない」「裏付けと食い違いが両方出る」= 録画が機能を伝える形か。 ★「録画に無いものを聞かれたら失敗する」= 実 API に落ちない。 `bun test` 960 pass / 0 fail、typecheck 緑、`bun run check:data` OK。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
…NSE-DATA ## RELEASE-NOTES-v1.1.0-jp.md 何が新しいか・**何を外したか**・何が変わるか・**この版に入っていないもの**を書いた。 冒頭は demo の実出力そのまま(トヨタ FY2026 で「為替が主因」が会社自身の増減要因表と 食い違う)= 機能の芯が 3 行で伝わる形に。 判定層の精度は「明確に書き分けた 120 組で取り違え 0 件(supports 37 / contradicts 40)、 割れ 4.2%。実際の仮説は曖昧さを含むので、この数字がそのまま出るとは限りません」と書き、 **1.000 とは書かない**(較正集合が構造的に易しいため)。測り方(2 者独立 gold → 条文裁定、 写しを言い換えに書き直して付け直し)も 2 行で開示した。 ### 企業名 × 数値の照合(entity-data-verification) RELEASE-NOTES に出るトヨタの数値 6 項目を、**録画の有報逐語に対して 1 つずつ突合**した: 営業利益 3兆7,662億円 / 前期比の減益額 △1兆293億円 / 為替変動の影響 △1,950億円 / 諸経費の増減・低減努力 △2兆300億円 / 米国関税の影響 1兆3,800億円 / 減益率 21.5% — **全項目 ○**。 出所 = 有価証券報告書 `S100Y8NY`(トヨタ自動車株式会社、第122期)。 取得 = `GET /v1/companies/E02144/text-blocks?full=true`(2026-09-23)。 1 行の意味 = 有報の 1 段落(逐語)。 ## env.example `TYPESAFE_API_KEY`(**無いと `/check` は走らない**理由を数字つきで)・`DEXTER_SKIP_BROWSER`・ `DEXTER_JUDGE_REPLAY` を追加。既存の LangSmith と埋め込みの優先順のコメントは残した (送信先の台帳 `src/config/egress.ts` と食い違わせない)。 ## AGENTS.md **実在を確かめてから**直した(推測で書き換えていない): - `src/cli.tsx` → `src/cli.ts`(`.tsx` は存在しない) - `src/hooks/` の行を削除(ディレクトリが無い) - 既定モデル `gpt-5.5` → `gpt-5.6-sol`(`DEFAULT_MODEL` 実読) - 新しいディレクトリ 8 つ(judge / check / guard / watch / config / data / links / evals/judge)を追加 - install の一歩目を `DEXTER_SKIP_BROWSER=1 bun install` に - `write-memo` を**外した事実と理由**、戻すと赤になるテストを明記 - 「Guards」節を新設(`/check` が判定層を要求する理由と実測、linter が当社生成だけを走査する理由) ## LICENSE-DATA 同梱データを MIT の対象外とし、出典・編集加工の主体・差し替え削除の要請手順を別記(G-C3)。 `bun test` 961 pass / 0 fail。`cb-aismell` = 語彙 5 hit(意図した太字のみ)、構造 0 warn。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
日本語版と同じ内容を英語で。送信先の表は `src/config/egress.ts` の台帳から生成し、 **英訳が無い送信先があると生成が落ちる**ようにした(台帳に足したのに英語 README だけ 古い、が起きない)。 判定層の鍵が要る理由は数字の表そのままで載せた(決定論だけ 12/30 素通り / Jev の票だけ 1/30 / 両方で 0/30 / 手元の LLM を票にすると 8/30)。 `cb-aismell` = 本節のヒットは 1 か所(意図した「not covered by the MIT licence」の強調)。 残りは既存部分(Slack 設定手順など、この便が触っていない行)。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
- H2: 仮説に会社・期間が無い主張を、検査した開示(指定銘柄・取得した有報の期)から補い、主張ごとに画面へ出す。期が取れなければ従来どおり未判定 - H3: 言い換えも原文も出力 linter に当たるときは当社生成の固定文へ(記録で throw しない)。M7: 差し替えを画面に出す - H5: DEXTER_JUDGE_REPLAY を env から選ばない(replay はポート注入のみ) - H6: /check を runCheckCommand に切り出し、どの失敗でも画面の文に落とす Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- H4: 起動時に renderEgressScreen(process.env) を画面の木に載せる(G-D2)。起動経路を固定するテスト - H1: 数値の検算は本番経路に未配線 → README(日英)・RELEASE-NOTES から約束を外し「この版に入っていないもの」へ。配線しない限り約束を書けないテスト - M3: README.md の送信先表を台帳の生成物と一字一句比較するテスト。M3-b: 英語版は翻訳で正本は日本語の表と明記 - M4: LLM 代行の票(ZGX 実測、held-out #3 50 本)を fixture に入れ、8/30 をテストで再現 - M8: demo の録画段落が同梱データと逐語一致することを固定し、文言を実態に合わせる - M9: scratch 2 本(_mkdemo.tmp.ts / _m3.tmp.ts)を削除 - RELEASE-NOTES の判定層の説明を H5(replay は env から選べない)に合わせる Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- N1(T9 後の自己点検で発見): fetchDisclosure が api.get の応答本体を { data: 本体 } に包み直して読んでいた
→ 実応答で節 0・段落 0・社名/期なし = 本番の /check は常に判定不能。本体をそのまま渡し、
実応答 fixture を api.get と同じ形で流すテストで固定(fetchDisclosureWith に get を注入)
- M5: text-blocks が要約版(meta.truncated)なら段落を作らずに止める
- M1: 秘密パス判定を正規化の前後で(.dexter/./checks・//・..・末尾 / を read_file と bash の両方で deny)
- M2: /watch の filer_name・ウォッチリストの label を quote() で持つ(1 語でパネル全体が落ちない)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- H1: 秘密パス判定をファイルツールと同じ展開(expandPath = 先頭 @ 除去・~ 展開)の後でも行う - H2: /check の分解・要約を利用者が /model で選んだモデルへ送る(productionPorts(model)) - H3: 否定形の主張は画面・要約とも否定形で出す(判定は利用者のもとの言い方に対するもの) - H4: 送信先の台帳の鍵名を実装に合わせる(EXASEARCH_API_KEY / JQUANTS_API_KEY / X_BEARER_TOKEN / OLLAMA_CLOUD_API_KEY)。 ツールを有効にする鍵が全部一覧に載ることを全走査するテスト - M2: 分解の quote が仮説に実在しなければ仮説全文に差し替え、主張は判定に回さない - L1: 静的テストはブロックコメントを落としてから見る - M1(判定の問いに会社・期間)は見送り: 問いの形を変えると T6 較正の前提が変わるため、次の版で測り直す Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- 1「本ツールは投資助言を行いません」を「出さないもの」の先頭に(日英) - 1・3・5・6・7 の存在をテストで固定。2・4 は TradingView 接続の項で β では対象外(テストに明記) Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
本番経路の実走(実 EDINET DB + 実 Jev、トヨタ第122期 103 段落)で 3 主張とも「判定が割れている」 (減益は裏付け 12 / 食い違い 3)。セグメント・地域の増益段落を連結の減益と食い違うと読む型。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
分解・要約は callLlm(LangChain)経由なので、SDK を選んでいても同じ claude-* の名前が 通常の Anthropic API に送られ、SDK 側の課金ガードを通らなかった。README の「未対応」を強制。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…た数字に 同じ 180 組・同じ正解(gold-final-v2)で測り直し(cb-jev ¥0.515): supports 37/37(Wilson 下側 0.906)・contradicts 39/39(0.910)・割れ 5.0%。 選択が変わった組 0、閾値 0.80 をまたいだ組 3。取り違え 0 件と但し書きは不変。 RELEASE-NOTES の数字を差し替え、測り方に「問いに対象会社・対象期間を入れている」を追記。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…装に合わせる(Codex T9 r2 L1) Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
旧い問いの形で取った判定のままだと、出荷するコードが同じ入力に出さない判定を demo が見せる。 10 段落 × 3 主張を実 Jev に投げ直し(2 回とも同じ): 30 問中 28 問は同じ、欧州の営業利益の段落が 「為替が主因」を裏付け 0.79→0.87 で確定 → 「為替が主因」は食い違う → 判定が割れている。 RELEASE-NOTES の例を合わせる。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…直した録画に合わせる - 問いの形を変えたのに録画を取り直さないと、出荷するコードが出さない判定を demo が見せる。 録画時の問いのハッシュ(state + instructions + criteria + model)と今の問いが違えば demo を止める - 48e7544 で録画を取り直した際、demo.test の「→ 食い違う」期待が赤のまま push されていた (bun test の fail 行を見落とした)。期待を「裏付ける + 判定が割れている + [食い違い] の証拠」に Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Dexter JP v1.1.0-jp — 答え合わせ(
/check)β自分の仮説を、その会社の有価証券報告書の段落に 1 本ずつ当てて、「裏付ける」「食い違う」を出典つきで返す
/checkを追加します。詳細はRELEASE-NOTES-v1.1.0-jp.md。中身
/check <銘柄> <仮説>(判定層 = TypeSafe の Jev。TYPESAFE_API_KEYが無いと走らない)bun run demo(録画の再生。鍵なし・外部通信ゼロ)/watchのデータ層(コマンド配線は次の版)DEXTER_SKIP_BROWSERレビュー
ゲート
bd79e46:bun test1011 pass / 0 fail、bun run typecheck緑、bun run check:dataOK、bun run demo完走merge・tag・release は T1(Jack)、公開の GO は T2(小池)。
🤖 Generated with Claude Code