折叠节奏的缓存经济学:全量折叠一次性重付 ~0.75V,当前 cadence 勉强回本;需阈值上调 + 失效几何观测字段

[ranxianglei]

背景

用户反馈(日志 acp (3).log,sid 01a089aa-dff8-719b-b475-1fc7d801102e,gpt-6-astra,2026-09-10 05:37–12:03):"压缩后还是缓存泄露" — 每次压缩后上游 prompt cache 大面积丢失。

排查结论:非 bug,渲染管线字节稳定

用 acp-kernel 0.0.62 做字节级实验(~/tmp/probe-cache-fold.mjs,createCore + applyCompression + processTurn 逐字节 diff):

实验	结果
无新折叠连续渲染两次	字节级完全相同(tag tokens 已与密度校准解耦,src/tag-tokens.ts stableTagTokens,#171)
折叠 m00011–m00061(视图 2.5% 处)	首个差异字节恰在折叠边界,折叠点之前 100% 保留
尾部折叠(75%–90% 处)	71.4% 前缀保留
13 次 decompress	全部 mode=file,块保持折叠、仅短工具结果追加 — 缓存友好,非肇因

结构性代价(不可消除):每次折叠,分歧点(首个折叠区间起点)之后的全部内容重付。这是 compress-as-anchor 的固有属性。

失效几何(该会话实测)

• 6.5h 内 24 次折叠(≈16 分钟一次),视图 50–100K → 折剩 12–40K → 涨回 → 再折(treadmill)
• 命中率上限(折后/折前)中位 33%,大折叠(压 50–81K)只有 18–27%
• 全量消化型折叠(多数)分歧点固定在块区末尾 — 区间内部选哪段(尾部偏置)无意义
• 跨轮规律:上轮保护带在本轮被消化,失效固定从上轮保护带位置开始;跨轮稳定核心只有块区(摘要堆),所有原文 1–2 轮内必然失效一次

缓存经济学(结论:折叠净赚)

三档价格模型:

价档	OpenAI 式(gpt-6-astra)	Anthropic 式
fresh input(重付)	1×	1×
cache write	不溢价	1.25×
cache read	0.1×	0.1×
summary 生成 = 模型输出	3–5×	同

关键量:重付量 T = (1−命中率)×新视图V'(被折掉的 S tokens 不再计费);摘要 σ≈2–5K 按 output 价计,与缓存重付同量级。

一次性成本 ΔC = T·w + σ·p_out − (S+U)·r
每回合节省 Δs = (S−σ)·r
回本回合数 n* = ΔC/Δs

代入该会话典型折叠(V=70K, S=50K, σ=2K, T≈17K, p_out=5, r=0.1):

• OpenAI 式(w=1): ΔC≈32.8K 单位,Δs≈4.8K/回合 → n*≈4–5 回合
• Anthropic 式(w=1.25): n*≈5–6 回合
• 实际折叠周期 ≈20 回合 → 净赚 3–4×

用户看到的"缓存泄露"= 命中率骤降(仪表盘观感)+ 折后首请求 prefill 延迟尖峰(一次性),不构成经济损失。

建议

1. 观测字段(低成本,先做):event=applied 增加 firstFoldStartPct(首个折叠起点占视图位置)+ retainedPctUpperBound(折后/折前),让失效几何可从日志直读。
2. 阈值上调(可选):compress threshold 50K → 80–100K,降低折叠打断频率与摘要输出开销(每次折叠花 σ×output 价买摘要)。经济上非必需(已净赚),是体验/成本微调。
3. 部分晚折(备选,优先级低):只折增长区最新 S tokens,老段留作"缓存缓冲垫"推后分歧点;需 nudge 豁免概念配合,且经济收益有限,暂记不做。

关联

• 实验脚本:~/tmp/probe-cache-fold.mjs
• tag tokens 稳定性前置修复:缓存 miss：密度校准 × 快照缺失 → 标签重算导致前缀缓存全量失效（61k tokens 重新计费） #171(830d771)

[ranxianglei]

🤖 Powered by ework · qwen3.8-27b

[bot] 🏷 Triage 完成(查重 → 代码定位 → 方案评估),经济学修正已接受。开始实现,PR 出来我贴链接。

1. 查重结论

与 #343(Juna9969「压缩后首轮命中率 20–30%」,67 层已关闭)相关但不重复:#343 回答的是"是不是 bug"(结论:非 bug,原地压缩固有成本,tests/prefix-stab.test.ts 锁定);#359 是在其上的可执行跟进(cadence 经济学 + 观测字段)。保持打开,正常推进。

2. 接受经济学修正(独立验算过)

两处错误确认成立:

• 重付量级:原文 0.75V 按折前视图 V 算;实际首请求重付的是折后视图未命中部分 T=(1−h)×V'。用你给的会话最坏参数复核(大折叠 V'≈40K、命中 18%):T≈32.8K,ΔC≈32.8+σ·5−(S)·0.1≈37.8K 单位,Δs≈(50−2)×0.1≈4.8K/回合 → n*≈8 回合 ≪ 实际 ~20 回合周期。即使取最坏组合仍是净赚,"勉强回本"不成立。
• 漏项 σ·p_out:summary 输出价(3–5× input)确为原文遗漏的每次折叠固定成本。

建议 1 的理由相应改为:降低折叠打断频率 + 每次折叠的摘要输出开销(σ×output 价)+ 一次性 prefill 尖峰,而非回本。实现范围不变;建议 3 按你的修正降级为仅记录。

3. 代码定位(两个关键发现)

1. 阈值有效值确实是 50K,但走内核自适应公式。acp-kernel resolveAdaptiveGrowth = min(growthCap, max(growthFloor, round(limit × growthRatio))),growthRatio=0.05(内核默认)→ 只有窗口 >1M tokens 时 ratio 项才生效;所有 ≤1M 窗口有效步长恒等于 growthFloor(默认 50K)。所以把默认提到 100K = 实际步长精确翻倍,无其它副作用。(附注:内核对未消化的 pending nudge 会把阈值减半到 25K,是 nudge 侧防抖机制,与本改动无关。)
2. event=applied 由本仓 adapter 发出(src/compress-tool.ts:438 logInfo),不是内核事件 → 观测字段纯本仓可实现,不需要先发 acp-kernel(避开跨仓发布顺序链)。

4. 实施方案(明确建议,单一方案)

项	做法	理由
1 阈值上调	adapter 默认 50K→100K:resolveConfig 在用户未设 nudgeGrowthTokens 时显式置 growthFloor=growthCap=100_000;不动内核默认	选 adapter 层而非内核层:立即生效、与 acp-kernel 发布列车解耦、只影响 Pi host 的产品节奏;若日后想让 opencode-acp/billion-context 同样受益,拿到新观测字段的数据后另立内核 issue
2 观测字段	event=applied 增加 firstFoldStartPct(最早折叠起点 token 偏移 / 折前视图 ≈ 预期首轮命中率)+ retainedPctUpperBound(=afterTokens/beforeTokens,前缀保留上界,因最长公共前缀 ≤ 存活占比)	计算口径与既有 beforeTokens 完全一致(同一 processTurn 消息列表、同一 covered 排除、同一 CJK-aware countTokens),日志里两字段可直接读出失效几何
文档	CONFIGURATION.md EN/ZH 默认值更新 + 新增「压缩节奏与 prompt cache」小节(一次性成本模型、字段含义、调参指引);config.ts JSDoc 同步	顺带补上 #343 方向 D 欠的文档
测试	更新钉死旧默认的两处断言(tests/config.test.ts:79-83、tests/e2e-compress-config.test.ts:98)+ 新几何字段的单测 + 全量 typecheck/test/build
3 部分晚折	仅记录,不实现	按修正后的优先级

一个待你否决点:第 1 项我改的是运行默认值(所有未显式配置的用户下次生效即变 100K 节奏),不是只写文档——我认为这是本 issue 的主案意图("默认值或文档建议"中取效果更确定的前者);若要 docs-only,说一声我把这部分撤掉,其余照发。

开始实现。

[ranxianglei]

🤖 Powered by ework · qwen3.8-27b

[bot] 🏷 建议 1 + 建议 2 已实现,PR: #360

按上条回复的方案执行完毕(若你当时想选 docs-only,现在撤掉 src/config.ts 的 else 分支即可,其余不受影响)。两项改动都在 adapter 层,不需要发 acp-kernel:

1. 阈值上调(默认值)

• src/config.ts 新增 DEFAULT_NUDGE_GROWTH_TOKENS = 100_000;用户未显式设置 compress.nudgeGrowthTokens 时生效,显式值仍然优先。
• 内核自身默认值(50K)不动——其他 host 保持原节奏。窗口 ≤1M tokens 时内核自适应公式本来就把有效步长解析为 growthFloor,所以这等于干净地翻倍折叠间隔。
• 连带效应已写入文档:同轮再注入下限从 22.5K 升到 45K(max(minGrowthFloor, minGrowthRatio × adaptiveGrowth))。
• CONFIGURATION.md / .zh-CN.md 更新了默认值、"为什么是 100K"(按你修正后的经济学:降低打断频率 + 每次折叠的摘要 output 开销,而非回本)与观测字段说明。

2. 失效几何观测字段
event=applied(src/compress-tool.ts)在成功折叠时新增:

• firstFoldStartPct = 最早折叠起点 token 偏移 / 折前视图 ≈ 折后第一轮 prompt cache 命中率预期(取最早被新块覆盖的消息;tier distillation 场景取其被替换块的摘要锚点);与 beforeTokens 同一列表同一口径测量。
• retainedPctUpperBound = afterTokens/beforeTokens——前缀保留率上界(折前后渲染的最长公共前缀不可能超过存活 token 占比)。
• 不变式 firstFoldStartPct ≤ retainedPctUpperBound;无块创建时不输出这两个字段。
  真实日志样例:event=applied … beforeTokens=18033 afterTokens=12060 firstFoldStartPct=0.333 retainedPctUpperBound=0.669

验证:typecheck 干净;653 测试全绿(650 pass / 0 fail / 3 个既有 skip);build 干净(dist 739KB)。新增 firstFoldStartTokens 单测 + applied 日志 e2e 断言;tests/nudge-reinject.test.ts 两个用例原本按旧 50K 步长的绝对增量标定,新 45K 再注入下限 + 100K drop-reanchor 跨度下小窗口几何不可行,已改到 280K 窗口重标定(第三个 emergency 用例不变)。

建议 3(部分晚折):按你的指示优先级下调,未实现,留待后续。观测字段上线后如果日志显示尾部偏置确实无效,可以基于真实几何数据再评估豁免概念。

中文摘要:把 Pi host 软 nudge 步长默认提到 100K 并在 applied 日志加了两个失效几何字段,测试全绿,PR #360 可合并。

[ranxianglei]

不是简单的上调还是下调 不同模型甜点不一样.后续再搞这个问题,本issue仅仅作为记录.