大家说说使用后缓存率是多少？

[living1069]

大家说说使用后缓存率是多少？

[Chise1]

91-95左右，

[duxiaoxiong]

今天试了一下到98了，震惊我

[lloydzhou]

98%也还好吧，接deepseek，其实还比较容易做到很高的缓存命中率的

[MyCodeStore]

94%

[lloydzhou]

我觉得，主要还是deepseek官方在缓存这里做得好！

我手搓的自己用的工具都能做到最近10天平均下来有99+%的缓存命中率（我自己主要是编码的场景）

[living1069]

我的ds4-flash有这么高，但就是pro比较低，有时才30%

[lloydzhou]

@living1069
Reasonix这边有一个自动模式：普通任务默认使用v4-flash复杂任务自动切换v4-pro

而模型厂商的缓存是按模型区分的，不同的模型不能共用缓存

所以，默认的flash可以有很高的缓存命中率，偶尔切换使用的pro模型每次切换在pro这边都是一大堆没有缓存的input，而且因为deepseek默认1M长上下文的配置，工具普遍为了更好的性能会偏向于使用更长上下文，导致每次切换的时候，会有大面积未命中缓存的输入，这种情况下pro自然缓存命中率很低

[39499740]

按照这个算法，实际上自动切换flash和pro，也未必会便宜。因为超过千万以后，命中率就会提升到95%以上，我最高到99.3。
软件开发的过程中，相比于输入，输出少得可怜，所以如果切换到pro，大量未命中，还不如一直用Pro合适，是否会有这样的情况？