Skip to content

Latest commit

 

History

4 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 

Repository files navigation

amber-doubao

用私有题库 AMBER 实测火山方舟(Volcengine Ark)豆包系模型,只公开结果,不公开题目。 English: README.en.md

这是什么

  • 每期 results/YYYY-Www.md:同题、同 harness,对目标模型跑全库(23 案 / 26 卷)。
  • 一期固定报告:题集规模与哈希、每案得分与通过/失败、终端终态、token 用量与时延、环境指纹、按证据纪律写的定性裁决。
  • 题目、oracle、transcript、中间产物永不公开(见下「发布纪律」)。
  • 姐妹仓:amber-gpt(GPT 周测)、amber-crofamber-ollamaamber-devinamber-deepseekamber-commandcodeamber-opencodeamber-workbuddyamber-kimi
  • AMBER 是 agentic 实战题库(施工/运维/审查/视觉/需求漂移),规范与制题工具见 getaskclaw/amber;考题本体私有。

发布纪律(红线)

  1. 只发:分数与聚合、token 用量、速度、定性裁决。
  2. 永不发:题目内容、oracle/判分器、transcript、考生工作区、任何能复原题面的中间产物。
  3. 每期必钉:模型 ID、effort 档、日期(UTC)、harness 版本、每案内容哈希(bundle_sha)。哈希用于对照 amber 的公开哈希清单,自证题集未变。
  4. 案号与题目结构属私有面:公开结果里案例只用稳定别名(A-xxxxxxxx,哈希派生)+ bundle 哈希作句柄;内部案号、变体名、题目描述永不出现。
  5. 基调:这是社区实测,不是对厂商的攻击。数据说话,措辞克制。

渠道说明

本仓考的是火山方舟 Agent Plan(订阅套餐)车道的模型。注意该套餐的模型目录与后付费 API 不同:无版本锁定 ID,豆包 2.1-pro 级只有 doubao-seed-evolving 一个入口(官方公告其与当日最新版同步)。成绩归属以卷面实测的线路名为准。

一个方法论前提

同名模型、同 provider,两次跑也可能不同分——推理参数、负载、服务端版本都在漂;evolving 通道更会随官方升级换脑。所以这里的一切结论都带日期与档位。单日数字是快照,不是定律。

结果索引

内容 结论
2026-W38 doubao-seed-evolving(≡ 2.1-pro-0915 官方同步版)@ high 全库首考 案级 16/23 追平已发布最佳;施工/文本/运维/漂移 97.9% 顶级,审查/视觉/前端净 −2 负资产,核验三案初扫考墙、3600s 补考全交付(addendum 1)
线级身份探针 doubao ≈ ds-flash 换皮假说终审 不成立:模板指纹 47/31/84 两两不同,encrypted_content 仅豆包携带;成绩相似=能力谱趋同非贴牌

免责

与火山引擎/字节跳动无任何隶属/赞助关系。分数是特定日期、特定档位的快照,不构成采购建议。

About

Public AMBER benchmark results of Doubao models (Volcengine Ark Agent Plan) — cases private, results public

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors