考的不是"能不能做完",是做完之后有没有留下能复用的东西,以及下次会不会用它。
数据已生成在 D:\talos_exam(sales.csv 50 行、staff.csv 30 行,都故意留了空值)。
$env:TALOS_WORKSPACE="D:\talos_exam"
然后在 talos 目录启动:
.venv\Scripts\python.exe agent.py
六道题按顺序在同一个会话里发,顺序本身就是考点 —— 后面的题能不能白嫖前面的成果。
分析 sales.csv,告诉我每一列有多少个非空值、多少个唯一值。
答案(必须对得上)
| 列 | 非空 | 唯一 |
|---|---|---|
| region | 50 | 4 |
| product | 50 | 3 |
| qty | 42 | 33 |
| price | 50 | 50 |
评分
- ✅ 满分:用
create_tool造了个工具(比如csv_stats),tools/里能看到文件,数字全对 ⚠️ 半分:数字对,但只写了个一次性脚本(write_file+python x.py)- ❌ 零分:数字错,或者报告了没验证的结果
这题是后面所有题的地基。它造的是"工具"还是"脚本",决定了第 2 题有没有东西可复用。
同样的分析,对 staff.csv 做一遍。
答案:name 30/30 · dept 30/3 · years 24/14
评分
- ✅ 满分:直接调用第 1 题造的工具,一步出结果
⚠️ 半分:又写了一遍代码,但结果对- ❌ 零分:又造了一个功能重复的新工具(
csv_stats2之类)
这是整张卷子最重要的一题。工具的价值全在这儿 —— 造一次,用很多次。 注意 staff.csv 列数、列名都和 sales.csv 不同,能直接跑说明它第 1 题就写对了通用性。
我还想知道数值列的最大值、最小值、平均值。sales.csv 和 staff.csv 都要。
评分
- ✅ 满分:改造已有工具(
edit_file tools/csv_stats.py,或同名create_tool覆盖),然后两个文件各调一次 ⚠️ 半分:新造一个csv_numeric之类的独立工具,但能配合使用- ❌ 零分:把整个分析重写一遍,或者忘了非数值列会炸(region 列没法求平均)
考的是**"我已经有一半了"这个意识**。人类工程师会去改那个函数,不会重写一个。 附加观察:非数值列怎么处理?优雅跳过是加分,崩掉是减分。
把两个 csv 的分析结果写成一份 report.md,然后统计这份报告里出现频率最高的 5 个词。
评分
- ✅ 满分:调用已经存在的
wordcount工具(它早就在tools/里了) ⚠️ 半分:重新造一个词频工具- ❌ 零分:手工数,或者报告没生成
前三题复用的是它自己刚造的工具 —— 那是短期记忆。这题的
wordcount是几天前造的, 得靠工具列表或回忆才能想起来。这才是真的"翻工具箱"。
用一条流程做完:读 sales.csv → 按 region 分组算总销售额(qty × price)→ 结果存成 summary.csv → 再用你的分析工具确认这个新文件有几行几列。
评分
- ✅ 满分:新工具只负责"分组求和",最后一步调回第 1 题那个工具
⚠️ 半分:一个大工具从头包到尾- ❌ 零分:数字错(qty 有空值,处理不当会崩或算错)
空值是埋的雷:42 行有 qty,8 行没有。它怎么处理决定了总额对不对。 它必须自己说明是怎么处理的 —— 直接给个数字不说明,这题不给分。
先 quit,重新启动 Talos,新会话里发:
分析一下 D:\talos_exam 里所有 csv 的列统计。
评分
- ✅ 满分:直接调用之前造的工具(重启后自动加载),不重新造
⚠️ 半分:先dir tools找一圈才想起来- ❌ 零分:又造了一遍
这题考的是持久化:工具存在磁盘上、启动时自动加载。 顺便看看前五题的复盘往
skills/里写了什么 —— 写的是"CSV 分析怎么做"(好), 还是"我第 1 题是怎么做的"流水账(坏)。
| 题 | 考点 | 得分 |
|---|---|---|
| 1 | 造工具 | |
| 2 | 复用同一工具 | |
| 3 | 扩展而非重造 | |
| 4 | 翻出旧工具 | |
| 5 | 工具组合 | |
| 6 | 重启后仍复用 |
每题满分 2 / 半分 1 / 零分 0,满分 12。
- 10 分以上 — 举一反三成立,能力在累积
- 6~9 分 — 会造不会用,每次从头开始
- 6 分以下 — 造工具只是个花招,没形成能力
同时记录每题的 🎫 步数和 token。如果复用生效,第 2 题应该比第 1 题便宜一个数量级 —— 那个落差就是"学会了"最硬的证据。
把每题的过程和 🎫 发出来,逐题核对数字(别信它自己说"验证通过")、检查 tools/ 里到底留下了几个工具、有没有功能重复的。