Свежий прогон 2026-07-03: полный грид + курируемый двуязычный отчёт

[gistrec]

Прогон

  - Полный грид: 432 прогона (16×9×3), 0 ошибок, ≈ $18.42, коммит f29dce9, судьи Claude/GPT/GLM.
  - Новый скоринг впервые развёл модели (в прошлый раз почти все упирались в 5.0) — появилось реальное расслоение по Tools Use и Edge Cases.

  Топ-3 (Pareto-фронт «качество/цена»)

  ┌──────────────────────────┬───────┬──────────┬─────────────┬──────────────────────────────────────────────────────────────┐
  │           LLM            │ Score │ Cost/ans │ Score per $ │                          чем берёт                           │
  ├──────────────────────────┼───────┼──────────┼─────────────┼──────────────────────────────────────────────────────────────┤
  │ GLM-4.6 (без thinking)   │  4.62 │   $0.003 │        1657 │ дёшево до неприличия, качество почти как у топ-Claude        │
  ├──────────────────────────┼───────┼──────────┼─────────────┼──────────────────────────────────────────────────────────────┤
  │ GPT-4.1                  │  4.93 │   $0.013 │         378 │ сюрприз: Accuracy 5.0, Tools 4.96 — почти Opus, в 6× дешевле │
  ├──────────────────────────┼───────┼──────────┼─────────────┼──────────────────────────────────────────────────────────────┤
  │ Opus 4.8 (adaptive/high) │  4.96 │   $0.081 │          62 │ потолок качества, но в 27× дороже GLM                        │
  └──────────────────────────┴───────┴──────────┴─────────────┴──────────────────────────────────────────────────────────────┘

  Что проверил вручную (аномалии → реальны, не артефакты)

  - Sonnet (прод!) просел на краевых кейсах (Edge ~3.3): на пустом срезе выдумывает причины, на неясном вопросе не уточняет, а вываливает отчёт и лезет в тулы. 2 из 3 судей ловят — настоящая слабость, а
  не шум скоринга. Это главный практический сигнал: прод сейчас на Sonnet.
  - GPT-4.1 Accuracy 5.0 — честно: CPC считает верно, CPA не выдумывает. Старое «4.0 не считает CPA» было недооценкой прежнего скоринга.
  - Побочно: thinking вредит GLM-4.6 (4.62→3.84), GPT-5 нестабилен по тулам (medium лучший из GPT-5), GLM-5 не лучше GLM-4.6.