[medvedkov242-max]

Добавлен ключ sonnet55 (Claude Sonnet 5.5, claude-sonnet-5-5) рядом с sonnet5: generation/models.yaml, params.yaml, pricing.yaml, запись в CHANGELOG.

Id взят из Anthropic API; по GET /v1/models AITUNNEL не сверен.

Проверка через CC-адаптер, категория A (15 задач, по 1 прогону, протокол L1 v1.4.0):

	Sonnet 5.5	Sonnet 5
Q̄	9.67	8.53
решено	14/15	10/15

🤖 Generated with Claude Code

[4dand]

@medvedkov242-max, приветствую! Спасибо за PR!

Уточните, пожалуйста: claude -p здесь это Claude Code? Если да, такой прогон меряет модель вместе с обвязкой Claude Code, и под ключом sonnet55 я его взять не могу. В основной лидерборд модели идут голым запросом через API, только так их можно сравнивать между собой.

Почему только API

Контроль переменной. PRISM меряет модель в чистом виде. Все модели получают один и тот же промпт с одинаковыми параметрами (temperature: 0.1, один прогон на задачу) и отвечают один раз, без инструментов, повторных попыток и подсказок компилятора. Тогда разница в баллах означает разницу между моделями. У Claude Code свой системный промпт, инструменты и возможность пробовать, пока не получится. В таком прогоне результат складывается из модели и обвязки, и отделить одно от другого уже нельзя. Поэтому 9.67 у Sonnet 5.5 через claude -p против 8.53 у Sonnet 5 через API не говорит, какая из двух моделей сильнее.

Эталоны лежат в том же репозитории. Банк задач открыт, и рядом с каждым условием лежит проверка:

• категория A: tasks/category_a/<id>/canonical.bsl, tests.yaml, perf_baseline.bsl;
• категория B: tasks/category_b/<id>/canonical.bsl, tests.bsl.

Если claude -p запускался внутри клона prism, у агента были чтение файлов, поиск и shell. Чтобы найти canonical.bsl задачи, хватит одного поиска по репозиторию. Агент мог и сам прогнать тесты и исправлять код, пока они не пройдут. Я не утверждаю, что так и было. Но проверить это задним числом нельзя, а бенчмарк держится как раз на том, что проверки скрыты от модели.

Что нужно для принятия PR

1. Сверить id claude-sonnet-5-5 по GET /v1/models AITUNNEL (или OpenRouter, но там id другого вида, anthropic/...) и показать вывод uv run prism ping --models sonnet55.
2. Прогнать категории A и B через канал из models.yaml:

   uv run prism generate --category A --models sonnet55
   uv run prism generate --category B --models sonnet55
   uv run prism score
   uv run prism submit

   Пакет из results/submissions/ приложите к PR. Я сверю его через prism submit --verify, compat_hash должен совпасть с текущим main.
3. По желанию: ссылка на прайс-лист, откуда взяты $2/$10 для нового Sonnet.

Данные из claude -p мне интересны отдельно, как сравнение обвязок. Если сохранились сырые ответы, приложите их отдельным файлом и напишите, в каком каталоге запускался claude -p и были ли у него инструменты.

Если прогон B делать неудобно, хватит пункта 1. Тогда приму PR как ключ в каталоге, а A и B прогоню сам.

Ещё раз спасибо!

[4dand]

Принимаю PR как ключ в каталоге. Id поправлю: в шлюзе модель называется claude-sonnet-5.5. A и B прогоню сам