Skip to content

chore(results): submit GPT-6.1 Sol Codex max experiment - #20

Closed
ziva08081992 wants to merge 2 commits into
genlab-1c:mainfrom
ziva08081992:gpt61sol-codex-max-20260930
Closed

ziva08081992 wants to merge 2 commits into
genlab-1c:mainfrom
ziva08081992:gpt61sol-codex-max-20260930

Conversation

@ziva08081992

Copy link
Copy Markdown

Что меняет PR

Добавляет воспроизводимые результаты проверки GPT-6.1 Sol в Codex (reasoning effort: max) на всех 35 задачах PRISM 1.10.0. До проверки скрытыми тестами первые решения были сохранены и зафиксированы SHA-256. Первая попытка и решения после обратной связи опубликованы отдельными пакетами.

Этап Категория A Категория B Всего тестов
Первая попытка 14/15 задач, 109/113 тестов 18/20 задач, 57/61 тестов 166/174
После исправления A5, B17, B19 15/15 задач, 113/113 тестов 20/20 задач, 61/61 тестов 174/174

Основной результат испытания модели — первая попытка: 32/35 задач. Второй этап показывает исправления агента после результатов тестов. Для остальных 32 задач код не изменялся; повторно исполнены только три исправленных решения.

Протокол и ограничения

Это один общий сеанс Codex с инструментами, а не независимые стандартные вызовы generate через API. Модель подтверждена локальными метаданными сеанса; идентификатор пакетов: gpt-6.1-sol-codex-max. Условия задач и тесты PRISM не изменены. Просьба рассматривать материалы как отдельный агентный эксперимент и согласовать формат представления на сайте, прежде чем включать его в стандартный лидерборд.

Измерены S/M для A и B и O для корректных решений A. Оси O/P категории B оставлены null, охват осей — 84/125 до исправлений и 85/125 после. Полный SMOP-рейтинг не установлен. Параметры API, токены и стоимость недоступны; нули в обязательных полях схемы обозначают отсутствие измерений, что записано в provenance.

В results/submissions/gpt61sol-codex-max-20260930/ находятся отчет, четыре штатных submission JSON и архив с решениями, оценками, логами, Windows-адаптером и SHA-256 манифестом. Дистрибутивы платформы, информационные базы и секреты в архив не включены.

Проверки

  • Четыре пакета созданы штатным harness.submit.build_submission и прошли verify_submission: отпечаток соответствует PRISM 1.10.0, commit aef1154.
  • Тесты проекта: 468 passed, 23 skipped (недоступные интеграции).
  • Скрытые тесты решений: 166/174 при первой попытке, 174/174 после исправлений.
  • Функциональная проверка всех 35 эталонов прошла; проверено 14/15 нагрузочных пар A. Baseline A9 остановлен по времени на n=16000; нагрузочные якоря B не измерялись.
  • Полный prism check в Windows не зеленый: Linux/Docker-зависимые проверки не воспроизведены. Windows-адаптер использует сторож по настенному времени вместо квоты CPU Linux.
  • CRC и SHA-256 файлов архива проверены; git diff --check выполнен.

Чеклист

  • uv run prism check — полный исполняемый прогон не зеленый; ограничения указаны выше
  • Тесты проекта выполнены: 468 passed, 23 skipped
  • make lint — выполнен полный эквивалент: ruff check ., ruff format --check . и pre-commit run --all-files; все проверки прошли на опубликованном commit 9cd3161 без изменений файлов
  • Не изменялись задачи, скрытые тесты и metrics/smop.yaml
  • Первая попытка сохранена отдельно от исправлений; неизмеренные оси обозначены null

Пункты для новых задач неприменимы: этот PR публикует один эксперимент модели.

Категории A/B: отдельные пакеты первой попытки и исправлений, полный отчет и проверенный архив. Агентный режим Codex max; O/P категории B не измерены.
@ziva08081992
ziva08081992 deleted the gpt61sol-codex-max-20260930 branch September 30, 2026 18:31
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant