- Сейчас мы не понимаем, как правильно оформлять ответ (чтобы потом сравнивать его с ответом LLM), поэтому хотелось бы ввести какой-то стандарт оформления, либо договориться насчёт того, чтобы, например, в условии четко добавлять, чего мы ожидаем от ответчика и в каком формате. Либо же оставить это на сторону проверяющего.
- Также в задачах часто присутствуют формулы, для которых нужно latex код (или подобное), насчет оформления такого тоже возможно хотелось бы договориться.
(решением обоих пунктов может стать краткая доп. инструкция в README)
Для примера неоднозначного оформления можно посмотреть сюда, в этих примерах ответ явно оформлен неоднозначно и присутствует риск неправильного дальнейшего парсинга и усложнения процесса бенчмаркинга.
(решением обоих пунктов может стать краткая доп. инструкция в README)
Для примера неоднозначного оформления можно посмотреть сюда, в этих примерах ответ явно оформлен неоднозначно и присутствует риск неправильного дальнейшего парсинга и усложнения процесса бенчмаркинга.