Repository navigation
docs(benchmark): la velocidad real es un empate (mediana 0,98x), no el 0,69x - #119
Merged
Merged
Conversation
…g y en las notas de 0.41.0 La landing y las notas de la release contaban el 0,69x de la ronda 5 como victoria de velocidad. Las tres reps de la ronda 6 lo desmenten (1,13x / 0,98x / 0,93x, mediana 0,98x sobre cuatro corridas completas): era una sola corrida dentro de la varianza. Que cambia: - La tabla de la seccion benchmark pasa a medir lo que es solido: calidad 10/10 en las cuatro corridas, 40/40 checks por lado, y velocidad como empate (mediana 0,98x, rango 0,93x - 1,13x, 5/10 tareas ganadas por mediana de cuatro). - El titular de la seccion pasa de "Faster than the pi harness, and it shows" a "Same speed as the pi harness, and never worse quality", y el badge del hero deja de anunciar el 0,69x. - Se anade la ronda 6 a la tabla de rondas, con el 0,69x de la ronda 5 etiquetado como la corrida unica que fue. - Un punto de la lista dice explicitamente que se publico el 0,69x antes de repetir la corrida y que la repeticion no lo sostenia. - El doc de la release reescribe la entrada "Measured" de 0.41.0 con las cuatro corridas, la mediana, el desglose 78-81 % modelo / ~1 % harness y el detalle por tarea. Sin tocar el servicio web ni el agente. El sitio se despliega solo al mergear main.
jaivial
added a commit
that referenced
this pull request
Oct 10, 2026
* benchmark: FrontierHarness scripts + partial result, with three scoring fixes Bundles the sweep scripts and the 2026-10-10 evidence so the run is reproducible from this repo rather than only from a scratch checkout. Three defects fixed, each of which would have produced a number that was wrong without looking wrong: frontier_score.py counted no trials. It read jobs/<run>/<task>__<hash>/result.json while Harbor nests an extra timestamped directory, so at the path run-sweep.sh passes the matrix scored 0/30 with every task 'missing' and no error. Both depths are accepted now and task_name is required, so the run-level summary is not scored as a task named after the run. The pi arm ran without an API key. Harbor infers the provider from the model prefix and looks the key up in that provider's registered env names; opencode-go is not registered, so no key env was ever probed and PI_API_KEY/PI_BASE_URL were ignored. The control would have run unauthenticated. pi now routes through the registered openai provider. DeepSWE ran mini for every arm, so the 'pi control' on those 9 tasks would have been mini itself. The agent is chosen per arm now, and the run refuses out loud when pier cannot provide the requested arm. Verified from the new location: 4 passes / 5 valid cells, with the scorer still exiting non-zero so a partial matrix cannot be read as a score. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> * site(benchmark): las graficas de la seccion #benchmark La sesion anterior reescribio el texto honesto del benchmark (PR #119) pero la seccion seguia sin una sola grafica: una tabla de texto y una lista de rondas. Anade las tres graficas que faltaban, con las cifras reales que ya cuenta el texto, y ninguna mas. 1. Barras por tarea, mini contra pi, con las medianas de las 4 corridas completas (R5 + las 3 reps de R6) tal como estan en la tabla de la seccion 9 del informe. La barra mas corta gana, la perdedora se dibuja en primary al 42 % y la ganadora a plein, asi que "ganadas/perdidas" se lee de un vistazo. Debajo de cada pareja, la mediana de mini en segundos. 5/10 ganadas. 2. Lineas: la evolucion del ratio agregado por ronda, de 3.65x a 0.98x, con la linea de empate en 1.00x. Lo importante de esta grafica no es la pendiente sino la honestidad: R5 (0.69x) se dibuja como un punto hueco con trazo discontinuo hacia el, porque fue una sola corrida dentro de la varianza, y al lado de R6 se dibuja el rango real de las tres reps que la desmintieron (1.13x / 0.98x / 0.93x). La corrida Regalada se ve; no se disimula. 3. Barras del A/B del system prompt (PR #121, seccion 11.2): brazo A contra brazo C por tarea. Gana t10 0.39x y t7 0.61x con 8 de 8 reps emparejados, y pierde t5 1.18x con 0 de 4. Se ve tambien lo que no fue barrido limpio. Layerchart (los charts de shadcn-svelte) no se usa a proposito: miden el contenedor en el navegador y esta pagina se prerenderiza a HTML estatico. El lenguaje visual es el mismo del sitio: tokens shadcn, rejilla de pelo, ejes limpios, mono pequeno, leyenda como texto, tooltip por aria-label en cada punto (los <title> de SVG colisionaban con el conteo de <title> del audit SEO). Bajo 420 px el SVG escala tanto que tres etiquetas dejan de ser legibles, asi que se retiran y sus numeros pasan al pie de figura y al aria-label. Verificacion: bun run check (0 errores), bun run build, bun run seo (0 problemas), bun run browse (todo verde, sin scroll horizontal a 390 px) y un audit nuevo, site/scripts/chart-check.mjs, que abre el sitio construido en Chromium a 1440 y 390 px y falla si algo se sale del viewBox, si una etiqueta se solapa con otra, si el alto de las barras no usa la escala, o si la seccion deja de decir 0.98x y 40/40. tests/site-benchmark.test.ts (12 tests) ata las cifras a las del informe: cada ratio sale de sus dos numeros, el empate sigue siendo 5/10, la mediana de las reps sigue siendo la de R6 y el A/B sigue sin ser un barrido limpio. Los dos avisos que quedan del audit de layout (el badge del hero y /changelog/ a 320 px) son de antes de este cambio. --------- Co-authored-by: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Por que
La landing (
/#benchmark) y las notas de la release v0.41.0 contaban el 0,69x de la ronda 5como una victoria de velocidad de mini sobre pi. Las tres reps completas de la ronda 6 lo
desmenten:
134052)142520)143406)144419)Mediana de las cuatro: 0,98x. El rango entero (0,69x - 1,13x) cruza el 1x, asi que el 0,69x
era ruido, no una mejora.
Lo que si es solido y verificado: calidad 10/10 PASS en los dos lados en cada una de las
cuatro corridas completas, 40/40 checks por lado, ningun
verify.shFAILED en 80 comprobaciones.Que cambia
checks) y velocidad como empate (mediana 0,98x, rango 0,93x - 1,13x, 5/10 tareas ganadas por
mediana de cuatro). El titular pasa a "Same speed as the pi harness, and never worse quality",
el badge del hero deja de anunciar el 0,69x, y se anade la ronda 6 a la tabla de rondas con el
0,69x etiquetado como la corrida unica que fue.
corrida y que la repeticion no lo sostenia. Sin marketing: el dato y su rango.
mediana, el desglose medido (78-81 % del wall es tiempo de modelo, el harness ~1 %) y el
detalle por tarea (ganadoras t1/t5/t6/t8/t4; perdedoras t10/t9/t7).
establecer es que mata los turnos de razonamiento patologicos sin perder correctitud. Lo que
no hace es ganar el wall time.
Verificacion
bun test tests/site-seo.test.ts tests/site-docs.test.ts- 63 pass, 0 failbun run check(svelte-check) - 0 errores, 0 warningsbun run build- prerender OKbun run seo- 12 pages checked, 0 problemsSin tocar el servicio web (4317) ni el terminal. La landing se despliega sola al mergear main.