Repository navigation
site(benchmark): las graficas de la seccion #benchmark - #123
Merged
Merged
Conversation
…ng fixes Bundles the sweep scripts and the 2026-10-10 evidence so the run is reproducible from this repo rather than only from a scratch checkout. Three defects fixed, each of which would have produced a number that was wrong without looking wrong: frontier_score.py counted no trials. It read jobs/<run>/<task>__<hash>/result.json while Harbor nests an extra timestamped directory, so at the path run-sweep.sh passes the matrix scored 0/30 with every task 'missing' and no error. Both depths are accepted now and task_name is required, so the run-level summary is not scored as a task named after the run. The pi arm ran without an API key. Harbor infers the provider from the model prefix and looks the key up in that provider's registered env names; opencode-go is not registered, so no key env was ever probed and PI_API_KEY/PI_BASE_URL were ignored. The control would have run unauthenticated. pi now routes through the registered openai provider. DeepSWE ran mini for every arm, so the 'pi control' on those 9 tasks would have been mini itself. The agent is chosen per arm now, and the run refuses out loud when pier cannot provide the requested arm. Verified from the new location: 4 passes / 5 valid cells, with the scorer still exiting non-zero so a partial matrix cannot be read as a score. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
La sesion anterior reescribio el texto honesto del benchmark (PR #119) pero la seccion seguia sin una sola grafica: una tabla de texto y una lista de rondas. Anade las tres graficas que faltaban, con las cifras reales que ya cuenta el texto, y ninguna mas. 1. Barras por tarea, mini contra pi, con las medianas de las 4 corridas completas (R5 + las 3 reps de R6) tal como estan en la tabla de la seccion 9 del informe. La barra mas corta gana, la perdedora se dibuja en primary al 42 % y la ganadora a plein, asi que "ganadas/perdidas" se lee de un vistazo. Debajo de cada pareja, la mediana de mini en segundos. 5/10 ganadas. 2. Lineas: la evolucion del ratio agregado por ronda, de 3.65x a 0.98x, con la linea de empate en 1.00x. Lo importante de esta grafica no es la pendiente sino la honestidad: R5 (0.69x) se dibuja como un punto hueco con trazo discontinuo hacia el, porque fue una sola corrida dentro de la varianza, y al lado de R6 se dibuja el rango real de las tres reps que la desmintieron (1.13x / 0.98x / 0.93x). La corrida Regalada se ve; no se disimula. 3. Barras del A/B del system prompt (PR #121, seccion 11.2): brazo A contra brazo C por tarea. Gana t10 0.39x y t7 0.61x con 8 de 8 reps emparejados, y pierde t5 1.18x con 0 de 4. Se ve tambien lo que no fue barrido limpio. Layerchart (los charts de shadcn-svelte) no se usa a proposito: miden el contenedor en el navegador y esta pagina se prerenderiza a HTML estatico. El lenguaje visual es el mismo del sitio: tokens shadcn, rejilla de pelo, ejes limpios, mono pequeno, leyenda como texto, tooltip por aria-label en cada punto (los <title> de SVG colisionaban con el conteo de <title> del audit SEO). Bajo 420 px el SVG escala tanto que tres etiquetas dejan de ser legibles, asi que se retiran y sus numeros pasan al pie de figura y al aria-label. Verificacion: bun run check (0 errores), bun run build, bun run seo (0 problemas), bun run browse (todo verde, sin scroll horizontal a 390 px) y un audit nuevo, site/scripts/chart-check.mjs, que abre el sitio construido en Chromium a 1440 y 390 px y falla si algo se sale del viewBox, si una etiqueta se solapa con otra, si el alto de las barras no usa la escala, o si la seccion deja de decir 0.98x y 40/40. tests/site-benchmark.test.ts (12 tests) ata las cifras a las del informe: cada ratio sale de sus dos numeros, el empate sigue siendo 5/10, la mediana de las reps sigue siendo la de R6 y el A/B sigue sin ser un barrido limpio. Los dos avisos que quedan del audit de layout (el badge del hero y /changelog/ a 320 px) son de antes de este cambio.
jaivial
added a commit
that referenced
this pull request
Oct 10, 2026
PR #123 subio los tres componentes y sus datos, pero el squash se comio el cambio de site/src/routes/+page.svelte: los ficheros llegaron a main y la pagina no los montaba, asi que la seccion seguia igual que antes, con su tabla de texto y su lista de rondas y sin una sola grafica. El artefacto desplegado por ese run confirmselo (0 `role="img"` en el index.html publicado), que es como se vio: el build de CI era correcto, lo que faltaba era el montaje. Este commit anade los tres imports y las tres tarjetas de la seccion, con el mismo copy que describia el PR: las barras por tarea con las medianas de las 4 corridas, la linea del ratio por ronda con R5 (0.69x) en hueco y discontinuo marcado como una sola corrida, y las barras del A/B del system prompt. Verificado sobre el build: bun run check (0 errores), bun run build, bun run seo (0 problemas), chart-check.mjs en verde a 1440 px y 390 px, y los 75 tests. El index.html construido lleva ya los 3 `role="img"` que el anterior no tenia.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
La sesion anterior (PR #119) reescribio el texto honesto del benchmark pero dejo la seccion sin una sola grafica: una tabla de texto y una lista de rondas. Anade las tres que faltaban, con las cifras reales de
docs/pi-vs-mini-benchmark.md(secciones 8-11), y ninguna mas.1. Barras por tarea (mini vs pi)
Medianas de las 4 corridas completas (R5 + las 3 reps de R6), tal cual la tabla de la seccion 9 del informe. La barra mas corta gana; la perdedora se dibuja en
primaryal 42 % y la ganadora a plein, de modo que "ganadas / perdidas" se lee de un vistazo. Debajo de cada pareja, la mediana de mini en segundos.Resultado: 5 de 10 ganadas. Es el empate que la tabla de arriba ya contaba.
2. Lineas: el ratio agregado por ronda
De R1 3.65x a R6 0.98x, con la linea de empate en 1.00x. Lo importante de esta grafica no es la pendiente sino lo que hace con el 0.69x de R5: se dibuja como punto hueco con trazo discontinuo, porque fue una sola corrida dentro de la varianza, y al lado de R6 se dibuja el rango real de las tres reps que la desmintieron (1.13x / 0.98x / 0.93x).
La corrida afortunada se ve. No se disimula y no se disfraza de tendencia.
3. Barras del A/B del system prompt (PR #121)
Brazo A contra brazo C por tarea, con los reps emparejados ganados bajo cada pareja. Gana t10 0.39x y t7 0.61x con 8 de 8 reps emparejados; pierde t5 1.18x con 0 de 4. Se ve tambien lo que no fue un barrido limpio.
Nota sobre el stack
layerchart (los charts de shadcn-svelte) no se usa, a proposito: miden el contenedor en el navegador y esta pagina se prerenderiza a HTML estatico. El lenguaje visual si es el del sitio: tokens shadcn, rejilla de pelo, ejes limpios, mono pequeno, leyenda como texto, y tooltip por
aria-labelen cada punto (los<title>de SVG colisionaban con el conteo de<title>del audit SEO, que ahora vuelve a dar 0 problemas).Bajo 420 px el SVG escala tanto que tres etiquetas dejan de ser legibles, asi que se retiran y sus numeros pasan al pie de figura y al
aria-label.Verificacion
bun run checkbun run buildbun run seobun run browsebun scripts/chart-check.mjsbun test(seo, docs, benchmark)site/scripts/chart-check.mjs(nuevo) abre el sitio construido en Chromium a 1440 px y 390 px y falla si algo se sale del viewBox, si una etiqueta se solapa con otra, si el alto de las barras no usa la escala de forma proporcional, o si la seccion deja de decir 0.98x y 40/40.tests/site-benchmark.test.ts(nuevo, 12 tests) ata las cifras a las del informe: cada ratio sale de sus dos numeros, el empate sigue siendo 5/10, la mediana de las tres reps sigue siendo la de R6, y el A/B sigue sin ser un barrido limpio (t5 a 1.18x con 0 de 4).Lo que este PR no toca
/changelog/a 320 px) son de antes de este cambio y no estan tocados aqui.