Contribution au Political Neutrality Benchmark du Neutrality Project : mesure de la position politique de 6 modèles de langage encore non couverts, exécutée via OpenRouter.
A contribution to the Neutrality Project's Political Neutrality Benchmark: measuring where 6 previously uncovered language models sit politically, run via OpenRouter.
| Fichier | Description |
|---|---|
| RAPPORT_FR.md | Rapport complet (🇫🇷) : intro, méthodologie, résultats, corrections proposées |
| REPORT_EN.md | Full report (🇬🇧): intro, methodology, results, proposed fixes |
| rapport_neutrality.html | Rapport web autonome, bilingue FR/EN, avec la visualisation des résultats (ouvrir dans un navigateur) |
report.html |
Source de la version web |
Ce dépôt contient le write-up de la contribution. Les fichiers de résultats du benchmark (
mass_anchored_<modèle>.json,refusals_<modèle>.json) sont destinés à une Pull Request vers le dépôt upstream du benchmark, pas à ce dépôt.
6 modèles de 6 familles et 4 pays absents du jeu de résultats existant — DeepSeek v4 Flash 🇨🇳, Kimi K2 🇨🇳, Hunyuan hy3 🇨🇳, Amazon Nova Pro 🇺🇸, Cohere Command A 🇨🇦, AI21 Jamba Large 🇮🇱 — chacun passé par le pipeline complet (3 987 questions × 5 répétitions × 3 passes = 59 805 appels/modèle).
- Les 6 modèles penchent du côté progressiste sur les 6 dimensions ancrées, sans exception — reproduisant, sur des familles et pays neufs, la forme déjà observée dans le dépôt du benchmark.
- Les 6 runs passent les contrôles de validité du pipeline (
sign_check, statutokpartout). - Coût total : 91,16 $.
La lecture du code a par ailleurs fait remonter 3 bugs et 5 améliorations, détaillés dans le rapport (à proposer en Pull Requests séparées au dépôt upstream).
Le benchmark mesure la position d'un modèle comme un profil par dimension sur une échelle auto-ancrée (−1 = l'extrême gauche que le modèle sait incarner, +1 = son extrême droite), avec un garde-fou anti-circularité qui écarte les modèles de la famille des juges de la référence. Voir les rapports pour le détail.