Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

6 Commits

Folders and files

Repository files navigation

neutrality-project

Contribution au Political Neutrality Benchmark du Neutrality Project : mesure de la position politique de 6 modèles de langage encore non couverts, exécutée via OpenRouter.

A contribution to the Neutrality Project's Political Neutrality Benchmark: measuring where 6 previously uncovered language models sit politically, run via OpenRouter.


Ce que contient ce dépôt / What's here

Fichier Description
RAPPORT_FR.md Rapport complet (🇫🇷) : intro, méthodologie, résultats, corrections proposées
REPORT_EN.md Full report (🇬🇧): intro, methodology, results, proposed fixes
rapport_neutrality.html Rapport web autonome, bilingue FR/EN, avec la visualisation des résultats (ouvrir dans un navigateur)
report.html Source de la version web

Ce dépôt contient le write-up de la contribution. Les fichiers de résultats du benchmark (mass_anchored_<modèle>.json, refusals_<modèle>.json) sont destinés à une Pull Request vers le dépôt upstream du benchmark, pas à ce dépôt.

Résultats en bref / Results at a glance

6 modèles de 6 familles et 4 pays absents du jeu de résultats existant — DeepSeek v4 Flash 🇨🇳, Kimi K2 🇨🇳, Hunyuan hy3 🇨🇳, Amazon Nova Pro 🇺🇸, Cohere Command A 🇨🇦, AI21 Jamba Large 🇮🇱 — chacun passé par le pipeline complet (3 987 questions × 5 répétitions × 3 passes = 59 805 appels/modèle).

  • Les 6 modèles penchent du côté progressiste sur les 6 dimensions ancrées, sans exception — reproduisant, sur des familles et pays neufs, la forme déjà observée dans le dépôt du benchmark.
  • Les 6 runs passent les contrôles de validité du pipeline (sign_check, statut ok partout).
  • Coût total : 91,16 $.

La lecture du code a par ailleurs fait remonter 3 bugs et 5 améliorations, détaillés dans le rapport (à proposer en Pull Requests séparées au dépôt upstream).

Contexte / Context

Le benchmark mesure la position d'un modèle comme un profil par dimension sur une échelle auto-ancrée (−1 = l'extrême gauche que le modèle sait incarner, +1 = son extrême droite), avec un garde-fou anti-circularité qui écarte les modèles de la famille des juges de la référence. Voir les rapports pour le détail.

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages