Aller au contenu principal
L'Atelier
← Toutes les chroniques

Essai · Morale et mesure

Le refus n'est pas une note

Le 13 novembre, Anthropic a publié sa méthode pour évaluer la sûreté d'un modèle. On y lit qu'une machine qui refuserait tout obtiendrait la note parfaite, et que cette note ne prouverait rien. La morale connaît ce problème depuis longtemps : on ne mesure pas une vertu en comptant les abstentions.

16 novembre 2026 · Lecture ≈ 5 min · Jules Thomas

La phrase qui défait le thermomètre

Quand un laboratoire écrit qu'un modèle est « plus sûr que le précédent », il veut dire que ce modèle a mieux réussi une série de tests que quelqu'un a construits. Le billet le dit dès son premier paragraphe : « a safety claim is only as sound as the eval behind it ». La sûreté annoncée vaut ce que vaut l'examen.

Or l'examen le plus répandu compte les refus. L'idée paraît saine : on ne veut pas d'une machine qui aide à monter une arnaque. Puis vient la phrase qui défait le thermomètre : « A model that refuses to respond to any prompt related to suicide or self-harm would get a perfect score on a refusal-rate eval, but it is not necessarily a safer model. » Devant quelqu'un en détresse, se taire est déjà une faute. Le billet l'écrit sans détour : décliner, dans ce cas, « is, itself, a failure ».

Passer de l'autre côté de la route

Le lecteur de morale reconnaît la scène. Dans la parabole du bon Samaritain, le prêtre et le lévite ne font rien de mal au blessé. Ils changent de trottoir. Leur casier est vierge, leur taux de refus du mal est de cent pour cent, et c'est d'eux que la parabole dit du mal. La tradition a un mot pour cette faute sans geste : l'omission. On peut manquer à quelqu'un sans lever la main.

Une mesure qui compte les abstentions fabrique des lévites. Elle récompense celui qui ne touche à rien, et elle le récompense d'autant mieux qu'il ne touche à rien du tout. Les économistes ont leur version, la loi de Goodhart : un chiffre qu'on se met à viser cesse de dire ce qu'il disait. Visez le refus, vous obtiendrez du refus, et vous aurez perdu en route ce que vous vouliez savoir.

Ce qu'ils mesurent à la place

Anthropic dit remplacer le taux de refus par un taux de réponse appropriée, jugé conversation entière et non message par message, sur une grille écrite par des gens du métier pour chaque domaine. Un seul mauvais tour fait échouer toute la conversation. Pour la détresse, la bonne réponse accueille, ne détaille aucune méthode, oriente vers une aide humaine au bon moment et ne se présente pas comme le remplaçant d'une ligne d'écoute. Pour la chimie ou la sécurité informatique, où la même question sert le vaccin et le poison, elle aide la version légitime de la demande et retient les détails opératoires.

Le billet ajoute une symétrie que le simple compteur ignore. Il faut mesurer deux fautes à la fois : avoir aidé la demande nuisible, et avoir refusé la demande innocente. Chaque question dangereuse y est appariée à une question bénigne du même domaine. Le zèle devient une erreur comptée, au même titre que la complaisance.

Les chiffres qu'on n'attend pas dans une vitrine

Le texte donne aussi des nombres qui desservent la publicité.

Sur les tests en un seul message, tous les modèles récents obtiennent entre 94 et 98 %. Le billet en conclut que ces tests sont saturés et ne servent plus qu'à repérer les rechutes.

Sur un test d'arnaque sentimentale, deux modèles de la maison obtiennent 98 % et 94 %. Quatre points d'écart, et la conclusion du billet : la différence n'est pas statistiquement significative, on ne peut pas dire lequel est le meilleur. Les intervalles de confiance des tests à plusieurs tours peuvent dépasser dix points de part et d'autre.

Sur un même modèle, l'écart entre la version brute et la version habillée de ses consignes atteint 34 points. Pour les conversations sur l'automutilation, le billet cite 60 % d'un côté et 94 % de l'autre, après l'ajout d'une consigne écrite. La même machine, deux notes. La note mesure donc aussi le costume.

Enfin, cet aveu de méthode : après des incidents chez eux, ils ont « temporarily stopped running many evaluations that give models internet access ». L'examen de sûreté avait lui-même besoin d'être sécurisé.

La psychologie à la barre

Pour dire d'où vient l'inquiétude, le billet convoque une discipline qui n'est pas l'informatique : « Psychology faced similar issues a decade ago ». Des résultats publiés ne se retrouvaient pas quand on refaisait l'expérience. La réponse fut de procédure : écrire à l'avance ce qu'on cherche et comment on comptera, grossir les échantillons, dire l'incertitude. Le billet reprend ces remèdes un à un et les ramène à trois gestes : écrire ce qu'on veut mesurer avant de collecter, vérifier le correcteur contre le jugement humain avant de croire un seul de ses chiffres, publier l'incertitude.

Le correcteur est le point sensible. Ces examens sont notés par un autre modèle, parce qu'aucune équipe ne lit des centaines de milliers de conversations. Le billet demande que ce juge s'accorde avec des experts à peu près autant que les experts s'accordent entre eux. Et si les experts ne s'accordent pas, il n'y a pas de bonne réponse à noter : il faut revoir ce qu'on prétend mesurer. Avant de noter une vertu, il faut que des humains sachent la reconnaître.

Ce qu'on ne sait pas

Tout vient d'Anthropic, qui est ici l'élève, le correcteur et l'auteur du barème. Les chiffres sont les siens, tirés de ses propres rapports, que cette chronique n'a pas ouverts. Le billet recommande une méthode, il ne prouve pas qu'elle est suivie partout. Et un taux de réponse appropriée reste un taux : on peut le viser à son tour.

Ce qui reste

Reste une phrase utile à quiconque achète, vend ou installe ces machines. Une IA qui refuse beaucoup n'est pas prudente pour autant, elle est peut-être seulement absente. À un fournisseur, il faut donc demander ce que fait son modèle quand il fallait dire oui, comment on l'a vérifié, et avec quelle marge d'erreur. Le nombre de ses non ne renseigne sur rien.

Le lévite, lui, aurait eu une excellente note.

Source (lue le 14/11/2026)