Étude. Comment évaluer un moteur de traduction sur le droit suisse

Par l'équipe juridique et linguistique de Neur.on · 15 septembre 2026 · Mis à jour le 15 septembre 2026

La question « quel est le meilleur moteur de traduction pour le droit suisse ? » n'a pas de réponse tant qu'on n'a pas dit sur quoi, dans quel sens, selon quels critères et avec quelle marge d'erreur. Ce document propose une méthode que n'importe quelle direction juridique peut appliquer sans laboratoire, et que n'importe qui peut contester point par point.

1. Pourquoi les scores automatiques ne suffisent pas

Les métriques automatiques de traduction comparent une sortie à une traduction de référence et mesurent leur proximité. Elles sont utiles pour suivre l'évolution d'un système au fil des versions. Elles sont trompeuses pour arbitrer un choix juridique, pour une raison structurelle : elles ne distinguent pas une nuance de formulation d'une erreur de droit.

Une phrase qui rend correctement tous les mots mais cite un article inexistant, ou attribue une compétence à une juridiction étrangère, reste proche de la référence et obtient un bon score. Une phrase parfaitement exacte mais formulée autrement que la référence est pénalisée. Pour un juriste, c'est exactement l'inverse de ce qui compte.

L'évaluation d'un moteur sur du droit doit donc être humaine, sur des critères binaires définis à l'avance. Binaires, parce qu'une note sur dix mesure surtout l'humeur de l'évaluateur, alors qu'une question fermée du type « la référence légale citée est-elle exacte ? » donne le même verdict chez deux personnes différentes.

2. Six critères mesurables

Chaque critère se note conforme ou non conforme, segment par segment. Quand un critère ne s'applique pas à un segment, il est marqué non applicable et sort du dénominateur pour ce segment.

Ces six critères ne sont pas d'égale gravité, et il ne faut surtout pas en faire une moyenne. Séparez les erreurs disqualifiantes des écarts de préférence. Une référence légale fausse et une omission rendent un segment inutilisable ; un terme correct mais absent des textes officiels demande une correction, sans plus. Publiez donc deux taux distincts : le taux de segments comportant au moins une erreur disqualifiante, et le taux de segments comportant au moins un écart à corriger.

3. Constituer le corpus

Le corpus décide du résultat davantage que les moteurs. Quatre exigences.

Représentativité

Le corpus doit refléter ce que vous traitez réellement, pas ce qui est facile à collecter. Croisez trois dimensions : le domaine (contrats, contentieux, droit des sociétés, réglementation financière, droit administratif), le type de document (acte, écriture, décision, correspondance, clause type), et le sens de traduction. Un moteur performant en allemand vers français peut ne pas l'être en français vers allemand : les deux sens doivent être comptés séparément, jamais agrégés.

Taille

Il n'existe pas de nombre magique de segments : la taille utile dépend du nombre de critères, de la rareté des phénomènes observés et de la précision souhaitée. La règle pratique est de raisonner par case : chaque combinaison domaine multiplié par sens de traduction doit contenir assez de segments pour qu'un écart ne repose pas sur une ou deux phrases. Mieux vaut un corpus petit et équilibré qu'un corpus vaste et concentré sur un seul domaine.

Densité de phénomènes

Composez délibérément une part du corpus de segments qui contiennent ce que vous voulez mesurer : des références légales, des noms de juridictions, des montants, des dates, des termes réglementaires. Un corpus de phrases neutres ne mesure rien d'utile, parce que tous les moteurs y réussissent.

Traçabilité et confidentialité

Chaque segment doit porter sa provenance, pour que l'exactitude puisse être vérifiée dans la source officielle. Si vous utilisez des documents internes, pseudonymisez-les avant toute transmission à un moteur tiers, et documentez ce traitement : un corpus d'évaluation est un traitement de données comme un autre. Ce point est développé dans notre article sur le lieu de traitement.

4. Le protocole d'évaluation

1. Figer les paramètres. Même paire de langues, même réglages, même mode de confidentialité, même absence ou présence de glossaire pour tous les moteurs. Une différence de configuration invalide la comparaison entière.
2. Générer en une seule fenêtre de temps et enregistrer la date et l'heure de chaque sortie. Les moteurs évoluent ; une sortie sans date n'est pas une donnée.
3. Anonymiser les sorties. Retirez toute mention du moteur, y compris les indices de formatage qui le trahissent, et attribuez un identifiant neutre.
4. Randomiser l'ordre de présentation, différemment pour chaque évaluateur, afin que la fatigue et l'effet d'ordre ne se concentrent pas sur le même moteur.
5. Faire évaluer par deux personnes indépendantes, sans communication entre elles, sur la même grille.
6. Mesurer l'accord entre évaluateurs avant de regarder les résultats. Un accord faible signale que la grille est ambiguë, pas que les évaluateurs sont mauvais : il faut alors préciser les définitions et recommencer.
7. Résoudre les désaccords par un tiers arbitre, qui ne connaît pas davantage l'origine des sorties, et consigner la règle dégagée pour les cas suivants.
8. Répliquer. Rejouez un sous-ensemble du corpus à quelques semaines d'intervalle, avec les mêmes paramètres, pour mesurer la variance dans le temps.

Ce dernier point n'est pas théorique. Lors d'une session d'observation, la régénération de certains segments a produit des sorties strictement identiques, tandis que d'autres segments variaient d'une génération à l'autre. Une campagne qui ne mesure pas cette variance ne peut pas dire si un écart entre deux moteurs est un écart de qualité ou un aléa de génération.

5. Sept pièges méthodologiques

1. Juger sur une phrase. C'est le piège le plus courant et le plus coûteux. Une phrase bien traduite ne dit rien du comportement d'un moteur sur un document de soixante pages, où la cohérence devient le premier critère.
2. Confondre fluidité et exactitude. Les moteurs récents produisent des phrases agréables. Une sortie fluide qui cite un texte inexistant est plus dangereuse qu'une sortie maladroite, parce qu'elle n'appelle pas la vérification. Lors de la même session d'observation, une sortie a rendu le nom de la juridiction suprême suisse par celui d'une juridiction étrangère, dans une phrase par ailleurs parfaitement construite.
3. Oublier la variance entre générations. Comparer une sortie de chaque moteur revient à comparer deux tirages. Sans réplication, l'écart mesuré peut être entièrement dû au hasard de génération.
4. Agréger les sens de traduction. Un score moyen entre allemand vers français et français vers allemand masque exactement l'information qui vous intéresse.
5. Laisser voir le nom du moteur. L'évaluateur qui sait ce qu'il note ne note plus la sortie, il note son opinion du moteur.
6. Mélanger gravité et préférence. Compter dans le même total une référence légale fausse et un choix stylistique discutable produit un chiffre que personne ne peut interpréter.
7. Évaluer sur des textes publics très diffusés. Les textes de loi les plus cités sont abondamment présents dans les données d'entraînement des modèles généralistes. Réussir sur eux ne prédit pas la performance sur vos documents. Gardez-en pour le contrôle, mais construisez le cœur du corpus sur des textes moins exposés.

6. Rendre compte des résultats

Un rapport d'évaluation crédible publie tout ce qui permet de le contester.

• La composition du corpus : nombre de segments par domaine et par sens de traduction, provenance, date de constitution, version.
• Les paramètres exacts de chaque génération, et leur date.
• La grille de critères, avec les définitions de non-conformité employées.
• Le taux d'accord entre évaluateurs, avant arbitrage.
• Les résultats par critère et par case, jamais un score global unique.
• La variance mesurée lors de la réplication.
• Les limites, en toutes lettres : ce que le corpus ne couvre pas, ce que la méthode ne mesure pas.

Et une règle de prudence : n'utilisez jamais un classement de moteurs comme argument de vente, y compris le vôtre. Un classement est valable pour un corpus, une date et une configuration. Ce qui se transmet honnêtement, c'est la méthode et les données, pas le podium.

7. Ce qui sera publié sur cette page

Nous appliquons actuellement cette méthode à un premier corpus de droit suisse, construit selon les exigences décrites au point 3 et couvrant les paires de langues nationales. Les résultats seront publiés sur cette page, avec la composition du corpus, la grille utilisée, les taux d'accord entre évaluateurs et les limites de l'exercice.

D'ici là, aucun chiffre n'est avancé ici : une méthode ne prouve rien par elle-même, et publier un score avant d'avoir publié le protocole serait exactement ce que ce document déconseille.