Studie. Wie man einen Übersetzungsmotor an Schweizer Rechtstexten evaluiert

Vom Rechts- und Sprachteam von Neur.on · 15. September 2026 · Aktualisiert am 15. September 2026

Die Frage «Welcher Übersetzungsmotor ist der beste für das Schweizer Recht?» hat keine Antwort, solange nicht geklärt ist, an welchen Texten, in welcher Übersetzungsrichtung, nach welchen Kriterien und mit welcher Fehlermarge gemessen wird. Dieses Dokument schlägt eine Methode vor, die jede Rechtsabteilung ohne Labor anwenden und die jede Person Punkt für Punkt anfechten kann.

1. Warum automatische Scores nicht genügen

Automatische Übersetzungsmetriken vergleichen eine Ausgabe mit einer Referenzübersetzung und messen, wie nahe beide beieinanderliegen. Sie helfen, die Entwicklung eines Systems über mehrere Versionen zu verfolgen. Als Entscheidungsgrundlage im juristischen Bereich sind sie jedoch irreführend, und zwar aus einem strukturellen Grund: Sie unterscheiden nicht zwischen einer Nuance der Formulierung und einem Rechtsfehler.

Ein Satz, der alle Wörter korrekt wiedergibt, aber einen nicht existierenden Artikel zitiert oder einem ausländischen Gericht eine Zuständigkeit zuweist, bleibt nahe an der Referenz und erhält einen guten Score. Ein völlig korrekter Satz, der anders formuliert ist als die Referenz, wird bestraft. Für Juristinnen und Juristen ist das genau das Gegenteil dessen, was zählt.

Die Bewertung eines Motors an Rechtstexten muss deshalb durch Menschen erfolgen, nach binären, im Voraus festgelegten Kriterien. Binär, weil eine Note auf einer Zehnerskala vor allem die Laune der bewertenden Person misst. Eine geschlossene Frage wie «Ist der zitierte Gesetzesverweis korrekt?» ergibt dagegen bei zwei verschiedenen Personen dasselbe Urteil.

2. Sechs messbare Kriterien

Jedes Kriterium wird Segment für Segment als konform oder nicht konform bewertet. Ist ein Kriterium auf ein Segment nicht anwendbar, wird es als nicht anwendbar markiert und fällt für dieses Segment aus dem Nenner.

Diese sechs Kriterien wiegen nicht gleich schwer, und man sollte auf keinen Fall einen Durchschnitt daraus bilden. Trennen Sie disqualifizierende Fehler von Präferenzabweichungen. Ein falscher Gesetzesverweis und eine Auslassung machen ein Segment unbrauchbar; ein korrekter, aber in den amtlichen Texten fehlender Begriff verlangt eine Korrektur, mehr nicht. Veröffentlichen Sie deshalb zwei getrennte Quoten: den Anteil der Segmente mit mindestens einem disqualifizierenden Fehler und den Anteil der Segmente mit mindestens einer zu korrigierenden Abweichung.

3. Das Korpus aufbauen

Das Korpus bestimmt das Ergebnis stärker als die Motoren. Vier Anforderungen.

Repräsentativität

Das Korpus muss abbilden, was Sie tatsächlich bearbeiten, nicht das, was leicht zu sammeln ist. Kombinieren Sie drei Dimensionen: das Rechtsgebiet (Verträge, Prozessführung, Gesellschaftsrecht, Finanzmarktregulierung, Verwaltungsrecht), den Dokumenttyp (Urkunde, Rechtsschrift, Entscheid, Korrespondenz, Musterklausel) und die Übersetzungsrichtung. Ein Motor, der von Deutsch nach Französisch gut übersetzt, tut dies von Französisch nach Deutsch nicht unbedingt: Beide Richtungen werden getrennt gezählt, nie zusammengefasst.

Umfang

Es gibt keine magische Zahl von Segmenten: Der sinnvolle Umfang hängt von der Anzahl Kriterien, der Seltenheit der beobachteten Phänomene und der gewünschten Genauigkeit ab. Die praktische Regel lautet, in Zellen zu denken: Jede Kombination aus Rechtsgebiet und Übersetzungsrichtung muss genügend Segmente enthalten, damit eine Abweichung nicht auf einem oder zwei Sätzen beruht. Ein kleines, ausgewogenes Korpus ist besser als ein grosses, das sich auf ein einziges Rechtsgebiet konzentriert.

Dichte der Phänomene

Stellen Sie einen Teil des Korpus bewusst aus Segmenten zusammen, die enthalten, was Sie messen wollen: Gesetzesverweise, Gerichtsnamen, Beträge, Datumsangaben, regulatorische Begriffe. Ein Korpus aus neutralen Sätzen misst nichts Nützliches, weil alle Motoren daran bestehen.

Rückverfolgbarkeit und Vertraulichkeit

Bei jedem Segment muss die Herkunft vermerkt sein, damit die Richtigkeit in der amtlichen Quelle überprüft werden kann. Verwenden Sie interne Dokumente, pseudonymisieren Sie diese vor jeder Übermittlung an den Motor eines Drittanbieters und dokumentieren Sie diese Bearbeitung: Ein Bewertungskorpus ist eine Datenbearbeitung wie jede andere. Mehr dazu in unserem Artikel über den Ort der Verarbeitung.

4. Das Bewertungsprotokoll

1. Parameter festlegen. Dasselbe Sprachpaar, dieselben Einstellungen, derselbe Vertraulichkeitsmodus und für alle Motoren dasselbe Glossar oder gar keines. Ein Unterschied in der Konfiguration macht den ganzen Vergleich ungültig.
2. In einem einzigen Zeitfenster generieren und Datum und Uhrzeit jeder Ausgabe festhalten. Motoren entwickeln sich weiter; eine Ausgabe ohne Datum ist kein Datenpunkt.
3. Ausgaben anonymisieren. Entfernen Sie jeden Hinweis auf den Motor, auch Formatierungsmerkmale, die ihn verraten, und vergeben Sie eine neutrale Kennung.
4. Die Reihenfolge zufällig bestimmen, für jede bewertende Person anders, damit sich Ermüdung und Reihenfolgeeffekte nicht auf denselben Motor konzentrieren.
5. Von zwei unabhängigen Personen bewerten lassen, ohne Austausch untereinander, nach demselben Raster.
6. Die Übereinstimmung zwischen den Bewertenden messen, bevor Sie die Ergebnisse ansehen. Eine geringe Übereinstimmung zeigt, dass das Raster mehrdeutig ist, nicht dass die Bewertenden schlecht sind: Dann müssen die Definitionen präzisiert und die Bewertung wiederholt werden.
7. Meinungsverschiedenheiten von einer dritten Person entscheiden lassen, die die Herkunft der Ausgaben ebenfalls nicht kennt, und die daraus abgeleitete Regel für künftige Fälle festhalten.
8. Replizieren. Wiederholen Sie einen Teil des Korpus im Abstand von einigen Wochen mit denselben Parametern, um die Streuung über die Zeit zu messen.

Dieser letzte Punkt ist nicht theoretisch. In einer Beobachtungssitzung ergab die erneute Generierung bestimmter Segmente exakt identische Ausgaben, während andere Segmente von einer Generierung zur nächsten variierten. Eine Kampagne, die diese Streuung nicht misst, kann nicht sagen, ob eine Abweichung zwischen zwei Motoren ein Qualitätsunterschied oder ein Zufall der Generierung ist.

5. Sieben methodische Fallstricke

1. Nach einem einzigen Satz urteilen. Das ist die häufigste und teuerste Falle. Ein gut übersetzter Satz sagt nichts darüber aus, wie sich ein Motor bei einem Dokument von sechzig Seiten verhält, bei dem die Kohärenz zum wichtigsten Kriterium wird.
2. Flüssigkeit mit Genauigkeit verwechseln. Neuere Motoren erzeugen angenehm lesbare Sätze. Eine flüssige Ausgabe, die einen nicht existierenden Text zitiert, ist gefährlicher als eine holprige, weil sie nicht zur Überprüfung anregt. In derselben Beobachtungssitzung gab eine Ausgabe den Namen des obersten Schweizer Gerichts mit dem eines ausländischen Gerichts wieder, in einem ansonsten tadellos gebauten Satz.
3. Die Streuung zwischen Generierungen vergessen. Wer eine einzige Ausgabe pro Motor vergleicht, vergleicht zwei Ziehungen. Ohne Replikation kann die gemessene Abweichung vollständig auf den Zufall der Generierung zurückgehen.
4. Übersetzungsrichtungen zusammenfassen. Ein Durchschnitt aus Deutsch nach Französisch und Französisch nach Deutsch verdeckt genau die Information, die Sie interessiert.
5. Den Namen des Motors sichtbar lassen. Wer weiss, was bewertet wird, bewertet nicht mehr die Ausgabe, sondern die eigene Meinung über den Motor.
6. Schwere und Präferenz vermischen. Wer einen falschen Gesetzesverweis und eine diskutable Stilentscheidung in derselben Summe zählt, erhält eine Zahl, die niemand deuten kann.
7. An weit verbreiteten öffentlichen Texten bewerten. Die meistzitierten Gesetzestexte sind in den Trainingsdaten generalistischer Modelle reichlich vorhanden. Gute Ergebnisse an ihnen sagen nichts über die Leistung an Ihren Dokumenten voraus. Behalten Sie einige davon zur Kontrolle, aber bauen Sie den Kern des Korpus aus weniger exponierten Texten auf.

6. Über die Ergebnisse berichten

Ein glaubwürdiger Bewertungsbericht veröffentlicht alles, was nötig ist, um ihn anzufechten.

• Die Zusammensetzung des Korpus: Anzahl Segmente pro Rechtsgebiet und Übersetzungsrichtung, Herkunft, Erstellungsdatum, Version.
• Die genauen Parameter jeder Generierung und ihr Datum.
• Das Kriterienraster mit den verwendeten Definitionen für Nichtkonformität.
• Die Übereinstimmungsquote zwischen den Bewertenden vor der Schlichtung.
• Die Ergebnisse pro Kriterium und pro Zelle, nie ein einziger Gesamtscore.
• Die gemessene Streuung bei der Replikation.
• Die Grenzen, ausdrücklich benannt: was das Korpus nicht abdeckt und was die Methode nicht misst.

Und eine Vorsichtsregel: Verwenden Sie eine Rangliste von Motoren nie als Verkaufsargument, auch nicht Ihre eigene. Eine Rangliste gilt für ein Korpus, ein Datum und eine Konfiguration. Was sich ehrlich weitergeben lässt, sind Methode und Daten, nicht das Podest.

7. Was auf dieser Seite veröffentlicht wird

Wir wenden diese Methode derzeit auf ein erstes Korpus des Schweizer Rechts an. Es ist nach den Anforderungen unter Punkt 3 aufgebaut und deckt die Sprachpaare der Landessprachen ab. Die Ergebnisse werden auf dieser Seite veröffentlicht, mit der Zusammensetzung des Korpus, dem verwendeten Raster, den Übereinstimmungsquoten zwischen den Bewertenden und den Grenzen der Untersuchung.

Bis dahin nennen wir hier keine Zahl: Eine Methode beweist für sich allein nichts, und einen Score vor dem Protokoll zu veröffentlichen, wäre genau das, wovon dieses Dokument abrät.