Studio. Come valutare un motore di traduzione sul diritto svizzero

A cura del team giuridico e linguistico di Neur.on · 15 settembre 2026 · aggiornato il 15 settembre 2026

La domanda «qual è il miglior motore di traduzione per il diritto svizzero?» non ha risposta finché non si è detto su quali testi, in quale direzione, secondo quali criteri e con quale margine di errore. Questo documento propone un metodo che qualsiasi ufficio legale può applicare senza un laboratorio, e che chiunque può contestare punto per punto.

1. Perché i punteggi automatici non bastano

Le metriche automatiche di traduzione confrontano un risultato con una traduzione di riferimento e ne misurano la somiglianza. Sono utili per seguire l'evoluzione di un sistema da una versione all'altra. Per orientare una scelta giuridica sono invece fuorvianti, per una ragione strutturale: non distinguono una sfumatura di formulazione da un errore di diritto.

Una frase che rende correttamente tutte le parole ma cita un articolo inesistente, o attribuisce una competenza a un tribunale straniero, resta vicina al riferimento e ottiene un buon punteggio. Una frase perfettamente esatta ma formulata in modo diverso dal riferimento viene penalizzata. Per un giurista è esattamente il contrario di ciò che conta.

La valutazione di un motore sul diritto deve quindi essere umana, su criteri binari definiti in anticipo. Binari, perché un voto da uno a dieci misura soprattutto l'umore del valutatore, mentre una domanda chiusa come «il riferimento legale citato è esatto?» dà lo stesso verdetto con due persone diverse.

2. Sei criteri misurabili

Ogni criterio si valuta conforme o non conforme, segmento per segmento. Quando un criterio non si applica a un segmento, viene segnato come non applicabile ed esce dal denominatore per quel segmento.

Questi sei criteri non hanno la stessa gravità, e soprattutto non bisogna farne una media. Separate gli errori squalificanti dagli scarti di preferenza. Un riferimento legale sbagliato e un'omissione rendono un segmento inutilizzabile; un termine corretto ma assente dal testo ufficiale richiede una correzione, niente di più. Pubblicate quindi due tassi distinti: la quota di segmenti con almeno un errore squalificante e la quota di segmenti con almeno uno scarto da correggere.

3. Costituire il corpus

Il corpus decide il risultato più dei motori. Quattro requisiti.

Rappresentatività

Il corpus deve rispecchiare ciò che trattate davvero, non ciò che è facile raccogliere. Incrociate tre dimensioni: il settore (contratti, contenzioso, diritto societario, regolamentazione finanziaria, diritto amministrativo), il tipo di documento (atto, atto scritto delle parti, decisione, corrispondenza, clausola tipo) e la direzione di traduzione. Un motore efficace dal tedesco all'italiano può non esserlo dall'italiano al tedesco: le due direzioni vanno contate separatamente, mai aggregate.

Dimensione

Non esiste un numero magico di segmenti: la dimensione utile dipende dal numero di criteri, dalla rarità dei fenomeni osservati e dalla precisione desiderata. La regola pratica è ragionare per casella: ogni combinazione di settore e direzione di traduzione deve contenere abbastanza segmenti perché uno scarto non dipenda da una o due frasi. Meglio un corpus piccolo ed equilibrato che un corpus vasto e concentrato su un solo settore.

Densità di fenomeni

Componete deliberatamente una parte del corpus con segmenti che contengono ciò che volete misurare: riferimenti legali, nomi di tribunali, importi, date, termini regolamentari. Un corpus di frasi neutre non misura nulla di utile, perché tutti i motori le traducono bene.

Tracciabilità e riservatezza

Ogni segmento deve indicare la sua provenienza, perché l'esattezza possa essere verificata nella fonte ufficiale. Se usate documenti interni, pseudonimizzateli prima di qualsiasi trasmissione a un motore di terzi, e documentate questo trattamento: costituire un corpus di valutazione è un trattamento di dati come un altro. Il tema è approfondito nel nostro articolo sul luogo del trattamento.

4. Il protocollo di valutazione

1. Fissare i parametri. Stessa combinazione linguistica, stesse impostazioni, stessa modalità di riservatezza, stessa assenza o presenza di glossario per tutti i motori. Una differenza di configurazione invalida l'intero confronto.
2. Generare in un'unica finestra temporale e registrare data e ora di ogni risultato. I motori evolvono; un risultato senza data non è un dato.
3. Anonimizzare i risultati. Togliete ogni menzione del motore, compresi gli indizi di formattazione che lo tradiscono, e assegnate un identificativo neutro.
4. Rendere casuale l'ordine di presentazione, in modo diverso per ogni valutatore, perché la stanchezza e l'effetto d'ordine non si concentrino sullo stesso motore.
5. Far valutare da due persone indipendenti, senza comunicazione tra loro, sulla stessa griglia.
6. Misurare l'accordo tra valutatori prima di guardare i risultati. Un accordo basso indica che la griglia è ambigua, non che i valutatori sono inadeguati: occorre allora precisare le definizioni e ricominciare.
7. Risolvere i disaccordi con un terzo arbitro, che a sua volta non conosce l'origine dei risultati, e annotare la regola ricavata per i casi successivi.
8. Replicare. Ripetete un sottoinsieme del corpus a qualche settimana di distanza, con gli stessi parametri, per misurare la varianza nel tempo.

Quest'ultimo punto non è teorico. In una sessione di osservazione, rigenerare alcuni segmenti ha prodotto risultati rigorosamente identici, mentre altri segmenti variavano da una generazione all'altra. Una campagna che non misura questa varianza non può dire se uno scarto tra due motori è uno scarto di qualità o una casualità della generazione.

5. Sette insidie metodologiche

1. Giudicare su una frase. È l'insidia più comune e la più costosa. Una frase ben tradotta non dice nulla del comportamento di un motore su un documento di sessanta pagine, dove la coerenza diventa il primo criterio.
2. Confondere scorrevolezza ed esattezza. I motori recenti producono frasi gradevoli. Un risultato scorrevole che cita un testo inesistente è più pericoloso di un risultato goffo, perché non invita alla verifica. Nella stessa sessione di osservazione, un risultato ha reso il nome dell'autorità giudiziaria suprema svizzera con quello di un tribunale straniero, in una frase per il resto costruita perfettamente.
3. Dimenticare la varianza tra generazioni. Confrontare un risultato di ciascun motore equivale a confrontare due estrazioni a sorte. Senza replica, lo scarto misurato può essere dovuto interamente alla casualità della generazione.
4. Aggregare le direzioni di traduzione. Un punteggio medio tra tedesco-italiano e italiano-tedesco nasconde esattamente l'informazione che vi interessa.
5. Lasciar vedere il nome del motore. Il valutatore che sa che cosa sta giudicando non giudica più il risultato: giudica la sua opinione del motore.
6. Mescolare gravità e preferenza. Contare nello stesso totale un riferimento legale sbagliato e una scelta stilistica discutibile produce una cifra che nessuno sa interpretare.
7. Valutare su testi pubblici molto diffusi. I testi di legge più citati sono abbondantemente presenti nei dati di addestramento dei modelli generalisti. Riuscire su questi testi non predice le prestazioni sui vostri documenti. Tenetene una parte per il controllo, ma costruite il nucleo del corpus su testi meno esposti.

6. Presentare i risultati

Un rapporto di valutazione credibile pubblica tutto ciò che permette di contestarlo.

• La composizione del corpus: numero di segmenti per settore e per direzione di traduzione, provenienza, data di costituzione, versione.
• I parametri esatti di ogni generazione, e la loro data.
• La griglia dei criteri, con le definizioni di non conformità utilizzate.
• Il tasso di accordo tra valutatori, prima dell'intervento dell'arbitro.
• I risultati per criterio e per casella, mai un unico punteggio globale.
• La varianza misurata durante la replica.
• I limiti, per esteso: ciò che il corpus non copre, ciò che il metodo non misura.

E una regola di prudenza: non usate mai una classifica di motori come argomento di vendita, nemmeno la vostra. Una classifica vale per un corpus, una data e una configurazione. Ciò che si trasmette onestamente è il metodo con i dati, non il podio.

7. Che cosa sarà pubblicato su questa pagina

Stiamo applicando questo metodo a un primo corpus di diritto svizzero, costruito secondo i requisiti descritti al punto 3 e che copre le combinazioni delle lingue nazionali. I risultati saranno pubblicati su questa pagina, con la composizione del corpus, la griglia utilizzata, i tassi di accordo tra valutatori e i limiti dell'esercizio.

Fino ad allora non pubblichiamo qui alcuna cifra: un metodo non dimostra nulla da solo, e pubblicare un punteggio prima di aver pubblicato il protocollo sarebbe esattamente ciò che questo documento sconsiglia.