Perché ChatGPT sbaglia e come verificare la risposta

Hai chiesto una mano per il lavoro, la risposta è arrivata perfetta, con nome dell’autore, anno e pagina. Sei andato a cercare il riferimento e non esiste. Né il libro, né l’autore. Oppure era il conto: l’IA ha sommato sei importi e ha restituito un totale sbagliato, con la sicurezza di chi ha la calcolatrice in mano. Se ti è già successo, non è perché hai scritto male la richiesta.

Sbagliare fa parte del funzionamento di questa tecnologia, e capire il perché cambia quello che fai della risposta. In questa lezione vedrai i cinque tipi di errore che tornano sempre, perché inventa riferimenti con tanta convinzione, dove verificare non è facoltativo e una routine di trenta secondi che intercetta quasi tutto. Sono circa 9 minuti di lettura, e la parte più importante è quella centrale: l’errore che non sembra un errore.

La regola d’oro: non sa, stima

La prima lezione del corso riassume il funzionamento in una frase che va ripresa qui: l’intelligenza artificiale non sa, stima. Non c’è nessuna enciclopedia conservata dentro di lei. Calcola, pezzo per pezzo, quale continuazione è la più probabile per il testo che hai scritto, sulla base di tutto quello che ha letto prima.

Questo spiega ciò che sembra una contraddizione. Prende in pieno quello che è comune e scivola su quello che è raro, perché il comune è comparso migliaia di volte nel suo materiale e il raro una volta o nessuna. E sbaglia con la stessa faccia di chi sta indovinando, perché la scorrevolezza di un testo non ha alcun rapporto con la sua veridicità. Scrivere “secondo l’articolo 47 della legge sulle locazioni” in modo convincente è facile, anche quando quell’articolo parla di altro.

E non è il difetto di un marchio: vale per ChatGPT, Gemini, Copilot, Claude e per quello che verrà dopo. Cambiare strumento non risolve. Cambiare quello che fai della risposta, sì.

I cinque errori, e cosa ti costa ognuno

Non tutti gli errori sono dello stesso tipo, ed è per questo che il consiglio generico “verifica sempre” non aiuta nessuno. Verificare cosa, e dove? La tabella qui sotto è il riassunto dell’articolo intero.

L’errore	Come si presenta	Dove si verifica
1. Invenzione	fonte, citazione, legge o link che non esiste	alla fonte originale, per nome
2. Conti e date	somme, percentuali, scadenze ed età sbagliate	con la calcolatrice o il foglio di calcolo
3. Obsolescenza	regola, prezzo o procedura di ieri	sul sito ufficiale dell’argomento
4. Bias	il più comune passa per giusto e il resto sparisce	chiedendo la visione opposta
5. Adulazione	ti dà ragione per farti piacere	chiedendole di criticare

I primi due li risolvi con una ricerca. Gli ultimi tre sono scivolosi, perché lì la risposta resta vera in ogni frase e ti porta comunque nel posto sbagliato.

Perché inventa fonti, autori e numeri di articolo

Il nome tecnico di questo è allucinazione, ed è un nome brutto, perché suggerisce una crisi passeggera in una macchina che di solito sa. Sta facendo quello che fa sempre, cioè stimare il testo più probabile. Succede che un riferimento bibliografico ha una forma prevedibile: cognome, virgola, iniziale, anno tra parentesi, titolo in corsivo. Riempire quella forma con parole plausibili è proprio ciò che le riesce bene.

Per questo il riferimento inventato è quasi sempre bello. L’autore esiste, la rivista esiste, l’anno ha senso, e solo l’articolo in sé non è mai stato scritto. È il peggior tipo di errore da prendere a occhio, perché tutto intorno è corretto. La regola è breve: nome proprio, numero e citazione escono dall’IA come ipotesi, mai come fatti. Se ti ha dato un nome, cerca il nome. Se ti ha dato un articolo di legge, apri la legge.

E inventa anche in immagine per lo stesso motivo. Quando le chiedi di Restaurare una foto di matrimonio antica con l’AI, non scopre cosa c’era sotto la piega: disegna una proposta plausibile per quel pezzo. Il fiocco dell’abito che ritorna nitido può non aver mai avuto quella forma, e nessuno in famiglia saprà dirlo. Solo che in una foto del 1962 non esiste una fonte da verificare, quindi la regola diventa un’altra: tieni l’originale accanto alla versione restaurata e tratta il risultato come recupero, non come documento.

Conti, date e scadenze: l’errore che il righello prende subito

La spiegazione è la stessa e la conseguenza è un’altra. Siccome stima la parte successiva del testo invece di calcolare, il conto esce per somiglianza con conti simili. Azzecca le piccole addizioni con una facilità che inganna, e poi sbaglia il 18% di 4.380 senza cambiare tono di voce.

La buona notizia è che questo è l’errore più economico da verificare, perché il righello ce l’hai già in mano. Meglio ancora che rifare il conto sulla calcolatrice: togli il conto dalla conversazione e restituiscilo a chi calcola, chiedendo la formula invece del risultato, come fa Formula per il Foglio di Calcolo Subito. Il foglio calcola giusto e potrai cambiare i numeri più avanti senza rifare la domanda.

Date e scadenze finiscono nello stesso cesto, con un’aggravante: non sa che giorno è oggi se non glielo dici. Una risposta su “la scadenza tra 30 giorni” perde senso se ha indovinato il mese sbagliato. Scrivi la data di oggi nella richiesta quando c’è di mezzo una scadenza.

Bias: l’errore che non sembra un errore

Questo è il più difficile, perché non c’è nessuna frase sbagliata da indicare. L’IA ha imparato su un materiale che contiene molto più testo su certe cose che su altre, e restituisce la media di tutto questo. Chiedi un’idea di impresa e arriveranno le solite cinque. Chiedi un piano di studio e arriverà quello che va bene alla maggioranza, che può non andare bene a te.

Il sintomo è sempre lo stesso: la risposta è buona ed è generica. Anche il rimedio, ed è una domanda in più. “Qual è la visione opposta a questa?” “Cosa è rimasto fuori?” “Dammi tre alternative che nessuno propone di solito.” Quel secondo messaggio separa chi usa l’IA da chi pubblica la prima risposta che è arrivata.

E c’è una versione personale del bias che disturba più di quella statistica: la tua. Quando la richiesta porta già dentro di sé la risposta che vuoi sentire, lei ti dà ragione. Chiedere “perché l’opzione A è migliore?” garantisce un testo che elogia l’opzione A, anche quando quella giusta è la B.

L’adulazione, e perché è l’errore più economico da correggere

Avrai già notato che contraddire l’IA funziona troppo in fretta. Le dici che la risposta è sbagliata, si scusa e la cambia, anche quando la prima era giusta. Non è umiltà e non è essersi convinta: è stata regolata per compiacere, e darti ragione è la continuazione più probabile di una tua lamentela.

Il rimedio è chiedere l’opposto, a chiare lettere, prima che abbia occasione di compiacerti. È la logica del Revisore di Curriculum Spietato, che chiede critica dura invece di complimenti. Chi programma ha la versione esatta di questo in Rivedere il Codice Prima di Pubblicare: cercare il problema è una richiesta diversa da “va bene?”, e restituisce un’altra risposta.

E cosa cambia quando il materiale è un’immagine

I quattro errori qui sopra sono errori di testo, e in immagine si riducono a uno solo: l’invenzione. Vale un principio semplice, meno chiedi, meno inventa. Per un viso soltanto mosso, Migliorare la nitidezza di una foto sfocata in pochi secondi tocca pochissimo ed è la scelta più sicura quando la foto ha valore di ricordo. Chiedere “migliora la foto”, senza dire cosa migliorare, è un invito a riscrivere il viso.

L’altro lato è che l’immagine inventata è ormai troppo buona per l’occhio. Documento Fittizio in Mano: l’Effetto Virale di TikTok è uno scherzo finché tutti sanno che è uno scherzo, e mostra che quel livello di realismo è a una richiesta di distanza da chiunque. Se l’immagine da sola non prova più niente, la verifica diventa una questione di origine: chi ha pubblicato, quando e perché.

La routine di trenta secondi

Verificare tutto è impossibile e nessuno lo fa. Quello che si può fare è passare ogni risposta per tre domande, sempre nello stesso ordine, e verificare davvero solo quello che resta.

C’è un nome proprio, un numero o una citazione? Se c’è, quel pezzo è un’ipotesi. Segnalo e verificalo alla fonte.
Quanto costa sbagliare? Una didascalia sbagliata sui social costa una correzione. Un contratto sbagliato costa soldi. È il costo che decide quanto tempo ci metti.
Suona troppo generico? Se sì, il problema non è la falsità, è il bias. Chiedi la visione opposta prima di usarlo.

Solo la prima domanda dà lavoro. Le altre due sono decisioni, e richiedono secondi. In una riunione registrata, per esempio, Verbale di Riunione restituisce bene quello che è stato detto, e sono le decisioni e i responsabili a meritare un secondo sguardo: è lì che un “è stato concordato che” può essere stato dedotto invece che ascoltato.

Dove verificare non è facoltativo

Ci sono argomenti in cui la risposta dell’IA è un punto di partenza e mai una conclusione, e hanno tutti qualcosa in comune: qualcuno firma in fondo.

In un contratto, l’uso giusto è quello di un lettore veloce che indica dove guardare, ed è così che sono stati scritti Analizzatore di Contratti e Contratto di Affitto: Controlla Prima di Firmare. Ti danno la lista delle clausole da leggere con attenzione, e non ti danno certezza giuridica, che quando le cifre sono alte resta affare di un professionista.

All’esame vale lo stesso con un altro nome. Correttore del Tema d’Esame indica con precisione cosa è debole nel tuo testo, e il voto che mette è una stima, non il voto che prenderai. Usa i rilievi, ignora il numero.

Cinque prompt che nascono già con la verifica dentro

Il modo migliore di sbagliare meno non è verificare di più, è chiedere in un modo che renda l’errore visibile. Questi cinque lo fanno, in quest’ordine:

Comincia da Metodo di Lettura e Scheda di Lettura, che lavora su un testo che hai fornito tu: una risposta legata a materiale che hai in mano ha molto meno spazio per inventare.
Poi Riassunto e Guida alla Lettura di un Libro, che è il caso opposto e serve da allenamento: qui parla a memoria, quindi è lì che trovi gli errori che ti tarano la diffidenza.
Trasforma quello che resta in Flashcard e Ripasso Dilazionato. Domanda e risposta brevi sono il formato in cui un errore urla, perché non c’è testo intorno a mascherarlo.
Usa La Mail Professionale Perfetta per quello che esce con il tuo nome. Il rischio qui non è il fatto sbagliato, è il tono sbagliato.
Chiudi chiedendo la critica dura del Revisore di Curriculum Spietato su quello che hai prodotto in giornata. È il secondo messaggio che diventa abitudine.

Per lo stesso ragionamento applicato allo studio, il post su IA per studiare scende nel dettaglio di esami, concorsi e lingue.

Domande veloci

Posso fidarmi di ChatGPT?

Puoi fidarti del suo lavoro su un testo che hai fornito tu, su una bozza e sul mettere in ordine un’idea. Non puoi fidarti di un fatto specifico, di un numero, di una citazione o di una legge senza verificare. La differenza non è l’argomento, è l’origine: l’informazione che arriva da fuori della tua conversazione è una stima.

Cos’è un’allucinazione dell’IA?

È quando presenta come fatto una cosa che non esiste, con lo stesso tono che usa quando ha ragione. Succede perché completa forme probabili invece di consultare una base, ed è per questo che è più frequente su riferimenti, nomi propri, date e numeri.

Perché sbaglia conti semplici?

Perché non calcola, stima il testo del risultato. Sui conti piccoli di solito torna, su quelli grandi no. Chiedi la formula invece del risultato, oppure rifai il conto sulla calcolatrice.

Sbaglia di più in italiano?

Il materiale di addestramento in inglese è più ampio, quindi un argomento molto specifico può uscire più povero in italiano. Nel quotidiano quasi non si vede. Quello che cambia davvero è il contesto locale: regole, scadenze e procedure di casa tua sono dove sbaglia di più, e dove il sito ufficiale risolve in un minuto.

Un prompt migliore la fa sbagliare meno?

Sì, e parecchio, ma solo su due dei cinque errori. Una richiesta chiara riduce la risposta generica e taglia l’adulazione, come mostra la lezione su come scrivere un prompt. Contro le fonti inventate e i conti sbagliati, un buon prompt aiuta poco: lì quello che funziona è verificare.

Come capisco se un’immagine è stata fatta da un’IA?

I vecchi segnali (una mano con sei dita, lettere confuse sullo sfondo) stanno sparendo in fretta. Quello che funziona ancora è guardare l’origine invece dell’immagine: da quale account arriva, se compare in più di un posto e se ne esiste una versione precedente. La lezione su creare un’immagine da una foto mostra quanto tutto questo sia già facile.

Da dove cominciare oggi

Prendi l’ultima risposta utile che l’IA ti ha dato e passale le tre domande della routine. Se c’è un nome proprio o un numero, verifica solo quel pezzo. Vale la pena farlo una volta perché scoprirai che il lavoro di verifica è molto più piccolo di quanto sembri.

Dopo di che, l’hub dei prompt di testo ha la raccolta completa, e la serie di corsi prosegue da qui. Sbagliare meno con l’IA riguarda meno il trovare lo strumento giusto e più il sapere quale pezzo della risposta merita la tua attenzione.