Prima di rispondere a chiunque, il modello ha fatto per mesi un solo gioco: indovinare la parola successiva, miliardi di volte, su enormi quantità di testo.
Prova a indovinare tu la parola che manca, poi rivela cosa farebbe il modello.
Il gioco che hai appena fatto è più vecchio dei computer che lo giocano. Nel 1951 Claude Shannon, l'ingegnere che aveva fondato la teoria dell'informazione, si mise a coprire la lettera successiva di un testo e a chiedere alle persone di indovinarla, per capire quanto una lingua sia prevedibile (il suo articolo, in PDF). Settantacinque anni dopo la prova è rimasta quella, solo che a farla è una macchina: le si nasconde la parola che viene dopo, lei tira a indovinare, poi scopre la risposta e si corregge di pochissimo. Miliardi di volte di fila, per settimane.
Il testo su cui si esercita arriva in buona parte dal web. Common Crawl è un archivio no-profit che dal 2008 scarica pagine da internet e le regala a chiunque voglia studiarle; i corpora ripuliti che se ne ricavano si misurano in migliaia di miliardi di parole. La cosa notevole è che nessuno ha scritto la risposta giusta accanto a ogni frase: la risposta giusta è la frase stessa, un pezzo più avanti. È per questo che questa fase ha potuto crescere fino a dimensioni che nessun lavoro umano di correzione avrebbe mai retto.
Il compito del pre-training si scrive in una riga sola, e conviene scriverla per bene. Al modello arriva un testo troncato; lui restituisce un logit per ogni voce del vocabolario — un punteggio grezzo, decine di migliaia di numeri, uno per token — e una softmax li schiaccia in una distribuzione di probabilità che somma a uno. A quel punto si scopre quale token c'era davvero, e si misura quanto il modello ci avesse creduto. La misura è la cross-entropy, cioè −log p(token vero): vale zero se il modello aveva assegnato probabilità 1 alla parola giusta, cresce piano finché quella probabilità resta ragionevole, esplode quando il modello aveva praticamente escluso la risposta corretta. Tutto l'addestramento è la minimizzazione di quel numero: da lì nasce il gradiente che sposta ciascun peso di un'inezia nella direzione che avrebbe reso quel token un po' più probabile, il meccanismo che smonto nella pagina sui pesi. E la barra più alta della demo qui sopra è, letteralmente, la p che finisce dentro quel logaritmo.
Misurare una lingua facendo indovinare il pezzo successivo non è un'idea dei laboratori di oggi: la pubblica Claude Shannon nel 1951 sul Bell System Technical Journal, in «Prediction and Entropy of Printed English». Il metodo è artigianale e geniale: mostra a una persona un testo troncato, le chiede la lettera successiva, conta quanti tentativi le servono per azzeccarla; dalla statistica dei tentativi ricava un limite superiore e uno inferiore all'entropia dell'inglese, cioè all'informazione media — in bit — che ogni lettera porta con sé. Il risultato: con un centinaio di caratteri di contesto si scende nell'ordine di un bit per lettera, contro i circa 4,7 che servirebbero se le ventisei lettere e lo spazio fossero equiprobabili, per una ridondanza vicina al 75%. Un modello linguistico gioca esattamente a quel gioco, con i token al posto delle lettere e una rete al posto della persona, e la sua cross-entropy media convertita in bit è un limite superiore alla stessa quantità che Shannon stimava a mano. Qui la metafora del bambino che impara per immersione mostra la corda: il bambino ha un corpo, degli interlocutori e uno scopo, mentre qui c'è una sola grandezza da far scendere.
L'altra metà della storia è la scala, e i numeri servono. I corpora aperti di oggi si contano in migliaia di miliardi di token: FineWeb, ricavato da 96 istantanee di Common Crawl, ne raccoglie quindicimila miliardi (Penedo et al., 2024). Dall'altra parte ci sono i parametri: GPT-3 ne aveva 175 miliardi (Brown et al., 2020), e se ogni parametro fosse un secondo, contarli tutti porterebbe via più di cinquemilacinquecento anni. Il confronto fra le due cifre dice però una cosa precisa: il testo di partenza si misura in decine di terabyte, i pesi che ne escono in qualche centinaio di gigabyte. Due ordini di grandezza in meno. Quanti dati per quanti parametri non è nemmeno una scelta libera: Jordan Hoffmann e colleghi hanno mostrato che i modelli di allora erano tutti troppo grandi per il testo che avevano letto e che, a parità di potenza di calcolo, conviene raddoppiare i token ogni volta che si raddoppia il modello (Chinchilla, 2022); il loro modello da 70 miliardi di parametri, allenato su quattro volte i dati del predecessore, batte un modello da 280 miliardi.
Il nome tecnico di questo modo di imparare è apprendimento auto-supervisionato (self-supervised): nessuno etichetta niente, perché l'etichetta è già dentro il dato. In un dataset di immagini qualcuno deve scrivere «gatto» sotto ogni foto, e quel qualcuno costa tempo e denaro; qui l'etichetta è la parola che viene dopo, e il testo se la porta dietro gratis. È la ragione per cui questa fase ha potuto scalare fino a inghiottire il web mentre l'annotazione umana, che pure resta indispensabile più avanti, non ha potuto seguirla.
È l'esponenziale della cross-entropy media, e ha il pregio di essere leggibile a occhio: una perplexity di 20 vuol dire che il modello, in media, è indeciso come se dovesse scegliere fra venti token equiprobabili. Chi indovina sempre sta a 1; chi tira a caso su un vocabolario di 50.000 voci sta a 50.000. Serve a confrontare modelli sullo stesso testo, non a dire se un modello è utile: si può abbassare la perplexity e restare del tutto inservibili come assistente, che è esattamente il motivo per cui il pre-training da solo non basta.
Un modello vero stima la probabilità di decine di migliaia di pezzetti di parola a ogni passo: qui ne mostro cinque, per far vedere l'idea. Il cartellino accanto alle barre dice sempre da dove arrivano i numeri: dati reali se il modello ha risposto davvero adesso, esempio illustrativo se quelli che vedi sono valori scritti da me perché il collegamento non c'è.
Complessità della fonte: divulgativa approfondimento tecnica o accademica