Da parole a numeri

La barra che hai appena mosso misura una quantità precisa: la similarità coseno, cioè il coseno dell'angolo fra i due vettori. Non la loro distanza, e non è un dettaglio pedante. In spazi con centinaia di dimensioni la lunghezza del vettore dipende in buona parte da quanto una parola è frequente nel corpus, mentre la direzione porta l'informazione semantica: normalizzando si butta via la prima e si tiene la seconda. Ecco perché due parole rare possono risultare vicinissime pur avendo vettori «corti».

L'idea che rende possibile tutto questo ha settant'anni ed è linguistica, non informatica: è l'ipotesi distribuzionale, riassunta dalla formula di John Rupert Firth per cui una parola si conosce dalla compagnia che frequenta. Se «gatto» e «cane» compaiono negli stessi contesti — si accarezzano, mangiano, dormono sul divano — allora un modello che predice il contesto a partire dalla parola è costretto ad assegnare loro coordinate simili. Il significato non viene definito: viene ricostruito dalla co-occorrenza. È anche il limite della faccenda, perché nulla in quello spazio distingue una relazione vera da una regolarità statistica del corpus: se i testi associano una professione a un genere, lo spazio impara anche quello.

Il salto tecnico arriva nel 2013 con word2vec di Tomáš Mikolov e colleghi: addestrando una rete neurale minima a predire le parole vicine si ottengono vettori densi in cui la geometria diventa manipolabile, e da lì l'aritmetica diventata famosa, re − uomo + donna ≈ regina. Vale la pena sapere che quel risultato è più fragile di come viene raccontato: Tal Linzen ha mostrato nel 2016 che in molti casi il vettore «giusto» si ottiene semplicemente prendendo il più vicino al termine di partenza, senza che l'operazione vettoriale aggiunga nulla, e che i test standard vengono superati anche da baseline che ignorano la sottrazione. L'analogia funziona su relazioni molto rappresentate nei dati, non è una legge dello spazio.

Un'ultima distinzione, quella che separa il 2013 dai modelli di oggi. I vettori di word2vec sono statici: «riso» ha una sola posizione, e deve mediare fra il cereale e la risata. Nei transformer l'embedding iniziale è solo il punto di partenza; il vettore che attraversa gli strati è contestuale, ricalcolato in funzione delle parole intorno, ed è per questo che la stessa parola in due frasi diverse finisce in due posizioni diverse. Le dimensioni danno l'ordine di grandezza, e sono più grandi di quanto si immagini: 768 per BERT-base, che con un vocabolario di circa 30.000 token (Devlin et al., 2019) significa 23 milioni di numeri spesi nella sola tabella degli embedding, circa un quinto dei 110 milioni di parametri del modello; 3072 per gemini-embedding-001, il modello che alimenta questa pagina quando il proxy risponde.

E qui arriva il problema che la demo ti mette davanti, lo stesso di chiunque usi embedding sul serio. Quando i vettori sono veri, il coseno non si distribuisce fra −1 e 1 come suggerirebbe la geometria del liceo: si accalca in alto. Il fenomeno ha un nome, anisotropia — le direzioni occupate dai vettori non sono uniformi, stanno tutte dentro un cono stretto — e Kawin Ethayarajh l'ha misurato (EMNLP 2019) arrivando a un caso limite memorabile: nell'ultimo strato di GPT-2 due parole prese a caso hanno in media una similarità coseno quasi perfetta. Se prendessi quel numero alla lettera, «pane» e «regina» risulterebbero parenti stretti. Per questo, quando la pagina lavora sui vettori veri, non ti mostro il coseno grezzo ma la sua posizione relativa: calcolo tutte le 45 coppie possibili delle dieci parole — dieci elementi presi a due a due — assegno 0% alla più lontana e 100% alla più vicina, e distribuisco il resto in mezzo. Il coseno grezzo resta scritto nella didascalia, così vedi di quanto la scala si sposta. In modalità imitazione la barra torna a essere il coseno nudo, perché lì i numeri sono costruiti apposta per essere leggibili.

C'è poi un seguito, e riguarda che cosa ci sia dentro quello spazio oltre alle parole. L'embedding iniziale assegna una posizione a un token, ma nel mezzo della rete i concetti sembrano vivere come direzioni, e non una per neurone: un singolo neurone si accende per cose che non c'entrano nulla fra loro — si chiama polisemanticità — mentre certe combinazioni di neuroni si comportano come unità di significato pulite. Il modo attuale di tirarle fuori è lo sparse autoencoder, una rete addestrata a riscrivere l'attivazione interna come somma di poche componenti, ciascuna delle quali risulta poi interpretabile: nel lavoro di Adly Templeton e colleghi su Claude 3 Sonnet (Anthropic, 2024) ce n'è una che risponde al codice difettoso, una alle vulnerabilità informatiche e una — diventata celebre — al Golden Gate Bridge. Se ti va di vederle con i tuoi occhi, Neuronpedia (Decode Research) ne raccoglie oltre novanta milioni, estratte da più di sedici modelli, e le lascia cercare in linguaggio naturale: scrivi «dogs» o «chemical formulas» e ti restituisce le feature che rispondono a quel concetto, ognuna con la sua scheda. Se è la prima volta, conviene entrare dalla porta giusta: Gemma Scope, la demo guidata costruita con il team di interpretabilità di Google DeepMind nel luglio 2024, parte da zero, fa accendere le feature dentro Gemma 2 e alla fine te le lascia manipolare. È in inglese e vuole uno schermo grande.