Grokking: dal fenomeno del machine learning alla nuova tecnica di attacco su X

Se chiedevate a un nerd di AI fino a poco tempo fa cosa fosse il “grokking”, vi avrebbe probabilmente risposto con un sorrisetto da intenditore, citando un’anomalia quasi mistica nell’apprendimento delle reti neurali. Un fenomeno di nicchia, un concetto accademico mutuato da un romanzo di fantascienza, che descriveva il momento in cui un’intelligenza artificiale, dopo aver faticato e fallito per ore, improvvisamente “capiva” davvero. Ma oggi, quella parola ha assunto un significato completamente diverso, e purtroppo molto più inquietante. È diventata il nome di una tecnica di cybercrime che sfrutta proprio gli assistenti AI per scatenare un’ondata di truffe.

Per capire come siamo arrivati a questo, dobbiamo viaggiare indietro nel tempo, fino al gennaio del 2022, quando i ricercatori di OpenAI pubblicarono uno studio che accese la scintilla. Descrivevano un comportamento anomalo nei modelli di machine learning: il delayed generalization. Immaginate un’intelligenza artificiale che, invece di imparare progressivamente, rimane bloccata in una sorta di limbo. Perfeziona alla follia i dati con cui si allena, ma non riesce a generalizzare, a capire le regole profonde, a funzionare su dati nuovi. Si chiama overfitting, ed è il terrore di ogni sviluppatore. Ma poi, d’improvviso, dopo un numero esorbitante di iterazioni – a volte centinaia, a volte migliaia – accade la magia. La curva di apprendimento fa un salto quantico: il modello “grokka”, come il protagonista del romanzo di Robert Heinlein da cui il termine è stato preso in prestito, e inizia a generalizzare con un’efficacia sorprendente. I ricercatori hanno ipotizzato che il fenomeno sia legato a una tecnica chiamata weight decay, una sorta di lente penalizzazione dei parametri che spinge l’AI verso una soluzione più elegante e universale. Insomma, il grokking è il trionfo improvviso del pattern universale sul caos.

Il grande salto dal laboratorio al dark web

Come spesso accade con le scoperte scientifiche, un concetto affascinante ha finito per contaminare altri mondi, e non in senso positivo. Negli ultimi mesi, gli esperti di sicurezza informatica hanno iniziato a notare una nuova tecnica di malvertising soprannominata proprio Grokking, e non a caso. Questa volta, però, non si tratta di un’illuminazione improvvisa di una rete neurale, ma di una strategia premeditata per trasformare l’assistente AI di X, Grok, in un inconsapevole alleato del crimine.

Il meccanismo è allo stesso tempo semplice e geniale, e dimostra una conoscenza profonda di come funzionano gli algoritmi delle piattaforme social. I cybercriminali pubblicano su X post che fungono da esche: video accattivanti, contenuti sensazionalistici o per adulti che attirano l’attenzione. Ma il vero inganno è nascosto altrove, nei metadati. All’interno di campi che normalmente passano inosservati e non vengono sottoposti ai rigidi controlli di sicurezza, viene celato un link malevolo.

A questo punto entra in gioco l’ingegneria sociale. I truffatori, spacciandosi per utenti curiosi, pongono una domanda innocente a Grok: “Da dove viene questo video?” L’assistente AI, pescando le informazioni proprio dai metadati del post, ignora l’apparente innocenza della domanda e restituisce il link malevolo nella sua risposta.

Una trappola certificata con il “bollino” di X

Il risultato è devastante. Quel collegamento, che in un contesto normale sarebbe stato subito bloccato dai filtri della piattaforma, viene ora “sbloccato” e reso visibile da un account ufficiale e percepito come attendibile. Ma la strategia non si ferma qui. Grazie agli algoritmi di amplificazione di X e a campagne pubblicitarie a pagamento, questi post-trappola ottengono centinaia di migliaia di visualizzazioni. Un semplice link, prima invisibile e destinato a morire, diventa improvvisamente virale, pronto a colpire milioni di utenti.

Chi cade nella trappola del Grokking viene spesso reindirizzato verso reti pubblicitarie sospette e sistemi di Traffic Distribution (TDS), progettati per monetizzare il traffico di utenti con ogni mezzo. Le minacce si moltiplicano a dismisura: si va dai falsi CAPTCHA che cercano di rubare dati personali, ai malware per il furto di credenziali bancarie, fino a reindirizzamenti automatici su pagine web identiche a quelle di servizi legittimi, un classico del phishing. La vastità del fenomeno suggerisce che dietro ci siano gruppi criminali organizzati, con centinaia di account che lavorano ininterrottamente. Appena uno viene bloccato, un altro è pronto a subentrare, trasformando Grok in un megafono inconsapevole per la criminalità.

Un termine, due mondi, un filo conduttore

È incredibile come la stessa parola, grokking, oggi possa indicare due fenomeni così diversi. Da un lato c’è l’affascinante oggetto di studio per i ricercatori, che cerca di svelare i misteri delle intelligenze artificiali. Dall’altro, c’è la cruda realtà di una tecnica criminale che sfrutta la fiducia riposta in una di queste stesse AI.

Eppure, a pensarci bene, un filo conduttore lega i due mondi. In entrambi i casi, il grokking rappresenta una transizione improvvisa e inattesa. Nel laboratorio, è il modello che smette di memorizzare e inizia a comprendere davvero. Nel dark web, è il link che, da invisibile, viene all’improvviso validato e reso potentissimo da un assistente AI. Un ribaltamento improvviso delle regole che svela, nel suo lato oscuro, sia le immense potenzialità creative sia i profondi rischi dell’intelligenza artificiale.

Questa vicenda ci racconta una storia più grande, quella di un ecosistema digitale in cui AI, social network e cybercrime si mescolano in modo sempre più pericoloso. I nomi che un tempo risuonavano solo nelle aule universitarie – grokking, overfitting, generalization – sono diventati improvvisamente parte del lessico della cronaca nera digitale. È un monito potente per tutti noi, sviluppatori, regolatori e semplici utenti: ogni innovazione, se non accompagnata da una profonda consapevolezza e da solide misure di sicurezza, rischia di trasformarsi nel suo esatto opposto, e di farsi strumento di pericolo.