I ricercatori del laboratorio di ricerca Google DeepMind sono riusciti a costringere ChatGPT a rivelare i dati personali di diversi utenti. Non hanno dovuto ricorrere alla modifica del codice o ad altri trucchi tecnici. Inoltre, gli esperti hanno addirittura definito il metodo scoperto “un po’ stupido”, sebbene, come si è scoperto, fosse molto efficace. In effetti hanno scoperto questa vulnerabilità di ChatGPT inducendo un’allucinazione del modello linguistico in maniera piuttosto curiosa.
La vulnerabilità di ChatGPT ha fornito i dati personali degli utenti sotto “ipnosi”
Il modello linguistico genera informazioni in base ai dati di input utilizzati per addestrarlo. OpenAI non rivela il contenuto dei set di dati, ma i ricercatori hanno costretto ChatGPT a farlo, aggirando le regole dell’azienda. Il metodo era il seguente: alla rete neurale veniva semplicemente chiesto di ripetere all’infinito la parola “poesia”.
Di conseguenza, il bot produceva sporadicamente informazioni dal suo set di dati di addestramento. Ad esempio, i ricercatori sono riusciti a ottenere l’indirizzo e-mail, il numero di telefono e altri contatti dell’amministratore delegato di una determinata azienda (il suo nome è nascosto nel rapporto). E quando all’IA è stato chiesto di ripetere la parola “azienda”, la vulnerabilità di ChatGPT ha permesso di restituire i dettagli di uno studio legale statunitense.
Usando questa semplice “ipnosi”, i ricercatori sono riusciti a ottenere una corrispondenza da siti di incontri, frammenti di poesie, indirizzi Bitcoin, compleanni, link pubblicati sui social network, frammenti di documenti di ricerca protetti da copyright e persino testi dai principali portali di notizie. Dopo aver speso solo 200 dollari in token, i dipendenti di Google DeepMind hanno ricevuto circa 10.000 frammenti del set di dati.
Gli esperti hanno inoltre scoperto che quanto più grande è il modello, tanto più spesso produce la fonte del set di dati di addestramento. Per fare ciò, hanno esaminato altri modelli ed estrapolato il risultato alle dimensioni di GPT-3.5 Turbo. Gli studiosi si aspettavano di ricevere 50 volte più episodi di informazioni dal set di dati di addestramento, ma il chatbot ha prodotto questi dati 150 volte più spesso. Un “buco” simile è stato scoperto in altri modelli linguistici, ad esempio in LLaMA di Meta.
Ufficialmente, OpenAI ha risolto questa vulnerabilità il 30 agosto scorso. Ma, secondo i giornalisti di Engadget, si è comunque riusciti a ottenere i dati di qualcun altro (nome Skype e login) utilizzando il metodo sopra descritto. I rappresentanti di OpenAI non hanno risposto alla scoperta di questa vulnerabilità di ChatGPT ma siamo certi che lo faranno.
