L’intelligenza artificiale oggi è sulla bocca di tutti. Oramai la sappiamo utilizzare: basta accedere ad internet e usare piattaforme come ChatGPT, Dall-E e Synthesia. A tal proposito, stiamo preparando un interessante articolo che parlano di 10 siti internet che utilizzano l’intelligenza artificiale per fare cose molto diverse tra loro. Ma detto ciò, prendiamo l’esempio dell’AI più usata. Come è nata e come si è arrivati alla versione che oggi, noi tutti, possiamo usare gratuitamente?
Oggi molti di noi usano ChatGPT ma non tutti sanno cosa c’è dietro e come ci siamo arrivati. Ecco una cronistoria dagli anni ’80 ad oggi
Partiamo dagli anni ’80: Recurrent Neural Networks
ChatGPT è una versione di GPT-3, un grandissimo modello linguistico sviluppato da OpenAI. I modelli linguistici sono un tipo di rete neurale che è stata addestrata su moltissimi testi. Le reti neurali sono software ispirati al modo in cui i neuroni nel cervello degli esseri umani comunicano a vicenda. Poiché un qualsiasi testo è composto da sequenze di lettere e parole di lunghezza variabile, i modelli linguistici richiedono un tipo di rete neurale in grado di dare un senso a questo tipo di dati. Le reti neurali ricorrenti (Recurrent Neural Networks) inventate negli anni ’80, possono gestire sequenze di parole, ma sono lente da addestrare e possono dimenticare le parole precedentemente apprese in una sequenza. Le LSTM potevano gestire stringhe di testo di diverse centinaia di parole, ma le loro capacità linguistiche erano limitate. Cosa sono? Acronimo per “Long short-term memory” o “memoria lunga a breve termine” è una rete neurale artificiale utilizzata nei campi dell’intelligenza artificiale
Leggi anche: Google conferma la compatibilità dei contenuti generati da Chatbot e AI
2017: l’anno della svolta dell’intelligenza artificiale con i Transformers
La svolta che ha portato all’attuale generazione di modelli linguistici di grandi dimensioni è arrivata quando un team di ricercatori di Google ha inventato i Trasformatori, un tipo di rete neurale in grado di tenere traccia di dove ogni parola o frase appare in una sequenza. Capirete da voi che il più grande problema delle LSTM è superato. Ma come ci sono riusciti? Entra nella tecnologia il concetto di linguistica applicata. Il significato di una parola dipende spesso dal significato di altre parole che la precedono o la seguono. Tenendo traccia di queste informazioni contestuali, i trasformatori possono gestire stringhe di testo più lunghe e catturare il significato delle parole con maggiore precisione. Ad esempio, “hot dog” ha un significato molto diverso nelle frasi “Agli hot dog preferisco gli hamburger” e “Gli hot dog vanno mangiati con la senape“. In sostanza le informazioni contestuali, che sono quelle che gli esseri umani carpiscono e le macchine no, hanno permesso di fare la differenza.
2018-2019: gli anni dello sviluppo di GPT
I primi due grandi modelli linguistici di OpenAI sono arrivati a pochi mesi di distanza l’uno dall’altro. L’azienda ha voluto sviluppare un’intelligenza artificiale polivalente e generica e ritiene che i modelli linguistici di grandi dimensioni siano un passo fondamentale verso questo obiettivo. In questo modo il software è in grado di individuare da solo gli schemi nei dati, senza che gli venga detto cosa sta guardando o leggendo. Molti successi precedenti nell’apprendimento automatico si sono basati sull’apprendimento supervisionato e su dati annotati, ma l’etichettatura manuale dei dati è un lavoro lento che limita le dimensioni dei set di dati disponibili per l’addestramento. È stato il GPT-2 a creare il maggior scalpore. Infatti, OpenAI ha dichiarato di essere così preoccupata che le persone potessero usare GPT-2 “per generare un linguaggio ingannevole, distorto o abusivo” che non avrebbe rilasciato il modello completo. Ma non è finita qui.
Se GPT-2 era impressionante, il seguito di OpenAI, il GPT-3, ha fatto letteralmente la rivoluzione. La sua capacità di generare testi simili a quelli umani ha rappresentato un grande balzo in avanti. GPT-3 può rispondere a domande, riassumere documenti, generare storie in diversi stili, tradurre tra inglese, francese, spagnolo e giapponese e molto altro ancora. Tuttavia, non può ancora sostituire un essere umano perché manca delle caratteristiche fondanti dell’umanità. Ne abbiamo parlato in maniera approfondita in questo articolo.
Fonte | MIT
