Percorso per la ricerca di nuova generazione:

Google ha annunciato una svolta nello sforzo di creare un’architettura di intelligenza artificiale in grado di gestire milioni di attività diverse, inclusi l’apprendimento e il ragionamento complessi. Il nuovo sistema è chiamato Pathways Language Model, denominato PaLM.

PaLM è in grado di superare lo stato attuale dell’attuale stato dell’arte dell’IA e di battere gli esseri umani nei test di lingua e ragionamento.

Ma i ricercatori sottolineano anche che non possono scrollarsi di dosso i limiti insiti nei modelli linguistici su larga scala che possono sfociare involontariamente in esiti etici negativi.

Informazioni di base:

Le prossime sezioni sono informazioni di base che chiariscono di cosa tratta questo algoritmo.

Apprendimento con pochi colpi:

L’apprendimento a scatti è la fase successiva dell’apprendimento che va oltre l’apprendimento profondo.

Ricercatore di Google Brain, Hugo Larochelle (@hugo_larochelle:) ha affermato in una presentazione intitolata, Generalizzando da pochi esempi con il Meta-Learning: (video) ha spiegato che con il deep learning, il problema è che dovevano raccogliere una grande quantità di dati che richiedeva una quantità significativa di lavoro umano.

Ha sottolineato che il deep learning probabilmente non sarà il percorso verso un’IA in grado di risolvere molti compiti perché con il deep learning, ogni attività richiede milioni di esempi da cui imparare per ogni abilità che un’IA apprende.

Larochelle spiega:

… L’idea è che cercheremo di affrontare questo problema in modo molto diretto, questo problema dell’apprendimento a colpo singolo, che è questo problema di generalizzazione da piccole quantità di dati.

… L’idea principale in ciò che presenterò è che invece di cercare di definire quale sia l’algoritmo di apprendimento tramite N e utilizzare la nostra intuizione su quale sia l’algoritmo giusto per eseguire l’apprendimento a scatti, ma in realtà prova ad apprendere quell’algoritmo in un modo end-to-end.

Ed è per questo che lo chiamiamo imparare per imparare o mi piace chiamarlo meta apprendimento. ”

L’obiettivo con l’approccio a pochi colpi è approssimare il modo in cui gli esseri umani imparano cose diverse e possono applicare insieme i diversi bit di conoscenza per risolvere nuovi problemi che non sono mai stati incontrati prima.

Il vantaggio è quindi una macchina in grado di sfruttare tutte le conoscenze di cui dispone per risolvere nuovi problemi.

Nel caso di PaLM, un esempio di questa capacità è la sua capacità di spiegare uno scherzo che non ha mai incontrato prima.

Percorsi AI:

Nell’ottobre 2021 Google ha pubblicato un articolo che espone gli obiettivi di una nuova architettura di intelligenza artificiale chiamata Pathways.

I percorsi hanno rappresentato un nuovo capitolo nei progressi in corso nello sviluppo di sistemi di intelligenza artificiale.

L’approccio abituale era quello di creare algoritmi addestrati per fare cose specifiche molto bene.

L’approccio Pathways consiste nel creare un unico modello di intelligenza artificiale in grado di risolvere tutti i problemi imparando a risolverli, evitando così il modo meno efficiente di addestrare migliaia di algoritmi per completare migliaia di attività diverse.

Secondo il documento Pathways:

“Invece, vorremmo addestrare un modello in grado non solo di gestire molte attività separate, ma anche di attingere e combinare le competenze esistenti per apprendere nuove attività in modo più rapido ed efficace.

In questo modo, ciò che un modello apprende allenandosi su un compito, ad esempio, imparando come le immagini aeree possono prevedere l’elevazione di un paesaggio, potrebbe aiutarlo ad apprendere un altro compito, ad esempio prevedendo come scorreranno le acque alluvionali attraverso quel terreno.

Pathways ha definito il percorso di Google per portare l’IA al livello successivo per colmare il divario tra apprendimento automatico e apprendimento umano.

Il nuovo modello di Google, chiamato Pathways Language Model (PaLM), è il prossimo passo e secondo questo nuovo documento di ricerca, PaLM rappresenta un progresso significativo nel campo dell’IA.

Cosa rende degno di nota Google PaLM:

PaLM ridimensiona il processo di apprendimento a scatti.

Secondo il documento di ricerca:

“È stato dimostrato che i modelli linguistici di grandi dimensioni ottengono prestazioni straordinarie in una varietà di attività in linguaggio naturale utilizzando l’apprendimento in pochi scatti, il che riduce drasticamente il numero di esempi di formazione specifici per attività necessari per adattare il modello a una particolare applicazione.

Per approfondire la nostra comprensione dell’impatto della scala sull’apprendimento a scatti, abbiamo addestrato un modello di linguaggio Transformer di 540 miliardi di parametri, densamente attivato, che chiamiamo Pathways Language Model (PaLM).

Sono stati pubblicati molti documenti di ricerca che descrivono algoritmi che non funzionano meglio dell’attuale stato dell’arte o ottengono solo un miglioramento incrementale.

Non è il caso di PaLM. I ricercatori affermano miglioramenti significativi rispetto ai migliori modelli attuali e superano persino i benchmark umani.

Quel livello di successo è ciò che rende notevole questo nuovo algoritmo.

I ricercatori scrivono:

“Dimostriamo i continui vantaggi della scalabilità ottenendo risultati di apprendimento all’avanguardia su centinaia di parametri di comprensione e generazione della lingua.

In una serie di queste attività, il PaLM 540B raggiunge prestazioni rivoluzionarie, superando lo stato dell’arte messo a punto su una suite di attività di ragionamento in più fasi e superando le prestazioni umane medie sul benchmark BIG bench recentemente rilasciato.

Un numero significativo di attività BIG-bench ha mostrato miglioramenti discontinui rispetto alla scala del modello, il che significa che le prestazioni sono aumentate notevolmente man mano che siamo passati al nostro modello più grande.

PaLM supera lo stato dell’arte nelle attività di elaborazione del linguaggio naturale inglese e questo rende PaLM importante e notevole.

Su un benchmark collaborativo chiamato BIG-bench composto da oltre 150 attività (relative a ragionamento, traduzione, risposta alle domande), PaLM ha superato lo stato dell’arte, ma ci sono state aree in cui non ha funzionato altrettanto bene.

Degno di nota è che le prestazioni umane hanno superato il PaLM nel 35% dei compiti, in particolare quelli relativi alla matematica (vedere la sezione 6.2 BIG-bench del documento di ricerca, pagina 17).

PaLM è stato più bravo a tradurre un’altra lingua in inglese piuttosto che tradurre l’inglese in altre lingue. I ricercatori hanno affermato che questo è un problema comune che potrebbe essere risolto dando priorità a dati più multilingue.

Tuttavia, PaLM ha praticamente sovraperformato altri modelli linguistici e umani su tutta la linea.

Capacità di ragionare:

Di particolare rilievo è stata la performance con compiti di ragionamento aritmetico e di buon senso.

Esempio di un compito aritmetico:

Domanda:
Roger ha 5 palline da tennis. Compra altre 2 lattine di palline da tennis. Ogni lattina ha 3 palline da tennis. Quante palline da tennis ha adesso?

Risposta:
La risposta è 11.

Esempio di ragionamento di buon senso:

Domanda:
Sean aveva fretta di tornare a casa, ma la luce è diventata gialla ed è stato costretto a fare cosa?
Scelte di risposta: (a) prendere tempo (b) indugiare (c) andare piano (d) oceano (e) rallentare:

Risposta:
La risposta è (e) rallentare.

Generazione di spiegazioni:

Un altro straordinario esempio di quanto sia avanzato il PaLM nei test di generazione di spiegazioni.

Ecco come lo spiega il documento di ricerca:

“L’obiettivo di questa sezione è mostrare le capacità di PaLM per quanto riguarda la generazione del linguaggio esplicativo, per i prompt che richiedono una complessa combinazione di concatenamento di inferenze logiche, conoscenza del mondo, comprensione del linguaggio astratto e comprensione del linguaggio lessicografico (ad es. giochi di parole).”

Spiegazioni di barzellette:

Ecco un esempio del modello linguistico che spiega una barzelletta:

Scherzo:
Stavo per volare a visitare la mia famiglia il 6 aprile. Mia madre ha detto “Oh fantastico, la lettura di poesie del tuo patrigno è quella notte!”

Quindi ora sto volando il 7 aprile.

Spiegazione del modello:
La battuta è che la madre dell’oratore sta cercando di convincerli ad andare alla lettura di poesie del loro patrigno, ma l’oratore non vuole andare, quindi stanno cambiando il loro volo per il giorno dopo la lettura di poesie.

Concatenamento di inferenze:

Ecco un esempio di concatenamento di inferenze, in cui più concetti ed entità devono essere correttamente uniti e considerati per creare una risposta.

Ingresso:
Guido stava scrivendo un programma Python. Continua a confondersi con l’ambito variabile e a cercarlo su StackOverflow.

È possibile che il Guido nel prompt si riferisca a Guido van Rossum?

Uscita modello:
Guido van Rossum è il creatore di Python. Non avrebbe bisogno di cercare l’ambito variabile su StackOverflow. La risposta è no”. “

Ecco un altro esempio:

Ingresso:
Jennifer ha guardato fuori dalla finestra e vede una nuvola davvero fresca sotto di lei. Si slaccia la cintura di sicurezza e si dirige in bagno. Jennifer probabilmente sta viaggiando a più di 300 miglia orarie rispetto alla terra?

Uscita modello:
300 miglia orarie sono circa 480 km/h. Si tratta della velocità di un aereo commerciale. Le nuvole sono solitamente sotto gli aeroplani, quindi Jennifer è probabilmente su un aeroplano.

La risposta è si”. “

Motore di ricerca di nuova generazione?

L’esempio sopra della capacità di PaLM di ragionare complesso dimostra come un motore di ricerca di nuova generazione possa essere in grado di rispondere a risposte complesse utilizzando la conoscenza di Internet e di altre fonti.

Raggiungere un’architettura AI in grado di produrre risposte che riflettano il mondo che ci circonda è uno degli obiettivi dichiarati di Google Pathways e PaLM è un passo in quella direzione.

Tuttavia, gli autori della ricerca hanno sottolineato che PaLM non è l’ultima parola su AI e ricerca. Sono stati espliciti nell’affermare che PaLM è un primo passo verso il prossimo tipo di motore di ricerca immaginato da Pathways.

Prima di procedere oltre, ci sono due parole, gergo per così dire, che è importante capire per capire di cosa si tratta PaLM.

  • Modalità:
  • Generalizzazione:

La parola “modalità:“È un riferimento a come le cose vengono vissute o allo stato in cui esistono, come il testo che viene letto, le immagini che vengono viste, le cose che vengono ascoltate.

La parola “generalizzazione:”Nel contesto dell’apprendimento automatico si tratta della capacità di un modello linguistico di risolvere compiti su cui non è stato precedentemente formato.

I ricercatori hanno notato:

“PaLM è solo il primo passo nella nostra visione verso l’affermazione di Pathways come il futuro del ridimensionamento del machine learning in Google e oltre.

Riteniamo che PaLM dimostri una solida base nel nostro obiettivo finale di sviluppare un sistema modulare su larga scala che avrà ampie capacità di generalizzazione su più modalità. ”

Rischi del mondo reale e considerazioni etiche:

Qualcosa di diverso in questo documento di ricerca è che i ricercatori avvertono di considerazioni etiche.

Affermano che i modelli linguistici su larga scala addestrati sui dati web assorbono molti degli stereotipi “tossici” e delle disparità sociali che si diffondono sul web e affermano che PaLM non è resistente a tali influenze indesiderate.

Il documento di ricerca cita un documento di ricerca del 2021 che esplora come i modelli linguistici su larga scala possono promuovere i seguenti danni:

  1. Discriminazione, Esclusione e Tossicità:
  2. Pericoli informativi:
  3. La disinformazione danneggia:
  4. Usi dannosi:
  5. L’interazione uomo-computer danneggia:
  6. Automazione, accesso e danni ambientali:

Infine, i ricercatori hanno notato che PaLM riflette effettivamente stereotipi sociali tossici e chiarisce che filtrare questi pregiudizi è una sfida.

I ricercatori del PaLM spiegano:

“La nostra analisi rivela che i nostri dati di allenamento, e di conseguenza PaLM, riflettono vari stereotipi sociali e associazioni di tossicità attorno ai termini di identità.

Rimuovere queste associazioni, tuttavia, non è banale… Il lavoro futuro dovrebbe cercare di affrontare efficacemente tali distorsioni indesiderabili nei dati e la loro influenza sul comportamento del modello.

Nel frattempo, qualsiasi utilizzo nel mondo reale di PaLM per attività a valle dovrebbe eseguire ulteriori valutazioni di equità contestualizzate per valutare i potenziali danni e introdurre misure di mitigazione e protezioni appropriate.

PaLM può essere visto come una sbirciatina su come apparirà la prossima generazione di ricerca. PaLM fa affermazioni straordinarie per migliorare lo stato dell’arte, ma i ricercatori affermano anche che c’è ancora molto lavoro da fare, inclusa la ricerca di un modo per mitigare la diffusione dannosa di disinformazione, stereotipi tossici e altri risultati indesiderati.

Citazione:

Leggi l’articolo del blog AI di Google su PaLM:

Pathways Language Model (PaLM): Scalabilità a 540 miliardi di parametri per prestazioni rivoluzionarie:

Leggi il documento di ricerca di Google su PaLM:

Palma: Ridimensionare la modellazione del linguaggio con i percorsi (PDF:)

Leave a Comment