Una nuova tecnica per far evolvere l’intelligenza artificiale
In un nuovo articolo pubblicato sulla rivista scientifica Nature, i ricercatori specializzati in Intelligenza Artificiale dell’Università di Stanford hanno presentato un nuovo metodo per l’evoluzione dell’I.A. La nuova tecnica utilizza un ambiente virtuale e l’apprendimento con rinforzo per creare agenti virtuali in grado di evolvere sia per quanto riguarda la loro struttura fisica che per le capacità di apprendimento. Questi importanti risultati saranno significativi per il futuro dell’I.A. e della robotica.
In natura, corpo e cervello si evolvono insieme. Attraverso molte generazioni, ogni specie animale è passata attraverso innumerevoli cicli di mutazione per mantenere le caratteristiche di cui ha bisogno nel proprio ambiente.
Tutte queste specie discendono dalla prima forma di vita apparsa sulla Terra a causa dei fattori di selezione dovuti all’ambiente, per cui i discendenti di quei primi esseri viventi si sono evoluti in molti modi diversi.
Tuttavia, replicare l’evoluzione è estremamente difficile, soprattutto per un sistema di intelligenza artificiale poiché dovrebbe cercare una gamma molto ampia di possibili forme, un’operazione estremamente costosa da fare a livello di calcolo.
I ricercatori hanno utilizzato diverse soluzioni e funzionalità predefinite per superare alcune di queste problematiche. Per esempio, la soluzione lamarckiana è la teoria secondo cui un organismo trasmette alla sua prole le caratteristiche fisiche che l’organismo genitore ha acquisito o abbandonato durante la propria vita; rispetto all’ evoluzione darwiniana, in cui gli agenti artificiali trasmettono i loro parametri appresi ai loro discendenti. Un altro approccio, invece, è quello di addestrare diversi sottosistemi separatamente (visione, locomozione, linguaggio, ecc.) e poi applicarli insieme in un sistema di I.A. o robotico finale. Anche se questi approcci accelerano il processo e riducono i costi dell’addestramento e dell’evoluzione degli agenti artificiali, limitano anche la flessibilità e la varietà dei risultati che si possono ottenere.
Nel loro nuovo lavoro, i ricercatori mirano a fare un passo più vicino al reale processo evolutivo, ma mantenendo i costi il più basso possibile. “Il nostro obiettivo è quello di chiarire alcuni principi che regolano le relazioni tra la complessità ambientale, la morfologia evoluta e la capacità di apprendimento del controllo intelligente”, si legge nel documento.
Il loro nuovo approccio si chiama Deep Evolutionary Reinforcement Learning (DERL) [Apprendimento di rinforzo evolutivo profondo], in cui l’agente utilizza l’apprendimento di rinforzo profondo per acquisire le competenze necessarie per massimizzare i suoi obiettivi durante la sua vita. DERL utilizza l’evoluzione darwiniana per cercare soluzioni ottimali nello spazio morfologico, il che significa che quando viene prodotta una nuova generazione di agenti artificiali, essi ereditano solo i tratti fisici e architettonici dei loro genitori (insieme a leggere mutazioni), ma non i parametri appresi.
Per testare il modello hanno usato MuJoCo, un ambiente virtuale che fornisce una simulazione fisica dei corpi rigidi molto accurata. Utilizzando uno spazio di progettazione chiamato UNIversal aniMAL (UNIMAL), l’obiettivo è stato quello di creare morfologie che imparino operazioni di locomozione e manipolazione di oggetti su diversi terreni.
Ogni agente è composto da un genotipo che definisce i propri arti e le proprie articolazioni. Il discendente diretto di ogni agente eredita il genotipo del genitore e passa attraverso mutazioni che possono creare nuovi arti, rimuovere arti esistenti, o fare piccole modifiche alle loro proprietà come i gradi di libertà o la dimensione degli arti.
Ogni agente è addestrato con un apprendimento per rinforzo per massimizzare le ricompense in vari ambienti. Gli agenti le cui strutture fisiche sono più adatte per attraversare il terreno imparano più velocemente ad usare i loro arti per muoversi.
Per testare i risultati del sistema, gli agenti vengono collaudati in 3 tipi di terreno: piano (FT), variabile (VT) e variabile con oggetti modificabili (MVT). Il terreno piatto esercita la minor pressione sulla morfologia degli agenti. I terreni variabili, invece, costringono gli agenti a sviluppare una struttura fisica più versatile che possa permettere loro di scalare i pendii e muoversi intorno agli ostacoli. La variante MVT infine, ha l’ulteriore difficoltà di richiedere agli agenti di manipolare gli oggetti che incontrano per raggiungere i loro obiettivi.
Altri approcci alla I.A. evolutiva tendono a convergere su un’unica soluzione poiché i nuovi agenti ereditano direttamente il corpo e gli apprendimenti dei loro genitori. Ma in DERL, solo i dati morfologici vengono trasmessi ai discendenti, quindi il sistema finisce per creare un diverso insieme di morfologie di successo, compresi agenti bipedi, tripedi e quadrupedi con e senza braccia.
Allo stesso tempo, il sistema mostra tratti dell’effetto Baldwin, che suggerisce che gli agenti che imparano più velocemente sono più propensi a riprodursi e a passare i loro geni alla generazione successiva.
In conclusione, il modello DERL conferma l’ipotesi che ambienti più complessi daranno origine ad agenti più intelligenti. Gli agenti evoluti sono stati testati attraverso 8 compiti diversi, tra cui: il pattugliamento, la fuga, la manipolazione di oggetti e l’esplorazione, mostrando che in generale, gli agenti che si sono evoluti in terreni variabili imparano più velocemente e si comportano meglio degli agenti artificiali che hanno sperimentato solo un terreno piano.
Risultati che sembrano essere in linea con un’altra ipotesi dei ricercatori di DeepMind ovvero che un ambiente complesso, una struttura di ricompensa adeguata e l’apprendimento per rinforzo possono condurre all’emergere di tutti i tipi di comportamenti intelligenti.
L’ambiente DERL rappresenta solo una frazione delle complessità del mondo reale, ma in futuro, i ricercatori amplieranno la gamma dei compiti per valutare meglio come gli agenti potranno migliorare la loro capacità di apprendere comportamenti rilevanti per l’uomo che avranno importanti implicazioni per il futuro dell’intelligenza artificiale e della robotica.
Non è difficile immaginare come l’intelligenza artificiale potrebbe evolversi e superare le capacità umane, è solo una questione di potenza di calcolo. L’intelligenza artificiale diventerà così evoluta da essere incomprensibile per noi? Saremo quindi facilmente ingannabili?
Fonte thenextweb.com
