Nel vasto panorama dell’intelligenza artificiale e dell’apprendimento automatico, uno dei campi di ricerca più attivi è quello dell’imitazione condizionata da obiettivi. In questo ambito, linguaggio naturale e immagini sono stati ampiamente utilizzati come rappresentazioni degli obiettivi. Tuttavia, l’ambiguità del linguaggio naturale e la sovraspecificità delle immagini hanno portato i ricercatori a esplorare nuove modalità di specificazione degli obiettivi. In uno studio innovativo, ricercatori hanno proposto l’uso di schizzi disegnati a mano come modalità per la specificazione degli obiettivi nell’apprendimento visivo per l’imitazione.
Gli schizzi offrono agli utenti la possibilità di fornire rapidamente rappresentazioni visive degli obiettivi, analogamente al linguaggio naturale, ma, simili alle immagini, possono anche aiutare una politica di apprendimento a essere consapevole dello spazio e persino a superare le immagini per disambiguare gli oggetti rilevanti per il compito da quelli irrilevanti.
Il sistema denominato RT-Sketch è stato sviluppato come politica condizionata dall’obiettivo per la manipolazione, che prende uno schizzo disegnato a mano della scena desiderata in input e produce azioni corrispondenti. RT-Sketch è stato addestrato su un dataset di traiettorie abbinate e schizzi di obiettivi generati sinteticamente. La valutazione di questo approccio è stata condotta su sei abilità di manipolazione che coinvolgono la riorganizzazione degli oggetti su un piano di lavoro articolato.
Sperimentalmente è emerso che RT-Sketch è in grado di eseguire su un livello simile agli agenti condizionati da immagini o linguaggio in contesti diretti, mentre raggiunge una maggiore robustezza quando gli obiettivi linguistici sono ambigui o sono presenti distrattori visivi. Inoltre, è stato dimostrato che RT-Sketch ha la capacità di interpretare e agire su schizzi con diversi livelli di specificità, che vanno dai disegni a tratti minimali a quelli dettagliati e colorati.
______
RT-Sketch: Goal-Conditioned Imitation
Learning from Hand-Drawn Sketches
