Presenting Barkour, a robotic agility benchmark that tests the implementation of low-level locomotion skills useful for movement through real-world environments, along with an ML-based example generalist locomotion policy for quadruped robots. Learn more →… pic.twitter.com/DlXQiJx1Ne
— Google AI (@GoogleAI) May 26, 2023
Google è impegnata nello sviluppo di robot quadrupedi che possano esibire capacità di locomozione robuste e dinamiche, simili a quelle degli animali o degli esseri umani. L’agilità permette a questi robot di muoversi rapidamente ed efficientemente, superando ostacoli e ambienti complessi. Nonostante i progressi compiuti, manca ancora un benchmark ampiamente accettato che misuri in modo completo l’agilità o la mobilità dei robot. Al contrario, i benchmark sono motori di sviluppo dell’apprendimento automatico, come ImageNet per la visione artificiale e OpenAI Gym per l’apprendimento per rinforzo.
Nel documento “Barkour: Misurare l’agilità dei robot quadrupedi a livello animale”, viene presentato il benchmark di agilità Barkour per i robot quadrupedi, insieme a una politica di locomozione generalista basata su un modello Transformer. Ispirandosi alle competizioni di agilità dei cani, un robot a quattro zampe deve dimostrare in sequenza una serie di abilità, tra cui muoversi in diverse direzioni, attraversare terreni accidentati e saltare ostacoli entro un limite di tempo per completare con successo il benchmark. Attraverso un percorso di ostacoli diversificato e impegnativo, il benchmark Barkour stimola i ricercatori a sviluppare controller di locomozione che si muovano velocemente in modo controllabile e versatile. Inoltre, collegando la metrica di prestazione alle performance dei cani reali, viene fornita una misura intuitiva per comprendere le prestazioni dei robot rispetto ai loro omologhi animali.
Sono stati invitati alcuni collaboratori di Google a provare il percorso di ostacoli per verificare che gli obiettivi di agilità fossero realistici e stimolanti. I cani di piccola taglia completano il percorso di ostacoli in circa 10 secondi, mentre le prestazioni tipiche del nostro robot si attestano intorno ai 20 secondi.
Il sistema di punteggio Barkour utilizza un punteggio per ogni ostacolo e un tempo totale del percorso basato sulla velocità dei cani di piccola taglia nelle competizioni di agilità per principianti (circa 1,7 m/s). I punteggi Barkour vanno da 0 a 1, dove 1 corrisponde al robot che supera con successo tutti gli ostacoli nel percorso entro un tempo stimato di circa 10 secondi, il tempo medio necessario per un cane di dimensioni simili per completare il percorso. Il robot riceve penalità per il superamento degli ostacoli, l’incapacità di superare gli ostacoli o il movimento troppo lento.
Il percorso standard consiste in quattro ostacoli unici in un’area di 5m x 5m. Questa configurazione è più densa e più piccola rispetto a una tipica competizione di cani per consentire un facile utilizzo in un laboratorio di robotica. Il robot deve attraversare un insieme
di pali intrecciati, scalare una struttura ad A, saltare un ostacolo largo 0,5 m e infine salire su un tavolo di arrivo. Abbiamo scelto questa combinazione di ostacoli perché mette alla prova una serie variegata di abilità, mantenendo allo stesso tempo una configurazione di dimensioni ridotte. Come avviene nelle competizioni di agilità dei cani, il benchmark Barkour può essere facilmente adattato a un’area di percorso più grande e può includere un numero variabile di ostacoli e configurazioni di percorso.
Il benchmark Barkour richiede lo sviluppo di abilità di locomozione agili. Abbiamo adottato un approccio di apprendimento basato su studente-insegnante combinato con un metodo sim-to-real a zero-shot. Inizialmente, alleniamo abilità specialistiche individuali (insegnanti) per affrontare singoli ostacoli utilizzando metodi di apprendimento per rinforzo. In particolare, sfruttiamo i recenti progressi nella simulazione su larga scala per dotare il robot di abilità individuali, come camminare, scalare pendenze e saltare.
Successivamente, addestramo una politica unica (studente) che esegue tutte le abilità e transizioni necessarie, utilizzando il framework studente-insegnante basato sulle abilità specialistiche precedentemente apprese. Utilizziamo simulazioni per generare dataset di coppie stato-azione per ciascuna delle abilità specialistiche. Questi dataset vengono poi sintetizzati in una singola politica di locomozione generalista basata su un modello Transformer, in grado di affrontare vari terreni e adattare la camminata del robot in base all’ambiente circostante e allo stato del robot.
Durante la messa in opera, accoppiamo la politica di locomozione basata sul Transformer con un controller di navigazione che fornisce comandi di velocità in base alla posizione del robot. La nostra politica addestrata controlla il robot basandosi sulla rappresentazione dell’ambiente circostante come una mappa di elevazione, comandi di velocità e informazioni sensoriali fornite dal robot stesso.
La robustezza e la ripetibilità sono difficili da raggiungere quando si punta alle massime prestazioni e alla velocità massima. Talvolta, il robot può fallire nel superare un ostacolo in modo agile. Per gestire tali situazioni, addestriamo una politica di recupero che consente al robot di riprendersi rapidamente, consentendogli di continuare l’esecuzione del percorso.
Valutiamo la politica di locomozione generalista basata sul Transformer utilizzando robot quadrupedi personalizzati e dimostriamo che ottimizzando per il benchmark proposto otteniamo abilità agili, robuste e versatili per il nostro robot nel mondo reale. Forniamo inoltre un’analisi delle diverse scelte di progettazione nel nostro sistema e del loro impatto sulle prestazioni del sistema.
Concludiamo che lo sviluppo di un benchmark per la robotica a quattro zampe rappresenta un importante primo passo per quantificare
i progressi verso l’agilità a livello animale. Per stabilire una solida base di riferimento, abbiamo adottato un approccio di simulazione al mondo reale a zero-shot, sfruttando la simulazione su larga scala e i recenti avanzamenti nell’addestramento di architetture basate su Transformer. I nostri risultati dimostrano che Barkour è un benchmark stimolante che può essere facilmente personalizzato e che il nostro metodo di apprendimento per risolvere il benchmark fornisce al robot quadrupede una singola politica di basso livello in grado di eseguire una varietà di abilità agili.
Riteniamo che lo sviluppo di un benchmark per la robotica a quattro zampe rappresenti un primo passo importante per quantificare i progressi verso l’agilità a livello animale. L’introduzione del benchmark Barkour e della politica di locomozione basata su Transformer apre la strada a ulteriori ricerche e sviluppi nel campo della robotica agile.
