ImageBind è il primo modello di IA al mondo in grado di vincolare le informazioni da sei modalità diverse, dotando le macchine di una comprensione olistica che connette gli oggetti in una foto con il suono, la loro forma 3D, la loro temperatura e il loro movimento. In questo modo, ImageBind aiuta a far progredire l’IA, consentendo alle macchine di analizzare insieme diverse forme di informazioni.
Il modello apprende un singolo embedding, o spazio di rappresentazione condiviso, non solo per il testo, le immagini/video e l’audio, ma anche per i sensori che registrano la profondità (3D), il calore (radiazione infrarossa) e le unità di misura inerziali (IMU), che calcolano il movimento e la posizione. ImageBind è in grado di superare i modelli specialistici precedenti addestrati individualmente per una particolare modalità, come descritto nel loro studio.
ImageBind consente di creare immagini dall’audio, come creare un’immagine basata sui suoni di una foresta pluviale o di un mercato affollato. Ciò apre le porte per possibilità future come il riconoscimento, la connessione e la moderazione di contenuti, la generazione di contenuti più ricchi e la creazione di funzioni di ricerca multimodali più ampie.
Per aiutare a creare sistemi di IA multimodali in grado di apprendere da tutti i tipi di dati possibili attorno a loro, ImageBind rappresenta un passo avanti per gli scienziati che cercano di sviluppare nuovi sistemi olistici, come combinare sensori 3D e IMU per progettare o esperire mondi virtuali immersivi.
Invece di creare set di dati con esempi che contengono dati audio e termici da una strada affollata, o dati di profondità e una descrizione testuale di una scogliera, ImageBind dimostra che è possibile creare uno spazio di embedding comune tra molte modalità diverse senza la necessità di addestrare su dati con ogni combinazione diversa di modalità.
ImageBind si integra con gli strumenti di intelligenza artificiale di Meta, come DINOv2, che non richiede la messa a punto per addestrare modelli di visione artificiale ad alte prestazioni, e Segment Anything (SAM), un modello di segmentazione universale che può segmentare qualsiasi oggetto in qualsiasi immagine. ImageBind si concentra sulla rappresentazione multimodale, apprendendo un singolo spazio di embedding allineato per molte modalità diverse, tra cui, ma non solo, immagini e video.
