OpenAI ha creato un team per controllare l’intelligenza artificiale “superintelligente” — poi lo ha lasciato appassire, afferma una fonte
Illustration of Sam Altman and Ilya Sutskever Image Credits: Darrell Etherington with files from Getty under license
Il team Superalignment di OpenAI, incaricato di sviluppare metodi per governare e dirigere i sistemi di intelligenza artificiale “superintelligenti”, aveva ricevuto la promessa del 20% delle risorse computazionali dell’azienda, secondo una persona interna al team. Tuttavia, le richieste per una frazione di quelle risorse venivano spesso negate, impedendo al team di svolgere il proprio lavoro.
Questo problema, tra gli altri, ha portato diversi membri del team a dimettersi questa settimana, incluso il co-leader Jan Leike, un ex ricercatore di DeepMind che, durante la sua permanenza in OpenAI, ha contribuito allo sviluppo di ChatGPT, GPT-4 e del predecessore di ChatGPT, InstructGPT.
Leike ha reso pubbliche alcune delle ragioni delle sue dimissioni venerdi
mattina. “Da tempo non sono d’accordo con la leadership di OpenAI riguardo alle priorità fondamentali dell’azienda, fino a raggiungere un punto di rottura,” ha scritto Leike in una serie di post su X. “Credo che dovremmo dedicare molte più risorse a prepararci per le prossime generazioni di modelli, sulla sicurezza, il monitoraggio, la preparazione, la robustezza contro attacchi, l’allineamento (super), la riservatezza, l’impatto sociale e argomenti correlati. Questi problemi sono estremamente complessi e sono preoccupato che non siamo sulla strada giusta per risolverli.”
OpenAI non ha risposto immediatamente alla richiesta di commento riguardo alle risorse promesse e assegnate a quel team.
Il team Superalignment era stato formato lo scorso luglio, guidato da Leike e dal co-fondatore di OpenAI Ilya Sutskever, che ha anch’egli rassegnato le dimissioni questa settimana. Il team aveva l’ambizioso obiettivo di risolvere le principali sfide tecniche del controllo della superintelligenza artificiale nei successivi quattro anni. Supportato da scienziati e ingegneri della precedente divisione di allineamento di OpenAI e da ricercatori di altre organizzazioni, il team doveva contribuire alla sicurezza sia dei modelli interni che di quelli esterni ad OpenAI, attraverso iniziative come un programma di sovvenzioni per la ricerca.
Il team Superalignment è riuscito a pubblicare una serie di ricerche sulla sicurezza e a destinare milioni di dollari in sovvenzioni a ricercatori esterni. Tuttavia, con il crescente impegno della leadership di OpenAI verso il lancio di nuovi prodotti, il team ha dovuto lottare per ottenere investimenti iniziali più consistenti, investimenti ritenuti fondamentali per la missione dichiarata dell’azienda di sviluppare intelligenza artificiale superintelligente a beneficio dell’umanità.
“La costruzione di macchine più intelligenti degli esseri umani è un’impresa intrinsecamente pericolosa,” ha continuato Leike. “Ma negli ultimi anni, la cultura della sicurezza e i processi sono stati messi in secondo piano rispetto ai prodotti di tendenza.”
La lotta di Sutskever con il CEO di OpenAI, Sam Altman, ha rappresentato una significativa distrazione aggiuntiva. Sutskever, insieme al vecchio consiglio di amministrazione di OpenAI, aveva cercato di licenziare Altman improvvisamente lo scorso anno, citando preoccupazioni sulla trasparenza del CEO. Sotto pressione da parte degli investitori di OpenAI, inclusa Microsoft, e di molti dipendenti dell’azienda, Altman è stato infine reintegrato, gran parte del consiglio si è dimesso e Sutskever non è mai tornato al lavoro.
Secondo la fonte, Sutskever era fondamentale per il team di Superalignment, non solo per il contributo alla ricerca ma anche come ponte tra le varie divisioni di OpenAI. Dopo la partenza di Leike, Altman ha scritto su X che concorda sul fatto che “c’è molto altro da fare” e che si sono “impegnati a farlo.”
Greg Brockman, co-fondatore di OpenAI, ha aggiunto sabato che “dobbiamo avere un ciclo di feedback molto stretto, test rigorosi, considerazione attenta ad ogni passo, sicurezza di livello mondiale e armonia tra sicurezza e capacità.”
Dopo le dimissioni di Leike e Sutskever, John Schulman, un altro co-fondatore di OpenAI, ha assunto la guida dei lavori del team Superalignment, che non sarà più un team dedicato ma un gruppo di ricercatori integrati in varie divisioni dell’azienda. Un portavoce di OpenAI ha descritto questa mossa come un’integrazione più profonda del team.
La paura è che, di conseguenza, lo sviluppo dell’intelligenza artificiale di OpenAI non sarà così focalizzato sulla sicurezza come avrebbe potuto essere.
_____
OpenAI created a team to control ‘superintelligent’ AI — then let it wither, source says
