Un gruppo di ricercatori delle università di Stanford e Washington ha annunciato lo sviluppo di un modello di intelligenza artificiale open-source progettato per competere con il modello “o1” di OpenAI. Sorprendentemente, il team ha realizzato questo risultato con un investimento inferiore ai 50 dollari in risorse cloud.
Il modello, denominato s1-32B, è stato addestrato utilizzando un dataset selezionato di 1.000 domande accompagnate da tracciati di ragionamento. Per ottimizzare le risorse computazionali durante la fase di test, i ricercatori hanno implementato una tecnica chiamata “budget forcing”. Questa metodologia consente di controllare il processo di pensiero del modello, interrompendolo o prolungandolo attraverso l’aggiunta ripetuta del termine “Wait” quando il modello tenta di concludere la generazione. Questo approccio induce il modello a riesaminare le proprie risposte, correggendo spesso eventuali errori di ragionamento.
Dopo una fase di fine-tuning supervisionata sul dataset selezionato e l’applicazione del “budget forcing”, s1-32B ha superato il modello o1-preview di OpenAI in test matematici competitivi, registrando un incremento delle prestazioni fino al 27% in compiti come MATH e AIME24. Inoltre, scalando s1-32B con il “budget forcing”, il modello ha mostrato la capacità di migliorare le proprie performance senza interventi durante la fase di test, passando dal 50% al 57% su AIME24.
Questo sviluppo rappresenta un passo significativo verso la democratizzazione dell’intelligenza artificiale, dimostrando che è possibile ottenere modelli di ragionamento avanzati con risorse limitate. Il team ha reso disponibile il codice sorgente, il modello e il dataset utilizzato su GitHub, promuovendo ulteriormente la ricerca collaborativa nel campo dell’IA.
