Un gruppo di ricercatori ha introdotto un nuovo benchmark che valuta le capacità di ragionamento dei modelli di linguaggio di grandi dimensioni (LLM) senza richiedere conoscenze specialistiche di livello dottorale. Basato sul “NPR Sunday Puzzle Challenge“, questo set di problemi utilizza enigmi che richiedono conoscenze generali, risultando impegnativi sia per gli esseri umani che per le macchine, ma con soluzioni facili da verificare.
Tradizionalmente, i benchmark per LLM testano competenze altamente specializzate, rendendo difficile per i non esperti comprendere e valutare le risposte. Questo nuovo approccio mira a colmare tale lacuna, focalizzandosi su problemi che il pubblico generale può comprendere, anche se la soluzione richiede un notevole sforzo cognitivo.
I ricercatori hanno compilato un dataset di quasi 600 problemi tratti dalle sfide settimanali del “NPR Sunday Puzzle”. Questi enigmi, spesso basati su giochi di parole, sono stati selezionati per essere comprensibili ma non facilmente risolvibili, garantendo che le risposte, una volta rivelate, appaiano corrette ed eleganti.
Testando vari modelli di ragionamento su questo benchmark, è emerso che OpenAI o1 ha ottenuto un’accuratezza del 59%, superando significativamente altri modelli come DeepSeek R1. Quest’ultimo, in particolare, ha mostrato nuove tipologie di fallimenti, spesso arrendendosi con risposte come “I give up” prima di fornire una soluzione errata. In alcuni casi, R1 ha mostrato incertezza notevole o non ha completato il processo di ragionamento, suggerendo la necessità di tecniche che aiutino il modello a “concludere” prima di raggiungere il limite del contesto.
L’analisi dei risultati ha evidenziato anche errori noti, come sbagli nei calcoli aritmetici su numeri piccoli, e nuovi tipi di fallimenti, dove i modelli rinunciano dopo diversi minuti, producendo risposte che sanno essere errate o affermando che la domanda è impossibile da risolvere. Tuttavia, quando viene chiesto al modello di verificare e spiegare perché la risposta corretta è tale, spesso riesce nel compito di verifica, anche se ha fallito nel trovare la soluzione inizialmente.
Questo lavoro mette in luce le differenze nelle capacità dei modelli di ragionamento che non sono evidenti nei benchmark esistenti e suggerisce aree di miglioramento per i futuri sviluppi nell’ambito dell’intelligenza artificiale.
