OpenAI ha annunciato lo sviluppo di un modello innovativo chiamato CriticGPT, basato su GPT-4, progettato per individuare e correggere gli errori nelle risposte generate da ChatGPT. CriticGPT è stato addestrato per scrivere critiche dettagliate sui risultati di ChatGPT, facilitando il compito degli addestratori umani nel rilevare inesattezze durante il processo di Reinforcement Learning from Human Feedback (RLHF).
Il modello CriticGPT ha dimostrato di essere estremamente efficace: gli utenti che utilizzano CriticGPT per revisionare il codice di ChatGPT ottengono prestazioni migliori rispetto a quelli che operano senza il suo supporto, con un miglioramento del 60% delle loro prestazioni. Questo strumento viene ora integrato nel processo di etichettatura di RLHF, offrendo un’assistenza esplicita agli addestratori umani.
Uno dei principali vantaggi di CriticGPT è la sua capacità di rilevare errori che potrebbero sfuggire all’occhio umano, soprattutto man mano che ChatGPT diventa sempre più accurato e le sue inesattezze più sottili. CriticGPT è stato addestrato su un ampio numero di input contenenti errori, che doveva poi criticare. Questo processo ha permesso di migliorare significativamente la qualità delle critiche prodotte dal modello.
Secondo gli studi condotti, le critiche di CriticGPT sono preferite dai trainer umani nel 63% dei casi, grazie alla riduzione delle “piccolezze” e delle allucinazioni di problemi. Inoltre, utilizzando una ricerca avanzata durante il test, è possibile bilanciare l’aggressività con cui vengono cercati i problemi nel codice, migliorando la precisione delle critiche prodotte.
Nonostante i progressi, CriticGPT presenta ancora alcune limitazioni, soprattutto nel trattare compiti complessi o risposte lunghe. Tuttavia, OpenAI è impegnata a migliorare ulteriormente questo strumento, con l’obiettivo di sviluppare metodi in grado di aiutare i trainer a comprendere e valutare anche i compiti più articolati.
