NVIDIA ha recentemente annunciato Nemotron-4 340B, una famiglia di modelli aperti progettati per generare dati sintetici utilizzabili per l’addestramento di grandi modelli linguistici (LLM) in applicazioni commerciali in diversi settori come sanità, finanza, manifattura e vendita al dettaglio. L’obiettivo di NVIDIA è fornire ai sviluppatori un modo scalabile e gratuito per generare dati sintetici di alta qualità, riducendo i costi e le difficoltà legate all’accesso a dataset robusti.
Il Nemotron-4 340B comprende modelli di base, di istruzione e di ricompensa che formano una pipeline per generare e affinare dati sintetici. Questi modelli sono ottimizzati per funzionare con NVIDIA NeMo, un framework open-source per l’addestramento end-to-end di modelli, e con NVIDIA TensorRT-LLM per l’inferenza. I modelli Nemotron-4 340B sono già disponibili per il download su Hugging Face e presto saranno accessibili anche su ai.nvidia.com.
L’importanza dei dati di addestramento di alta qualità è cruciale per le prestazioni, l’accuratezza e la qualità delle risposte di un LLM personalizzato. Il modello Nemotron-4 340B Instruct genera dati sintetici che imitano le caratteristiche dei dati del mondo reale, migliorando così la qualità dei dati per aumentare le prestazioni degli LLM personalizzati. Successivamente, il modello Nemotron-4 340B Reward valuta e filtra le risposte per garantire alta qualità in termini di utilità, correttezza, coerenza, complessità e verbosità.
Nemotron-4 340B offre inoltre possibilità di personalizzazione attraverso il modello base, utilizzando dati proprietari e il dataset HelpSteer2 incluso. L’uso del framework NeMo e di TensorRT-LLM consente agli sviluppatori di ottimizzare l’efficienza dei modelli di istruzione e di ricompensa per generare e valutare dati sintetici in modo efficace.
Nemotron-4 340B è stato sottoposto a rigorose valutazioni di sicurezza, inclusi test avversariali, dimostrando buone prestazioni su vari indicatori di rischio. Tuttavia, NVIDIA raccomanda agli utenti di valutare attentamente gli output del modello per assicurarsi che siano adatti, sicuri e accurati per i loro casi d’uso.
_____
NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models
