Pruna AI ha rilasciato in open source il proprio framework per ottimizzare l’inferenza dei modelli di intelligenza artificiale. Compatibile con tutte le principali piattaforme e progettato per essere plug-and-play, promette prestazioni fino al 480% più veloci.
Pruna AI ha annunciato l’apertura del suo framework di ottimizzazione, progettato per rendere più veloce, efficiente e sostenibile l’inferenza dell’intelligenza artificiale. Il framework combina algoritmi avanzati di compressione e tecniche di apprendimento automatico per ridurre tempi, costi e consumo energetico.
I test su Flux, un benchmark nel campo dell’AI generativa, mostrano che l’esecuzione dei modelli può essere 5 volte più rapida e fino a 5 volte meno costosa. Con meno di 60 ms per passo e supporto integrato a LoRA, il framework è già pronto per l’uso in ambienti di produzione ad alta intensità di calcolo.
Pruna AI funziona con qualsiasi modello, è compatibile con piattaforme come ComfyUI e TritonServer e può essere usato in locale o nel cloud. La semplicità di utilizzo – bastano poche righe di codice – lo rende accessibile anche a team con risorse limitate.
La versione open source include strumenti per la valutazione della qualità, la gestione dei flussi e l’integrazione immediata con framework già esistenti. Una scelta strategica che punta a democratizzare l’accesso a tecnologie di ottimizzazione AI di alto livello.
In un momento in cui l’efficienza energetica e la sostenibilità diventano temi chiave, Pruna AI si posiziona come alleato fondamentale per sviluppatori, startup e grandi aziende.
Fonti
