“Prompt Caching” da parte di Anthropic, che promette di ridurre drasticamente i costi e i tempi di latenza nei modelli AI di Claude 3.5 Sonnet e Claude 3 Haiku. Questo avanzamento, disponibile in beta pubblica, permette agli sviluppatori di memorizzare il contesto frequentemente utilizzato, consentendo così ad Claude di accedere a informazioni preesistenti senza dover rielaborare ogni volta l’intero prompt. Le applicazioni sono molteplici: dagli agenti conversazionali, che potranno mantenere conversazioni più fluide e prolungate, agli assistenti di codifica, fino alla gestione di documenti complessi.
In termini pratici, i risultati sono significativi. In una simulazione con un prompt memorizzato di 100.000 token, il tempo di latenza è stato ridotto del 79%, passando da 11,5 secondi a soli 2,4 secondi. Inoltre, il risparmio economico è altrettanto impressionante, con una riduzione dei costi fino al 90%. Questo strumento diventa quindi fondamentale per tutte quelle situazioni in cui è necessario richiamare più volte lo stesso contesto, garantendo una maggiore efficienza sia in termini di tempo che di denaro.
Notion, una delle prime aziende ad adottare il Prompt Caching, ha dichiarato di aver ottimizzato notevolmente le operazioni interne e migliorato l’esperienza utente, rendendo il loro assistente AI ancora più reattivo. Con il Prompt Caching, il futuro dell’AI si preannuncia più veloce e accessibile.
