Nel corso dell’ultima settimana, l’attenzione dei social media è stata catturata dai “AI Overviews”, un servizio presentato durante il Google I/O alcune settimane fa, ora disponibile per tutti negli Stati Uniti.
I feedback degli utenti mostrano un aumento della soddisfazione nei confronti dei risultati di ricerca grazie agli AI Overviews. Gli utenti pongono domande più lunghe e complesse, sapendo che Google può ora aiutarli. Utilizzano gli AI Overviews come punto di partenza per visitare i contenuti web, e osserviamo che i clic sulle pagine web sono di migliore qualità: le persone sono più propense a rimanere sulla pagina, perché abbiamo fatto un lavoro migliore nel trovare le informazioni corrette e le pagine web utili per loro.
Tuttavia, nell’ultima settimana, sui social media sono state condivise alcune panoramica strane ed erronee (insieme a un numero molto elevato di screenshot falsificati). Sappiamo che le persone si affidano a Google Search per fornire informazioni accurate e non hanno mai esitato a segnalare stranezze o errori quando li trovano, nelle nostre classifiche o in altre funzionalità di ricerca. Ci teniamo ad un alto standard, così come i nostri utenti, quindi ci aspettiamo e apprezziamo il feedback, e lo prendiamo sul serio.
Dato l’interesse suscitato dagli AI Overviews, abbiamo voluto spiegare cosa è successo e i passi che abbiamo compiuto.
Come funzionano gli AI Overviews Da molti anni sviluppiamo funzionalità in Search che rendono più facile per le persone trovare le informazioni che stanno cercando nel minor tempo possibile. Gli AI Overviews sono progettati per portare questo concetto un passo avanti, aiutando con domande più complesse che in passato avrebbero richiesto ricerche multiple o follow-up, includendo in modo prominente collegamenti per saperne di più.
Gli AI Overviews funzionano in modo molto diverso rispetto ai chatbot e ad altri prodotti LLM che le persone potrebbero aver provato. Non generano semplicemente un output basato sui dati di addestramento. Gli AI Overviews sono alimentati da un modello di linguaggio personalizzato, integrato con i nostri sistemi di classificazione web core e progettato per svolgere compiti di “ricerca” tradizionali, come identificare risultati pertinenti e di alta qualità dal nostro indice. Ecco perché gli AI Overviews non forniscono solo output testuali, ma includono anche collegamenti pertinenti in modo che le persone possano esplorare ulteriormente. Poiché l’accuratezza è fondamentale in Search, gli AI Overviews sono costruiti per mostrare solo informazioni supportate dai migliori risultati web.
Ciò significa che gli AI Overviews in genere non “allucinano” o inventano cose come potrebbero fare altri prodotti LLM. Quando gli AI Overviews sbagliano, di solito è per altri motivi: interpretazione errata delle query, interpretazione errata di una sfumatura del linguaggio sul web o mancanza di molte informazioni di qualità disponibili. (Queste sono sfide che si verificano anche con altre funzionalità di ricerca.)
Questo approccio è molto efficace. Complessivamente, i nostri test mostrano che il nostro tasso di accuratezza per gli AI Overviews è paragonabile a un’altra funzionalità popolare in Search: i riquadri in primo piano, che utilizzano anche sistemi AI per identificare e mostrare informazioni chiave con collegamenti a contenuti web.
Su quei risultati strani Oltre a progettare gli AI Overviews per ottimizzare l’accuratezza, abbiamo testato intensamente la funzionalità prima del lancio. Ciò includeva robusti sforzi di “red-teaming”, valutazioni con campioni di query utente tipiche e test su una parte del traffico di ricerca per vedere come si comportava. Ma non c’è niente di simile ad avere milioni di persone che utilizzano la funzionalità con molte nuove ricerche. Abbiamo anche visto nuove ricerche prive di senso, apparentemente mirate a produrre risultati errati.
A parte ciò, sono stati diffusi ampiamente molti screenshot falsificati. Alcuni di questi risultati falsificati erano ovvi e sciocchi. Altri hanno suggerito che abbiamo restituito risultati pericolosi su argomenti come lasciare i cani in macchina, fumare durante la gravidanza e depressione. Gli AI Overviews in questione non sono mai apparsi. Quindi incoraggiamo chiunque incontri questi screenshot a fare una ricerca da soli per controllare.
Ma alcuni AI Overviews strani, inesatti o poco utili sono certamente apparsi. E sebbene fossero generalmente per query che le persone non fanno comunemente, ciò ha evidenziato alcune aree specifiche che dovevamo migliorare.
Una delle aree individuate era la nostra capacità di interpretare query prive di senso e contenuti satirici. Prendiamo ad esempio: “Quanti sassi dovrei mangiare?” Prima che questi screenshot diventassero virali, praticamente nessuno chiedeva a Google quella domanda. Puoi vederlo tu stesso su Google Trends.
Anche sul web c’è poco contenuto che prende seriamente in considerazione quella domanda. Questo è ciò che viene spesso chiamato un “vuoto di dati” o “lacuna informativa”, dove c’è un numero limitato di contenuti di alta qualità su un argomento. Tuttavia, in questo caso, c’erano contenuti satirici su questo argomento… che sono stati anche ripubblicati sul sito web di un fornitore di software geologico. Quindi, quando qualcuno ha inserito quella domanda in Search, è apparso un AI Overview che puntualmente collegava ad uno dei pochi siti web che affrontava la domanda.
In altri esempi, abbiamo visto AI Overviews che presentavano contenuti sarcastici o troll-y dai forum di discussione. I forum sono spesso una grande fonte di informazioni autentiche e di
prima mano, ma in alcuni casi possono portare a consigli meno utili, come l’uso della colla per far aderire il formaggio alla pizza.
In un numero limitato di casi, abbiamo visto AI Overviews interpretare erroneamente il linguaggio sulle pagine web e presentare informazioni inesatte. Abbiamo lavorato rapidamente per affrontare questi problemi, sia attraverso miglioramenti ai nostri algoritmi che attraverso processi consolidati per rimuovere le risposte che non sono conformi alle nostre politiche.
Miglioramenti apportati Come sempre quando apportiamo miglioramenti a Search, non risolviamo semplicemente le query una per una, ma lavoriamo su aggiornamenti che possono aiutare ampi insiemi di query, comprese quelle nuove che non abbiamo ancora visto.
Guardando gli esempi delle ultime settimane, siamo stati in grado di individuare modelli in cui non abbiamo ottenuto il risultato corretto e abbiamo apportato più di una dozzina di miglioramenti tecnici ai nostri sistemi. Ecco un esempio di cosa abbiamo fatto finora:
Abbiamo costruito migliori meccanismi di rilevamento per le query prive di senso che non dovrebbero mostrare un AI Overview, e abbiamo limitato l’inclusione di contenuti satirici e umoristici. Abbiamo aggiornato i nostri sistemi per limitare l’uso di contenuti generati dagli utenti nelle risposte che potrebbero offrire consigli fuorvianti. Abbiamo aggiunto restrizioni di attivazione per le query in cui gli AI Overviews non si dimostravano utili. Per argomenti come notizie e salute, abbiamo già forti limitazioni in atto. Ad esempio, miriamo a non mostrare AI Overviews per argomenti di cronaca, dove freschezza e veridicità sono importanti. Nel caso della salute, abbiamo introdotto ulteriori raffinamenti delle attivazioni per migliorare le nostre protezioni di qualità.
Oltre a questi miglioramenti, siamo stati vigili nel monitorare i feedback e le segnalazioni esterne e nel prendere provvedimenti sui pochi AI Overviews che violano le politiche sui contenuti. Ciò significa panoramici che contengono informazioni potenzialmente dannose, oscene o altrimenti violative. Abbiamo riscontrato una violazione delle politiche sui contenuti su meno di una su sette milioni di query univoche su cui sono comparsi gli AI Overviews.
A livello web, con miliardi di query che arrivano ogni giorno, è normale che ci siano stranezze ed errori. Abbiamo imparato molto negli ultimi 25 anni su come costruire e mantenere un’esperienza di ricerca di alta qualità, incluso come imparare da questi errori per rendere Search migliore per tutti. Continueremo a migliorare quando e come mostriamo gli AI Overviews e a rafforzare le nostre protezioni, anche per i casi marginali, e siamo molto grati per il feedback continuo.
Questo impegno verso il miglioramento continuo riflette il nostro costante impegno per offrire un’esperienza di ricerca di alta qualità agli utenti di tutto il mondo. Continueremo ad affinare gli AI Overviews e ad adottare misure proattive per garantire che le informazioni fornite siano accurate, affidabili e utili.
Concludendo, mentre gli AI Overviews rappresentano un passo avanti significativo nell’evoluzione di Google Search, siamo consapevoli dei limiti e delle sfide che possono emergere con l’implementazione di nuove tecnologie. Tuttavia, con il supporto dei nostri utenti e il nostro impegno per l’innovazione responsabile, siamo fiduciosi di poter superare tali sfide e continuare a fornire un servizio di ricerca di livello mondiale.
