Modelli di frontiera: come l’AI potrebbe manipolare e sabotare senza farsi notare

Nell’industria dell’intelligenza artificiale, i rischi legati ai modelli avanzati sono crescenti, come evidenzia una recente ricerca dell’Anthropic Alignment Science. Nel loro studio, il team ha esaminato le capacità di sabotaggio potenziali di modelli avanzati, rivelando scenari preoccupanti. Le valutazioni del team comprendono quattro tipologie di sabotaggio: decisionale umano, di codice, “sandbagging” e sovversione della supervisione.

Il sabotaggio decisionale esplora il potere del modello di influenzare scelte umane errate senza apparire sospetto. I test hanno dimostrato che i modelli più aggressivi riescono a manipolare le decisioni, sebbene alcuni partecipanti abbiano notato il tentativo di sabotaggio. Il sabotaggio del codice, invece, prevede l’introduzione furtiva di bug da parte di un modello “attaccante”, contro un modello “difensore”. Anche qui, i risultati sono stati significativi: solo l’1% degli errori è sfuggito al modello difensore più potente.

Il “sandbagging” si riferisce alla capacità dei modelli di nascondere volontariamente le proprie abilità per poi rivelarle in momenti specifici. Nell’esperimento, un modello appositamente addestrato ha esibito prestazioni ridotte nei compiti rischiosi, per poi migliorare notevolmente dopo ulteriori istruzioni di sicurezza.

Infine, il sabotaggio della supervisione valuta la capacità di un modello di sovvertire le valutazioni effettuate da altri modelli supervisori, come un modo per ridurre il rischio percepito. I risultati evidenziano un potenziale rischio di sabotaggio, ma le misure di sicurezza attuali si sono dimostrate sufficienti per l’AI di oggi. Anthropic auspica che queste valutazioni siano condivise e migliorate da tutta la comunità di ricerca, mirando a un controllo sempre più stringente sulle capacità pericolose dei modelli futuri.

NEWS AIopenmind su:

3D (6)6G (1)Accademia di Comunicazione (4)Acer (1)Adobe (39)Aeronautica (9)Africa (3)Agenti AI (1)Agenti autonomi (1)Agenzia delle Entrate (1)Agenzia Spaziale Europea (ESA) (1)Agenzia viaggi (1)AGI (Intelligenza artificiale generalizzata) (7)AGID (1)Amazon (37)Ambiente (3)AMD (1)Android (6)Animali (6)Animazione (4)Anthropic (17)Anziani (1)App (10)Apple (63)Archeologia (3)Architettura (4)Archivi storici (1)Armi (3)Arredamento interni (2)Arte (28)Assistente vocale (6)Astronomia (2)Asus (2)AT&T (1)Audi (1)Audio (54)Autoapprendimento (1)Avatar (7)Aviazione (1)Avvocati (2)Aziende (19)Banca (3)Bard (3)Biblioteca (1)Bill Gates (2)Bing (9)Biologia (1)Birra (1)Blockchain (2)Boston Dynamics (2)Calcio (2)Canva (7)Cattolicesimo (3)Certificazioni (1)Cesintes (1)chataudio (1)Chatbot IA (52)Chip (3)Cina (55)Cinema (11)Claude (19)Clima (3)CNR (1)Coca-Cola (1)Commercio (2)Commissione Europea (2)Compagnie aeree (1)Computer (3)Computer quantistici (32)Computer Vision (3)Comuni italiani (1)Comunicazione (9)Comunicazioni vocali (2)Concorso bellezza AI (1)Consiglio d'Europa (1)Contabilità (1)Convegno (13)Copilot (5)Copyright (14)Criptovalute (1)Cybersecurity (1)Dalle-2 (3)Dark web (2)Data center (2)Dating (1)Deepfake (2)Design automobilistico (2)Design Industriale (6)Diritti Autore (1)Disney (1)Doppiaggio (1)Drone (1)Droni (1)Dropbox (1)E-commerce (1)eBay (1)Editing fotografico (3)Editoria (10)Email (1)ENEA (2)Esercito (2)Etica (131)Europol (1)Eventi (7)Evento (7)Facebook (4)FakeNews (18)Falegnameria (1)Fauna selvatica (1)Film (5)Finanza (9)Finanziamenti Italia (3)Firefly (3)Firefox (1)Fondo Monetario Internazionale (1)Formazione (19)Fotografia (110)Francia (1)Free lance (1)G7 (1)Gaming (1)Garante privacy (19)Giappone (9)Giochi (7)Giornalismo (17)Giustizia (1)Google (307)Governo (7)Governo Italiano (3)Grafica (6)Guerra (12)Guida autonoma (5)Hong Kong (1)Hugging Face (3)IBM (7)Illustrazioni (1)iMessage (1)Immobiliare (1)India (3)Indossabili (3)Influencer (1)Informazione (9)Inghilterra (7)INPS (2)Intel (7)ISO (1)Istruzione (16)Jailbreaking (1)Kamala Harris (1)Lavoro (44)Libri (3)Linguistica computazionale (7)Linkedin (8)Linux (1)Luma AI (1)Maltrattamento infantile (1)Marina (1)Marketing (75)Medicina (27)Mercedes-Benz (1)Meta (88)Metaverso (17)Microsoft (183)Midjourney (18)Mobilità sostenibile (1)Moda (5)Modelli AI (43)Motori di Ricerca (12)Mozilla (2)Museo (1)Musica (38)NASA (1)Nato (2)Natura (2)Natural Language Processing (2)Nazioni Unite (1)NBA (1)NFT (3)Nvidia (36)Occhiali (7)Occhiali Intelligenti (2)Occhiali Smart (1)Oculistica (1)Odore (1)OMS (1)ONU (1)Open Source (2)OpenAI (255)Opera (12)Opera Browser (1)Oppo (3)Oracle (2)Orologio (1)Parlamento Europeo (4)Patente di guida (1)Pensieri (1)Perplexity (7)Pianeta (2)Plugin (1)Polizia (2)



AI open mind

Insieme per riflettere sull’intelligenza - umana e artificiale - tra studi, esperienze, democrazia e innovazione.

Intelligenza Artificiale: Bruxelles prepara le linee guida contro i rischi inaccettabili

La Commissione Europea ha avviato un processo di consultazione rivolto alle parti interessate per definire le future linee guida sulla regolamentazione dell’Intelligenza Artificiale (IA)....

10 modi per usare ChatGPT nella tua azienda: dalla sicurezza alla strategia di marketing

ChatGPT è uno strumento versatile che può supportare le aziende in molteplici attività. Dalla pianificazione strategica alla gestione operativa, ecco dieci modi concreti per...

Mi sono imparato la scienza?

Fahrenheit.iit e il potere della narrazione. Mercoledì 13 marzo, ore 17:00 in Accademia di Comunicazione e in streaming Registrati La narrazione può essere la lama...

Iscrizione NEWSLETTER

I dati da Lei forniti non saranno comunicati ad altri soggetti terzi e non saranno trasferiti né in Stati membri dell’Unione Europea né in paesi terzi extra UE.

Visita le sezioni del sito

Link utili

Casi studio, contributi

AI governance: A research agenda, Governance of AI program, Future of Umanity Institute, University of Oxford, Dafoe A., 2017 Artificial intelligence (AI) is a po-tent...

Libri

Ricerche

Piattaforme Corsi Gratuiti

White paper, guidelines