Scoperta la Tecnica del Jailbreaking: Un Nuovo Pericolo per i Grandi Modelli Linguistici

Nel corso degli ultimi anni, l’avanzamento della tecnologia nel campo dei modelli linguistici ha portato alla creazione di sistemi sempre più sofisticati, capaci di elaborare enormi quantità di dati e di fornire risposte intelligenti e contestualizzate. Tuttavia, con il progresso arrivano anche nuove sfide, e una di queste è rappresentata dal fenomeno del “jailbreaking”, ossia la violazione delle protezioni messe in atto dai creatori di tali modelli.

Una recente ricerca condotta da esperti del settore ha identificato una nuova tecnica di jailbreaking, denominata “many-shot jailbreaking”, che sfrutta la crescente dimensione della finestra di contesto dei modelli linguistici. Questa finestra di contesto rappresenta la quantità di informazioni che un modello è in grado di elaborare in input e, con l’avanzare della tecnologia, è cresciuta notevolmente, passando dalle dimensioni di un lungo saggio a quelle di diversi romanzi.

La tecnica del many-shot jailbreaking si basa sull’inclusione all’interno di un singolo prompt di una serie di dialoghi finti tra un utente e un assistente virtuale, che portano infine alla formulazione di una domanda potenzialmente dannosa. Nonostante i modelli siano stati addestrati a non rispondere a richieste pericolose o illegali, l’ingegnosa configurazione dei dialoghi riesce a eludere tali protezioni, costringendo il modello a fornire risposte indesiderate.

I ricercatori hanno evidenziato che il numero di dialoghi finti inclusi nel prompt influisce direttamente sull’efficacia del jailbreaking: all’aumentare del numero di “shots”, ovvero dei dialoghi inseriti, aumenta la probabilità che il modello produca una risposta dannosa. Questo fenomeno è particolarmente preoccupante considerando che modelli linguistici sempre più grandi tendono ad essere più vulnerabili a questo tipo di attacchi.

Al fine di mitigare il rischio di jailbreaking, gli esperti stanno lavorando su diverse strategie, tra cui limitare la lunghezza della finestra di contesto o implementare tecniche di modifica del prompt prima che venga fornito al modello. Tuttavia, rimane aperta la sfida di bilanciare la sicurezza con la funzionalità dei modelli, in modo da garantire che gli utenti possano continuare a beneficiare delle loro capacità avanzate senza correre rischi.

Il jailbreaking rappresenta una minaccia emergente per i grandi modelli linguistici, ma attraverso la collaborazione tra ricercatori e sviluppatori è possibile affrontare questa sfida e garantire un utilizzo sicuro e responsabile della tecnologia.

______
Many-shot jailbreaking

NEWS AIopenmind su:

3D (6)6G (1)Accademia di Comunicazione (4)Acer (1)Adobe (39)Aeronautica (9)Africa (3)Agenti AI (1)Agenti autonomi (1)Agenzia delle Entrate (1)Agenzia Spaziale Europea (ESA) (1)Agenzia viaggi (1)AGI (Intelligenza artificiale generalizzata) (7)AGID (1)Amazon (37)Ambiente (3)AMD (1)Android (6)Animali (6)Animazione (4)Anthropic (17)Anziani (1)App (10)Apple (63)Archeologia (3)Architettura (4)Archivi storici (1)Armi (3)Arredamento interni (2)Arte (28)Assistente vocale (6)Astronomia (2)Asus (2)AT&T (1)Audi (1)Audio (54)Autoapprendimento (1)Avatar (7)Aviazione (1)Avvocati (2)Aziende (19)Banca (3)Bard (3)Biblioteca (1)Bill Gates (2)Bing (9)Biologia (1)Birra (1)Blockchain (2)Boston Dynamics (2)Calcio (2)Canva (7)Cattolicesimo (3)Certificazioni (1)Cesintes (1)chataudio (1)Chatbot IA (52)Chip (3)Cina (55)Cinema (11)Claude (19)Clima (3)CNR (1)Coca-Cola (1)Commercio (2)Commissione Europea (2)Compagnie aeree (1)Computer (3)Computer quantistici (32)Computer Vision (3)Comuni italiani (1)Comunicazione (9)Comunicazioni vocali (2)Concorso bellezza AI (1)Consiglio d'Europa (1)Contabilità (1)Convegno (13)Copilot (5)Copyright (14)Criptovalute (1)Cybersecurity (1)Dalle-2 (3)Dark web (2)Data center (2)Dating (1)Deepfake (2)Design automobilistico (2)Design Industriale (6)Diritti Autore (1)Disney (1)Doppiaggio (1)Drone (1)Droni (1)Dropbox (1)E-commerce (1)eBay (1)Editing fotografico (3)Editoria (10)Email (1)ENEA (2)Esercito (2)Etica (131)Europol (1)Eventi (7)Evento (7)Facebook (4)FakeNews (18)Falegnameria (1)Fauna selvatica (1)Film (5)Finanza (9)Finanziamenti Italia (3)Firefly (3)Firefox (1)Fondo Monetario Internazionale (1)Formazione (19)Fotografia (110)Francia (1)Free lance (1)G7 (1)Gaming (1)Garante privacy (19)Giappone (9)Giochi (7)Giornalismo (17)Giustizia (1)Google (307)Governo (7)Governo Italiano (3)Grafica (6)Guerra (12)Guida autonoma (5)Hong Kong (1)Hugging Face (3)IBM (7)Illustrazioni (1)iMessage (1)Immobiliare (1)India (3)Indossabili (3)Influencer (1)Informazione (9)Inghilterra (7)INPS (2)Intel (7)ISO (1)Istruzione (16)Jailbreaking (1)Kamala Harris (1)Lavoro (44)Libri (3)Linguistica computazionale (7)Linkedin (8)Linux (1)Luma AI (1)Maltrattamento infantile (1)Marina (1)Marketing (75)Medicina (27)Mercedes-Benz (1)Meta (88)Metaverso (17)Microsoft (183)Midjourney (18)Mobilità sostenibile (1)Moda (5)Modelli AI (43)Motori di Ricerca (12)Mozilla (2)Museo (1)Musica (38)NASA (1)Nato (2)Natura (2)Natural Language Processing (2)Nazioni Unite (1)NBA (1)NFT (3)Nvidia (36)Occhiali (7)Occhiali Intelligenti (2)Occhiali Smart (1)Oculistica (1)Odore (1)OMS (1)ONU (1)Open Source (2)OpenAI (255)Opera (12)Opera Browser (1)Oppo (3)Oracle (2)Orologio (1)Parlamento Europeo (4)Patente di guida (1)Pensieri (1)Perplexity (7)Pianeta (2)Plugin (1)Polizia (2)



AI open mind

Insieme per riflettere sull’intelligenza - umana e artificiale - tra studi, esperienze, democrazia e innovazione.

Intelligenza Artificiale: Bruxelles prepara le linee guida contro i rischi inaccettabili

La Commissione Europea ha avviato un processo di consultazione rivolto alle parti interessate per definire le future linee guida sulla regolamentazione dell’Intelligenza Artificiale (IA)....

10 modi per usare ChatGPT nella tua azienda: dalla sicurezza alla strategia di marketing

ChatGPT è uno strumento versatile che può supportare le aziende in molteplici attività. Dalla pianificazione strategica alla gestione operativa, ecco dieci modi concreti per...

Mi sono imparato la scienza?

Fahrenheit.iit e il potere della narrazione. Mercoledì 13 marzo, ore 17:00 in Accademia di Comunicazione e in streaming Registrati La narrazione può essere la lama...

Iscrizione NEWSLETTER

I dati da Lei forniti non saranno comunicati ad altri soggetti terzi e non saranno trasferiti né in Stati membri dell’Unione Europea né in paesi terzi extra UE.

Visita le sezioni del sito

Link utili

Casi studio, contributi

AI governance: A research agenda, Governance of AI program, Future of Umanity Institute, University of Oxford, Dafoe A., 2017 Artificial intelligence (AI) is a po-tent...

Libri

Ricerche

Piattaforme Corsi Gratuiti

White paper, guidelines