La Società Italiana di Elettronica ha intervistato il Prof. Battista Biggio, docente presso il Dipartimento di Ingegneria Elettrica ed Elettronica dell’Università di Cagliari, recentemente insignito del prestigioso titolo di IEEE Fellow. Il riconoscimento, conferito dall’Institute of Electrical and Electronics Engineers (IEEE), è riservato a studiosi che, nel corso della loro carriera, si sono distinti per contributi importanti in uno dei campi di interesse dell’IEEE.
Il Prof. Biggio è un ingegnere elettronico che subito dopo la laurea ha intrapreso un percorso di dottorato spostando il suo focus verso l’informatica. In particolare, ha iniziato a lavorare su tematiche legate alla sicurezza dell’intelligenza artificiale applicata alla cyber-security.
“Uno dei primi problemi che abbiamo affrontato riguardava il riconoscimento delle immagini di spam. Era un campo emergente all’epoca, e ci siamo concentrati su come rendere i sistemi di intelligenza artificiale più robusti contro attacchi mirati”.
Il Prof. Biggio ha spiegato che negli anni in cui ha iniziato a lavorare in questo campo, una tecnica diffusa nelle campagne di spam via email consisteva nell’incapsulare il messaggio di spam all’interno di un’immagine. Si generava uno screenshot del testo, impedendo così ai filtri antispam di analizzarlo direttamente e riconoscerne il contenuto. Per rendere ancora più difficile l’identificazione automatica, le immagini venivano alterate con colori particolari, caratteri distorti oppure sfondi complessi, tutti elementi pensati per offuscare la lettura automatica del testo.
“Abbiamo lavorato su questo problema sviluppando un sistema di rilevazione basato sull’intelligenza artificiale. Parallelamente, abbiamo scoperto che c’erano già studi embrionali che cercavano di modellare il problema come un gioco tra attaccante e difensore: da un lato, il difensore è il modello di intelligenza artificiale che cerca di individuare lo spam; dall’altro, l’attaccante è lo spammer, che cerca di eludere i filtri modificando il messaggio. A quel punto, ci siamo chiesti: quanto sono realmente robusti gli algoritmi di AI contro tentativi mirati di evasione? Cosa accade se un attaccante inizia a cambiare alcune parole nel testo o a manipolare i pixel dell’immagine per ingannare il sistema? Da questa domanda è nata la nostra ricerca sulla sicurezza dell’intelligenza artificiale e la sua capacità di resistere ad attacchi adattivi”.
L’approccio adottato è quindi quello di simulare un attaccante in grado di comprendere il funzionamento dell’algoritmo e di ottimizzare in maniera automatica gli attacchi per evadere i sistemi di rilevazione, manipolando i dati forniti come input all’algoritmo stesso.
“Un attaccante esperto può esaminare il testo per identificare le parole più efficaci da modificare e aggirare così i sistemi di rilevazione. Allo stesso modo, nel caso delle immagini, può individuare e alterare specifici pixel per rendere il contenuto irriconoscibile agli algoritmi di rilevazione. Studiare queste strategie permette di comprendere le vulnerabilità degli algoritmi di machine learning e sviluppare soluzioni per contrastare attacchi sempre più sofisticati”.
L’ingegneria elettronica e la manipolazione dei dati
Contrariamente a quanto ci si potrebbe aspettare, per evadere la rilevazione dei sistemi basati su intelligenza artificiale, non è necessario imitare il comportamento dei dati legittimi (es. ad inserire le parole normalmente usate nelle email legittime), ma è sufficiente generare nuove varianti che si discostano sia dai dati legittimi che da quelli di attacco precedentemente analizzati dall’algoritmo. Ciò dimostra che, nonostante gli algoritmi di intelligenza artificiale siano molto accurati, sono anche estremamente fragili e facili da ingannare. Questo tipo di manipolazione rientra negli attacchi evasivi, che avvengono quando il sistema è già in produzione e mirano a eludere la rilevazione adattandosi alle sue regole.
“Durante un periodo di ricerca in Germania, ho iniziato a studiare altri nuovi tipi di attacchi rivolti ai sistemi di intelligenza artificiale. Insieme ai colleghi ci siamo chiesti cosa accadrebbe se un attaccante riuscisse a manipolare i dati di addestramento, oltre ai dati processati dal sistema una volta in produzione. L’approccio era quello di guardare il problema dal punto di vista dell’attaccante: se avesse il controllo, anche solo parziale, dei dati usati per allenare e costruire il sistema di AI, come potrebbe agire per impedire all’algoritmo di apprendere correttamente?
Abbiamo scoperto una vulnerabilità critica in alcuni modelli e dimostrato che, ottimizzando l’attacco contro il modello vittima, bastano poche modifiche mirate ai dati di addestramento per comprometterne l’apprendimento. In fase di produzione, l’accuratezza del modello sui dati puliti crollava, rendendolo incapace di riconoscere correttamente cifre e testi. Questo dimostra quanto sia fragile l’intelligenza artificiale di fronte a manipolazioni mirate durante l’addestramento, ormai note come attacchi di poisoning (avvelenamento)”.
Nel corso dell’intervista, il Prof. Biggio ha raccontato che, nel 2014, un team di Google Brain ha dimostrato le stesse vulnerabilità agli attacchi evasivi nelle reti neurali profonde, quelle che oggi conosciamo come “deep learning”.
“La cosa interessante è che noi siamo arrivati a questa scoperta partendo dallo studio della sicurezza: ci siamo chiesti come un attaccante informatico potrebbe manipolare i dati forniti all’algoritmo di AI per comprometterne la capacità di riconoscimento in fase operativa. Google Brain, invece, è partito da una prospettiva diversa: capire perché queste reti neurali profonde imparano così bene. Nel loro esperimento, hanno analizzato il comportamento dell’algoritmo cercando di interpretarlo. Si sono chiesti: se parto da un’immagine di uno scuolabus e la modifico progressivamente, quando la rete neurale inizierà a classificarla per esempio come uno struzzo? Si aspettavano di vedere una trasformazione graduale dell’immagine, ma il risultato è stato sorprendente: bastavano piccolissime modifiche ai pixel, quasi impercettibili all’occhio umano, per far sì che l’algoritmo cambiasse completamente la sua classificazione. Questa scoperta ha portato alla definizione di “esempi ostili” (adversarial examples) e da quel momento la ricerca sulla sicurezza del deep learning è esplosa”.
Quando si parla di perturbazione dei dati o di modifica dei pixel di un’immagine, si fa riferimento al modo in cui l’immagine viene rappresentata come una griglia di numeri, dove ogni numero corrisponde all’intensità di un pixel. L’obiettivo è determinare se, per ogni pixel, sia necessario aumentare i livelli di colore, definendo un limite massimo per la perturbazione.
“Ad esempio, si potrebbe stabilire che ogni pixel può variare al massimo di 5 livelli di intensità. Partendo da questa restrizione sul "rumore", si cerca di capire quanto e in che modo tale perturbazione debba essere applicata. La quantità e il tipo di modifica dipendono dalle strategie dell’attaccante e da come quest’ultimo interagisce con il modello, cercando di ingannarlo senza compromettere troppo l’aspetto visivo dell’immagine”.
L’ingegnere elettronico nell’intelligenza artificiale
Il percorso formativo e professionale del Prof. Biggio dimostra come l’ingegneria elettronica sia strettamente connessa all’informatica, soprattutto in un contesto in cui i dati cambiano costantemente e i sistemi devono essere continuamente aggiornati per mantenere la loro efficacia e sicurezza. Il Prof. Biggio riconosce che gli ingegneri elettronici rivestono un ruolo fondamentale nel campo dell'intelligenza artificiale, garantendo che i software siano sempre all'avanguardia e pronti ad affrontare le sfide tecnologiche emergenti. Le competenze degli ingegneri elettronici, che spaziano dalla matematica alla fisica fino all’ottimizzazione numerica, sono essenziali per assicurare la sicurezza e l'affidabilità delle applicazioni.
"Stiamo lavorando al progetto CoEvolution, con l’obiettivo di sviluppare sistemi di AI sicuri e certificabili. Lavoriamo per anticipare gli standard, sviluppando software per testare gli algoritmi e produrre la documentazione necessaria. Una delle particolarità di questi sistemi è che non vengono solo addestrati e messi in produzione, ma devono essere continuamente aggiornati. Un altro progetto in cui siamo coinvolti è ELSA, che mira a creare una rete di eccellenza europea per lo sviluppo di modelli di AI sicuri e affidabili, con un focus sulla riservatezza dei dati. Infine, Sec4AI4Sec è un progetto che si concentra sullo sviluppo di AI sicura e affidabile nel contesto della cyber-security, esplorando aspetti come l'analisi delle tracce di esecuzione delle macchine virtuali per la rilevazione delle intrusioni e la programmazione di software sicuri, migliorando la rilevazione delle vulnerabilità nel codice. In questo progetto, il nostro compito è anche quello di spiegare le decisioni prese dai sistemi di AI che rilevano potenziali vulnerabilità nel codice".