In questo articolo, Srikrishna Shankavaram, Principal Cyber Security Architect di Zebra Technologies, analizza l’importanza di rafforzare l’infrastruttura software della supply chain e la governance per proteggere i sistemi di AI. Viene inoltre evidenziata l’iniziativa della Coalition for Secure AI (CoSAI), che affronta le vulnerabilità lungo tutto il ciclo di vita dell’AI, e la necessità di strumenti di sicurezza automatizzati e solide misure di governance per adattarsi alle minacce in evoluzione.
Buona lettura!
Rafforzare l’infrastruttura software della Supply Chain e la governance per una migliore Cybersecurity nei sistemi AI
Con la crescente adozione di soluzioni di AI all’interno delle aziende, aumentano il rischio di attacco a questi sistemi di AI e il numero di minacce provenienti da criminali informatici, che stanno implementando questa tecnologia per attacchi sempre più sofisticati. Per questo, i governi e il settore privato stanno analizzando con attenzione questi pericoli.
Qualche mese fa, all’Aspen Security Forum, un gruppo di aziende tecnologiche leader del settore ha fondato la Coalition for Secure AI (CoSAI). L’obiettivo della coalizione è affrontare questioni chiave legate alla protezione dei sistemi software della supply chain per i sistemi di AI e alla preparazione dei team di sicurezza e di governance, in modo da adattarsi ad un panorama in costante evoluzione. Con l’aumento degli hacker che utilizzano l’AI per rendere i loro attacchi di phishing e deep fake più sofisticati, la sicurezza è più importante che mai.
Alla conferenza di sicurezza Black Hat di qualche anno fa, l’Agenzia per la Government Technology Agency di Singapore (GovTech) ha presentato i risultati di un esperimento in cui un team di sicurezza ha simulato, insieme agli utenti interni, un attacco di spear phishing. Un numero significativamente maggiore di persone ha cliccato sui link delle e-mail di phishing generate dall’AI rispetto a quelle scritte da esseri umani.
Per esempio, all’inizio di quest’anno, un impiegato finanziario di una multinazionale è stato indotto in modo ingannevole a pagare 25 milioni di dollari a dei truffatori che hanno utilizzato la tecnologia deepfake per impersonare il direttore finanziario dell’azienda durante una videochiamata.
Pertanto, il lancio di CoSAI rappresenta un’iniziativa da accogliere positivamente. Come già detto, uno dei principali filoni di lavoro su cui si concentrerà è la sicurezza della supply chain del software per i sistemi di IA. Ciò significa analizzare l’intero ciclo di vita dei sistemi di AI: dalla raccolta dei dati all’addestramento del modello, fino alla distribuzione e alla manutenzione. A causa della complessità e dell’interconnessione di questo ecosistema, le vulnerabilità in qualsiasi fase possono influenzare l’intera struttura.
I sistemi di AI spesso dipendono da librerie, framework e componenti di terze parti che, sebbene ne accelerino lo sviluppo, possono introdurre potenziali vulnerabilità. Pertanto, è fondamentale utilizzare strumenti automatizzati per controllare regolarmente eventuali minacce di sicurezza legate a questi elementi.
Inoltre, la diffusa disponibilità di modelli linguistici di grandi dimensioni (LLM) open-source richiede una solida tracciabilità della provenienza per verificare l’origine e l’integrità dei modelli e dei set di dati. Per questo, dovrebbero essere utilizzati strumenti di sicurezza automatizzati per scansionare questi modelli e dataset alla ricerca di vulnerabilità e malware. Allo stesso modo, i LLM on-device possono offrire maggiore sicurezza, poiché l’elaborazione dei dati avviene sul dispositivo senza la necessità di connettersi al cloud.
Se si considera il closed source, la natura proprietaria del modello può garantire la sicurezza dei sistemi di AI attraverso l’oscurità, rendendo difficile per i malintenzionati sfruttare le vulnerabilità. Tuttavia, questo approccio può rallentare il processo di identificazione e la risoluzione dei problemi di sicurezza.
I modelli open-source beneficiano degli sforzi collaborativi della comunità, in quanto il controllo di molti utenti sul codice facilita la rapida individuazione e risoluzione delle vulnerabilità di sicurezza. Tuttavia, l’esposizione pubblica del codice potrebbe rivelare potenziali debolezze.
Un’altra priorità affrontata dal CoSAI riguarda la governance della sicurezza dell’AI. Ad esempio, quest’anno, il National Institute of Science and Technology ha pubblicato un documento che descrive quattro tipi di attacchi che sfruttano il machine learning. Questi includono data poisoning, data abuse, gli attacchi alla privacy e quelli di elusione contro i sistemi di intelligenza artificiale predittivi e generativi.
Anche l’AI Act dell’UE evidenzia la necessità di misure di sicurezza informatica per prevenire, rilevare, rispondere, risolvere e controllare attacchi volti alla manipolazione di un set di dati di addestramento (data poisoning), a componenti utilizzati nell’addestramento (model poisoning), a input progettati per causare errori nel modello di AI (adversarial examples o model evasion), e ad attacchi alla riservatezza o difetti del modello.
Le aziende possono condividere la loro esperienza partecipando al processo normativo e attraverso ricerche condotte in collaborazione con clienti, partner, associazioni di leadership industriale e istituzioni di ricerca. Il loro impegno reciproco per l’innovazione richiede che l’AI sia sicura.
di Srikrishna Shankavaram, Principal Cyber Security Architect, CTO Office di Zebra Technologies
