heck Point Research (CPR), la divisione di Threat Intelligence di Check Point Software Technologies Ltd. (NASDAQ : CHKP), pioniere e leader globale nelle soluzioni di sicurezza informatica, ha individuato un canale nascosto che consentiva a una sessione di ChatGPT associata a un account di inviare comandi a una sessione completamente separata associata a un altro account, tramite un servizio interno non visibile a nessuno dei due utenti. Il canale funzionava tramite un servizio interno di distribuzione dei pacchetti a cui tutti i container di esecuzione del codice di ChatGPT avevano accesso. Tale servizio avrebbe dovuto mantenere quei container isolati l’uno dall’altro, ma consentiva a qualsiasi container di scrivere e leggere dati condivisi che account distinti non avrebbero mai dovuto poter condividere.
In una dimostrazione dal vivo, la sessione di un attaccante ha estratto dati direttamente dall’account Gmail collegato della vittima, che ha inviato un messaggio ordinario e non ha notato nulla di anomalo, ricevendo solo una normale risposta. Per innescare l’attacco non serviva quasi nulla da parte della vittima: bastava un prompt malevolo, un link condiviso alla conversazione o un custom GPT.
La lezione più importante va oltre ChatGPT. Qualsiasi assistente IA dotato di credenziali, accesso agli strumenti e app collegate, può essere trasformato in ciò che CPR definisce un “insider costretto”, che esegue le istruzioni di un attaccante con le autorizzazioni che la vittima aveva concesso in buona fede.
Ogni mese le aziende collegano gli assistenti basati sull’Intelligenza Artificiale a una parte sempre più ampia della propria infrastruttura, dalle caselle di posta elettronica alle unità di archiviazione dei file fino agli strumenti interni, partendo dal presupposto che l’isolamento tra utenti e account sia garantito. Check Point Research ha messo alla prova tale presupposto con ChatGPT e ha trovato un modo per aggirarlo. Utilizzando un servizio interno che non era destinato a trasportare dati degli utenti, CPR ha aperto un canale funzionante tra due account ChatGPT completamente separati e lo ha utilizzato per assegnare alla sessione di una vittima un compito proveniente da un perfetto sconosciuto, il tutto mentre la conversazione della vittima stessa appariva del tutto normale.
Cosa ha effettivamente scoperto Check Point Research?
CPR ha individuato un canale nascosto bidirezionale tra i container di esecuzione del codice di due conversazioni separate su ChatGPT in esecuzione su account diversi. Un’istruzione appositamente studiata poteva indurre la sessione ChatGPT della vittima a elaborare silenziosamente un secondo flusso di attività parallelamente alla conversazione che la vittima poteva effettivamente vedere. La risposta visibile appariva del tutto normale. L’attività nascosta, e il suo risultato, passavano attraverso un canale che la vittima non aveva modo di notare.
Come funzionava effettivamente l’attacco?
ChatGPT avvia container isolati per gestire le attività che richiedono l’esecuzione di codice, e questi a volte devono installare pacchetti software. Per supportare questa operazione senza concedere ai container l’accesso diretto a Internet, OpenAI instrada le richieste di pacchetti attraverso un’istanza interna di JFrog Artifactory. I container di account diversi non possono comunicare direttamente tra loro, ma ogni container può raggiungere lo stesso servizio interno.
CPR ha scoperto che il servizio esponeva una funzionalità di gestione degli elementi che consentiva a qualsiasi container di associare proprietà di testo o binarie a un elemento del repository e di rileggerle. Le credenziali di lettura già disponibili all’interno di ogni container erano sufficienti per eseguire entrambe le operazioni. CPR ha confermato direttamente la falla nell’isolamento: una proprietà scritta dal container di un account era pienamente leggibile dal container di un altro account pochi istanti dopo, con i dati troppo grandi per una singola proprietà semplicemente suddivisi in blocchi e ricomposti dall’altra parte. I metadati relativi alla consegna dei pacchetti diventavano di fatto appunti condivisi tra i container che avrebbero dovuto essere isolati.
Da lì, la sessione di un malintenzionato avrebbe potuto scrivere un’attività in quell’archivio condiviso. Bastava una singola istruzione inserita di nascosto, trasmessa tramite un prompt malevolo, una conversazione condivisa o un GPT personalizzato, per indurre la sessione della vittima a controllare quella stessa memoria durante la sua successiva risposta normale. Se un’attività era in attesa, ChatGPT l’avrebbe eseguita utilizzando qualsiasi azione per cui la sessione della vittima avesse già il permesso, avrebbe riscritto il risultato nella memoria condivisa e avrebbe risposto alla vera domanda della vittima come se nulla fosse accaduto.
A quali dati potrebbe effettivamente accedere un malintenzionato?
La portata dell’attacco dipendeva interamente da ciò a cui la sessione della vittima era già autorizzata ad accedere. Ciò includeva la cronologia delle conversazioni e i file all’interno della chat interessata, oltre a tutto ciò che era disponibile tramite le app collegate della vittima, come Gmail, Google Drive, Microsoft Teams o GitHub. Nella dimostrazione di CPR, ChatGPT ha recuperato i dati e-mail della vittima tramite il suo account Gmail collegato e li ha trasmessi alla sessione dell’autore dell’attacco, il tutto nel corso di un singolo turno ordinario.
La vittima difficilmente se ne sarebbe accorta. L’impostazione predefinita di ChatGPT per le app collegate approva automaticamente le azioni di lettura che considera a basso rischio, senza una fase di conferma separata. L’unica traccia osservata da CPR era una piccola etichetta “Talked to Gmail” allegata alla risposta, registrata dopo che la lettura era già avvenuta. Ha registrato ciò che è accaduto, ma non ha dato alla vittima la possibilità di impedirlo.
L’attacco oggi non è più possibile. CPR ha segnalato la scoperta a OpenAI, che ha confermato che la specifica istanza interna di Artifactory identificata durante la ricerca è stata dismessa. Ciò chiude questa particolare vulnerabilità, sebbene il modello architettonico alla base meriti l’attenzione di ogni team di sicurezza, indipendentemente dalla piattaforma utilizzata.
Questa vulnerabilità ha dei punti di contatto con l’incidente di Hugging Face. I due attacchi non sono identici e non hanno utilizzato la stessa tecnica, ma entrambi hanno avuto origine nello stesso servizio condiviso alla base di ChatGPT, il che rivela qualcosa di più significativo rispetto a ciascuna delle due scoperte prese singolarmente. Quando gli agenti di IA operano su un’infrastruttura interna condivisa, tale infrastruttura diventa di per sé un obiettivo degno di essere attaccato, e questa ricerca è un ulteriore dato che ne illustra il motivo.
Qualsiasi assistente AI che operi all’interno dei confini di fiducia di un’organizzazione, detenendo credenziali, eseguendo codice e accedendo a servizi collegati, può diventare ciò che CPR definisce un “insider costretto”. Il modello in sé non deve necessariamente essere malevolo. È sufficiente che venga persuaso, tramite un testo di cui non avrebbe mai dovuto fidarsi, a utilizzare un accesso concesso per ragioni del tutto legittime. Man mano che un numero crescente di dipendenti collega i propri assistenti a un numero sempre maggiore di sistemi di cui fanno uso quotidianamente, la portata a cui un attaccante potrebbe arrivare attraverso un canale come questo aumenta.
I team di sicurezza dovrebbero:
- Essere a conoscenza degli strumenti di IA che il personale sta utilizzando e a cosa sono collegati, poiché l’uso “ombra” dell’IA è il punto da cui nascono i punti ciechi.
- Implementare una protezione in fase di esecuzione per rilevare i tentativi di manipolazione e impedire che i dati sensibili vengano trasferiti dove non dovrebbero.
- Governare ciò che gli strumenti e gli agenti di IA sono effettivamente autorizzati a fare, considerando le loro azioni, e non solo i loro risultati, come elementi che devono essere monitorati e controllati. Questa è la lacuna di sicurezza che Check Point AI Security è stata progettata per colmare: visibilità sull’utilizzo dell’IA e sulle connessioni all’interno dell’organizzazione, protezione in fase di esecuzione contro minacce quali l’iniezione di prompt e la fuga di dati, e governance su ciò a cui i sistemi di IA connessi possono accedere e su cui possono agire.
“Questa ricerca dimostra che la sfida alla sicurezza legata all’IA non riguarda più solo il modello in sé, ma anche l’accesso e la fiducia che gli concediamo”, affermaEli Smadja, Head of Research di Check Point Research. “Man mano che gli assistenti basati sull’IA diventano sempre più integrati con i sistemi aziendali e i dati sensibili, le organizzazioni devono partire dal presupposto che qualsiasi funzionalità autorizzata possa essere oggetto di un uso improprio. Un approccio incentrato sulla prevenzione, combinato con visibilità, governance e protezione in fase di esecuzione, è essenziale per garantire che l’IA rimanga un fattore abilitante per il business piuttosto che una nuova fonte di rischio informatico. Le organizzazioni che manterranno un vantaggio competitivo saranno quelle che proteggeranno le interazioni con l’IA prima che gli attaccanti possano sfruttarle”.
Per ulteriori dettagli su questa vulnerabilità, è disponibile il testo completo della ricerca.
***
Segui Check Point su LinkedIn, X, Facebook, Blog e YouTube
Check Point Software Technologies Ltd. (www.checkpoint.com) è un leader globale nella cyber security e protegge oltre 100.000 organizzazioni nel mondo. La sua missione è mettere in sicurezza la trasformazione delle imprese verso l’intelligenza artificiale. Con un approccio prevention-first e un’architettura open ecosystem, Check Point aiuta le organizzazioni a bloccare minacce avanzate, dare priorità alle esposizioni e automatizzare le operazioni di sicurezza in ecosistemi digitali complessi. La sua architettura unificata semplifica la protezione di reti ibride, ambienti multi‑cloud, digital workspace e sistemi AI. Articolata su quattro pilastri strategici — Hybrid Mesh Network Security, Workspace Security, Exposure Management e AI Security — Check Point garantisce protezione e visibilità coerenti in contesti multivendor, aiutando le aziende a ridurre il rischio, aumentare l’efficienza e accelerare l’innovazione senza aggiungere complessità.
