Capire gli attacchi Man-in-the-Prompt: come proteggersi

Affidarsi all’intelligenza artificiale per eseguire i comandi è essenziale, ma cosa succede se qualcuno manipola segretamente i tuoi input? Un nuovo tipo di minaccia, noto come attacco man-in-the-prompt, consente ad autori malintenzionati di dirottare le tue istruzioni, generando risposte fuorvianti o dannose da parte dei modelli linguistici di grandi dimensioni (LLM), che potrebbero portare al furto di dati o all’inganno degli utenti. In questo articolo, approfondiremo i meccanismi degli attacchi man-in-the-prompt e offriremo strategie per proteggersi da essi.

Comprendere gli attacchi Man-in-the-Prompt

Analogamente a un attacco man-in-the-middle, un attacco man-in-the-prompt intercetta la comunicazione con uno strumento di intelligenza artificiale, come un chatbot, per ottenere risposte inaspettate o pericolose. Gli aggressori possono introdurre prompt visibili o modificare discretamente le istruzioni originali per manipolare l’LLM e indurlo a divulgare informazioni riservate o a generare contenuti dannosi.

Attualmente, le estensioni del browser costituiscono un vettore primario per questo tipo di attacchi. Questa vulnerabilità si verifica perché l’input e la risposta del prompt LLM sono integrati nel Document Object Model (DOM) della pagina, a cui le estensioni possono accedere tramite autorizzazioni di base. Anche altri metodi, come l’utilizzo di strumenti di generazione di prompt, possono facilitare queste iniezioni dannose.

Gli ambienti aziendali che utilizzano LLM privati sono particolarmente soggetti a questi attacchi a causa dell’accesso a dati aziendali sensibili, tra cui chiavi API e documenti legali. Allo stesso modo, i chatbot commerciali personalizzati che memorizzano informazioni riservate possono trasformarsi in token per malintenzionati, che possono ingannare gli utenti inducendoli a seguire link dannosi o a eseguire comandi dannosi, in modo simile agli attacchi FileFix o Eddiestealer.

Mitigazione dei rischi derivanti dalle estensioni del browser

Dato che le estensioni del browser rappresentano una fonte significativa di rischio, è fondamentale adottare precauzioni per evitare attacchi man-in-the-prompt. Poiché queste estensioni in genere non richiedono autorizzazioni estese, rilevare tali influenze può rivelarsi difficile. Per rafforzare le difese, evita di installare estensioni sconosciute o dubbie. Se il loro utilizzo è inevitabile, opta solo per quelle sviluppate da editori affidabili e fidati.

Monitorare l’attività delle estensioni del browser può rivelare segnali d’allarme. Ad esempio, accedendo al Task Manager del browser tramite Shift+ Esc, è possibile osservare se alcune estensioni avviano processi inaspettatamente durante l’interazione con un LLM, soprattutto se ciò si verifica durante l’inserimento di testo in un chatbot.

Inoltre, è consigliabile evitare estensioni che interagiscono direttamente con gli strumenti LLM o modificano i prompt, poiché potrebbero inizialmente sembrare innocue, ma potrebbero evolversi e introdurre modifiche dannose nel tempo.

Revisione approfondita dei prompt prima dell’invio

Sebbene gli strumenti di prompt online possano migliorare le interazioni con l’IA fornendo modelli e ottimizzando i prompt, comportano anche il rischio di inserire modifiche dannose senza richiedere l’accesso esplicito al dispositivo o al browser. Per contrastare questo rischio, è consigliabile comporre i prompt direttamente nell’interfaccia del chatbot con IA e rivederli meticolosamente prima di premere Enter.

Se è necessario utilizzare fonti esterne per il contenuto dei prompt, copiare prima il testo in un editor di testo normale, come Blocco note di Windows, per eliminare eventuali codici o istruzioni nascosti. Assicurarsi che non vi siano spazi vuoti nel prompt utilizzando la Backspacechiave se necessario. Se l’utilizzo di modelli di prompt è essenziale, valutare la possibilità di creare versioni sicure in un’applicazione per la presa di appunti per evitare di dipendere da potenziali rischi di terze parti.

Avvia nuove sessioni di chat quando necessario

Gli attacchi man-in-the-prompt possono sfruttare le sessioni di chat attive per carpire informazioni sensibili. Per ridurre al minimo il rischio, avvia una nuova sessione di chat ogni volta che l’argomento cambia, soprattutto dopo aver discusso di argomenti riservati. Questa pratica riduce la probabilità di esporre inavvertitamente informazioni sensibili, anche se un attacco avviene durante la conversazione.

Pannello sinistro di ChatGPT che mostra la nuova chat

Inoltre, passare a una nuova chat può ridurre la possibilità che l’attacco continui a influenzare le interazioni successive.

Esaminare attentamente le risposte dell’LLM

È essenziale affrontare le risposte generate dai chatbot AI con un certo scetticismo. Prestate attenzione a eventuali incongruenze o risultati inaspettati. Se il chatbot divulga informazioni sensibili che non avete richiesto, valutate la possibilità di chiudere immediatamente la chat o di avviare una nuova sessione. Le modifiche “man-in-the-prompt” in genere interrompono il prompt originale o inseriscono richieste aggiuntive e fuorvianti.

Inoltre, gli aggressori potrebbero manipolare l’LLM per presentare le risposte in formati confusi, ad esempio all’interno di blocchi di codice o tabelle. Una volta identificate queste anomalie, consideratele come indicatori di una potenziale intrusione man-in-the-prompt.

In ambito aziendale, gli attacchi man-in-the-prompt possono facilmente infiltrarsi a causa della mancanza di controlli rigorosi sulle estensioni del browser utilizzate dai dipendenti. Come ulteriore misura di protezione, si consiglia di utilizzare LLM in modalità di navigazione in incognito, disattivando le estensioni. Questo approccio contribuisce a proteggere da varie forme di attacco, tra cui le minacce di slopsquatting che potrebbero sfruttare le allucinazioni dell’intelligenza artificiale.

Fonte e immagini