Morris II: Den självreplikerande AI-masken som hotar GenAI-appar

Morris II är en innovativ typ av datororm skapad av forskare vid Cornell Tech Israel Institute of Technology och Intuit. Denna självreplikerande AI-mask har utformats specifikt för att angripa applikationer och AI-aktiverade e-postassistenter som använder generativ AI (GenAI) för att skapa text och bilder med modeller som Gemini Pro, ChatGPT 4.0 och LLaVA. Denna teknik möjliggör för Morris II att sprida sig mellan system genom att använda skadliga självreplikerande uppmaningar inom GenAI-ekosystemet.

Attackmekanism

Morris II använder vad som kallas för adversarial self-replicating prompts, vilket innebär att angriparna kan infoga vissa uppmaningar i indata som, när de bearbetas av GenAI-modeller, får modellen att replikera indata som utdata och därigenom utföra skadliga aktiviteter. Dessa aktiviteter inkluderar att extrahera känslig information som kreditkortsuppgifter och socialförsäkringsnummer

Efter att ha upptäckt dessa säkerhetsbrister rapporterade forskarlaget sina resultat till Google och OpenAI. OpenAI har kommenterat att de arbetar på att göra sina system mer motståndskraftiga mot sådana angrepp och uppmanat utvecklare att använda metoder som säkerställer att de inte arbetar med skadlig indata.

Försiktighetsåtgärder

För att bekämpa denna typ av hot rekommenderar forskarna utveckling och implementering av försiktighetsåtgärder mot replikering och spridning. Detta inkluderar att omformulera hela utdata i GenAI-modeller för att säkerställa att utdata inte består av segment som liknar indatan och inte leder till samma inferens, samt implementering av motåtgärder mot ”jailbreaking” för att förhindra att angripare använder kända tekniker för att replikera indata till utdata.

Morris II representerar en betydande utmaning för säkerheten inom GenAI-ekosystemet och understryker behovet av enhetliga säkerhetsåtgärder för att skydda gentemot denna nya form av cyberhot. Genom samarbete och innovativa lösningar kan dock industrin hoppas på att stå emot sådana hot och säkra en framtid där GenAI kan användas på ett säkert sätt.

infosecurity-magazine – worm-created-generative-ai-systems

arxiv – Here Comes The AI Worm