Rogue AI-modeller har infiltrerat Hugging Face och släppt en ny våg av cyberhot

chapgpt malware

Rogue AI-modeller har smugit sig in på Hugging Face-plattformen, vilket har lett till en ny våg av cybersäkerhetshot. En detaljerad utredning av säkerhetsföretaget JFrog har upptäckt omkring 100 skadliga artificiella intelligens (AI) och maskininlärnings- (ML) modeller på plattformen. Dessa skadliga modeller inkluderar exempel där en pikelfil laddas vilken leder till kodexekvering, vilket ger angriparen fullständig kontroll över offrets maskin.

Attacken möjliggör installation av bakdörrar, vilket öppnar upp för omfattande dataintrång eller till och med företagsspionage som kan påverka inte bara enskilda användare utan potentiellt hela organisationer över hela världen.

Denna incident understryker de ökande säkerhetsriskerna med offentligt tillgängliga AI-modeller och behovet av bättre säkerhet för att bekämpa detta växande hot. Specifikt inleddes angreppet genom en skadlig modell som inleder en omvänd skalanslutning till ett IP-adress som tillhör Korea Research Environment Open Network (KREONET), men andra aktörer inom samma angreppsmönster har observerats använda andra IP-adresser

  • Flera AI/ML-modeller på Hugging Face-plattformen hittade med bakdörrar som möjliggör full maskinkontroll för angripare.
  • Rogue modeller ansluter till olika IP-adresser, vilket utgör en global organisatorisk risk.
  • Forskare visar att LLM kan generera skadligt innehåll; en generativ AI-mask designad för att stjäla data och sprida skadlig programvara.
  • ComPromptMized, en ny teknik, bäddar in skadlig kod i frågor för att utnyttja generativa AI-applikationer.
  • Snabba injektionsattacker kan manipulera LLM:er genom bilder och ljud, vilket ger upphov till oro för strategisk datamanipulation.
  • Sårbarheterna i AI-förråd med öppen källkod kan leda till omfattande dataintrång och företagsspionage.

Forskare har även utvecklat vad som kallas en generativ AI-mask Morris II som kan stjäla data och sprida skadlig programvara genom flera system. Detta utnyttjar sammankopplingen inom det generativa AI-ekosystemet och kan föra in skadliga inputer i nya applikationer genom att utnyttja modellernas förmåga att generera output baserat på angivna inputs.

thehackernews – over-100-malicious-aiml-models-found

jfrog.com