Introduksjon
AI-agenter som forvalter millioner av dollar i kryptovaluta er sårbare for et nytt, subtilt angrep som manipulerer deres minner, dermed muliggjør uautoriserte overføringer til ondsinnede aktører. Dette viser en nylig studie fra forskere ved Princeton University og Sentient Foundation.
Studien
Studien har avdekket sårbarheter i AI-agenter med fokus på kryptovaluta, inkludert de som benytter det populære rammeverket ElizaOS. ElizaOS» popularitet gjorde det til et ideelt valg for studien, ifølge Princeton-studenten Atharv Patlan, som var medforfatter av artikkelen. Han sier:
«ElizaOS er en populær Web3-basert agent med rundt 15 000 stjerner på GitHub, og den brukes mye. Det faktum at en så mye brukt agent har sårbarheter, inspirerte oss til å utforske dette nærmere.»
Eliza Labs lanserte prosjektet i oktober 2024, opprinnelig under navnet ai16z. Det er et åpen kildekode-rammeverk for å utvikle AI-agenter som kan interagere med og operere på blockchain-teknologi.
Sårbarhet og angrep
En AI-agent er et autonomt program som er designet for å oppfatte sitt miljø, behandle informasjon og ta skritt for å nå spesifikke mål uten menneskelig innblanding. Ifølge studien kan disse agentene, som brukes til å automatisere finansielle oppgaver på blockchain-plattformer, bli lurt gjennom «hukommelsesinjeksjon» – et nytt angrepsvektor som injiserer skadelige instruksjoner i agentens vedvarende hukommelse.
«Eliza har en hukommelseslagring, og vi prøvde å føre inn falske minner ved hjelp av andre aktører som utførte injeksjonen på en annen sosial medieplattform,» forklarte Patlan.
Studien viser at AI-agenter som er avhengige av sentiment fra sosiale medier er spesielt sårbare for manipulasjon. Angripere kan benytte seg av falske kontoer og koordinerte innlegg, kjent som et Sybil-angrep, for å lure agenter til å ta feil handelsbeslutninger.
«En angriper kan utføre et Sybil-angrep ved å opprette flere falske kontoer på plattformer som X eller Discord for å påvirke markedssentimentet. Ved å orkestrere koordinerte innlegg kan angriperen lure agenten til å kjøpe en «pumpet» token til en kunstig høy pris, bare for at angriperen skal selge sine eiendeler og få tokenens verdi til å kollapse.»
Funn og videre tiltak
Hukommelsesinjeksjon er et angrep der skadelige data settes inn i en AI-agents lagrete hukommelse, slik at den husker og handler på falsk informasjon i fremtidige interaksjoner. Patlan sa at funnene fra studien ble delt med Eliza Labs, og at diskusjoner om videre tiltak pågår.
Etter å ha demonstrert et vellykket hukommelsesinjeksjonsangrep, utviklet teamet et formelt evalueringsrammeverk for å vurdere om lignende sårbarheter eksisterer i andre AI-agenter. I samarbeid med Sentient Foundation utviklet forskerne CrAIBench, en benchmark som måler AI-agenters motstandskraft mot kontekstmanipulasjon.
«I tillegg til å forbedre hukommelsessystemene, må vi også forbedre språkmodellene for å bedre skille mellom ondsinnet innhold og hva brukeren faktisk mener,» sa Patlan. «Forsvarene må fungere i begge retninger – styrke mekanismene for hukommelsestilgang og forbedre modellene.»
Eliza Labs svarte ikke umiddelbart på forespørselen om kommentar.
