Deepfakes exempel från verkligheten:
Ett mejl från finansdirektören om att genomföra en hemlig transaktion gjorde en anställd på ett multinationellt företag misstänksam.
Då kallades han in i ett videosamtal med finansdirektören och ett antal andra deltagare – lugnades och betalade ut 25,6 miljoner dollar, motsvarande 268 miljoner kronor, rapporterar CNN.
Men videosamtalet var en bluff – alla de andra deltagarna var deepfakes – det vill säga AI-genererade – uppgav Hongkongpolisen vid en presskonferens i slutet av förra veckan.
Deepfakes exempel från forskning:
Hackare kan använda generativ artificiell intelligens och deepfake ljudteknik för att kapa och manipulera livekonversationer, visade IBMs säkerhetsforskare.
De instruerade en stor språkmodell att bearbeta ljud från två källor i en live telefonkonversation och bad den titta efter specifika nyckelord och fraser – i det här fallet frasen “bankkonto”. När modellen upptäckte frasen ersatte den det autentiska bankkontot med ett falskt. En 3 sekunder lång inspelning av rösten var tillräckligt.
Hotet är inte bara ekonomisk manipulation där hackare kan lura offer att sätta in miljarder på sina konton. Tekniken skulle kunna användas för att censurera information, instruera en pilot att modifiera flygrutter och ändra innehåll i direktsända nyhetssändningar och politiska tal i realtid.
Hackare, tillade de, skulle behöva ha en “betydande” mängd datorkraft lokalt tillgänglig för att göra dessa attacker realistiska och skalbara.
Kontentan är att generativ AI kan användas vid attacker där video och ljud ingår, inte bara i e-mail.
Läs mer:
IBM Tests Audio-Based Large Language Model to Hijack Live Conversations
Källor:
Lurades av deepfake i videokonferens – betalade ut 268 miljoner