Nieuwe anti-Mamdani AI-video’s en de deep fake-generatie van astroturfing

Een griezelig account dat vrijwel zeker gebruik maakt van AI Het genereren van video’s van denkbeeldige New Yorkers die kritiek uiten op de nieuwgekozen burgemeester Zohran Mamdani roept een angstaanjagend vooruitzicht op: dat deepfakes niet alleen kunnen worden gebruikt om zich voor te doen als politici, maar ook om kiezers te imiteren.

Accounts op verschillende sociale mediaplatforms – die vergelijkbare profielfoto’s gebruiken en met elkaar verbonden lijken te zijn – noemen zichzelf Citizens Against Mamdani. De afgelopen dagen zijn op deze accounts bekentenisverklaringen en tirades geplaatst van ‘New Yorkers’ die Mamdani bekritiseerden vanwege zijn – vermeende – anti-Amerikanisme, plannen om belastingen te heffen en valse beloften over huur en transport. Ze lijken de diversiteit van New York te proberen na te bootsen, en veel van de video’s bevatten enkele klassieke accenten van de stad.

Hoewel geen van de video’s viraal is gegaan, zijn ze wel verschenen TikTokTwitter en Instagram, waarvan sommige tienduizenden views hebben. Het TikTok-account zelf heeft zo’n 30.000 likes. Snel bedrijf nam contact op met de Instagram- en TikTok-pagina’s, maar had op het moment van publicatie nog niets gehoord.

“Tijdens de laatste verkiezingscyclus werkgelegenheid menselijke beïnvloeders om een ​​bepaalde boodschap te verspreiden stonden voorop. Nu hebben teams deze persoonlijkheden niet eens meer nodig”, legt Emmanuelle Saliba uit, hoofd onderzoek bij GetReal Security, een cybersecuritybedrijf dat deepfakes analyseert. “GenAI heeft zulke aanzienlijke vooruitgang geboekt dat campagnes en activisten tekst-naar-video kunnen gebruiken om hyperrealistische video’s van supporters of critici te maken, eraan toevoegend dat ze geen online consumenten willen zijn.

De online campagne laat zien hoe generatieve kunstmatige intelligentie astroturfing in wezen heeft gedemocratiseerd. “Astroturfing is geautomatiseerd en zonder technologie vrijwel niet op te sporen”, zegt Saliba – een opmerkelijke ontwikkeling ten opzichte van de laatste verkiezingscyclus, toen het gebruikelijker was dat politieke agenten influencers inhuurden, voegt ze eraan toe.

Het gebruik van online tools om een ​​valse indruk te wekken van steun of verzet tegen een beweging of kandidaat is niet nieuw. In 2017 werden daar bijvoorbeeld bots voor ingezet opmerkingen indienen aan de Federal Communications Commission, die destijds nieuwe netneutraliteitsregels overwoog. Maar dit soort campagnes vergen doorgaans op zijn minst aanzienlijke menselijke inspanningen, zoals het runnen van een netwerk van sociale media-accounts of het inhuren van influencers.

De komst van generatieve kunstmatige intelligentie maakt het veel gemakkelijker om online de luchtspiegeling van politieke populariteit te creëren: nu kun je met slechts een paar aanwijzingen en toegang tot het juiste platform eenvoudig video’s genereren van een reeks levensechte mensen.

Een luchtspiegeling

Een van de uitdagingen van deepfake-detectie is natuurlijk dat er geen absoluut zekere manier is om te bevestigen dat deze door AI zijn gegenereerd. Bij de anti-Mamdani-video’s is het bewijsmateriaal echter overweldigend.

Naast het zichtbare Sora-watermerk – een label gemaakt door OpenAI om inhoud aan te duiden die met de technologie van het bedrijf is gemaakt – plaatsten de accounts op sommige video’s rond dezelfde tijd verschillende soortgelijke video’s.

Een andere belangrijke tip zijn de objecten op de achtergrond van de beelden, zegt Siwei Lyu, hoogleraar computerwetenschappen die deepfakes bestudeert aan de Universiteit van Buffalo.

Reality Defender, een ander bedrijf dat door AI gegenereerde inhoud onderzoekt, analyseerde verschillende video’s met behulp van een platform dat het aanbiedt, RealScan genaamd, en ontdekte dat de kans dat ze werden gemanipuleerd extreem hoog was. Het bedrijf schatte dat een video van een man met een blauwe hoed die schreeuwde: “Jullie zijn allemaal voor de gek gehouden door Mamdani”, een waarschijnlijkheid van 99% had om een ​​deepfake te zijn. (Het is onmogelijk om 100% te scoren: er is geen manier om de grondwaarheid van de creatie van de inhoud echt te verifiëren).

Hoewel het onduidelijk is in hoeverre mensen daadwerkelijk overtuigd zijn door de video’s, suggereren de commentaren erop dat tenminste sommige online gebruikers ze serieus lijken te nemen. “Ze tonen de illusie van brede steun voor of tegen een kwestie, en de mensen die in de video’s worden afgebeeld zijn gewone burgers. Het is dus moeilijker om hun bestaan ​​te verifiëren”, zegt Lyu. “Dit is weer een gevaarlijke vorm van door AI aangedreven desinformatiecampagne.”

Astroturf op schaal

De rekeningen herinneren ons eraan dat de kosten voor het produceren van desinformatie lager zijn dan ooit. Vroeger was het zo dat social engineering-ondersteuning voor een bepaald doel echte inspanningen vergde – bijvoorbeeld investeren in het creëren van geloofwaardige en realistische inhoud, legt Alex Lisle, Chief Technology Officer van Reality Defender, uit.

“Nu kan ik een LLM definiëren met een gevoel en een boodschap die ik hem probeer over te brengen, en hem vervolgens vragen te bedenken wat hij moet zeggen”, zegt Lisle. “En ik kan het doen op een schaal die vroeger uren en uren werk kostte”, waardoor “heel, heel snel honderden verschillende aanbiedingen, duizenden verschillende aanbiedingen ontstonden”, voegt hij eraan toe.

Door de combinatie van deepfakes met grote taalmodellen kunnen politieke actoren niet alleen talloze scripts genereren voor wat een deepfake zou kunnen zeggen, maar ook video’s van mensen – met overtuigende stemmen – om daadwerkelijk spreiding die verhalen. ‘Je hebt nu een krachtvermenigvuldiger,’ vervolgde Lisle. “Om dit te kunnen doen, waren er meerdere mensen en uren aan inspanning nodig. Nu kost het mij alleen al om de computer te gebruiken.”

Het probleem reikt verder dan de politiek, benadrukt Saliba van GetReal. Hoewel Mamdani een voorbeeld van een doelwit kan zijn, betekenen de lage kosten van het creëren van dit soort inhoud dat een bedrijf – of een geliefde – het toekomstige onderwerp van dit soort desinformatiecampagnes zou kunnen worden.