Een rechtszaak in New Jersey laat zien hoe moeilijk het is om deepfake-porno te bestrijden

Al meer dan twee jaar terroriseert een app genaamd ClothOff jonge vrouwen online – en het is waanzinnig moeilijk om te stoppen. De app is verwijderd uit de twee grote appstores en is verboden op de meeste sociale platforms, maar is nog steeds online en via een Telegram-bot beschikbaar. In oktober spande een kliniek aan de Yale Law School een rechtszaak aan die de app volledig zou verwijderen, waardoor de eigenaren gedwongen zouden worden alle afbeeldingen te verwijderen en de activiteiten helemaal stop te zetten. Maar het vinden van de verdachten was al een uitdaging.

“Het is gevestigd op de Britse Maagdeneilanden”, legt professor John Langford uit, mede-hoofdadvocaat in de rechtszaak, “maar we denken dat het wordt gerund door een broer en zus en Wit-Rusland. Het kan zelfs deel uitmaken van een groter netwerk over de hele wereld.”

Het is een bittere les in de nasleep de nieuwste stroom pornografie zonder wederzijdse toestemming gegenereerd door Elon Musk’s xAI, die waarbij veel kleine slachtoffers vielen. Materiaal over seksueel kindermisbruik is juridisch gezien de meest giftige inhoud op internet; het is illegaal om deze te produceren, te verzenden of op te slaan en er wordt regelmatig naar gescand op alle grote clouddiensten. Maar ondanks de strenge wettelijke verboden zijn er nog steeds weinig manieren om met beeldgeneratoren als ClothOff om te gaan, zoals de zaak van Langford laat zien. Individuele gebruikers kunnen worden vervolgd, maar platforms als ClothOff en Grok zijn veel moeilijker te controleren, waardoor er weinig opties overblijven voor slachtoffers die gerechtigheid hopen te vinden in de rechtbank.

De klacht van de kliniek, namelijk online beschikbaarschetst een alarmerend beeld. De aanklager is een anonieme middelbare scholier uit New Jersey wiens klasgenoten ClothOff gebruikten om haar Instagram-foto’s te wijzigen. Ze was 14 jaar oud toen de originele Instagram-foto’s werden gemaakt, wat betekent dat de AI-gemodificeerde versies wettelijk worden geclassificeerd als afbeeldingen van kindermisbruik. Maar hoewel de gewijzigde beelden ronduit illegaal zijn, weigerden de lokale autoriteiten de zaak te vervolgen, daarbij verwijzend naar de moeilijkheid om bewijsmateriaal te verkrijgen uit de apparaten van verdachten.

“Noch de school, noch de wetshandhaving heeft ooit vastgesteld hoe wijdverbreid de CSAM van Jane Doe en andere meisjes was”, aldus de klacht.

Toch is het proces langzaam verlopen. De klacht werd in oktober ingediend en in de maanden daarna hebben Langford en zijn collega’s de beklaagden bijgestaan ​​- een moeilijke taak gezien het mondiale karakter van het bedrijf. Eenmaal gediend, kan de kliniek aandringen op een hoorzitting en uiteindelijk een vonnis, maar in de tussentijd heeft het rechtssysteem de slachtoffers van ClothOff niet veel troost geboden.

De zaak Grok lijkt misschien een eenvoudiger probleem om op te lossen. De xAI van Elon Musk verbergt zich niet, en er is uiteindelijk genoeg geld voor advocaten die een claim kunnen winnen. Maar Grok is een algemeen instrument, waardoor het veel moeilijker wordt om hem voor de rechtbank ter verantwoording te roepen.

“ClothOff is specifiek ontworpen en op de markt gebracht als een deepfake-pornografische beeld- en videogenerator”, vertelde Langford me. “Als je een algemeen systeem aanklaagt waarbij gebruikers om allerlei zaken kunnen vragen, wordt het een stuk ingewikkelder.”

Een aantal Amerikaanse wetten hebben met name deepfake-pornografie al verboden Take It Down-actie. Maar zelfs als specifieke gebruikers deze wetten duidelijk overtreden, is het veel moeilijker om het hele platform verantwoordelijk te houden. Bestaande wetten vereisen duidelijk bewijs van de intentie om schade te berokkenen, wat zou betekenen dat moet worden bewezen dat xAI wist dat hun instrument zou worden gebruikt om zonder toestemming pornografie te produceren. Zonder dit bewijs zouden de fundamentele First Amendment-rechten van xAI aanzienlijke juridische bescherming bieden.

“In termen van het Eerste Amendement is het heel duidelijk dat materiaal over seksueel misbruik van kinderen geen beschermde uiting is”, zegt Langford. “Dus als je een systeem ontwerpt om dat soort inhoud te creëren, opereer je duidelijk buiten wat wordt beschermd door het Eerste Amendement. Maar als je een algemeen systeem bent waarmee gebruikers allerlei dingen kunnen vragen, is het niet zo duidelijk.”

De eenvoudigste manier om deze problemen te overwinnen zou zijn om aan te tonen dat xAI het probleem opzettelijk had genegeerd. Het is een reële mogelijkheid, toegegeven laatste berichtgeving dat Musk werknemers opdroeg de veiligheidsmaatregelen van Grok te versoepelen. Maar zelfs dan zou het een veel riskantere kwestie zijn om aan te pakken.

“Redelijke mensen kunnen zeggen: we wisten al jaren geleden dat dit een probleem was”, zegt Langford. “Hoe kun je geen strengere controles hebben ingesteld om ervoor te zorgen dat dit niet gebeurt? Het is een beetje roekeloos of wetend, maar het is gewoon een ingewikkelder zaak.”

Deze problemen met het Eerste Amendement zijn de reden waarom de grootste tegenslag van xAI afkomstig is van rechtssystemen zonder robuuste wettelijke bescherming van de vrijheid van meningsuiting. Zowel Indonesië als Maleisië heeft stappen ondernomen om de toegang tot de Grok-chatbot te blokkeren, terwijl toezichthouders in het Verenigd Koninkrijk dat wel hebben gedaan een onderzoek geopend Dat kan tot een soortgelijk verbod leiden. Andere eerste stappen wordt genomen door de Europese Commissie, Frankrijk, Ierland, India en Brazilië. Daarentegen heeft geen enkele Amerikaanse toezichthouder een officieel antwoord gegeven.

Het is onmogelijk om te zeggen hoe de onderzoeken zullen uitpakken, maar de stroom aan beelden roept in ieder geval veel vragen op voor toezichthouders om te onderzoeken – en de antwoorden kunnen vernietigend zijn.

“Als u materiaal over seksueel kindermisbruik plaatst, verspreidt en verspreidt, overtreedt u het strafrecht en kunt u aansprakelijk worden gesteld”, zegt Langford. “De moeilijke vraag is: wat wist X? Wat deed X wel of niet? Wat doen ze nu als reactie?”