Metas gebruik van kunstmatige intelligentie Software om zijn sociale-mediaplatforms te modereren genereert grote hoeveelheden nutteloze rapporten over gevallen van seksueel misbruik van kinderen, waardoor middelen worden uitgeput en onderzoeken worden belemmerd, zeggen functionarissen van de Amerikaanse Internet Crimes Against Children Task Force (ICAC).
“We krijgen veel tips van Meta die gewoon rommel zijn”, zei Benjamin Zwiebel, een speciaal agent bij de ICAC-taskforce in New Mexico, vorige week tijdens zijn getuigenis in rechtszaak van de staat tegen Meta. Procureur-generaal van de staat beweert dat de platforms van het bedrijf winst boven de veiligheid van kinderen stellen. Meta betwist deze claims en noemt veranderingen die het op zijn platforms heeft geïntroduceerd, zoals tieneraccounts met standaardbescherming. De ICAC Task Force is een landelijk netwerk van wetshandhavingsinstanties, gecoördineerd met het Amerikaanse ministerie van Justitie, om gevallen van online uitbuiting en misbruik van kinderen te onderzoeken en te vervolgen.
Een andere ICAC-functionaris, die op voorwaarde van anonimiteit sprak om interne zaken te bespreken, zei: “Meta geeft elke maand duizenden tips. Het is behoorlijk overweldigend omdat we zoveel rapporten krijgen, maar de kwaliteit van de rapporten ontbreekt echt in termen van ons vermogen om serieuze actie te ondernemen.” De ICAC-functionaris voegde eraan toe dat het totale aantal door hun afdeling ontvangen cybertips tussen 2024 en 2025 is verdubbeld.
De niet-duurzame tips van Instagram, Facebook en WhatsApp bevatten in sommige gevallen informatie die niet crimineel is, zeggen zowel Zweibel als twee ICAC-agenten. Tips bevatten soms informatie die erop wijst dat er mogelijk een misdrijf heeft plaatsgevonden, maar dat vitale afbeeldingen, video’s of tekst ontbreken of zijn bewerkt, voegden de anonieme agenten eraan toe.
“(Niet-levensvatbare tips van) Instagram is de laatste tijd echt enorm gestegen, vooral in de afgelopen maanden, en het is een van de grootste plaatsen waar we zien dat deze informatie niet wordt afgeleverd”, voegde de ICAC-functionaris eraan toe. “In die gevallen beschikken we niet over de informatie om het onderzoek verder te zetten. Het weegt op je om te weten dat dit misdrijf heeft plaatsgevonden, maar we kunnen de dader niet identificeren.”
Gevraagd naar de getuigenis van Zweibel en de opmerkingen van de ICAC-agenten, zei een woordvoerder van Meta: “We ondersteunen de wetshandhaving al jaren bij het vervolgen van criminelen: het DoJ heeft herhaaldelijk onze snelle samenwerking geprezen die tot arrestaties heeft geleid, en NCMEC heeft ons gestroomlijnde en ‘verbeterde rapportageproces (4’) geprezen in vergelijking met tip 20. 9.000 noodverzoeken van de Amerikaanse autoriteiten en deze binnen gemiddeld 67 minuten afgehandeld – en zelfs sneller voor zaken waarbij kinderen betrokken zijn. veiligheid en zelfmoord. In overeenstemming met de huidige wetgeving rapporteren we ook schijnbare beelden van seksuele uitbuiting van kinderen aan NCMEC en ondersteunen we hen bij het prioriteren van rapporten, van het helpen ontwikkelen van hun case management tools tot het markeren van cybertips, zodat ze weten welke dringend zijn.
Het bedrijf wees erop dat de agent, Zweibel, tijdens zijn getuigenis het gebruik van Meta’s tieneraccountfunctie aanbeveelde, wat hij naar eigen zeggen deed “omdat dit de enige beschikbare optie is, ervan uitgaande dat tieners zich niet zullen onthouden van het gebruik van sociale media”.
Raúl Torrez, de New Mexico De procureur-generaal, die de zaak tegen Meta leidt, heeft de medewerking van het bedrijf erkend bij het verstrekken van aanwijzingen over kindermisbruik tijdens het proces: “Ik zou graag enkele van de sociale media-applicaties en -platforms willen erkennen, waaronder Meta, die de beelden tot op zekere hoogte rapporteren aan het National Center for Missing and Exploited Children.”
Uit archieven die vrijdag in de zaak zijn vrijgegeven, blijkt dat leidinggevenden van Meta intern alarm slaan over het vermogen van het bedrijf om seksueel misbruik van kinderen te politiseren en de wetshandhaving begin 2019 te waarschuwen. Destijds was het bedrijf zich aan het voorbereiden om end-to-end-encryptie in Facebook Messenger mogelijk te maken, waardoor de berichten van gebruikers voor iedereen behalve de beoogde ontvanger worden verborgen via cryptografie.
Bestanden roepen nieuwe vragen op
“We doen een slechte zaak als bedrijf. Het is zo onverantwoord”, schreef Monika Bickert, hoofd contentbeleid van Meta.
Bickert schreef dat er “geen manier zou zijn om de planning van een terroristische aanval of de uitbuiting van kinderen te achterhalen” als de inhoud van Messenger gecodeerd was, wat het werk van de wetshandhaving zou kunnen belemmeren. Bickert zei ook dat Meta “een grove verkeerde voorstelling van zaken heeft gegeven over ons vermogen om veiligheidsoperaties uit te voeren”, aldus de interne documenten.
In een ander document schatten Meta-medewerkers dat het versleutelen van Messenger het bedrijf “niet in staat zou hebben gesteld om proactief gegevens te verstrekken aan wetshandhavers in 600 gevallen van kinderuitbuiting, 1.454 gevallen van afpersing, 152 terrorismezaken en 9 bedreigde schietpartijen op scholen”.
Andy Stone, een woordvoerder van Meta, zei tegen Reuters: “De zorgen die in 2019 zijn geuit, vormen precies de reden waarom we een reeks nieuwe beveiligingsfuncties hebben ontwikkeld om misbruik te helpen detecteren en voorkomen, allemaal ontworpen om te werken in gecodeerde chats.”
Kinderveiligheidsgroepen hadden kritiek op de encryptie van Messenger, die uiteindelijk in 2023 werd uitgerold.
Massale berichtgeving over kindermisbruik
Volgens de wet zijn socialemediabedrijven gevestigd in de Verenigde Staten moet melden al het materiaal over seksueel misbruik van kinderen (CSAM) dat op hun platforms wordt ontdekt, wordt doorgegeven aan het National Center for Missing & Exploited Children (NCMEC). NCMEC fungeert als nationaal verrekenkantoor voor rapporten die het doorstuurt naar de juiste wetshandhavingsinstanties in de Verenigde Staten en internationaal. NCMEC heeft niet de bevoegdheid om tips uit te sluiten die mogelijk onhoudbaar zijn voordat ze naar de juiste wetshandhavingsinstanties worden gestuurd.
Meta is veruit de grootste verslaggever voor NCMEC. In haar datarapport uit 2024 zei NCMEC dat Meta 13,8 miljoen meldingen maakte op Facebook, Instagram en Whatsapp, van de in totaal 20,5 miljoen tips die het ontving.
NCMEC zei dat in 2024 meer dan 1 miljoen CyberTipline-rapporten waren gekoppeld aan een specifieke Amerikaanse staat, en dat die rapporten voor onderzoek beschikbaar waren gesteld aan ICAC-taskforces in het hele land, evenals aan andere federale, staats- en lokale wetshandhavingsinstanties.
Meta en andere socialemediabedrijven gebruiken AI om verdacht materiaal op hun sites te detecteren en te rapporteren en huren menselijke moderators in om een deel van de gemarkeerde inhoud te beoordelen voordat deze naar de wetshandhaving wordt gestuurd. The Guardian heeft dat eerder gedaan meldde dat tips gegenereerd door AI die niet ook is beoordeeld door een medewerker van een sociale-mediabedrijf, kan vanwege de bescherming van het Vierde Amendement vaak niet worden geopend door een wetshandhavingsfunctionaris zonder een bevelschrift. Deze extra stap vertraagt ook het onderzoek naar mogelijke misdrijven, zeggen advocaten die bij dergelijke zaken betrokken zijn.
Een woordvoerder van Meta zei: “Het is jammer dat rechterlijke beslissingen de lasten voor de wetshandhaving hebben vergroot door huiszoekingsbevelen te vereisen om identieke kopieën te openen van inhoud die we al hebben beoordeeld en gerapporteerd. Ons systeem voor het matchen van afbeeldingen vindt kopieën van bekende kinderuitbuiting in een mate die onmogelijk zou zijn om handmatig te doen, en we werken eraan om nieuwe kinderuitbuitingsteams van onze specialisten te ontdekken en kinderuitbuitingsinhoud van onze specialisten te rapporteren.”
Wetswijziging leidt tot een lawine aan tips
Op grond van de Report Act (Revising Existing Procedures On Reporting via Technology), die in november 2024 van kracht werd, moeten online dienstverleners hun rapportageverplichtingen uitbreiden en versterken door de CyberTipline van de NCMEC niet alleen op de hoogte te stellen van materiaal over seksueel misbruik van kinderen, maar ook van gepland of dreigend misbruik, kindersekshandel en daarmee samenhangende uitbuiting; ze moeten ook bewijsmateriaal voor een langere periode bewaren en riskeren hogere straffen als ze opzettelijk niet voldoen.
Sinds de wet werd aangenomen, is het aantal niet-duurzame tips van Meta dramatisch toegenomen, wat mogelijk komt doordat het bedrijf ervoor zorgt dat het de wet niet overtreedt, zeiden twee ICAC-functionarissen. Veel van deze tips kunnen niet als misdaad worden opgevat, zoals jonge meisjes die praten over welke beroemdheid zij het aantrekkelijkst vinden.
“Op basis van mijn opleiding en ervaring lijkt het erop dat ze worden ingediend door het gebruik van AI, aangezien dit veelvoorkomende fouten zijn die een AI zou maken en een menselijke waarnemer niet”, zei Zwiebel in de rechtszaal.
Daarentegen krijgt de afdeling van Zwiebel van Meta beduidend minder tips over legitieme gevallen van verspreiding van materiaal van seksueel misbruik van kinderen (CSAM) dan in voorgaande jaren, zei hij.
Elke tip die een ICAC-afdeling bereikt, moet worden beoordeeld, en de toestroom van niet-duurzame tips kost tijd en middelen bij het onderzoeken van legitieme gevallen van kindermisbruik, zeiden twee agenten.
“Het is schadelijk voor het moreel. We verdrinken in de fooien en we willen eropuit gaan en dit werk doen”, zei een ICAC-officier. ‘We hebben niet het personeel om het te onderhouden. We kunnen de komende overstroming onmogelijk bijhouden.’
