De Britse mediawaakhond heeft een formeel onderzoek geopend naar Elon Musk’s X vanwege het gebruik van de Grok AI-tool om afbeeldingen van vrouwen en kinderen te manipuleren door hun kleding uit te trekken.
Ofcom heeft gehandeld op basis van een publieke en politieke verontwaardiging over een stortvloed aan seksuele afbeeldingen die op het platform verschijnen, gemaakt door Musk’s Grok, dat is geïntegreerd met X.
De toezichthouder doet onderzoek X onder de Online Safety Act (OSA), die een reeks mogelijke straffen oplegt voor inbreuken, waaronder een Brits verbod op apps en websites voor de ernstigste vormen van misbruik. Het zei dat het het onderzoek zou voortzetten als een “zaak van de hoogste prioriteit”.
Ofcom zei: “Berichten dat Grok wordt gebruikt om illegale intieme afbeeldingen te maken en te delen zonder toestemming en materiaal van seksueel misbruik van kinderen op X zijn zeer zorgwekkend. Platforms moeten mensen in Groot-Brittannië beschermen tegen inhoud die illegaal is in Groot-Brittannië en we zullen niet aarzelen om te onderzoeken waar we vermoeden dat bedrijven hun plichten niet nakomen, vooral als er een risico bestaat op schade voor kinderen.
“We zullen dit onderzoek als een kwestie van de hoogste prioriteit voortzetten, terwijl we ervoor zorgen dat we een eerlijk proces volgen. Als de onafhankelijke online veiligheidshandhavingsinstantie van Groot-Brittannië is het belangrijk dat we ervoor zorgen dat onze onderzoeken juridisch robuust zijn en eerlijk worden beslist.”
Het online delen van intieme afbeeldingen van misbruik is illegaal onder de OSA, die ook vereist dat pornografie geschikt is voor de leeftijd. Bedrijven zijn ook verplicht om systemen te hebben om te voorkomen dat materiaal over seksueel misbruik van kinderen (CSAM) wordt getoond en om dit snel te verwijderen als het op een platform wordt geplaatst.
Ofcom zei dat het afgelopen maandag “snel” contact had opgenomen met X over zijn zorgen. Na bestudering van de reactie van X over de stappen die het heeft genomen om aan de wet te voldoen, zei Ofcom dat het een formeel onderzoek had geopend na een “snelle” beoordeling die als “urgentiezaak” was uitgevoerd.
De waakhond richt zich op de vraag of X op de volgende manieren de wet heeft overtreden: het niet inschatten van het risico dat mensen illegale inhoud op het platform bekijken; geen passende stappen ondernemen om te voorkomen dat gebruikers illegale inhoud bekijken, zoals misbruik van intieme beelden en CSAM; illegaal materiaal niet onmiddellijk te verwijderen; om gebruikers niet te beschermen tegen inbreuken op de privacy; slaagt er niet in het risico in te schatten dat X voor kinderen kan opleveren; maakt geen gebruik van effectieve leeftijdscontrole voor pornografie.
Grok is geïntegreerd in X en dankzij een update van de AI-tool kunnen gebruikers deze vragen om geklede afbeeldingen van vrouwen en kinderen te veranderen door ze in bikini’s en seksuele poses te laten verschijnen.
Ofcom heeft een scala aan mogelijkheden op het gebied van straffen volgens de wet, van het eisen van bepaalde stappen om aan de wet te voldoen, het opleggen van boetes tot 10% van de wereldwijde omzet en, in extreme gevallen, het effectief blokkeren van een app of website door bij de rechtbank aan te dringen op ‘bedrijfsonderbrekingsmaatregelen’, zoals het eisen van ISP’s om de toegang tot een website in het Verenigd Koninkrijk te blokkeren. Vrijdag zei de regering dat zij Ofcom zou steunen als zij zou besluiten dat X inderdaad verboden zou moeten worden.
Ofcom zei dat het bewijsmateriaal zou verzamelen over de vraag of er een inbreuk had plaatsgevonden. Indien zij oordeelt dat er sprake is van een overtreding, maakt zij dit in een tussenbesluit bekend alvorens een definitief besluit te nemen. De toezichthouder gaf geen exacte details over hoe lang het onderzoek zou duren.
Jess Asato, een Labour-parlementslid en campagnevoerder tegen AI-naaktheid, zei dat het misbruik haar maandagochtend nog steeds overkwam.
Ze zei dat expliciete en vernederende afbeeldingen zijn gemaakt met behulp van de Grok-app – die ook los van X verkrijgbaar is – en andere AI-apps en op X zijn geplaatst omdat ze zich uitsprak tegen het platform van Musk.
“Het overkomt mij nog steeds en wordt op X geplaatst omdat ik erover praat”, zei ze. “Gelukkig zijn het alleen maar bikini’s, niemand heeft me nog goed uitgekleed. Vanochtend heeft iemand me veranderd in een traditionele vrouw met een enorme zwangere buik. Het is alsof ze zeggen dat dit is waar je hoort te zijn, dat is jouw rol, je hoort een machine te zijn om baby’s te maken. Dit heeft me vreemd genoeg meer gestoord dan de bikinifoto’s.”
Het parlementslid voegde eraan toe dat “duizenden mensen” haatdragende berichten en AI-verbeterde foto’s van haar hadden gestuurd als resultaat van haar campagne om AI-naaktheid te verbieden.
Ze voegde eraan toe: “Er zijn gebruikers die me zelf vertellen dat ze nog steeds afbeeldingen kunnen maken van vrouwen die naakt zijn en dat ze er niet per se voor hoeven te betalen. Zoveel mensen kunnen het doen zonder te betalen, op de Grok-app. We moeten de nudificatie stoppen. Er zijn duizenden van deze apps die deze inhoud nog steeds genereren. Vrouwen ga er niet mee akkoord om digitaal te worden gestript.”
