Terwijl de feestdagen voor de deur staan Zwarte VrijdagEén categorie op de cadeaulijsten van mensen baart steeds meer zorgen: producten met kunstmatige intelligentie.
De ontwikkeling heeft nieuwe zorgen doen rijzen over de gevaren die slim speelgoed voor kinderen kan opleveren, omdat consumentenorganisaties zeggen dat kunstmatige intelligentie de veiligheid en ontwikkeling van kinderen kan schaden. De trend heeft geleid tot oproepen tot meer testen van dergelijke producten en tot toezicht door de overheid.
“Als we goed kijken naar hoe dit speelgoed op de markt wordt gebracht en hoe het werkt, en naar het feit dat er weinig tot geen onderzoek is dat aantoont dat het nuttig is voor kinderen – en geen regulering van AI-speelgoed – werpt dit een heel grote rode vlag op”, zegt Rachel Franz, directeur van Young Children Thrive Offline, een initiatief van Eerlijk speldie werkt om kinderen te beschermen tegen grote technologie.
Vorige week kregen deze angsten een brutale rechtvaardiging toen een met AI uitgeruste teddybeer seksueel expliciete onderwerpen begon te bespreken.
Het product, FoloToy’s Kumma, draaide op een OpenAI-model en beantwoordde knikvragen. Het suggereerde bondage en rollenspellen als manieren om een relatie te verbeteren, volgens een rapport van de Public Interest Research Group (Pirg), de consumentenbeschermingsorganisatie achter het onderzoek.
“Het kostte heel weinig moeite om het in te laten gaan op allerlei seksueel gevoelige onderwerpen en waarschijnlijk op veel inhoud waarvan ouders niet willen dat hun kinderen eraan worden blootgesteld”, zegt Teresa Murray, directeur van de consumentenwaakhond bij Pirg.
Producten zoals de teddybeer maken deel uit van een mondiale markt voor slim speelgoed ter waarde van 16,7 miljard DKK. USD in 2023, volgens Geallieerd marktonderzoek.
De industrie is bijzonder groot in China, waar meer dan 1.500 AI-speelgoedbedrijven werken aan uitbreiding naar het buitenland. MIT-technologierecensie rapporten.
Naast de in Shanghai gevestigde startup FoloToy werkt Curio, een bedrijf uit Californië, met OpenAI en maakt een knuffel, Grokzoals in de chatbot van Elon Musk, ingesproken door muzikant Grimes. In juni lanceerde Mattel, eigenaar van merken als Barbie en Hot Wheels, ook aangekondigd een partnerschap met OpenAI om “AI-aangedreven producten en ervaringen te ondersteunen”.
Vóór het Pirg-rapport over de griezelige teddybeer hadden ouders, technologieonderzoekers en wetgevers al hun zorgen geuit over de impact van bots op de geestelijke gezondheid van minderjarigen. In oktober kondigde chatbotbedrijf Character.AI aan dat het gebruikers onder de 18 jaar zou verbieden om te volgen een rechtszaak beweren dat de bot de depressie van een tiener verergerde en ervoor zorgde dat hij zelfmoord pleegde.
Murray zei dat AI-speelgoed bijzonder gevaarlijk kan zijn, omdat waar eerder slim speelgoed door kinderen geprogrammeerde reacties gaf, een bot “een vrij vloeiend gesprek met een kind kan voeren en er zijn geen grenzen die we hebben gevonden”.
Dat zou niet alleen tot seksueel expliciete gesprekken kunnen leiden, maar kinderen zouden ook gehecht kunnen raken aan een bot in plaats van aan een persoon of denkbeeldige vriend, wat hun ontwikkeling zou kunnen schaden, zegt Jacqueline Woolley, directeur van het Children’s Research Center aan de Universiteit van Texas in Austin.
Een kind kan er bijvoorbeeld baat bij hebben als hij een meningsverschil heeft met een vriend en leert hoe hij dit kan oplossen. Bij bots is de kans kleiner dat dit gebeurt vaak sycofantischzei Woolley, die advies gaf over de Pirg-studie.
“Ik maak me zorgen over ongepaste banden”, zei Woolley.
Bedrijven gebruiken het AI-speelgoed ook om gegevens van kinderen te verzamelen en zijn niet transparant geweest over wat ze met die informatie doen, zegt Franz van Fairplay. Dat brengt gebruikers mogelijk in gevaar vanwege een gebrek aan beveiliging rond dergelijke gegevens, zei Franz. Hackers hebben dat gedaan controle over AI-producten hebben kunnen overnemen.
“Vanwege het vertrouwen dat het speelgoed schept, zou ik zeggen dat kinderen eerder geneigd zijn hun diepste gedachten over dit speelgoed te vertellen”, zei Franz. “Het toezicht is onnodig en ongepast.”
Ondanks dergelijke zorgen roept Pirg niet op tot een verbod op AI-speelgoed dat educatieve waarde zou kunnen hebben, zoals het helpen van kinderen bij het leren van een andere taal of hoofdsteden van de staat, zei Murray.
“Er is niets mis met het hebben van een soort educatief hulpmiddel, maar datzelfde educatieve hulpmiddel vertelt je niet dat het je beste vriend is, dat je me alles kunt vertellen,” zei Murray.
De organisatie roept op tot verdere regulering van dit speelgoed voor kinderen onder de 13 jaar, maar heeft geen specifieke beleidsaanbevelingen gedaan, zei Murray.
Er moet ook meer onafhankelijk onderzoek worden gedaan om ervoor te zorgen dat de producten veilig zijn voor kinderen, en totdat dat is gebeurd, moeten ze uit de schappen worden gehaald, zei Franz.
“We hebben onafhankelijk onderzoek op korte termijn en longitudinaal nodig naar de effecten van kinderen die omgaan met AI-speelgoed, inclusief hun sociaal-emotionele ontwikkeling” en cognitieve ontwikkeling, zei Franz.
Na het Pirg-rapport kondigde OpenAI aan dat ze FoloToy zouden opschorten. Toen de CEO van het speelgoedbedrijf vertelde CNN dat het de beer van de markt heeft gehaald en “een interne veiligheidsaudit heeft uitgevoerd”. Eerder deze week introduceerde het het product opnieuw, berichten op sociale media vrijdagochtend dat het “een diepgaande, bedrijfsbrede interne veiligheidsaudit had uitgevoerd; onze maatregelen voor inhoudsmoderatie en kinderveiligheid had versterkt en geüpgraded; en verbeterde beveiligingsregels en -beschermingen had geïmplementeerd via ons cloudgebaseerde systeem”.
“Nu de mondiale aandacht voor AI-speelgoedveiligheid blijft toenemen, zijn wij van mening dat transparantie, verantwoordelijkheid en voortdurende verbetering essentieel zijn”, aldus het rapport. “FoloToy blijft zich vastberaden inzetten voor het bouwen van veilige, bij de leeftijd passende AI-metgezellen voor kinderen en gezinnen over de hele wereld.”
Het bedrijf bevestigde in de verklaring echter niet of het onafhankelijke deskundigen had geraadpleegd voordat het de beer opnieuw introduceerde. het register nadat u het product zoals het zou trekken.
RJ Cross, de directeur van het consumentenbeschermingsprogramma van Pirg, zei dat de ommekeer van FoloToy “misschien wat snel lijkt voor een uitgebreide veiligheidsaudit, maar het belangrijkste is of de onmiddellijke problemen zijn aangepakt”. Hij drong er bij het bedrijf op aan om toegang te verlenen aan externe experts, en zei dat er hoe dan ook nog steeds vragen bestaan over de vraag of AI-‘vrienden’ goed zijn voor kinderen.
“We weten niet wat een AI-begeleider kan doen met de sociale ontwikkeling van een kind op de lange termijn”, zei hij. “Dit is een vraag die geen enkele bedrijfsveiligheidsaudit op dit moment kan beantwoorden.”
FoloToy reageerde niet onmiddellijk op een verzoek om commentaar.
Donderdag brachten 80 organisaties, waaronder Fairplay, een verklaring uit een advies dringt er bij gezinnen op aan om deze feestdagen geen AI-speelgoed te kopen.
“AI-speelgoed wordt aan gezinnen op de markt gebracht als veilig en zelfs nuttig voor het leren, voordat de impact ervan is beoordeeld door onafhankelijk onderzoek”, aldus de release. “Daarentegen is aangetoond dat offline teddyberen en speelgoed de ontwikkeling van kinderen ten goede komen, zonder de risico’s van AI-speelgoed.”
Curio, maker van het Grok-speelgoed, vertelde de Guardian in een e-mail dat we, na het Pirg-rapport te hebben bekeken, “actief samenwerken met ons team om eventuele problemen aan te pakken, terwijl we voortdurend de inhoud en interacties monitoren om een veilige en plezierige ervaring voor kinderen te garanderen”.
Mattel verklaarde dat zijn eerste producten met OpenAI “zich zullen richten op gezinnen en oudere klanten” en dat “het gebruik van OpenAI API’s niet bedoeld is voor gebruikers onder de 13 jaar”.
“AI is een aanvulling op – en geen vervanging van – traditioneel spel, en we leggen de nadruk op veiligheid, privacy, creativiteit en verantwoorde innovatie”, aldus het bedrijf.
Franz verwees naar het verleden privacyproblemen met die van Mattel slimme producten en zei: “Het is goed dat Mattel beweert dat hun AI-producten niet voor kleine kinderen zijn, maar als we kijken naar wie met speelgoed speelt en voor wie speelgoed op de markt wordt gebracht, zijn het kleine kinderen.”
Franz voegde hieraan toe: “We zijn erg geïnteresseerd in de concrete stappen die Mattel zal nemen om ervoor te zorgen dat hun OpenAI-producten niet daadwerkelijk worden gebruikt door kinderen die de merken zeker zullen herkennen en zich er tot aangetrokken zullen voelen.”
