Google brengt mensen in gevaar door beveiligingswaarschuwingen te bagatelliseren dat het door AI gegenereerde medische advies verkeerd zou kunnen zijn.
Bij het beantwoorden van vragen over gevoelige onderwerpen zoals gezondheid zegt het bedrijf dat de AI-samenvattingen, die boven de zoekresultaten verschijnen, gebruikers aanmoedigen om professionele hulp te zoeken in plaats van uitsluitend op de samenvattingen te vertrouwen. “AI Overviews zal mensen informeren wanneer het belangrijk is om deskundig advies in te winnen of de gepresenteerde informatie te verifiëren”, Google heeft gezegd.
Maar The Guardian ontdekte dat het bedrijf dergelijke disclaimers niet opneemt wanneer gebruikers voor het eerst medisch advies krijgen.
Google geeft alleen een waarschuwing als gebruikers ervoor kiezen om aanvullende gezondheidsinformatie op te vragen en op de knop ‘Meer weergeven’ klikken. Zelfs dan verschijnen veiligheidslabels alleen onder al het aanvullende medische advies dat is verzameld met behulp van generatieve AI, en in een kleiner, lichter lettertype.
“Dit is alleen ter informatie”, vertelt de disclaimer aan gebruikers die na het bekijken van het initiële overzicht doorklikken voor aanvullende details en naar het einde van het AI-overzicht navigeren. “Neem voor medisch advies of een diagnose contact op met een professional. AI-reacties kunnen fouten bevatten.”
Google ontkende niet dat haar disclaimers niet verschijnen wanneer gebruikers voor het eerst medisch advies krijgen, of dat ze onder AI-overzichten en in een kleiner, lichter lettertype verschijnen. AI-samenvattingen “moedigen mensen aan om professioneel medisch advies in te winnen” en vermelden vaak het zoeken naar medische hulp in de samenvatting zelf “indien nodig”, aldus een woordvoerder.
AI-experts en pleitbezorgers van patiënten, geïnformeerd over de bevindingen van de Guardian, zeiden dat ze zich zorgen maakten. Disclaimers dienen een belangrijk doel, zeiden ze, en zouden prominent moeten verschijnen wanneer gebruikers voor het eerst medisch advies krijgen.
“Het ontbreken van disclaimers wanneer gebruikers in eerste instantie medische informatie krijgen, creëert verschillende kritieke gevaren”, zegt Pat Pataranutaporn, assistent-professor, technoloog en onderzoeker aan het Massachusetts Institute of Technology (MIT) en een wereldberoemde expert op het gebied van AI en mens-computerinteractie.
“Ten eerste hallucineren zelfs de meest geavanceerde AI-modellen vandaag de dag nog steeds desinformatie of vertonen ze sycofantisch gedrag en geven ze prioriteit aan gebruikerstevredenheid boven nauwkeurigheid. In gezondheidscontexten kan dit echt gevaarlijk zijn.
“Ten tweede gaat het niet alleen om de beperkingen van AI – het gaat om de menselijke kant van de vergelijking. Het kan zijn dat gebruikers niet alle noodzakelijke context bieden of de verkeerde vragen stellen door hun symptomen verkeerd te observeren.
“Disclaimers dienen als een cruciale interventie. Ze verstoren dit automatische vertrouwen en moedigen gebruikers aan om kritischer om te gaan met de informatie die ze ontvangen.”
Gina Neff, hoogleraar verantwoorde AI aan de Queen Mary Universiteit van Londen, zei dat “het probleem met slechte AI-overzichten inherent is aan het ontwerp” en dat Google de schuldige was. “AI-overzichten zijn ontworpen voor snelheid, niet voor nauwkeurigheid, en dit leidt tot fouten in gezondheidsinformatie, wat gevaarlijk kan zijn.”
In januari, een Guardian-onderzoek onthulde dat mensen het risico liepen op schade als gevolg van valse en misleidende gezondheidsinformatie in Google AI-vermeldingen.
zei Neff de onderzoeksresultaten liet zien waarom prominente disclaimers essentieel waren. “Google zorgt ervoor dat mensen doorklikken voordat ze een disclaimer tegenkomen”, zegt ze. “Mensen die snel lezen, denken misschien dat de informatie die ze uit AI Overviews krijgen beter is dan het is, maar we weten dat er ernstige fouten kunnen worden gemaakt.”
Naar aanleiding van de berichtgeving van The Guardian heeft Google verwijderde AI-overzichten voor sommige, maar niet alle medische zoekopdrachten.
Sonali Sharma, onderzoeker aan het Center for AI in Medicine and Imaging (AIMI) van Stanford University, zei: “Het grootste probleem is dat deze AI-overzichten van Google helemaal bovenaan de zoekpagina verschijnen en vaak een wat voelt als een compleet antwoord op de vraag van een gebruiker op een moment dat hij toegang probeert te krijgen tot informatie en zo snel mogelijk een antwoord wil krijgen.
“Voor veel mensen omdat die ene samenvatting er eigenlijk meteen is creëert een gevoel van veiligheid dat raadt af om verder te zoeken of door de gehele samenvatting te scrollen en op ‘Meer weergeven’ te klikken waar mogelijk een disclaimer verschijnt.
“Wat volgens mij tot schade kan leiden in de echte wereld is het feit dat de AI-overzichten vaak deels correcte en deels onjuiste informatie kunnen bevatten, en het wordt erg moeilijk om te zeggen wat juist is of niet, tenzij je al bekend bent met het onderwerp.”
Een woordvoerder van Google zei: “Het is onjuist om te suggereren dat AI-overzichten mensen niet aanmoedigen om professioneel medisch advies in te winnen. Naast een duidelijke disclaimer vermeldt AI-overzichten vaak dat het zoeken naar medisch advies rechtstreeks in het overzicht zelf wordt vermeld, indien nodig.”
Tom Bishop, hoofd patiënteninformatie bij Anthony Nolan, een liefdadigheidsinstelling voor bloedkanker, riep op tot snelle actie. “We weten dat desinformatie een reëel probleem is, maar als het om desinformatie over de gezondheid gaat, is het potentieel heel gevaarlijk”, zei Bishop.
“Die disclaimer moet veel prominenter aanwezig zijn, gewoon om mensen een stap terug te laten doen en te laten denken…”Is dit iets dat ik moet controleren bij mijn medisch team in plaats van ernaar te handelen? Kan ik dit zonder meer aanvaarden of moet ik er echt dieper op ingaan en kijken hoe deze informatie zich verhoudt tot mijn eigen specifieke medische situatie?’ Want dat is hier de sleutel.”
Hij voegde eraan toe: “Ik wil dat deze disclaimer helemaal bovenaan staat. Ik wil dat dit het eerste is wat je ziet. En idealiter zou het hetzelfde lettertype hebben als al het andere dat je daar ziet, en niet iets dat klein is en gemakkelijk over het hoofd te zien is.”
