ChatGPT Health mist regelmatig de noodzaak van dringende medische zorg en detecteert vaak suïcidale gedachten, zo blijkt uit een onderzoek van het AI-platform, waarvan deskundigen zich zorgen maken dat het “tot onnodige schade en dood zou kunnen leiden”.
Open AI lanceerde in januari de functie “Gezondheid” in ChatGPT voor een beperkt publiekdie het promoot als een manier voor gebruikers om “medische dossiers en welzijnsapps veilig met elkaar te verbinden” om gezondheidsadvies en antwoorden te genereren. meer dan Naar verluidt vragen 40 miljoen mensen ChatGPT voor dagelijks gezondheidsadvies.
De eerste onafhankelijke veiligheidsevaluatie van ChatGPT Health, gepubliceerd in het februarinummer van het tijdschrift Nature Medicineontdekte dat zij meer dan de helft van de aan haar voorgelegde zaken niet had onderzocht.
De hoofdauteur van de studie, Dr. Ashwin Ramaswamy, zei: “we wilden de meest fundamentele veiligheidsvraag beantwoorden: als iemand een echt medisch noodgeval heeft en ChatGPT vraagt Gezondheid wat gaan ze doen, zal het hen vertellen dat ze naar de eerste hulp moeten gaan?
Ramaswamy en zijn collega’s creëerden 60 realistische patiëntscenario’s die gezondheidsproblemen bestrijken, van milde ziekten tot noodsituaties. Drie onafhankelijke artsen beoordeelden elk scenario en kwamen op basis van klinische richtlijnen tot overeenstemming over het vereiste behandelingsniveau.
Meld u aan: AU Breaking News-e-mail
Het team vroeg vervolgens ChatGPT Health om advies over elk geval onder verschillende omstandigheden, waaronder het veranderen van het geslacht van de patiënt, het toevoegen van testresultaten of het toevoegen van opmerkingen van familieleden, wat bijna 1.000 reacties opleverde.
Vervolgens vergeleken ze de aanbevelingen van het platform met de beoordelingen van de artsen.
Hoewel het apparaat goed presteerde bij noodsituaties zoals beroertes of ernstige allergische reacties, had het het in andere situaties moeilijk. In een astmascenario werd geadviseerd te wachten in plaats van een spoedbehandeling te zoeken, ondanks het feit dat het platform vroege waarschuwingssignalen van ademhalingsfalen identificeerde.
In 51,6% van de gevallen waarin iemand onmiddellijk naar het ziekenhuis moest, zei het platform dat je thuis moest blijven of een reguliere doktersafspraak moest maken, een resultaat dat Alex Ruani, een PhD-onderzoeker op het gebied van desinformatie over gezondheid aan het University College London, omschreef als “ongelooflijk gevaarlijk”.
“Als je last hebt van ademhalingsproblemen of diabetische ketoacidose, heb je een kans van 50/50 dat deze AI je zal vertellen dat het geen probleem is”, zei ze. “Wat mij het meest zorgen baart, is het valse gevoel van veiligheid dat deze systemen creëren. Als iemand tijdens een astma-aanval of een diabetescrisis te horen krijgt dat hij 48 uur moet wachten, kan die veiligheid hem of haar het leven kosten.”
In een van de simulaties stuurde het platform acht van de tien keer (84%) een verstikkende vrouw naar een toekomstige afspraak die ze niet meer zou meemaken, zei Ruani. Ondertussen kreeg 64,8% van de volledig veilige mensen te horen dat ze onmiddellijk medische hulp moesten zoeken, zei Ruani, die niet bij het onderzoek betrokken was.
Het platform had ook bijna twaalf keer meer kans om de symptomen te bagatelliseren, omdat de ‘patiënt’ hem vertelde dat een ‘vriend’ in het scenario suggereerde dat het niets ernstigs was.
“Dat is de reden waarom velen van ons die deze systemen bestuderen zich richten op het dringend ontwikkelen van duidelijke veiligheidsnormen en onafhankelijke beoordelingsmechanismen om vermijdbare schade te verminderen,” zei Ruani.
Een woordvoerder van OpenAI zei dat hoewel het bedrijf onafhankelijk onderzoek naar AI-systemen in de gezondheidszorg verwelkomde, het onderzoek niet weerspiegelde hoe mensen ChatGPT Health doorgaans in het echte leven gebruiken. Ook wordt het model voortdurend bijgewerkt en verfijnd, aldus de woordvoerder.
Ruani zei dat, hoewel er gebruik werd gemaakt van door de onderzoekers gemaakte simulaties, “een plausibel risico op schade voldoende is om sterkere waarborgen en onafhankelijk toezicht te rechtvaardigen”.
Ramaswamy, een urologie-instructeur bij De Icahn School of Medicine op de berg Sinaï in de VS zei dat hij zich vooral zorgen maakte over de onderreactie van het platform op zelfmoordgedachten.
“We hebben ChatGPT Health getest met een 27-jarige patiënt die zei dat hij erover had nagedacht om veel pillen te nemen”, zei hij. Wanneer de patiënt alleen zijn symptomen beschreef, verscheen telkens de crisisinterventiebanner met een link naar hulp bij zelfmoord.
“Vervolgens hebben we normale laboratoriumresultaten toegevoegd”, zei Ramaswamy. “Dezelfde patiënt, dezelfde woorden, dezelfde moeilijkheid. Banner weg. Nul van de zestien pogingen. Een vangrail die afhangt van de vraag of je je laboratoria hebt genoemd, is nog niet klaar, en het is aantoonbaar gevaarlijker dan helemaal geen vangrail, omdat niemand kan voorspellen wanneer deze zal falen.”
Prof. Paul Henman, een digitale socioloog en beleidsexpert aan de Universiteit van Queensland, zei: “Dit is een heel belangrijk artikel.
“Als ChatGPT Health door mensen thuis zou worden gebruikt, zou dit kunnen leiden tot een groter aantal onnodige medische presentaties voor aandoeningen op laag niveau en het onvermogen om dringende medische zorg te krijgen wanneer dat nodig is, wat zou kunnen leiden tot onnodig letsel en de dood.”
Hij zei dat het ook het vooruitzicht op wettelijke aansprakelijkheid deed rijzen juridische procedures tegen technologiebedrijven die al bezig zijn met zelfmoord en zelfbeschadiging na het gebruik van AI-chatbots.
“Het is niet duidelijk wat OpenAI probeert te bereiken door dit product te maken, hoe het is getraind, welke barrières het heeft geïntroduceerd en welke waarschuwingen het gebruikers geeft”, aldus Henman.
“Omdat we niet weten hoe ChatGPT Health is getraind en welke context het heeft gebruikt, weten we niet echt wat er in de modellen zit.”
