Er is slecht nieuws voor degenen die digitale enquêtes gebruiken om het onlinegedrag van mensen te begrijpen: we kunnen misschien niet meer zeggen of een mens erop reageert of niet, zo heeft een recent onderzoek aangetoond – en er lijkt geen manier te zijn om dit probleem te omzeilen.
Dit betekent dat alle onlineverwerking kwetsbaar kan zijn voor een verkeerde voorstelling van de ware mening van mensen. Dit kan gevolgen hebben voor alles wat onder de categorie ‘informatieoorlogvoering’ valt, van opiniepeilingen tot desinformatie en fraude. Niet-menselijke enquêterespondenten zouden collectief alles kunnen beïnvloeden, van de smaak en de prijs van een pakje kauwgom tot iets schadelijkers, zoals de vraag of iemand publieke voordelen zou kunnen ontvangen – en wat die zouden moeten zijn.
Het probleem hier is tweeledig: 1) mensen zijn niet in staat het verschil te zien tussen reacties van mensen en bots, en 2) in gevallen waarin automatisering actie reguleert op basis van die reacties, zou er geen manier zijn om dergelijke peilingen te gebruiken en bescherming te bieden tegen potentieel gevaarlijke problemen die voortkomen uit deze niet-onderscheidbaarheid.
De studie van Sean J. Westwood uit Dartmouth in “PNAS-dagboek van Nationale Academie van Wetenschappen“, gerechtigd “De potentiële existentiële bedreiging van grote taalmodellen voor online enquêteonderzoekbeweert aan te tonen dat we er niet langer op kunnen vertrouwen dat we in enquêteonderzoek niet langer eenvoudigweg kunnen aannemen dat een ‘coherente reactie een menselijke reactie is’. Westwood creëerde een autonome agent die in staat was om “enquêtereacties van hoge kwaliteit te produceren die de redenering en samenhang aantonen die van menselijke reacties worden verwacht.”
Om dit te doen heeft Westwood een ‘model-agnostisch’ systeem ontworpen dat is ontworpen voor algemene redenering en dat zich richt op een tweelaagse architectuur: een die fungeert als interface voor het enquêteplatform en meerdere soorten zoekopdrachten kan verwerken terwijl relevante inhoud wordt geëxtraheerd, en een tweede ‘kernlaag’ die een ‘redeneermachine’ gebruikt (zoals een LLM). Wanneer een enquête wordt ingevuld, laadt de software van Westwood een ‘demografische persona’ die een aantal herinneringen aan eerdere antwoorden kan opslaan en vervolgens vragen kan verwerken om een ’contextueel passend antwoord’ als antwoord te geven.
Zodra de redeneermachine een antwoord heeft bepaald, zendt de eerstelaagsinterface een gesimuleerd menselijk antwoord uit. Het systeem is ook “ontworpen om tools te bieden om anti-botmaatregelen zoals reCAPTCHA te omzeilen.” Het systeem van Westwood heeft als doel niet “het perfect reproduceren van de geaggregeerde bevolkingsverdelingen … maar het produceren van individuele enquête-invullingen (die) door een redelijke onderzoeker als redelijk zouden worden beschouwd.”
De bevindingen van Westwood suggereren dat digitale enquêtes wel of niet een waarheidsgetrouwe weerspiegeling van de mening van mensen kunnen zijn. Er is net zo waarschijnlijk een kans dat studies in plaats daarvan zouden kunnen beschrijven wat een LLM aanneemt dat ‘menselijk gedrag’ is. Bovendien, mensen of AI het nemen van beslissingen op basis van deze resultaten kan afhankelijk zijn van de ‘meningen’ van gesimuleerde mensen.
Persona’s
Het creëren van synthetische mensen is geen nieuw concept. Romans, visuele media, toneelstukken en adverteerders gebruiken allerlei creatieve ideeën om verschillende mensen te portretteren en hun verhalen te vertellen. In het ontwerp is het idee van “Personen” worden al tientallen jaren gebruikt marketing en gebruikersinterfaceontwerp als een kostenbesparende en tijdbesparende trend. Persona’s zijn fictieve samenstellingen van mensen en worden weergegeven in categorieën als ‘Voetbalmoeder’, ‘Joe Six-pack’, ‘Technofobe oma’ of ‘Business Executive’. Naast dat ze doordrongen zijn van vooroordelen, zijn Persona’s projecties van wat de mensen die ze hebben gecreëerd, denken dat die mensen zouden zijn en van de groepen waartoe ze zouden kunnen behoren.
Persona’s zijn een verborgen probleem in design en marketing, juist omdat ze samengesteld zijn uit echte of denkbeeldige mensen, en niet uit echte mensen. De waarden die eraan verbonden zijn, worden geconstrueerd door de interpretaties van anderen. Als je vertrouwt op persona’s in plaats van op mensen, is het onmogelijk om de ware context te voorspellen van hoe een product of dienst feitelijk wordt gebruikt, omdat de persona’s worden geprojecteerd door de maker en geen echte mensen zijn in echte situaties.
Daarom worden de problemen bij het gebruik van Persona’s voor het ontwerpen van producten en diensten vaak pas ontdekt lang nadat dergelijke producten of diensten op de markt komen en mislukken of andere onvoorziene problemen veroorzaken. Dit zou nog erger kunnen zijn als deze door mensen gemaakte persona’s worden vervangen door AI/LLM ChatBot-persona’s met alle vooroordelen die deze met zich meebrengen – inclusief loslaten beïnvloedt of hallucinaties dat zou hun reacties nog vreemder of mogelijk zelfs psychotischer kunnen maken.
Kwantitatief versus kwalitatief
Een deel van het grotere probleem van het niet begrijpen van de behoeften van mensen met enquêtes begon toen het onderzoek verschoof naar het verzamelen van statistische gegevens op basis van berekeningen, ook wel kwantitatieve methoden genoemd, in plaats van contextueel onderzoek op basis van gesprekken en sociale relaties met anderen, of kwalitatieve methoden. Toen Big Data online kwam, begonnen mensen kwantitatieve methoden te gebruiken, zoals online enquêtes, A/B-testen en andere technieken om het gedrag van klanten en gebruikers te begrijpen. Omdat machines snel resultaten konden verzamelen, lijkt kwantitatief onderzoek een industriestandaard te zijn geworden voor het begrijpen van mensen.
Het is niet gemakkelijk om kwalitatieve methoden automatiserenen door deze te vervangen door kwantitatieve methoden kan belangrijke context verloren gaan. Sinds er bijna een generatie is toegetreden wereld gericht op computationeel tellenIs het gemakkelijk om de kwalitatieve datamethoden – gevonden in de sociale wetenschappen zoals de antropologie – te vergeten die gebruik maken van contextuele enquête-interviews met echte mensen om te begrijpen waarom mensen doen wat ze doen, in plaats van te proberen dit af te leiden uit numerieke antwoorden?
Kwalitatief onderzoek kan context bieden aan de kwantitatieve gegevens en methoden die afhankelijk zijn van goddelijke betekenismachines. Ze kunnen ook buiten big data-methoden werken en zijn gebaseerd op echte mensen, waardoor ze verantwoording afleggen aan hun overtuigingen en meningen. Het proces van praten met echte mensen contextualiseert deze inhoud eerst, wat tot betere resultaten leidt. Kwalitatieve methoden kunnen worden gekwantificeerd en geteld, maar kwantitatieve methoden kunnen nog niet gemakkelijk echt breed contextueel worden gemaakt.
Een verschil tussen het gebruik van kwalitatieve en kwantitatieve methoden heeft te maken met transparantie en het begrijpen van de geldigheid van de reacties van mensen. Bij oudere, door de mens gemaakte persona’s zijn er duidelijke aannames en mazen in de wet – het is grof poppenspel en projectie. Maar wanneer mensen worden vervaardigd door Chatbot/LLM’s met behulp van een kenniscorpus dat uit enorme hoeveelheden gegevens is gewonnen, zijn er wellicht minder manieren om feit van fictie te scheiden. Bij chatbots en LLM’s is de kunstmatige entiteit zowel de schepper van de “persoon” als mogelijk het antwoord aan de persoonen ofwel de tolk van de reacties van de nep-chatbotof geïnterpreteerd worden door een LLM. Dat is waar het gevaarlijk kan worden, vooral als de resultaten van dit soort slordig onderzoek worden gebruikt voor zaken als politieke opiniepeilingen of politiewerk.
Het onderzoek van Westwood heeft aangetoond dat: “In plaats van te vertrouwen op scherpe, vraagspecifieke regels, synthetische respondenten een consistente persoonlijkheid behouden door reacties te conditioneren op een initieel demografisch profiel en een dynamische herinnering aan eerdere antwoorden. Dit stelt het in staat om verschillende vragen op een intern coherente manier te beantwoorden die plausibele, mensachtige patronen genereert …” Het kan geen context creëren, maar het kan het ook niet imiteren.
Terug naar de basis
Zullen we, terwijl GenAI de onderzoeken gaat uitvoeren, als respondenten optreden en de onderzoeken interpreteren, het verschil kunnen zien tussen GenAI en echte mensen?
Een volledig geautomatiseerde enquêtelus lijkt fictief totdat we zien hoeveel mensen al chatbots/LLM’s gebruiken om delen van het enquêteproces te automatiseren. Iemand kan een persona genereren en deze vervolgens gebruiken om enquêtes te beantwoorden die de “AI” heeft ontworpen, waarna iemand anders een Chatbot zal gebruiken om toegang te krijgen tot de “AI” om de resultaten te interpreteren. Het zou vreselijk kunnen zijn om een volledige lus te maken: iemand zou dan AI kunnen gebruiken om de gemaakte Chatbot om te zetten, de Chatbot antwoordde, en de “AI” interpreteerde de antwoorden op de enquête in iets dat echte mensen beïnvloedt die echte behoeften hebben in de echte wereld, maar in plaats daarvan is ontworpen voor nepmensen met nepbehoeften in een nepwereld.
Kwalitatief onderzoek is een stap vooruit. Het stelt ons in staat echte mensen te leren kennen, hun antwoorden te valideren en de context te verfijnen door middel van methoden die elke reactie voor meer diepgang onderzoeken. Dit soort werk kan nog niet door AI worden gedaan, omdat LLM’s hun antwoorden momenteel baseren op statistische woordmatching, die ongeraffineerd is. Bots die menselijke reacties nabootsen, zullen een soort gesimuleerde menselijke reactie nabootsen, maar om te weten wat echte mensen denken en wat dingen voor hen betekenen, moeten bedrijven misschien teruggaan naar werkgelegenheid antropologen die zijn opgeleid om kwalitatieve methoden te gebruiken om verbinding te maken met echte mensen.
Nu AI menselijke reacties op kwantitatieve onderzoeken ten onrechte kan repliceren, leren degenen die geloven dat zowel kwantitatieve methoden als AI de antwoorden zijn op het uitvoeren van nauwkeurig onderzoek een harde les die ons helaas allemaal zal treffen.
