Ongeveer een jaar geleden trok een advertentie de aandacht van Ashleigh Ruane, een promovendus in de natuurkunde aan de Universiteit van Cambridge. De advertentie was eenvoudig maar ongebruikelijk: Leren AI over natuurkunde.
Nieuwsgierig klikte ze. Ze ontdekte dat experts uit alle vakgebieden – van natuurkunde en financiën tot gezondheidszorg en recht – nu betaald werden om AI-modellen te helpen trainen om problemen te denken, te redeneren en op te lossen als domeinspecialisten. Ze solliciteerde, werd aangenomen en logt nu zo’n 50 uur per week met gegevens voor Mercoreen platform dat AI-labs verbindt met domeinexperts.
Ruane maakt deel uit van een snelgroeiende groep professionals die vormgeven hoe AI-modellen leren. Volgens Freelancerduizenden nieuwe functies voor AI-datatraining en annotatie zijn op hun markt verschenen, waarbij de meeste groei de afgelopen 18 maanden heeft plaatsgevonden. Deze rollen variëren van zeer technische experttaken, zoals het evalueren van complexe redeneringen of het diagnosticeren van modelfouten, tot genuanceerde oordeelsvragen waar grote modellen nog steeds mee worstelen.
“We gaan een heel interessante periode in”, zegt freelancer-CEO Matt Barrie. “AI-modellen hebben steeds meer data nodig. We zien professionals uit alle vakgebieden in alle delen van de wereld deelnemen aan dit AI-datatrainingswerk.”
De trend roept grotere vragen op: als AI-modellen al zijn getraind op het open internet en grote bedrijfsdatasets, waarom zijn ze dat dan? Er zijn nog steeds menselijke experts nodig? Wat doen deze deskundigen precies? En hoe lang gaat deze nieuwe werkvorm mee?
AI heeft ‘het hele internet gelezen’ – en heeft nog steeds echte experts nodig
Er wordt algemeen aangenomen dat de grootste AI-modellen van vandaag al alles weten wat ze moeten weten. Ze zijn tenslotte getraind in miljoenen boeken, artikelen, artikelen en posts. Maar marktleiders zeggen dat domeinexperts nu belangrijker zijn dan ooit.
“Modellen die op het hele internet zijn getraind, kunnen je tot een antwoord van 80% brengen, maar in een juridische of fiscale context is 80% niet nuttig”, legt Joel Hron, CTO van ThomsonReuters. “Onze klanten eisen een hoog niveau van nauwkeurigheid en vertrouwen. Het inzetten van experts garandeert nauwkeurigheid in de hoogst mogelijke mate.”
Ana Price, adjunct-directeur Supply bij Productiefdat menselijke gegevens levert aan AI-laboratoria, is het ermee eens dat experts nog belangrijker zullen worden naarmate AI-modellen zich verplaatsen naar gereguleerde domeinen met hoge inzet.
“De vraag naar menselijke expertise en domeinspecifieke feedback van AI-modellen groeit en groeit en groeit”, zegt Price. “Naarmate deze modellen groter zijn geworden, worden de fouten moeilijker op te sporen. Er is echte expertise voor nodig om de inhoud te beoordelen van wat de modellen produceren, en niet alleen de correctheid op oppervlakkig niveau.”
Met andere woorden: internet alleen is geen vervanging voor gestructureerde professionele kennis. Hoe meer organisaties afhankelijk zijn van kunstmatige intelligentie voor serieus werk waar veel op het spel staat, hoe meer ze experts nodig hebben om modellen te laten zien hoe echte professionals denken.
Wat deskundige AI-trainers eigenlijk doen
Linda Yu heeft de afgelopen tien jaar geïnvesteerd als investeerder en heeft 4 miljard dollar uitgegeven aan investeringen in technologiebedrijven. Ze begon een jaar geleden bij Mercor te werken als deskundige bijdrager, waar typische projecten bestaan uit het coachen van AI-modellen om te denken als een beleggingsprofessional.
“Mijn rol als domeinexpert is om te beoordelen of het modelantwoord niet alleen technisch correct is, maar ook of de complexe redenering achter het antwoord accuraat is – inclusief de aannames die het model heeft gedaan, waar het mogelijk voorbij is gegaan, waar het heeft gemist, en wat een beter antwoord zou zijn”, vertelt Yu. “Het werk voelt minder als het trainen van een AI-model en meer als het begeleiden van een junior analist.”
Experts als Yu zeggen dat het werk varieert van project tot project en wordt gebruikt in verschillende sectoren, van de rechten, de geneeskunde, de techniek en daarbuiten. Deelnemers worden doorgaans per uur betaaldGemiddeld € 85,- per uur– en er kan worden gevraagd om de redenering van een model over een technische vraag te evalueren, onjuiste antwoorden te herschrijven in correcte, stapsgewijze uitleg, en de uitkomsten van meerdere modellen te vergelijken en te kiezen wat het beste de praktijk in de praktijk weerspiegelt.
De output is geen generieke inhoud, maar high-fidelity redeneergegevens die zijn ontworpen om vorm te geven aan de manier waarop AI-systemen werken.
AI-interviewers interviewen AI-trainers
Het werk vereist echte expertise, wat betekent dat AI-laboratoria gegevens nodig hebben van doorgelichte experts. Om te helpen bij het onderzoek vertrouwen sommige platforms op AI-interviewers om de feitelijke expertise van potentiële AI-docenten te beoordelen.
“Experts reageren op een oproep en interviewen AI”, zegt Arsham Ghahramani, oprichter van Plakbandeen AI-interviewer met meer dan 500 klanten, waaronder een AI-trainingsdataprovider die maandelijks meer dan 15.000 experts interviewt. “Je krijgt waarschijnlijk de beste sollicitatievragen die je ooit zijn gesteld.”
AI-interviewers beoordelen experts op signalen die kunnen wijzen op alarmsignalen over expertise, zoals een onregelmatige reactiefrequentie, of ze op een natuurlijke manier reageren en natuurlijk of ze over de noodzakelijke expertise beschikken voor een bepaald domein.
“Het was eigenlijk mijn eerste interview met een niet-echt persoon”, zegt Yu. “Het scande mijn cv en kwam met echt relevante vragen. Na elk antwoord gedroeg de AI-interviewer zich als een echt persoon en vatte samen wat ik zei en stelde een vraag die een natuurlijk verlengstuk was van ons gespreksonderwerp. Ik was gefascineerd door de technologie.”
De AI evalueert nu de mensen die het lesgeven, een weerspiegeling van de mate waarin mensen over geavanceerde modelleringsvaardigheden beschikken.
De ‘laatste kilometer aan informatie’ is nog steeds van de mens
Een van de duidelijkste verklaringen waarom expertdata essentieel blijven, komt van Mark Quinn, senior director AI operations bij Parel en voormalig hoofd van de technische activiteiten van Waymo. Hij legt een verband tussen de huidige AI-uitdagingen en autonoom rijden.
“Bij Waymo werkten we aan de laatste kilometer van autonome mobiliteit. Nu werken we aan de laatste kilometer aan informatie”, zegt Quinn. “Hoewel er AI-systemen worden ontwikkeld om de laatste kilometer aan informatie af te sluiten, is de realiteit dat mensen nog steeds de voorkeur geven aan menselijke deskundige validatie als ze een antwoord nodig hebben over wat ze moeten doen als hun hond wat chocolade heeft gegeten.”
De metafoor vindt weerklank in de hele sector. Zelfs nu modellen slimmer en groter worden, is er een wereld vol randgevallen: situaties die oordeel, ethisch redeneren of domeinspecifieke logica vereisen die niet gemakkelijk in algemene datasets kunnen worden vastgelegd.
Sommige managers geloven dat de last mile zal krimpen, maar nooit helemaal zal verdwijnen.
Hron van Thomson Reuters merkt op: “De basismodellen hebben nog een lange weg te gaan voordat ze echt diepgaand zijn. Deskundige systemen en deskundige kennis zullen de modellen helpen naar het volgende niveau te klimmen.”
Price of Prolific voegt hieraan toe: “We hebben nog maar het oppervlak betreden van wat AI kan doen. Mensen vormen een cruciaal stukje van de puzzel, vooral in nichedomeinen.”
Met andere woorden: de toekomst gaat niet over het vervangen van experts. Het gaat om het opschalen van de expertise die cruciaal is om AI-modellen beter en veiliger te maken.
Een nieuwe vorm van kenniswerk
Voor Ruane, promovendus natuurkunde, is het deskundige datawerk een belangrijke bron van inkomsten geworden. Ze heeft onlangs een fulltime baan aanvaard, maar merkt op dat haar nieuwe baan slechts 38 uur per week zal bedragen, waardoor er tijd overblijft om te blijven bijdragen aan AI-trainingsprojecten.
Wat ze ziet wordt snel gemeengoed: bekwame professionals beschouwen AI-trainingswerk als een aanvullend carrièrepad, een flexibele bijbaan of zelfs een voltijdbaan.
Werk speelt een steeds centralere rol in de manier waarop AI-systemen werken. Naarmate modellen vaardiger worden, wordt de waarde van expertise uit de echte wereld opnieuw gedefinieerd en niet verminderd.
Experts gebruiken niet alleen AI. Ze leren redeneren, denken en handelen als een expert.
