vraagt OpenAI externe leveranciers om echte taken en taken van hun huidige of vorige werkplekken te uploaden, zodat ze de gegevens kunnen gebruiken om de prestaties van de volgende generatie te evalueren AI-modellenvolgens gegevens van OpenAI en trainingsdatabedrijf Handshake AI verkregen door WIRED.
Het project lijkt deel uit te maken van de inspanningen van OpenAI om voor verschillende taken een menselijke basislijn vast te stellen die vervolgens kan worden vergeleken met AI-modellen. In september lanceerde het bedrijf een nieuwe evaluatie proces om de prestaties van zijn AI-modellen te meten ten opzichte van menselijke professionals in een hele reeks sectoren. OpenAI zegt dat dit een belangrijke indicator is van de voortgang in de richting van het bereiken van AGI, of een AI-systeem dat beter presteert dan mensen bij de meest economisch waardevolle taken.
“We hebben mensen uit verschillende beroepen ingehuurd om te helpen bij het verzamelen van taken uit de echte wereld, gemodelleerd naar de taken die u in uw voltijdbaan hebt uitgevoerd, zodat we kunnen meten hoe goed AI-modellen die taken uitvoeren”, luidt een vertrouwelijk document van OpenAI. “Neem bestaande stukken langdurig of complex werk (uren of dagen+) die je in je werk hebt gedaan en verander elk stuk in een taak.”
OpenAI vraagt aannemers om taken te beschrijven die ze in hun huidige baan of in het verleden hebben uitgevoerd en echte voorbeelden te uploaden van werk dat ze hebben gedaan, volgens een OpenAI-presentatie over het project gezien door WIRED. Elk van de voorbeelden moet “een concrete uitvoer zijn (geen samenvatting van het bestand, maar het daadwerkelijke bestand), bijvoorbeeld Word-document, PDF, Powerpoint, Excel, afbeelding, repository”, aldus de presentatie. OpenAI zegt dat mensen ook fictieve werkvoorbeelden kunnen delen die zijn gemaakt om te laten zien hoe ze realistisch zouden reageren in specifieke scenario’s.
OpenAI en Handshake AI weigerden commentaar te geven.
Real-world taken bestaan volgens de OpenAI-presentatie uit twee componenten. Er is het taakverzoek (wat iemands manager of collega hem heeft opgedragen) en de uit te voeren taak (het daadwerkelijke werk dat hij of zij heeft geproduceerd als reactie op dat verzoek). Het bedrijf benadrukt in de instructies meerdere keren dat de voorbeelden die aannemers delen het ‘echte, on-the-job-werk’ moeten weerspiegelen dat de persoon heeft.Eigenlijk klaar.”
Een voorbeeld in de OpenAI-presentatie schetst een taak van een “Senior Lifestyle Manager bij een luxe conciërgebedrijf voor zeer vermogende particulieren.” Het doel is om “een korte PDF-versie van twee pagina’s voor te bereiden van een zevendaagse jachttour naar de Bahama’s voor een gezin dat er voor de eerste keer naartoe reist.” Het bevat aanvullende details over de interesses van het gezin en hoe het reisschema eruit moet zien. De “ervaren menselijke levering” laat vervolgens zien wat de aannemer in dit geval zou uploaden: een echte Bahama’s-reisroute gemaakt voor een klant.
OpenAI instrueert contractanten om het intellectuele eigendom van het bedrijf en persoonlijk identificeerbare informatie te verwijderen uit de werkbestanden die ze uploaden. Onder een sectie met de titel ‘Belangrijke herinneringen’ vertelt OpenAI werknemers om ‘alles te verwijderen of te anonimiseren: persoonlijke informatie, bedrijfseigen of vertrouwelijke gegevens, materiële niet-openbare informatie (bijvoorbeeld interne strategie, niet openbaar gemaakte productdetails)’.
Een van de bestanden die in het WIRED-document te zien zijn, vermeldt een ChatGPT-tool genaamd “Superster schrobben”, dat advies geeft over het verwijderen van vertrouwelijke informatie.
Evan Brown, advocaat op het gebied van intellectueel eigendom bij Neal & McDevitt, vertelt WIRED dat AI-laboratoria die op deze schaal vertrouwelijke informatie van aannemers ontvangen, onderhevig kunnen zijn aan claims voor verduistering van bedrijfsgeheimen. Aannemers die documenten van hun vorige werkplekken aan een AI-bedrijf aanbieden, ook al zijn ze geredigeerd, schenden mogelijk de vertrouwelijkheidsovereenkomsten van hun voormalige werkgevers of onthullen bedrijfsgeheimen.
“Het AI-lab stelt veel vertrouwen in zijn aannemers om te beslissen wat vertrouwelijk is en wat niet”, zegt Brown. “Als ze iets doorlaten, nemen de AI-labs dan echt de tijd om vast te stellen wat wel en niet een bedrijfsgeheim is? Het lijkt mij dat het AI-lab zichzelf in groot gevaar brengt.”
