LinkedIn is toonaangevend op het gebied van AI-aanbevelingssystemen en heeft deze de afgelopen 15 jaar ontwikkeld. Maar om tot een aanbevelingenstapel van de volgende generatie te komen voor de werkzoekenden van morgen was een geheel nieuwe techniek nodig. Het bedrijf moest verder kijken dan kant-en-klare modellen om nauwkeurigheid, latentie en efficiëntie van het volgende niveau te bereiken.
“Het was gewoon onmogelijk dat we dat zouden kunnen doen door middel van stimulering”, zegt Erran Berger, VP Product Engineering bij LinkedIn, in een recente publicatie. Verder dan de piloot podcast. “We hebben het niet eens geprobeerd voor aanbevelingssystemen van de volgende generatie, omdat we beseften dat het geen starter was.”
In plaats daarvan begon zijn team met het ontwikkelen van een zeer gedetailleerd productbeleidsdocument om een aanvankelijk enorm model met 7 miljard parameters te verfijnen; die vervolgens verder werden gedestilleerd tot aanvullende leraren- en leerlingmodellen die waren geoptimaliseerd voor honderden miljoenen parameters.
De techniek heeft een herhaalbaar kookboek opgeleverd dat nu wordt hergebruikt in de AI-producten van LinkedIn.
“Het adopteren van dit end-to-end evaluatieproces zal leiden tot een aanzienlijke kwaliteitsverbetering van de likes die we hier op LinkedIn waarschijnlijk al jaren niet meer hebben gezien”, zegt Berger.
Waarom multi-docent distillatie een ‘doorbraak’ was voor LinkedIn
Berger en zijn team wilden een LLM bouwen die individuele vacatures, kandidaatprofielen en functiebeschrijvingen in realtime kon interpreteren en op een manier die het productbeleid van LinkedIn zo nauwkeurig mogelijk weerspiegelde.
In samenwerking met het productmanagementteam van het bedrijf bouwden de ingenieurs uiteindelijk een document van 20 tot 30 pagina’s waarin functiebeschrijvingen en profielparen “over vele dimensies heen” werden gescoord.
“We hebben hier heel veel iteraties op gedaan”, zegt Berger. Dit productbeleidsdocument werd vervolgens gekoppeld aan een ‘gouden dataset’ bestaande uit duizenden paren zoekopdrachten en profielen; Het team voerde dit in ChatGPT in tijdens het genereren en experimenteren van gegevens, waardoor het model in de loop van de tijd scoreparen leerde en uiteindelijk een veel grotere synthetische dataset genereerde om een lerarenmodel met 7 miljard parameters te trainen.
Berger zegt echter dat het niet voldoende is om een LLM alleen op het gebied van productbeleid in productie te hebben. “Uiteindelijk is het een aanbevelingssysteem en moeten we een zekere mate van klikvoorspelling en personalisatie uitvoeren.”
Daarom gebruikte zijn team het eerste op productbeleid gerichte lerarenmodel om een tweede lerarenmodel te ontwikkelen dat gericht was op het voorspellen van klikken. Met behulp van de twee destilleerden ze verder een parametermodel van 1,7 miljard voor trainingsdoeleinden. Het uiteindelijke leermodel werd door ‘vele, vele trainingsruns’ heen geleid en werd ‘op elk punt’ geoptimaliseerd om kwaliteitsverlies te minimaliseren, zegt Berger.
Dankzij deze distillatietechniek voor meerdere leerlingen kon het team ‘veel affiniteit krijgen’ met het oorspronkelijke productbeleid en ‘land’-klikvoorspellingen doen, zegt hij. Ze waren ook in staat om het trainingsproces voor de student te “modulariseren en te componenteneren”.
Beschouw het in de context van een chatagent met twee verschillende lerarenmodellen: de ene traint de agent in nauwkeurigheid in antwoorden, de andere in toon en hoe te communiceren. De twee zijn heel verschillende, maar toch cruciale doelstellingen, merkt Berger op.
“Door ze nu te mixen krijg je betere resultaten, maar je herhaalt ze ook zelfstandig”, zegt hij. “Het was een doorbraak voor ons.”
Veranderen hoe teams samenwerken
Berger zegt dat hij het belang van het verankeren van een productbeleid en een iteratief evaluatieproces niet kan onderschatten.
Om een ‘echt, heel goed productbeleid’ te krijgen, moet de domeinexpertise van productmanagers worden vertaald naar een uniform document. Historisch gezien, zo merkt Berger op, was het productmanagementteam zeer gefocust op strategie en gebruikerservaring, waarbij het modelleren van iteratie aan ML-ingenieurs werd overgelaten. Maar nu werken de twee teams samen om een aangepast lerarenmodel te creëren.
“De manier waarop productmanagers nu met machine learning-ingenieurs werken, is heel anders dan alles wat we in het verleden hebben gedaan”, zegt hij. “Het is nu een blauwdruk voor vrijwel elk AI-product dat we bij LinkedIn maken.”
Bekijk de hele podcast om meer te horen over:
-
Hoe LinkedIn elke stap van het R&D-proces optimaliseerde om de snelheid te ondersteunen, wat leidde tot echte resultaten in dagen of uren in plaats van weken;
-
Waarom teams pijplijnen moeten ontwikkelen voor plug-in en experimenten en verschillende modellen moeten testen om flexibiliteit te ondersteunen;
-
Het voortdurende belang van traditioneel technisch debuggen.
Je kunt ook luisteren en abonneren Verder dan de piloot op Spotify, Appel of waar u uw podcasts ook vandaan haalt.
