LinkedIn lanceert deze week zijn nieuwe AI-aangedreven zoekopdracht, na wat erg lang lijkt te hebben gewacht op wat een natuurlijk aanbod voor generatieve AI had moeten zijn.
Het komt drie jaar na de lancering van ChatGPT en zes maanden nadat LinkedIn zijn AI-aanbod voor het zoeken naar vacatures lanceerde. Voor technologieleiders illustreert deze tijdlijn een belangrijke zakelijke les: het implementeren van generatieve AI in echte bedrijfsomgevingen is een uitdaging, vooral op een schaal van 1,3 miljard gebruikers. Het is een langzaam, brutaal proces van pragmatische optimalisatie.
Het volgende account is gebaseerd op verschillende exclusieve interviews met het product- en engineeringteam van LinkedIn achter de lancering.
Ten eerste, hier is hoe het product werkt: een gebruiker kan nu een zoekopdracht schrijven in natuurlijke taal, zoals: “Wie heeft kennis over het genezen van kanker?” in de zoekbalk van LinkedIn.
De oude zoekopdracht van LinkedIn, gebaseerd op trefwoorden, zou verbijsterd zijn geweest. Er zou alleen gezocht zijn naar verwijzingen naar ‘kanker’. Als een gebruiker geavanceerder wilde worden, had hij afzonderlijke, rigide zoekopdrachten op trefwoorden moeten uitvoeren voor ‘kanker’ en vervolgens ‘oncologie’ en vervolgens handmatig moeten proberen de resultaten samen te voegen.
Het nieuwe AI-aangedreven systeem begrijpt het echter wel bedoeling van de zoektocht omdat LLM onder de motorkap de semantische betekenis begrijpt. Het erkent bijvoorbeeld dat ‘kanker’ conceptueel gerelateerd is aan ‘oncologie’ en nog minder direct aan ‘genomisch onderzoek’. Als gevolg hiervan verschijnt er een veel relevantere lijst van mensen, waaronder oncologieleiders en onderzoekers, ook al gebruiken hun profielen niet het exacte woord ‘kanker’.
Het systeem brengt deze relevantie ook in evenwicht toepasbaarheid. In plaats van alleen de leidende oncoloog ter wereld te laten zien (die misschien een onbereikbare derdegraads connectie is), zal het ook afwegen wie in uw directe netwerk – zoals een eerstegraads connectie – ‘redelijk relevant’ is en kan dienen als een cruciale brug naar die expert.
Zie onderstaande video voor een voorbeeld.
Maar de belangrijkste les voor zakenmensen is misschien wel het ‘kookboek’ dat LinkedIn heeft ontwikkeld: een repliceerbare, uit meerdere fasen bestaande pijplijn van distillatie, co-design en meedogenloze optimalisatie. LinkedIn moest dit op het ene product perfectioneren voordat het een ander product probeerde.
“Probeer niet te veel tegelijk te doen”, schrijft Wenjing Zhang, VP Engineering van LinkedIn, in een post over de productlancering, die vorige week ook met VentureBeat sprak in een interview. Ze merkt op dat een voorheen ‘uitgebreide ambitie’ om een uniform systeem te bouwen voor alle producten van LinkedIn ‘de vooruitgang tegenhield’.
In plaats daarvan concentreerde LinkedIn zich op het winnen van een verticale primeur. Het succes van de eerder gelanceerde zoektocht naar banen met AI, wat heeft geleid tot werkzoekenden zonder een diploma van vier jaar 10% meer kans om aangenomen te wordenvolgens VP Product Engineering Erran Berger – leverde de blauwdruk.
Nu past het bedrijf dit plan toe op een veel grotere uitdaging. “Het is één ding om dit voor tientallen miljoenen banen te kunnen doen”, vertelde Berger aan VentureBeat. “Het is iets anders om dit te doen in het noorden van een miljard leden.”
Voor zakelijke AI-bouwers biedt LinkedIn’s reis een technisch handboek voor wat het is Eigenlijk wat er nodig is om van een succesvolle pilot over te stappen naar een product op miljardengebruikersschaal.
De nieuwe uitdaging: een grafiek met 1,3 miljard leden
Het product voor het zoeken naar werk creëerde een robuust recept waarop het nieuwe product People Search kon voortbouwen, legt Berger uit.
Het recept begon met een ‘gouden dataset’ van slechts een paar honderd tot duizend echte zoekprofielparen, zorgvuldig gescoord aan de hand van een gedetailleerd 20 tot 30 pagina’s tellend ‘productbeleid’-document. Om dit op te schalen naar training, gebruikte LinkedIn deze kleine gouden kit om een groot basismodel te krijgen waar een enorme hoeveelheid van kon worden gegenereerd synthetisch trainingsgegevens. Deze synthetische gegevens werden gebruikt om a 7 miljard parameter “Productbeleid” -model – een high-fidelity rechter van relevantie die te traag was voor live productie, maar perfect voor het aanleren van kleinere modellen.
De ploeg stuitte echter al vroeg op een muur. Zes tot negen maanden lang worstelden ze met het trainen van één enkel model dat een evenwicht kon vinden tussen strikte naleving van beleid (relevantie) en signalen van gebruikersbetrokkenheid. Het ‘aha-moment’ kwam toen ze beseften dat ze het probleem moesten oplossen. Ze hebben het 7B-beleidsmodel tot één gedestilleerd 1.7B lerarenmodel uitsluitend gericht op relevantie. Vervolgens koppelden ze het aan afzonderlijke lerarenmodellen die waren getraind om specifieke acties van leden te voorspellen, zoals sollicitaties voor het functieproduct of verbinding maken en volgen tijdens het zoeken. Dit ‘multi-leraar’-ensemble produceerde zachte waarschijnlijkheidsscores, die het uiteindelijke leerlingmodel leerde na te bootsen via KL-divergentieverlies.
De resulterende architectuur fungeert als een pijplijn in twee fasen. Eerst een grotere 8B parametermodel zorgt voor breed ophalen en werpt een breed net uit om kandidaten uit de grafiek te trekken. Vervolgens neemt het sterk gedestilleerde leerlingmodel het over voor een fijnmazige rangschikking. Hoewel het product voor het zoeken naar werk met succes een 0,6 miljard (600 miljoen) parameter student vereiste het nieuwe People Search-product een nog agressievere compressie. Zoals Zhang opmerkt, heeft het team hun nieuwe studentenmodel teruggebracht van 440 miljoen naar slechts 440 miljoen 220M-parametersdat de vereiste snelheid voor 1,3 miljard gebruikers haalt met minder dan 1% verlies aan relevantie.
Maar door dit toe te passen op crowdsourcing werd de oude architectuur doorbroken. Het nieuwe probleem omvatte niet alleen locatie maar ook ophalen.
“Een miljard platen”, zei Berger, is een “ander beest.”
De vorige ophaalstack van het team was gebouwd op CPU’s. Om te kunnen voldoen aan de nieuwe eisen op het gebied van schaal en latentie voor een vlotte zoekervaring, moest het team de indexering verplaatsen naar GPU-gebaseerde infrastructuur. Dit was een fundamentele architecturale verschuiving waarvoor het product voor het zoeken naar werk niet nodig was.
Organisatorisch gezien profiteerde LinkedIn van verschillende benaderingen. Een tijdlang had LinkedIn twee afzonderlijke teams — zoeken naar werk en werving — proberen het probleem parallel op te lossen. Maar toen het team voor het zoeken naar werk doorbrak met behulp van de beleidsgestuurde destillatiemethode, kwamen Berger en zijn managementteam tussenbeide. Ze brachten de architecten achter de overwinning op het zoeken naar werk — productmanager Rohan Rajiv en technisch manager Wenjing Zhang — om hun ‘kookboek’ rechtstreeks naar het nieuwe domein te transplanteren.
Destillatie voor een 10x hogere doorvoer
Toen het ophaalprobleem eenmaal was opgelost, stond het team voor de uitdaging op het gebied van rangschikking en efficiëntie. Hier werd het kookboek aangepast met nieuwe, agressieve optimalisatietechnieken.
Zhang’s technische post (Ik zal de link invoegen zodra deze live gaat) biedt de specifieke details die ons publiek van AI-ingenieurs zal waarderen. Een van de belangrijkste optimalisaties was de invoergrootte.
Om het model te voeden trainde het team een andere LLM met versterkend leren (RL) voor één doel: de invoercontext samenvatten. Dit “samenvattings”-model kon de invoergrootte van het model met 20 keer met minimaal informatieverlies.
Het gecombineerde resultaat van het 220M-parametermodel en de 20x inputreductie? EEN 10x hogere rankingdoorvoerwaardoor het team het model efficiënt kan aanbieden aan zijn enorme gebruikersbasis.
Pragmatisme boven hype: tools bouwen, geen agenten
Tijdens onze discussies was Berger onvermurwbaar over iets anders dat de aandacht van mensen zou kunnen trekken: de echte waarde voor bedrijven vandaag de dag ligt in het perfectioneren van aanbevelingssystemen, en niet in het najagen van de ‘agenthype’. Hij weigerde ook te praten over de specifieke modellen die het bedrijf voor de zoekopdrachten gebruikte, wat suggereert dat het er nauwelijks toe doet. Het bedrijf selecteert modellen op basis waarvan zij vindt dat deze het meest effectief zijn voor de taak.
De nieuwe AI-aangedreven zoekopdracht is een uiting van Bergers filosofie dat het het beste is om eerst het aanbevelingssysteem te optimaliseren. De architectuur omvat een nieuwe ‘intelligente queryrouteringslaag’, zoals Berger uitlegde, die zelf door LLM wordt aangedreven. Deze router beslist pragmatisch of de zoekopdracht van een gebruiker – als “vertrouwensexpert” – naar de nieuwe semantische natuurlijke taalstapel moet gaan of naar de oude vertrouwde lexicale zoekopdracht.
Dit hele complexe systeem is ontworpen als een ‘gereedschap’, zoals een toekomst agent zal gebruiken, niet de agent zelf.
“Agent-producten zijn slechts zo goed als de tools die ze gebruiken om taken voor mensen uit te voeren”, zegt Berger. “Je kunt het beste redeneermodel ter wereld hebben, en als je een agent probeert te gebruiken om mensen te zoeken, maar de mensenzoekmachine is niet erg goed, dan zul je dat niet kunnen waarmaken.”
Nu de paging beschikbaar is, suggereerde Berger dat het bedrijf op een dag agenten zou aanbieden om er gebruik van te maken. Maar hij gaf geen details over de timing. Hij zei ook dat het recept dat wordt gebruikt voor banen en werving verspreid zal worden over de andere producten van het bedrijf.
Voor bedrijven die hun eigen AI-roadmaps bouwen, is het draaiboek van LinkedIn klaar:
-
Wees pragmatisch: Probeer de zee niet te koken. Win een verticale, ook al duurt het 18 maanden.
-
Codificeer het “kookboek”: Zet deze winst om in een herhaalbaar proces (beleidsdocumenten, destillatiepijpleidingen, co-design).
-
Optimaliseer meedogenloos: De echte 10x overwinningen komen eraan na het initiële model, in snoeien, distillatie en creatieve optimalisaties, zoals een RL-getrainde samenvat.
De reis van LinkedIn laat zien dat voor echte zakelijke AI de nadruk op specifieke modellen of coole agentsystemen op de achterbank moet komen te staan. Het duurzame, strategische voordeel komt voort uit meesterschap pijpleiding – het ‘AI-native’ kookboek van co-design, destillatie en meedogenloze optimalisatie.
(Noot van de redactie: we zullen binnenkort een volledige podcast uitbrengen met Erran Berger van LinkedIn, die dieper ingaat op deze technische details in de VentureBeat-podcastfeed.)
