De LLM’s van vandaag blinken uit in redeneren, maar kunnen nog steeds moeite hebben met de context. Dit geldt vooral voor realtime bestelsystemen zoals Instacart.
Instacart CTO Anirban Kundu noemt het het ‘browniereceptprobleem’.
Het is niet zo eenvoudig als tegen een LLM zeggen: ‘Ik wil brownies maken.’ Om echt behulpzaam te zijn bij het plannen van de maaltijd, moet het model verder gaan dan de eenvoudige richtlijn om te begrijpen wat er beschikbaar is op de markt van de gebruiker op basis van hun voorkeuren – bijvoorbeeld. biologische eieren versus gewone eieren – en houd daar rekening mee met wat er in hun geografische locatie kan worden geleverd, zodat het eten niet bederft. Dit naast andere kritische factoren.
Voor Instacart is de uitdaging het combineren van latentie met de juiste mix van context om ervaringen te leveren in idealiter minder dan een seconde.
“Als het redeneren zelf 15 seconden duurt, en als elke interactie zo langzaam gaat, raak je de gebruiker kwijt”, zei Kundu tijdens een recent VB-evenement.
Een mix van redenering, realiteitsmodus en personalisatie
Bij het bezorgen van boodschappen is er een ‘wereld van redeneren’ en een ‘wereld van staat’ (wat beschikbaar is in de echte wereld), Klant opgemerkt, die beide door een LLM moeten worden begrepen, samen met gebruikersvoorkeuren. Maar het is niet zo eenvoudig als het laden van de volledige aankoopgeschiedenis en bekende interesses van een gebruiker in een redeneermodel.
‘Je LLM zal opblazen tot een omvang die onbeheersbaar zal zijn,’ zei Kundu.
Om dit te omzeilen, verdeelt Instacart de verwerking in stukjes. Ten eerste worden gegevens ingevoerd in een groot basismodel dat de intentie kan begrijpen en producten kan categoriseren. Deze verwerkte gegevens worden vervolgens doorgestuurd naar kleine taalmodellen (SLM’s) ontworpen voor cataloguscontext (de soorten voedsel of andere objecten die samenwerken) en semantisch begrip.
In het geval van cataloguscontext moet de SLM in staat zijn om meerdere detailniveaus rond de bestelling zelf en de verschillende producten te hanteren. Welke producten passen bijvoorbeeld bij elkaar en wat zijn hun relevante vervangers als de eerste keuze niet op voorraad is? Deze vervangingen zijn “heel, heel belangrijk” voor een bedrijf als Instacart, waarvan Kundu zei dat het “meer dan dubbelcijferige gevallen” heeft waarin een product niet beschikbaar is op een lokale markt.
In termen van semantisch begrip kun je zeggen dat een shopper gezonde snacks voor kinderen wil kopen. Het model moet begrijpen wat een gezonde snack is en welke voedingsmiddelen geschikt zijn voor en aantrekkelijk zijn voor een 8-jarige, en vervolgens relevante producten identificeren. En wanneer deze specifieke producten niet beschikbaar zijn op een bepaalde markt, moet het model ook gerelateerde subsets van producten vinden.
Dan is er het logistieke element. Een product als ijs smelt bijvoorbeeld snel, en diepvriesgroenten doen het ook niet goed als ze bij hogere temperaturen worden weggelaten. Het model moet deze aansluiting hebben en een acceptabele levertijd berekenen.
“Dus je hebt dit gevoel van intentie, je hebt deze categorisering, en dan heb je nog een ander deel over logistiek, hoe doe je dat?” merkte Kundu op.
Vermijd ‘monolitische’ agentsystemen
Net als veel andere bedrijven experimenteert Instacart met AI-agents en ontdekt dat een mix van agenten beter werkt dan een ‘enkele monoliet’ die meerdere taken uitvoert. De Unix-filosofie van een modulair besturingssysteem met kleinere, gerichte tools helpt bijvoorbeeld bij het omgaan met verschillende betalingssystemen die verschillende faalmodi hebben, legt Kundu uit.
“Het was erg onpraktisch om dat allemaal in één omgeving te moeten bouwen”, zei hij. Bovendien communiceren back-endagenten met veel platforms van derden, waaronder point-of-sale (POS)- en catalogussystemen. Natuurlijk gedragen ze zich niet allemaal op dezelfde manier; sommige zijn betrouwbaarder dan andere en hebben verschillende update-intervallen en feeds.
“Dus om al deze dingen aan te kunnen, zijn we deze route van microagenten gegaan in plaats van agenten die overwegend groot van aard zijn,” zei Kundu.
Om agenten te beheren, is Instacart geïntegreerd met OpenAI’s modelcontextprotocol (MCP), dat het proces van het verbinden van AI-modellen met verschillende tools en gegevensbronnen standaardiseert en vereenvoudigt.
Het bedrijf maakt ook gebruik van de open standaard Universal Commerce Protocol (UCP) van Google, waarmee AI-agenten rechtstreeks kunnen communiceren met handelssystemen.
Het team van Kundu heeft echter nog steeds te maken met uitdagingen. Zoals hij opmerkte, gaat het niet om de vraag of integratie mogelijk is, maar om hoe betrouwbaar deze integraties zich gedragen en hoe goed ze door gebruikers worden begrepen. Ontdekking kan moeilijk zijn, niet alleen bij het identificeren van beschikbare services, maar ook bij het begrijpen welke geschikt zijn voor welke taak.
Instacart heeft MCP en UCP in “heel verschillende” gevallen moeten implementeren, en de grootste problemen die ze zijn tegengekomen zijn faalmodi en latentie, merkte Kundu op. “De responstijden en het begrip van beide diensten zijn heel erg verschillend. Ik zou zeggen dat we waarschijnlijk tweederde van de tijd besteden aan het oplossen van deze fouten.”
