Toen ze aanvankelijk experimenteerden met LLM’s en agent-AI, ontdekten software-ingenieurs bij AI-concept gebruikte geavanceerde codegeneratie, complexe schema’s en zware instructies.
Maar met vallen en opstaan leerde het team al snel dat het wel kon elimineer alle ingewikkelde datamodellering. Notion’s AI-engineeringleider Ryan Nystrom en zijn team draaiden om eenvoudige aanwijzingen, voor mensen leesbare representaties, minimale abstractie en bekende prijsverlagingsformaten. Het resultaat was een dramatisch verbeterde modelprestatie.
Met deze vernieuwde aanpak bracht het AI-native bedrijf in september versie 3 van zijn productiviteitssoftware uit. Het opvallende kenmerk: Cutomizable AI-agents – die snel de meest succesvolle AI-tool van Notion tot nu toe zijn geworden. Gebaseerd op gebruikspatronen vergeleken met eerdere versies, noemt Nystrom het een “incrementele functieverbetering”.
“Het is het gevoel dat het product uit je wordt getrokken, in plaats van dat je probeert te duwen”, legt Nystrom uit in een van de video’s. VB Beyond the Pilot-podcast. “We wisten vanaf dat moment al heel vroeg dat we iets hadden. Nu is het: ‘Hoe kan ik Notion ooit gebruiken zonder deze functie?'”
‘Rewiring’ voor het tijdperk van de AI-agent
Als traditionele software-ingenieur was Nystrom gewend aan ‘extreem deterministische’ ervaringen. Maar er kwam een gloeilampmoment toen een collega hem adviseerde om zijn AI-prompt eenvoudigweg te beschrijven zoals hij dat tegen een mens zou doen, in plaats van regels op te stellen voor hoe agenten zich in verschillende scenario’s zouden moeten gedragen. De grondgedachte: LLM’s zijn ontworpen om inhoud te begrijpen, te ‘zien’ en erover te redeneren op dezelfde manier als mensen dat kunnen.
“Als ik nu met AI werk, zal ik de berichten en de toolbeschrijvingen opnieuw lezen en (vraag mezelf af) is dit iets dat ik aan iemand zonder context zou kunnen geven en dat zij zouden kunnen begrijpen wat er aan de hand is?” Nystrom zei op de podcast. “Als dat niet het geval is, zal het slecht werk leveren.”
Nystrom en zijn team hebben afstand genomen van de ‘redelijk gecompliceerde weergave’ van gegevens in Notion (zoals JSON of XML) en hebben Notion-pagina’s voorgesteld als markdown, de populaire apparaatonafhankelijke opmaaktaal die structuur en betekenis definieert met behulp van platte tekst zonder de noodzaak van HTML-tags of formele editors. Hierdoor kan het model communiceren met tekstbestanden, deze lezen, zoeken en er wijzigingen in aanbrengen.
Uiteindelijk vereiste dit dat Notion zijn systemen opnieuw moest bedraden, waarbij het team van Nystrom zich sterk concentreerde op de middleware-overgangslaag.
Ze onderkenden ook al vroeg het belang van terughoudendheid als het om de context gaat. Het is verleidelijk om zoveel mogelijk informatie in een model te laden, maar dit kan de zaken vertragen en het model verwarren. Voor Notion beschreef Nystrom een limiet van 100.000 tot 150.000 tokens als de ‘sweet spot’.
“Er zijn gevallen waarin je heel veel inhoud in je contextvenster kunt laden en het model zal het moeilijk hebben”, zei hij. “Hoe meer je in het contextvenster plaatst, je ziet een verslechtering van de prestaties, latentie en ook nauwkeurigheid.”
Ook bij tools is een spartaanse aanpak van belang; dit kan teams helpen de ‘glibberige helling’ van eindeloze functies te vermijden, adviseerde Nystrom. Notion richt zich op een ‘samengesteld menu’ met tools in plaats van op een omvangrijk Cheesecake Factory-achtig menu dat een paradox van keuze voor gebruikers creëert.
“Als mensen om nieuwe functies vragen, kunnen we gewoon een tool aan het model of de agent toevoegen”, zei hij. Maar “hoe meer tools we toevoegen, hoe meer beslissingen het model moet nemen.”
De bottom line: Kanaal het model. Gebruik API’s zoals ze bedoeld zijn. Probeer niet chique te zijn, probeer het niet te ingewikkeld te maken. Gebruik gewoon Engels.
Luister naar de volledige podcast en hoor meer over:
-
Waarom AI zich nog steeds in het pre-Blackberry-, pre-iPhone-tijdperk bevindt;
-
Het belang van “dogfooding” bij productontwikkeling;
-
Waarom u zich in de beginfase geen zorgen hoeft te maken over hoe kosteneffectief uw AI-functie is – deze kan later worden geoptimaliseerd;
-
Hoe technische teams de tools minimaal kunnen houden in het MCP-tijdperk;
-
De evolutie van Notion van wiki’s naar volwaardige AI-assistenten.
Abonneer u op Beyond the Pilot op Apple-podcasts, SpotifyEn YouTube.
