Wanneer uw gemiddelde dagelijkse token-uitgaven 8 miljard per dag bedragen, heeft u een enorm schaalprobleem. Dit was het geval bij AT&T, en Chief Data Officer Andy Markus en zijn team beseften dat het simpelweg niet mogelijk (of economisch) was om alles via grote redeneermodellen te pushen. Dus toen ze een interne Ask AT&T persoonlijke assistent bouwden, reconstrueerden ze de orkestratielaag. Het resultaat: een multi-agentstack gebouwd op LangChain, waarbij grote taalmodellen “superagenten” kleinere, onderliggende “werknemers”-agenten aansturen die beknopter, doelgerichter werk uitvoeren. Deze flexibele orkestratielaag heeft de latentie, snelheid en responstijden dramatisch verbeterd, vertelde Markus aan VentureBeat. Het meest opvallend is dat zijn team tot 90% kostenbesparingen heeft gerealiseerd. “Ik geloof dat de toekomst van agent AI vele, vele, vele kleine taalmodellen (SLM’s) zijn”, zei hij. “We vinden dat kleine taalmodellen net zo nauwkeurig, zo niet zo nauwkeurig, zijn als een groot taalmodel in een bepaald domeingebied.”
Recentelijk hebben Markus en zijn team deze hergebruikte stapel met Microsoft Azure gebruikt om Ask AT&T Workflows te bouwen en te implementeren, een grafische drag-and-drop-agentbuilder waarmee werknemers taken kunnen automatiseren.
De agenten maken gebruik van een reeks eigen AT&T-tools die documentverwerking, natuurlijke taal-naar-SQL-conversie en beeldanalyse verzorgen. “Wanneer de workflow wordt uitgevoerd, zijn het de gegevens van AT&T die de beslissingen bepalen”, aldus Markus. In plaats van algemene vragen te stellen, “stellen we vragen over onze gegevens, en gebruiken we onze gegevens om ervoor te zorgen dat ze zich op onze informatie concentreren bij het nemen van beslissingen.” Toch houdt een mens altijd de ‘kettingreactie’ van agenten in de gaten. Alle acties van agenten worden vastgelegd, gegevens worden gedurende het hele proces geïsoleerd en op rollen gebaseerde toegang wordt afgedwongen wanneer agenten werklasten aan elkaar overdragen. “Dingen gebeuren autonoom, maar de mens in de lus zorgt nog steeds voor controle en evenwicht in het hele proces”, aldus Markus.
Geen bovenbouw, maakt gebruik van ‘verwisselbare en selecteerbare’ modellen
AT&T heeft geen ‘alles vanaf nul opbouwen’-mentaliteit, merkte Markus op; het vertrouwt meer op modellen die “uitwisselbaar en selecteerbaar” zijn en “nooit een item opnieuw opbouwen”. Naarmate de functionaliteit in de hele sector volwassener wordt, zullen tools van eigen bodem verouderd raken in plaats van kant-en-klare varianten, legt hij uit. “Omdat in deze ruimte de dingen elke week veranderen, als we geluk hebben, soms meerdere keren per week”, zei hij. “We moeten verschillende componenten kunnen controleren, verbinden en verbinden.” Ze evalueren zowel de beschikbare als hun eigen opties ‘zeer rigoureus’; Hun Ask Data with Relational Knowledge Graph staat bijvoorbeeld bovenaan de Spider 2.0-tekst voor SQL-precisieranglijsten, en andere tools hebben hoog gescoord op de BERT SQL-benchmark. In het geval van agenttools van eigen bodem gebruikt zijn team LangChain als kernframework, verfijnt modellen met Standard Retrieval-Augmented Generation (RAG) en andere interne algoritmen, en werkt nauw samen met Microsoft, waarbij gebruik wordt gemaakt van de zoekfunctionaliteit van de technologiegigant voor hun vectorwinkel. Maar uiteindelijk is het belangrijk om niet zomaar agent-AI of andere geavanceerde tools in alles samen te voegen, adviseerde Markus. ‘Soms maken we dingen te ingewikkeld’, zegt hij. “Soms heb ik gezien dat een oplossing overontwikkeld was.” In plaats daarvan moeten bouwers zich afvragen of een bepaald hulpmiddel eigenlijk een middel moet zijn. Hierbij kunt u denken aan vragen als: Welk nauwkeurigheidsniveau zou kunnen worden bereikt als het een eenvoudiger generatieve oplossing in één doorgang zou zijn? Hoe konden ze het in kleinere stukjes opsplitsen, waarbij elk stuk ‘veel nauwkeuriger’ kon worden afgeleverd?, zoals Markus het uitdrukte. Nauwkeurigheid, kosten en gereedschapsgevoeligheid moeten kernprincipes zijn. “Hoewel de oplossingen ingewikkelder zijn geworden, geven deze drie redelijk basisprincipes ons nog steeds veel richting”, zei hij.
Hoe 100.000 medewerkers het daadwerkelijk gebruiken
Ask AT&T Workflows is uitgerold naar meer dan 100.000 medewerkers. Meer dan de helft zegt het elke dag te gebruiken, en actieve gebruikers melden een productiviteitswinst van wel 90%, aldus Markus. “We kijken of ze het systeem herhaaldelijk gebruiken? Omdat plakkerigheid een goede indicator is voor succes”, zei hij. De agentbouwer biedt medewerkers “twee trajecten” aan. Een daarvan is pro-code, waarbij gebruikers Python achter de schermen kunnen programmeren en regels kunnen dicteren voor hoe agenten moeten werken. De andere is codeloos, met een visuele interface met slepen en neerzetten voor een “vrij gemakkelijke gebruikerservaring”, zei Markus. Interessant is dat zelfs ervaren gebruikers zich tot de laatste optie aangetrokken voelen. Bij een recente hackathon gericht op een technisch publiek kregen deelnemers de keuze tussen beide en koos ruim de helft voor low code. “Dit was een verrassing voor ons omdat deze mensen allemaal zeer bekwaam waren op het gebied van programmeren”, zei Markus. Werknemers gebruiken agenten voor een reeks functies; Een netwerkingenieur kan er bijvoorbeeld een reeks van bouwen om op alarmen te reageren en klanten opnieuw te verbinden wanneer de connectiviteit verloren gaat. In dit scenario kan een agent telemetrie correleren om het netwerkprobleem en de locatie ervan te identificeren, wijzigingslogboeken op te halen en te controleren op bekende problemen. Vervolgens kan het een foutticket openen. Een andere agent zou dan manieren kunnen bedenken om het probleem op te lossen en zelfs nieuwe code kunnen schrijven om het te repareren. Zodra het probleem is opgelost, kan een derde agent een samenvatting schrijven met preventieve maatregelen voor de toekomst. “De (menselijke) ingenieur zou alles in de gaten houden en ervoor zorgen dat de agenten presteren zoals verwacht en de juiste acties ondernemen”, zei Markus.
Codering op basis van AI heeft de toekomst
Diezelfde technische discipline – het opdelen van werk in kleinere, speciaal gebouwde stukken – hervormt nu de manier waarop AT&T zelf code schrijft via wat Markus ‘AI-aangedreven codering’ noemt. Hij vergeleek het proces met RAG; ontwikkelaars gebruiken agile codeermethoden in een geïntegreerde ontwikkelomgeving (IDE) samen met “feature-specifieke” build-archetypen die bepalen hoe code moet interageren. De uitvoer is geen losse code; de code ligt “zeer dicht bij de productiekwaliteit” en zou die kwaliteit in één keer kunnen bereiken. “We hebben allemaal met vibe-codering gewerkt, waarbij we een soort agent-code-editor hebben”, merkte Markus op. Maar door AI aangedreven codering “elimineert veel van de heen-en-weer-iteraties die je zou kunnen tegenkomen bij vibe-codering.” Hij ziet deze codeertechniek als een ‘tastbare herdefinitie’ van de softwareontwikkelingscyclus, waardoor uiteindelijk de ontwikkelingstijden worden verkort en de output van code van productiekwaliteit wordt vergroot. Niet-technische teams kunnen ook meedoen aan de actie door gemeenschappelijke aanwijzingen te gebruiken om softwareprototypes te bouwen. Zijn team heeft de techniek bijvoorbeeld gebruikt om in twintig minuten een intern samengesteld dataproduct te bouwen; zonder AI zou het zes weken hebben geduurd om het te bouwen. “We ontwikkelen er software mee, passen er software mee aan, doen er data science mee, doen er data-analyse mee, doen er data-engineering mee”, aldus Markus. “Het is dus een gamechanger.”
