Codeeragenten kunnen binnen enkele minuten duizenden regels code genereren. Het probleem: het meeste ervan kan niet worden geïmplementeerd. Het schendt interne normen, faalt bij nalevingscontroles of zorgt voor meer opruimwerk dan het bespaart.
“Je kunt heel veel code genereren, maar dat maakt toch niet zoveel uit? Het moet code zijn die integreerbaar en compatibel is, en je wilt niet meer werk creëren aan de back-end alleen maar omdat je het codegeneratieproces aan de voorkant hebt versneld”, zegt Stephen Newman, EY Global CTO Engineering Leader.
Het productontwikkelingsteam van EY heeft dit opgelost door codeeragenten te verbinden met hun technische standaarden, coderepository’s en compliance-frameworks. Het resultaat: 4x tot 5x productiviteitswinst bij de teams die bouwen aan de reeks audit-, belasting- en financiële platforms van EY.
Maar de winst kwam niet alleen voort uit het inschakelen van een tool. Het team van Newman heeft 18 tot 24 maanden besteed aan het bouwen van de culturele basis en technische integraties die semi-autonoom coderen op schaal mogelijk maakten.
De eerste stap was cultureel. EY begon met GitHub Copilot-achtige tools waarmee ingenieurs vertrouwd konden raken met snelle constructie en ondersteunende kunstmatige intelligentie. Newman zei dat de belangrijkste les was om de adoptie van AI organisch te maken in plaats van door het management te worden afgedwongen. “Het is belangrijk om AI-mogelijkheden als een organische basisacceptatie te introduceren, in plaats van ze aan gebruikers op te dringen”, zei hij.
Ontwikkelaars wilden verder gaan dan het genereren van code om te bouwen, implementeren en operationeel te maken. Maar de productiviteitswinst stagneerde zonder diepere integratie.
Newman realiseerde zich dat agenten toegang nodig hadden tot de codeopslagplaatsen, technische standaarden en broncatalogi van EY om bruikbare code te kunnen genereren. Zonder het ‘universum van context’, zoals Newman het noemt, produceren agenten generieke output die uitgebreide herwerking vereist.
EY heeft verschillende agentplatforms geëvalueerd: Lovable, Replit en Factory’s IDE-gebaseerde Droids. In plaats van een tool verplicht te stellen, heeft het team van Newman de acceptatie, het gebruik en de productiviteit van alle drie de tools gemeten.
“We wilden als managementteam niet te prescriptief zijn om een tool te identificeren en deze te verdoezelen”, aldus Newman. Ontwikkelaars werden “echt aangetrokken en genavigeerd” naar Factory, wat aangeeft dat het echte waarde opleverde.
De adoptie van fabrieken begon ‘als een lopend vuurtje’ toen het van evaluatie tot pilot werd verheven. EY moest het verkeer naar Factory en Droids beperken en beperken welke repo’s verbinding konden maken voordat ze nalevings- en beveiligingssignalering kregen.
Het werklastclassificatieraamwerk
Het enthousiasme van de ontwikkelaars maakte duidelijk dat EY discipline nodig had over welke werklasten aan agenten moesten worden gedelegeerd. Het team van Newman verdeelde de taken in twee categorieën:
Taken met hoge autonomie agenten gaan goed om met:
-
Codebeoordeling
-
Documentatie
-
Foutoplossing
-
Greenfield-kenmerken
Complexe taken die nog steeds menselijk toezicht nodig hebben:
EY wisselde ook van rol als ontwikkelaar. In plaats van alle code zelf te schrijven, werden ingenieurs orkestrators, die agenten naar de juiste databases en opslagplaatsen stuurden.
Met beveiligingsmaatregelen en volledige integratie in coderepository’s heeft EY in de vroege adoptiefase efficiëntiewinsten gemeten variërend van 15% tot 60% voor verschillende persona’s.
“Er is een sprong gemaakt met veel van onze producten, waarbij we zijn gesprongen op wat ik de ontwikkeling van horizonmodellen noem, waar we semi-autonome agentuitvoering op schaal hebben, een team van orkestrators in plaats van doeners, en we hebben de contextuniversum-integraties, ” zei Newman.
Newman erkende dat het moeilijk is om een productiviteitswinst van vier tot vijf keer alleen aan codeeragenten toe te schrijven. De verbeteringen kwamen voort uit vallen en opstaan, gecombineerd met culturele en gedragsveranderingen in ontwikkelingsteams.
