AI-agents draaien op bestandssystemen en gebruiken standaardtools om door mappen te navigeren en bestandspaden te lezen.
De uitdaging is echter dat er veel bedrijfsgegevens in objectopslagsystemen zitten, vooral in Amazon S3. Objectopslag levert gegevens via API-aanroepen, niet via bestandspaden. Om deze kloof te overbruggen was een aparte bestandssysteemlaag nodig, samen met S3, dubbele gegevens en synchronisatiepijplijnen om beide op één lijn te houden.
Tde opkomst van agent AI maakt die uitdaging nog moeilijker, en heeft invloed gehad op het vermogen van Amazon om dingen voor elkaar te krijgen. Technische teams bij AWS die tools als Kiro en Claude Code gebruikten, kwamen steeds hetzelfde probleem tegen: agenten gebruikten standaard lokale bestandstools, maar de gegevens stonden in S3. Lokaal downloaden werkte totdat het contextvenster van de agent werd gecomprimeerd en de sessiestatus verloren ging.
Het antwoord van Amazon is S3 Files, waarmee elke S3-bucket met één enkele opdracht rechtstreeks in de lokale omgeving van een agent wordt aangekoppeld. De gegevens blijven in S3 zonder dat migratie nodig is. Onder de motorkap verbindt AWS zijn Elastic File System (EFS)-technologie met S3 om volledige bestandssysteemsemantiek te bieden, en geen oplossing. S3-bestanden zijn nu beschikbaar in de meeste AWS-regio’s.
“Door data in S3 onmiddellijk beschikbaar te maken alsof het deel uitmaakt van het lokale bestandssysteem, ontdekten we dat we een hele grote versnelling hadden met het vermogen van zaken als Kiro en Claude Code om met die data te kunnen werken”, vertelde Andy Warfield, VP en hoofdingenieur bij AWS, aan VentureBeat.
Het verschil tussen bestands- en objectopslag en waarom dit ertoe doet
S3 is gebouwd voor duurzaamheid, schaalbaarheid en API-gebaseerde toegang op objectniveau. Deze kenmerken maakten het tot de standaard opslaglaag voor bedrijfsgegevens. Maar ze creëerden ook een fundamentele incompatibiliteit met de op bestanden gebaseerde tools waar ontwikkelaars en agenten op vertrouwen. “S3 is geen bestandssysteem en het heeft op veel fronten geen bestandssemantiek”, aldus Warfield. “Je kunt geen verplaatsing doen, een atomaire verplaatsing van een object, en er zijn eigenlijk geen mappen in S3.”
Eerdere pogingen om deze kloof te overbruggen waren gebaseerd op FUSE (Filesystems in USErspace), een softwarelaag waarmee ontwikkelaars een aangepast bestandssysteem in de gebruikersruimte kunnen mounten zonder de onderliggende opslag te wijzigen. Tools zoals AWS’s eigen Mount Point, Google’s gcsfuse en Microsoft’s blobfuse2 gebruikten allemaal op FUSE gebaseerde stuurprogramma’s om hun respectievelijke objectstores op een bestandssysteem te laten lijken.
Warfield merkte op dat het probleem is dat deze objectarchieven nog steeds geen bestandssystemen waren. Deze stuurprogramma’s vervalsten bestandsgedrag door extra metagegevens in buckets te proppen, waardoor de object-API-weergave werd verbroken, of ze weigerden bestandsbewerkingen die de objectopslag niet kon ondersteunen.
S3 Files heeft een compleet andere architectuur. AWS verbindt zijn EFS-technologie (Elastic File System) rechtstreeks met S3, waardoor een volledig native bestandssysteemlaag wordt gepresenteerd, terwijl S3 als het registratiesysteem behouden blijft. Zowel de bestandssysteem-API als de S3-object-API blijven gelijktijdig beschikbaar op basis van dezelfde gegevens.
Hoe S3 Files Agent AI versnelt
Vóór S3 Files moest een agent die met objectgegevens werkte expliciet de opdracht krijgen om bestanden te downloaden voordat hij de tools kon gebruiken. Het creëerde een sessiestatusprobleem. Wanneer agenten hun contextvensters comprimeerden, ging de registratie van wat lokaal was gedownload vaak verloren.
“Ik zou merken dat ik de agent eraan moest herinneren dat de gegevens lokaal beschikbaar waren”, zei Warfield.
Warfield doorliep het voor-en-na voor een gezamenlijke agentopdracht met loganalyse. Hij legde uit dat als een ontwikkelaar Kiro of Claude Code zou gebruiken om met loggegevens te werken, hij in het enige geval de agent zou moeten vertellen waar de logs zich bevinden en deze zou moeten downloaden. Terwijl de logbestanden onmiddellijk op het lokale bestandssysteem kunnen worden aangekoppeld, kan de ontwikkelaar eenvoudigweg vaststellen dat de logbestanden zich op een specifiek pad bevinden en heeft de agent onmiddellijke toegang om ze te bekijken.
Bij pijplijnen met meerdere agenten kunnen meerdere agenten tegelijkertijd toegang krijgen tot dezelfde gekoppelde bucket. AWS zegt dat duizenden computerbronnen tegelijkertijd verbinding kunnen maken met een enkel S3-bestandssysteem, waarbij de totale leesdoorvoer enkele terabytes per seconde kan bereiken. ten tweede – cijfers die VentureBeat niet onafhankelijk kon verifiëren.
De gedeelde modus voor alle agenten werkt via standaard bestandssysteemconventies: submappen, notitiebestanden en gedeelde projectmappen die elke agent in de pijplijn kan lezen en schrijven. Warfield beschreef dat AWS-engineeringteams dit patroon intern gebruikten, waarbij agenten onderzoeksnotities en taaksamenvattingen in gedeelde werkmappen registreerden.
Voor teams die RAG-pijplijnen bouwen bovenop gedeelde agentinhoud, S3-vectoren – gelanceerd op AWS re:Invent in december 2024 – laag bovenop voor het zoeken naar overeenkomsten en het genereren van ophaalmogelijkheden op basis van dezelfde gegevens.
Wat analisten zeggen: dit is niet alleen een betere VERZEKERING
AWS positioneert S3-bestanden tegen op FUSE gebaseerde bestandstoegang vanuit Azure Blob NFS en Google Cloud Storage FUSE. Voor AI-workloads is het betekenisvolle onderscheid niet in de eerste plaats de prestaties.
“S3 Files elimineert de gegevenswisseling tussen object- en bestandsopslag, waardoor S3 verandert in een gedeelde werkruimte met lage latentie zonder gegevens te kopiëren”, vertelde Gartner-analist Jeff Vogel aan VentureBeat. “Het bestandssysteem wordt een weergave, niet een andere dataset.”
Met op FUSE gebaseerde benaderingen behoudt elke agent zijn eigen lokale weergave van de gegevens. Wanneer meerdere agenten tegelijkertijd werken, kunnen deze weergaven mogelijk niet meer synchroon lopen.
“Het elimineert een hele reeks faalmodi, inclusief onverklaarbare trainings-/inferentiefouten veroorzaakt door verouderde metadata, die notoir moeilijk te debuggen zijn”, aldus Vogel. “Op FUSE gebaseerde oplossingen externaliseren complexiteit en problemen naar de gebruiker.”
De implicaties op agentniveau gaan zelfs nog verder. Het architecturale argument betekent minder dan wat het in de praktijk ontsluit.
“Voor agent AI, die denkt in termen van bestanden, paden en lokale scripts, is dit de ontbrekende schakel”, vertelde Dave McCarthy, een analist bij IDC, aan VentureBeat. “Het stelt een AI-agent in staat een bucket op exabyte-schaal te behandelen als zijn eigen lokale harde schijf, waardoor een niveau van autonome operationele snelheid mogelijk wordt gemaakt dat voorheen werd gebotteld door de API-overhead die gepaard ging met benaderingen als FUSE.”
Naast de workflow van agenten ziet McCarthy S3 Files als een breder aandachtspunt voor de manier waarop bedrijven hun gegevens gebruiken.
“De lancering van S3 Files is niet alleen S3 met een nieuwe interface; het is het wegnemen van het laatste wrijvingspunt tussen enorme datameren en autonome AI”, zei hij. “Door de toegang tot bestanden en objecten te convergeren met S3, openen ze de deur naar meer gebruiksscenario’s met minder herwerk.”
Wat het betekent voor bedrijven
Voor bedrijfsteams die naast S3 een apart bestandssysteem hebben onderhouden ter ondersteuning van op bestanden gebaseerde applicaties of agentworkloads, is die architectuur nu niet meer nodig.
Voor bedrijfsteams die de AI-infrastructuur op S3 consolideren, is de praktische verandering concreet: S3 is niet langer de bestemming van de output van agenten, maar wordt de omgeving waar het werk van agenten plaatsvindt.
“Al deze API-veranderingen die je ziet bij de magazijnteams komen voort uit werk uit de eerste hand en klantervaring waarbij agenten met gegevens werken”, aldus Warfield. “We zijn er echt op gericht om eventuele wrijving weg te nemen en die interacties zo goed mogelijk te laten verlopen.”
