Amazon Web Services maakt het mogelijk toegang krijgen tot gegevens die zijn opgeslagen in de S3-cloudopslagdienst als een traditioneel bestandssysteem dat een brug slaat tussen twee soorten opslag die ontwikkelaars en datawetenschappers al bijna twintig jaar frustreren.
De nieuwe vaardigheid, genaamd Amazon S3-bestandenlaat applicaties die op AWS draaien toegang krijgen tot een S3-opslagbucket alsof het een lokaal bestandssysteem is, waarbij gegevens worden gelezen en geschreven met behulp van standaard bestandsbewerkingen in plaats van gespecialiseerde cloudopslagopdrachten.
In de praktijk betekent dit dat een machine learning-team een trainingstaak rechtstreeks op basis van gegevens in S3 kan uitvoeren zonder deze eerst naar een afzonderlijk bestandssysteem te kopiëren. Of, misschien nog belangrijker tegenwoordig, een AI-agent kan bestanden in S3 lezen en schrijven met dezelfde basistools die hij op een lokale harde schijf zou gebruiken.
S3, twintig jaar geleden gelanceerdbevat een enorme hoeveelheid cloudgegevens ter wereld. S3 Files belooft de deur te openen voor een veel breder scala aan apps en AI-systemen om rechtstreeks met deze gegevens te werken.
Het achtergrondverhaal: IN een buitengewoon eerlijk essay samenvallend met het nieuws, Andy Warfieldeen vice-president en een senior engineer die leiding geeft aan S3-engineering bij AWS beschreven de technische en filosofische uitdagingen om de functie te laten werken en waarom de eerste aanpak mislukte.
Het kernprobleem, zo schreef Warfield, is dat bestanden en objecten fundamenteel verschillend zijn.
Bestanden kunnen ter plekke worden bewerkt en in realtime tussen applicaties worden gedeeld, op de manier waarop de meeste software altijd heeft verwacht. Objecten in S3 werken anders: ze zijn ontworpen om als complete entiteiten te worden opgeslagen en opgehaald, en miljoenen applicaties zijn rond die veronderstelling gebouwd.
Dus “deden ze het enige verstandige wat je kunt doen als je wordt geconfronteerd met een heel moeilijk technisch ontwerpprobleem: we sloten een aantal van onze meest ervaren ingenieurs op in een kamer en lieten ze pas vrij als ze een plan hadden dat ze allemaal leuk vonden”, schreef Warfield.
“Er volgden gepassioneerde en controversiële discussies”, zei hij. “En toen gaven we het uiteindelijk op.”
Maar uiteindelijk vond het team het antwoord door niet langer te proberen de grens tussen bestanden en objecten te verbergen, maar deze in plaats daarvan een bewust onderdeel van het ontwerp te maken.
De procedure: S3 Files gebruikt een ‘stage and commit’-model dat het concept ontleent aan versiebeheersystemen zoals Git: wijzigingen worden verzameld aan de kant van het bestandssysteem en teruggeduwd naar S3 als hele objecten, waarbij de garanties behouden blijven waar bestaande S3-applicaties van afhankelijk zijn.
Google en Microsoft bieden hun eigen tools aan om toegang te krijgen tot objectopslag in de cloud via bestandssysteeminterfaces, maar AWS positioneert S3 Files als een diepere integratie, ondersteund door een volledig beheerd bestandssysteem in plaats van een eenvoudige adapter.
S3 Files is vandaag beschikbaar in AWS-regio’s over de hele wereld, gebouwd op het Elastic File System van Amazon. Het bedrijf zegt dat het ongeveer negen maanden bezig is met klanttesten.
