Gepresenteerd door F5
Terwijl bedrijven miljarden investeren in de GPU-infrastructuur voor AI-workloads, merken velen dat hun dure computerbronnen veel meer stil staan dan verwacht. De boosdoener is niet de hardware. Het is de vaak onzichtbare dataleveringslaag tussen opslag en computergebruik die GPU’s berooft van de informatie die ze nodig hebben.
“Hoewel mensen terecht hun aandacht richten op GPU’s, omdat het zeer aanzienlijke investeringen zijn, zijn ze zelden de beperkende factor”, zegt Mark Menger, oplossingsarchitect bij F5. “Ze zijn tot meer werk in staat. Ze wachten op gegevens.”
De prestaties van AI zijn steeds meer afhankelijk van een onafhankelijk, programmeerbaar controlepunt tussen AI-frameworks en objectopslag – een punt dat de meeste bedrijven niet bewust hebben ontwikkeld. Naarmate AI-workloads groter worden, ontstaan er knelpunten en instabiliteit wanneer AI-frameworks nauw gekoppeld zijn aan specifieke opslageindpunten tijdens schaalgebeurtenissen, fouten en cloudtransities.
“Traditionele opslagtoegangspatronen zijn niet ontworpen voor zeer parallelle, bursty AI-workloads voor meerdere consumenten”, zegt Maggie Stringfellow, VP Product Management – BIG-IP. “Efficiënte AI-dataverplaatsing vereist een aparte dataleveringslaag die is ontworpen om datastromen onafhankelijk van opslagsystemen te abstraheren, optimaliseren en beveiligen, omdat GPU-economie inefficiënties onmiddellijk zichtbaar en duur maakt.”
Waarom AI-workloads overweldigende objectopslag zijn
Deze tweerichtingspatronen omvatten een enorme instroom van continue gegevensverzameling, simulatie-uitvoer en modelcontrolepunten. Gecombineerd met intensieve leestraining en werklasten afrondenze benadrukken de nauw gekoppelde infrastructuur waarvan de opslagsystemen afhankelijk zijn.
Hoewel opslagleveranciers veel werk hebben verricht om de gegevensdoorvoer in en uit hun systemen te schalen, zorgt de focus op alleen doorvoer voor domino-effecten op de schakel-, verkeersbeheer- en beveiligingslagen die aan opslag zijn gekoppeld.
Stress op S3-compatibele systemen van AI-workloads is multidimensionaal en verschilt aanzienlijk van traditionele applicatiepatronen. Het gaat minder om de ruwe doorvoer en meer om gelijktijdigheid, druk op de metagegevens en fan-out-overwegingen. Door training en verfijning ontstaan bijzonder uitdagende patronen, zoals massieve parallelle metingen van kleine tot middelgrote objecten. Deze werklasten omvatten ook het herhaaldelijk doorlopen van trainingsgegevens over tijdperken en periodieke checkpoint-schrijfbursts.
RAG-workloads introduceren hun eigen complexiteit door middel van verzoekversterking. Eén enkel verzoek kan zich verspreiden in tientallen of honderden extra stukjes gegevens, die uiteenvallen in meer details, gerelateerde brokken en complexere documenten. De stressconcentratie gaat minder over capaciteit, de snelheid van het opslagsysteem en meer over verzoekbeheer en verkeersvorming.
Het risico van een nauwe koppeling van AI-frameworks aan opslag
Wanneer AI-frameworks rechtstreeks verbinding maken met opslageindpunten zonder een tussenliggende leveringslaag, wordt de operationele kwetsbaarheid snel vergroot tijdens schaalgebeurtenissen, fouten en cloudtransities, wat verstrekkende gevolgen kan hebben.
“Elke instabiliteit in de opslagdienst heeft nu een onbeperkte explosieradius”, zegt Menger. “Alles hier wordt een systeemfout, geen opslagfout. Of, eerlijk gezegd, abnormaal gedrag in één applicatie kan domino-effecten hebben voor alle gebruikers van die opslagdienst.”
Menger beschrijft een patroon dat hij bij drie verschillende klanten heeft gezien, waarbij een nauwe koppeling uitmondde in complete systeemstoringen.
“We zien dat grote trainings- of fine-tuning-workloads de opslaginfrastructuur overweldigen en dat de opslaginfrastructuur crasht”, legt hij uit. “Op die schaal wordt herstel nooit in seconden gemeten. Minuten als je geluk hebt. Meestal uren. De GPU’s worden nu niet gevoed. Ze hongeren naar data. Die hoogwaardige bronnen, gedurende de hele tijd dat het systeem uitvalt, hebben een negatieve ROI.”
Hoe een onafhankelijke laag voor gegevenslevering het GPU-gebruik en de stabiliteit verbetert
De financiële implicaties van de introductie van een onafhankelijke dataleveringslaag gaan verder dan het voorkomen van catastrofale mislukkingen.
Door ontkoppeling kan de toegang tot gegevens worden geoptimaliseerd, onafhankelijk van opslaghardware, waardoor het GPU-gebruik wordt verbeterd door de inactieve tijd en conflicten te verminderen, terwijl de voorspelbaarheid van de kosten en de systeemprestaties worden verbeterd naarmate de schaal toeneemt, zegt Stringfellow.
“Het maakt intelligente caching, traffic shaping en protocoloptimalisatie dichter bij de computer mogelijk, waardoor het uitgaand verkeer naar de cloud en de kosten voor opslagvergroting worden verlaagd”, legt ze uit. “Operationeel beschermt deze isolatie opslagsystemen tegen onbeperkte AI-toegangspatronen, wat resulteert in een voorspelbaarder kostengedrag en stabiele prestaties tijdens groei en variabiliteit.”
Gebruik van een programmeerbaar controlepunt tussen computer en opslag
Het antwoord van F5 is om zijn Applicatielevering en beveiligingsplatform mogelijk gemaakt door BIG-IPals een “magazijndeur” die zorgt voor gezondheidsbewuste routering, het vermijden van hotspots, beleidshandhaving en beveiligingscontroles zonder dat het herschrijven van applicaties nodig is.
“Het introduceren van een leveringslaag tussen compute en storage helpt bij het definiëren van de grenzen van de verantwoordelijkheid”, zegt Menger. “Compute gaat over prestaties. Opslag gaat over duurzaamheid. Levering gaat over betrouwbaarheid.”
Het programmeerbare controlepunt, dat gebruik maakt van op gebeurtenissen gebaseerde, voorwaardelijke logica in plaats van generatieve AI, maakt intelligent verkeersbeheer mogelijk dat verder gaat dan eenvoudige taakverdeling. Routeringsbeslissingen zijn gebaseerd op de werkelijke gezondheid van de backend, waarbij gebruik wordt gemaakt van intelligent gezondheidsbewustzijn om vroege tekenen van problemen te detecteren. Dit omvat het monitoren van voorlopende indicatoren van problemen. En als er zich problemen voordoen, kan het systeem slecht functionerende componenten isoleren zonder de volledige service te verwijderen.
“Een onafhankelijke, programmeerbare dataleveringslaag wordt noodzakelijk omdat hierdoor beleid, optimalisatie, beveiliging en verkeersbeheer uniform kunnen worden toegepast op zowel opname- als consumptiepaden zonder de opslagsystemen of AI-frameworks te veranderen”, zegt Stringfellow. “Door datatoegang te ontkoppelen van opslagimplementatie kunnen organisaties veilig bursty writes absorberen, reads optimaliseren en backend-systemen beschermen tegen onbeperkte AI-toegangspatronen.”
Beveiligingsproblemen bij de levering van AI-gegevens aanpakken
AI stimuleert magazijnteams niet alleen de doorvoersnelheid, maar dwingt hen ook om dataverkeer als een prestatie- en beveiligingsprobleem te beschouwen, zegt Stringfellow. Beveiliging kan niet langer worden aangenomen simpelweg omdat de gegevens zich diep in het datacenter bevinden. AI introduceert geautomatiseerde toegangspatronen voor grote volumes die snel moeten worden geverifieerd, gecodeerd en beheerd. Dit is waar de F5 BIG-IP in beeld komt.
“De F5 BIG-IP zit direct in het AI-datapad om toegang met hoge doorvoer tot objectopslag te bieden, terwijl beleid wordt gehandhaafd, verkeer wordt geïnspecteerd en op payload gebaseerde beslissingen over verkeersbeheer worden genomen”, zegt Stringfellow. “Het snel voeden van GPU’s is noodzakelijk maar niet voldoende; magazijnteams hebben nu het vertrouwen nodig dat de AI-datastroom geoptimaliseerd, gecontroleerd en veilig is.”
Waarom datalevering de schaalbaarheid van AI zal bepalen
Vooruitkijkend zullen de eisen voor datalevering alleen maar strenger worden, zegt Stringfellow.
“De levering van AI-data zal verschuiven van bulkoptimalisatie naar realtime, beleidsgestuurde data-orkestratie over gedistribueerde systemen”, zegt ze. “Agent- en RAG-gebaseerde architecturen zullen een fijnmazige runtime-controle vereisen over de latentie, de toegangsomvang en de gedelegeerde vertrouwensgrenzen. Bedrijven moeten datalevering gaan behandelen als programmeerbare infrastructuur, en niet als een bijproduct van opslag of netwerken. Organisaties die dit vroeg doen, zullen sneller en met minder risico opschalen.”
Gesponsorde artikelen zijn inhoud die is geproduceerd door een bedrijf dat voor de post betaalt of een zakelijke relatie heeft met VentureBeat, en is altijd duidelijk gemarkeerd. Voor meer informatie kunt u contact opnemen met sales@venturebeat.com.
