Traditionele ETL-tools zoals dbt of Fivetran bereiden data voor op rapportage: gestructureerde analyses en dashboards met stabiele schema’s. AI-toepassingen hebben iets anders nodig: het voorbereiden van rommelige, evoluerende operationele gegevens voor realtime modelinferentie.
Empromptu noemt dit onderscheid ‘integriteit van gevolgtrekking’ versus ‘integriteit van rapportage’. In plaats van datavoorbereiding als een aparte discipline te behandelen, integreert Golden Pipelines normalisatie rechtstreeks in de workflow van AI-applicaties, waardoor wat normaal gesproken 14 dagen handmatige constructie vereist, wordt teruggebracht tot minder dan een uur, zegt het bedrijf. Empromptu’s ‘gouden pijplijn’-aanpak is een manier om de gegevensvoorbereiding te versnellen en ervoor te zorgen dat gegevens accuraat zijn.
Het bedrijf werkt voornamelijk met middelgrote en zakelijke klanten in gereguleerde sectoren waar de nauwkeurigheid van gegevens en compliance niet onderhandelbaar zijn. Fintech is de snelst groeiende sector van Empromptus, met extra klanten in de gezondheidszorg en juridische technologie. Het platform is HIPAA-compatibel en SOC 2-gecertificeerd.
“Enterprise AI breekt niet op de modellaag, maar breekt wanneer rommelige gegevens echte gebruikers ontmoeten”, vertelde Shanea Leven, CEO en medeoprichter van Empromptu, aan VentureBeat in een exclusief interview. “Golden pipelines brengen data-opname, -voorbereiding en -beheer rechtstreeks in de workflow van AI-applicaties, waardoor teams systemen kunnen bouwen die daadwerkelijk in productie werken.”
Dit is hoe gouden pijpleidingen werken
Gouden pijpleidingen fungeren als een geautomatiseerde laag die zich tussen ruwe operationele gegevens en AI-applicatiefuncties bevindt.
Het systeem vervult vijf kernfuncties. Ten eerste neemt het gegevens op uit elke bron, inclusief bestanden, databases, API’s en ongestructureerde documenten. Vervolgens worden deze gegevens verwerkt door middel van geautomatiseerde inspectie en opschoning, structurering met schemadefinities en tagging en verrijking om hiaten op te vullen en records te classificeren. Ingebouwde governance- en nalevingscontroles omvatten audittrail, toegangscontrole en privacyhandhaving.
De technische aanpak combineert deterministische voorverwerking met AI-ondersteunde normalisatie. In plaats van elke transformatie hard te coderen, identificeert het systeem inconsistenties, leidt het de ontbrekende structuur af en genereert het classificaties op basis van de modelcontext. Elke transformatie wordt geregistreerd en direct gekoppeld aan de downstream AI-evaluatie.
De evaluatielus staat centraal in de manier waarop gouden pijplijnen werken. Als datanormalisatie de downstream-nauwkeurigheid vermindert, legt het systeem dit vast door middel van continue evaluatie aan de hand van productiegedrag. Deze feedbackkoppeling tussen datavoorbereiding en modelprestaties onderscheidt volgens Leven gouden pijplijnen van traditionele ETL-tools.
Golden pipelines worden rechtstreeks in de Empromptu Builder ingebed en worden automatisch uitgevoerd als onderdeel van het maken van een AI-applicatie. Vanuit het perspectief van de gebruiker bouwen teams AI-mogelijkheden. Onder de motorkap zorgen gouden pijplijnen ervoor dat de gegevens die deze functies voeden, schoon, gestructureerd, beheerd en klaar zijn voor gebruik in de productie.
Rapportage-integriteit versus inferentie-integriteit
Leven positioneert gouden pijplijnen als oplossing voor een fundamenteel ander probleem dan traditionele ETL-tools zoals dbt, Fivetran of Databricks.
“Dbt en Fivetran zijn geoptimaliseerd voor het rapporteren van integriteit. Golden pipelines zijn geoptimaliseerd voor de integriteit van gevolgtrekkingen”, aldus Leven. “Traditionele ETL-tools zijn ontworpen om gestructureerde gegevens te verplaatsen en te transformeren op basis van vooraf gedefinieerde regels. Ze gaan uit van schemastabiliteit, bekende transformaties en relatief statische logica.”
“We vervangen dbt of Fivetran niet, bedrijven zullen ze blijven gebruiken voor inventarisintegriteit en gestructureerde rapportage”, aldus Leven. “Golden pipelines zitten dichter bij de AI-applicatielaag. Ze lossen het last-mile-probleem op: hoe neem je echt onvolmaakte operationele data en maak je deze bruikbaar voor AI-functies zonder maanden handmatig getouwtrek?”
Het vertrouwensargument voor AI-gestuurde normalisatie berust op controleerbaarheid en voortdurende evaluatie.
“Het is geen onbeheerde magie. Het kan voortdurend worden beoordeeld, gecontroleerd en geëvalueerd op basis van het productiegedrag”, aldus Leven. “Als normalisatie de downstream-nauwkeurigheid vermindert, vangt de evaluatielus dat op. Die feedbacklus tussen datavoorbereiding en modelprestaties is iets dat traditionele ETL-pijplijnen niet bieden.”
Klantimplementatie: VOW verwerkt gebeurtenisgegevens met hoge inzet
De gouden pijplijnaanpak heeft al impact in de echte wereld.
Platform voor evenementenbeheer TILLEN verzorgt spraakmakende evenementen voor organisaties zoals GLAAD evenals verschillende sportorganisaties. Wanneer GLAAD een evenement plant, worden gegevens verzameld over sponsoruitnodigingen, kaartaankopen, tafels, zitplaatsen en meer. Het proces is snel en de consistentie van de gegevens is niet onderhandelbaar.
“Onze data zijn complexer dan het gemiddelde platform”, zegt Jennifer Brisman, CEO van VOW, tegen VentureBeat. “Wanneer GLAAD een evenement plant, worden gegevens verzameld over sponsoruitnodigingen, kaartaankopen, tafels en stoelen en meer. En het moet allemaal heel snel gebeuren.”
VOW heeft de regex-scripts handmatig geschreven. Toen het bedrijf besloot een door AI gegenereerde plattegrondfunctie te bouwen die gegevens vrijwel in realtime bijwerkte en informatie over het hele platform vulde, werd het waarborgen van de nauwkeurigheid van de gegevens van cruciaal belang. Golden Pipelines automatiseerde het proces van het extraheren van gegevens uit plattegronden die vaak rommelig, inconsistent en ongestructureerd aankwamen, en het vervolgens formatteren en verzenden ervan zonder uitgebreide handmatige inspanningen naar het hele technische team.
VOW gebruikte Empromptu oorspronkelijk voor door AI gegenereerde plattegrondanalyses die noch het AI-team van Google, noch het AI-team van Amazon konden oplossen. Het bedrijf herschrijft nu zijn volledige platform op het Empromptus-systeem.
Wat dit betekent voor zakelijke AI-implementaties
Gouden pijplijnen richten zich op een specifiek implementatiepatroon: organisaties die geïntegreerde AI-applicaties bouwen waarbij datavoorbereiding momenteel een handmatig knelpunt is tussen prototype en productie.
De aanpak is minder zinvol voor teams die al volwassen data-engineeringorganisaties hebben met gevestigde ETL-processen die zijn geoptimaliseerd voor hun specifieke domeinen, of voor organisaties die zelfstandige AI-modellen bouwen in plaats van geïntegreerde applicaties.
Het beslissingspunt is of datavoorbereiding de AI-snelheid in de organisatie blokkeert. Als datawetenschappers datasets voorbereiden voor experimenten, die technische teams vervolgens opnieuw opbouwen voor productie, vult geïntegreerde datavoorbereiding deze leemte op.
Als het knelpunt zich ergens anders in de levenscyclus van de AI-ontwikkeling bevindt, zal dat niet het geval zijn. De wisselwerking is platformintegratie versus toolflexibiliteit. Teams die gouden pijplijnen gebruiken, committeren zich aan een geïntegreerde aanpak waarbij datavoorbereiding, AI-applicatieontwikkeling en governance plaatsvinden op één enkel platform. Organisaties die er de voorkeur aan geven om voor elke functie de beste tools te bundelen, zullen deze aanpak beperkend vinden. Het voordeel is dat de overdracht tussen gegevensvoorbereiding en applicatieontwikkeling wordt geëlimineerd. De kosten zijn een verminderde keuzevrijheid in de manier waarop deze functies worden geïmplementeerd.
