Bronnen: Project SGLang ontstaat als RadixArk met een waardering van $400 miljoen terwijl de eindmarkt explodeert

Er tekent zich een patroon af in de wereld van de AI-infrastructuur: populaire open source-tools veranderen in door durfkapitaal gesteunde startups ter waarde van honderden miljoenen dollars. Het nieuwste voorbeeld is RadixBladhet commerciële bedrijf achter SGLang, een steeds populairder wordende tool waarmee AI-modellen sneller en goedkoper kunnen werken.

RadixArk werd onlangs gewaardeerd op ongeveer $400 miljoen in een financieringsronde onder leiding van Accel, volgens twee mensen die bekend zijn met de zaak, een opmerkelijk bedrag voor een startup die pas afgelopen augustus werd aangekondigd. TechCrunch kon de omvang van de financiering niet bevestigen.

Het nieuws komt omdat een deel van het team dat verantwoordelijk is voor het onderhoud van SGLang, dat door bedrijven als xAI en Cursor wordt gebruikt om de training van AI-modellen te versnellen, is verhuisd naar de onlangs gelanceerde commerciële startup. RadixArk ontstond als SGLang in 2023 in het UC Berkeley-lab van Databricks mede-oprichter Ion Stoica.

De startup haalde eerder engelenkapitaal op van investeerders, waaronder Intel-CEO Lip-Bu Tan, zeiden de mensen.

Ying Sheng, een belangrijke bijdrager aan SGLang en voormalig ingenieur bij xAI, verliet de AI-startup van Elon Musk om mede-oprichter en CEO van RadixArk te worden, volgens een LinkedIn-bericht dat deed ze vorige maand. Sheng was eerder onderzoeker bij Databricks.

Ying Sheng, Accel en Lip-Bu Tan van RadixArk reageerden niet op een verzoek om commentaar.

Zowel SGLang als RadixArk richten zich op het optimaliseren van de gevolgtrekkingsverwerking, waardoor modellen sneller en efficiënter op dezelfde hardware kunnen draaien. Naast modeltraining vertegenwoordigt inferentie een groot deel van de serverkosten die aan AI-services zijn verbonden. Als gevolg hiervan kunnen tools die het proces optimaliseren vrijwel onmiddellijk enorme besparingen opleveren.

RadixArk is niet de enige die deze transitie maakt van een open source-project naar een goed gefinancierde startup. vLLM, een volwassener project voor inferentie-optimalisatie, heeft ook de sprong gewaagd. Het nieuw gevormde bedrijf is in gesprek om tot 160 miljoen dollar aan financiering op te halen tegen een waardering van ongeveer 1 miljard dollar. Dat meldt Forbes vorige maand.

Drie mensen die bekend zijn met die deal vertellen TechCrunch dat Andreessen Horowitz leiding geeft aan de investering in vLLM, hoewel de definitieve cijfers voor die investering nog moeten worden gezien. Andreessen Horowitz weigerde commentaar te geven. mede-oprichter van vLLM, Simon Mo, typeerde de informatie over deze ronde als “feitelijk onjuist” in een verklaring aan TechCrunch, hoewel hij weigerde te specificeren welke details onjuist waren.

Net als SGLang werd vLLM geïncubeerd in het laboratorium van Ion Stoica aan UC Berkeley. Stoica, professor aan UC Berkeley, is de beroemde mede-oprichter van Databricks en een aantal andere startups.

Verschillende grote technologiebedrijven voeren hun inferentieworkloads al uit met behulp van vLLM, en SGLang heeft de afgelopen zes maanden ook aanzienlijk aan populariteit gewonnen, vertelde Brittany Walker, een algemene partner bij CRV, aan TechCrunch. Haar bedrijf heeft geen van beide bedrijven onderschreven.

RadixArk blijft SGLang ontwikkelen als een open source AI-modelleringsengine. De startup bouwt ook Miles, een gespecialiseerd raamwerk dat is ontworpen voor versterkend leren waarmee bedrijven AI-modellen kunnen trainen om in de loop van de tijd slimmer te worden.

Hoewel de meeste tools gratis blijven, is RadixArk begonnen kosten in rekening te brengen voor hostingdiensten, vertelde een persoon die bekend was met het bedrijf aan TechCrunch.

Startups die ontwikkelaars een inferentie-infrastructuur bieden, hebben de afgelopen maanden een toename van de financiering gezien, wat het aanhoudende belang van de inferentielaag voor AI onderstreept. Baseten heeft onlangs in één keer $300 miljoen binnengehaald Waardering van $ 5 miljardschrijft The Wall Street Journal dinsdag. Dit volgt op een soortgelijke zet van rivaliserende Fireworks AI, die vertrok 250 miljoen dollar tegen een waardering van $4 miljard afgelopen oktober.