In San Francisco gevestigd ai-lab Arcee gemaakt golven vorig jaar omdat het een van de weinige Amerikaanse bedrijven is die grote taalmodellen (LLM’s) helemaal opnieuw traint vrijgeven onder open of gedeeltelijk open source-licenties voor het publiek, waardoor ontwikkelaars, solo-ondernemers en zelfs middelgrote tot grote ondernemingen de krachtige AI-modellen gratis kunnen gebruiken en naar eigen inzicht kunnen aanpassen.
Nu is Arcee deze week weer terug met de release van zijn grootste, krachtigste open taalmodel tot nu toe: Drievuldigheid Grooteen Mix of Experts (MoE) met 400 miljard parameters, nu beschikbaar als preview,
Naast de vlaggenschiprelease verzendt Arcee een “ruw” checkpoint-model, Trinity-Large-TrueBasewaarmee onderzoekers kunnen bestuderen wat een schaarse MoE van 400 miljard leert van alleen ruwe gegevens voordat instructieafstemming en versterking zijn toegepast.
Door een schone lei te bieden bij de grens van 10 biljoen token, stelt Arcee AI-bouwers in sterk gereguleerde industrieën in staat authentieke audits uit te voeren en hun eigen gespecialiseerde aanpassingen uit te voeren zonder de ‘black box’-verstoringen of opmaakkenmerken van een algemeen chatmodel te erven. Deze transparantie maakt een dieper begrip mogelijk van het onderscheid tussen het inherente redeneervermogen van een model en het nuttige gedrag dat in de laatste fasen van de training wordt opgeroepen.
Deze lancering komt als krachtige Chinese open source LLM-alternatieven van b.v. Alibaba (Qwen), z.AI (Zhipu), DeepSeek, Moonshot en Baidu hebben de markt overspoeld en zijn feitelijk toonaangevend in de categorie krachtige architectuur.
Trinity Large komt ook nadat Meta zich met name heeft teruggetrokken uit het grensoverschrijdende open source-landschap. Na April 2025 debuut van Llama 4waarmee werd voldaan een gemengde ontvangsten later voormalig Meta AI-onderzoeker Yann LeCun gaf toe dat het bedrijf verschillende gespecialiseerde versies van het model gebruikte om de prestaties op benchmarks van derden te verbeteren.
Midden in dit huiselijke vacuüm is het alleen OpenAI – met zijn gpt-oss-familie uitgebracht in de zomer van 2025—en Arcee draagt momenteel de mantel van nieuwe Amerikaanse open source-modellen die vanaf de basis zijn getraind.
Hoe schaars ze ook zijn
Trinity Large valt op door het extreem schaarse aandachtsmechanisme. Een MoE-architectuur, “sparsity”, verwijst naar het vermogen van het model om selectief slechts een klein deel van de totale parameters voor een bepaalde taak te activeren.
Terwijl Trinity Large in totaal 400 miljard parameters herbergt, is slechts 1,56% (13B-parameters) op een bepaald moment actief.
Deze architecturale keuze is belangrijk omdat het het model in staat stelt de ‘kennis’ van een enorm systeem te bezitten, terwijl het de gevolgtrekkingssnelheid en operationele efficiëntie van een veel kleiner systeem behoudt – waardoor prestaties ongeveer 2-3 keer sneller worden behaald dan zijn soortgenoten op dezelfde hardware.
Soevereiniteit en de “TrueBase” -filosofie
De belangrijkste bijdrage van deze release aan de onderzoeksgemeenschap is Trinity-Large-TrueBase – een onbewerkt controlepunt van 10 biljoen tokens.
In tegenstelling tot bijna alle andere ‘open’ releases, die verschijnen nadat ze zijn ‘vervormd’ door het afstemmen van instructies en versterkend leren, biedt TrueBase een zeldzame, ongerepte kijk op basisintelligentie.
In de haast om modellen bruikbaar te maken, maken de meeste laboratoria gebruik van begeleide fijnafstemming (SFT) en versterkend leren van menselijke feedback (RLHF) voordat de gewichten worden vrijgegeven. Hoewel dit het model tot een betere gesprekspartner maakt, kan het onderliggende kennisverdelingen maskeren.
TrueBase biedt een “AND-basismodel” dat nog niet de leersnelheid-gloeien of fase twee- en drie-voortraining heeft ondergaan, waarbij doorgaans instructiegegevens worden geïntroduceerd.
Voor onderzoekers en bedrijven in sterk gereguleerde sectoren maakt het starten van TrueBase authentieke herzieningen en maatwerk mogelijk. Zoals Lucas Atkins, de CTO van Arcee, opmerkte in een videogesprek met VentureBeat: “Het is interessant, aangezien Checkpoint zelf al een van de best presterende basismodellen ter wereld is”.
Technologie: constructie door dwang
De oprichting van Trinity Large was niet het product van oneindige hulpbronnen, maar eerder van wat Atkins ‘engineering through constraint’ noemt.
Het model, dat in slechts 33 dagen voor ongeveer $20 miljoen is getraind, vertegenwoordigt een masterclass in kapitaalefficiëntie.
Arcee, een team van slechts 30 mensen, opereerde met een totaal kapitaal van iets minder dan $ 50 miljoen, waardoor de training van $ 20 miljoen een ‘back the company’-weddenschap was.
“Ik heb altijd gedacht dat het hebben van beperkingen, of het nu financieel of personeelsgebonden is of wat dan ook, uiterst belangrijk is voor de creativiteit”, legt Atkins uit. “Als je gewoon een onbeperkt budget hebt, hoef je niet per se een uitweg uit complexe problemen te vinden”.
Architectuur: 4-van-256 Sparsity en SMEBU
Trinity Large maakt gebruik van een 4-van-256 schaarse MoE-architectuur, wat betekent dat het slechts 4 van de 256 experts voor elk token activeert.
Deze hoge mate van spaarzaamheid – een van de hoogste ooit met succes getraind – zorgde voor aanzienlijke stabiliteitsproblemen tijdens de voortraining.
Om dit aan te pakken heeft Arcee Soft-clamped Momentum Expert Bias Updates (SMEBU) ontwikkeld. Dit mechanisme zorgt ervoor dat experts gespecialiseerd zijn en gelijkmatig over een algemeen webcorpus worden verdeeld, waardoor wordt voorkomen dat een paar experts “winnaars” worden, terwijl anderen ongetrainde “doodgewichten” blijven.
De snelheid van de training werd mogelijk gemaakt door Arcee’s vroege toegang tot Nvidia B300 GPU’s (Blackwell). Deze chips zorgden voor ongeveer twee keer de snelheid van de vorige Hopper-generatie en een aanzienlijke geheugentoename.
“De pre-training duurde 33 dagen”, merkte Atkins op. “We hadden het ook met de Hopper kunnen doen, en het zou waarschijnlijk twee tot drie maanden hebben geduurd. En tegen die tijd zitten we in een hele nieuwe generatie modellen.”
In samenwerking met DataologieAIArcee gebruikte meer dan 8 biljoen tokens aan synthetische gegevens. Dit waren echter geen typische ‘imitatie’-synthetische gegevens waarbij een kleiner model leert spreken als een groter model.
In plaats daarvan was het de bedoeling om onbewerkte webtekst, zoals blogs of Wikipedia-artikelen, te nemen en deze synthetisch te herschrijven om de informatie in een kleiner aantal geaggregeerde tokens te condenseren. Dit proces hielp het model te leren redeneren over informatie in plaats van eenvoudigweg exacte tekenreeksen te onthouden.
Het architecturale ontwerp omvat ook afwisselende lokale en mondiale aandachtslagen voor schuiframen in een verhouding van 3:1. Dankzij deze hybride aanpak kan het model zeer effectief zijn in langetermijnscenario’s. Hoewel getraind tot een sequentielengte van 256k, ondersteunt Trinity Large native 512k-context, en evaluaties suggereren dat het zelfs aan de horizon van 1 miljoen tokens performant blijft.
Technische vergelijking: Trinity Large vs. gpt-oss-120b
Als Amerikaans alternatief kan Trinity Large worden vergeleken met OpenAI’s gpt-oss-120b.
Hoewel beide modellen spaarzame architecturen gebruiken om prestaties op grensniveau te bereiken onder tolerante licenties, vervullen ze verschillende operationele rollen.
Hoewel gpt-oss-120b momenteel voorop loopt op het gebied van specifieke redeneer- en wiskundebenchmarks, biedt Trinity Large een aanzienlijk voordeel op het gebied van contextcapaciteit en ruwe parameterdiepte voor complexe meerstaps agentworkflows.
Soevereiniteit: het vacuüm opvullen
De release van Trinity Large is zowel een geopolitieke als een technische verklaring. CEO Mark McQuade merkte in hetzelfde interview tegen VentureBeat op dat het vacuüm in de Amerikaanse open source-modellen op grensniveau een ommekeer in de strategie van Arcee dwong.
“Er was een soort verschuiving waarbij Amerikaanse of westerse spelers stopten met het openen van deze modellen”, zei McQuade. “We vertrouwen op deze modellen om vervolgens organisaties binnen te gaan en ze vooruit te helpen… maar de Chinese laboratoria zijn nog maar net begonnen… om ultramoderne modellen te produceren en deze open te stellen.”
Voor McQuade creëerde dit een afhankelijkheid waar het Amerikaanse bedrijfsleven zich steeds ongemakkelijker bij voelde. “Vooral in gesprekken die we met grote organisaties hebben, waren ze niet in staat om op China gebaseerde architecturen te gebruiken”, legde hij uit. “We willen die kampioen in de VS zijn. (Het) bestaat momenteel niet.”
Door te publiceren onder de Apache 2.0-licentie biedt Arcee het gouden standaard-tolerante raamwerk waarmee bedrijven de modellaag volledig kunnen ‘bezitten’. Dit is van cruciaal belang voor sectoren als de financiële sector en de defensiesector, waar het gebruik van een model dat wordt gehost door een derde partij of een restrictieve cloudprovider geen optie is.
Intelligentie in balans brengen met nut
Arcee concentreert zich momenteel op het ‘huidige denkmodel’ om Trinity Large te transformeren van een algemeen instructiemodel naar een volledig redeneermodel. Het team worstelt met de balans tussen “intelligentie versus bruikbaarheid” en streeft ernaar een model te creëren dat uitblinkt in benchmarks zonder “jappy” of inefficiënt te worden in daadwerkelijke productietoepassingen.
“We hebben Trinity gebouwd zodat jij het kunt bezitten”, zegt het team, waarmee een terugkeer naar de grondwaarden van de Amerikaanse open source-beweging wordt aangegeven. Terwijl de industrie zich ontwikkelt in de richting van agentische workflows en enorme contextvereisten, positioneert Trinity Large zichzelf niet als een ‘wrapper’, maar als een soevereine infrastructuurlaag die ontwikkelaars eindelijk kunnen controleren.
