Mens OpenAI, Google og Anthropic k\u00e6mper om frontiermodel-tronen med budgetter i milliardklassen, har en startup med 26 ansatte gjort noget bem\u00e6rkelsesv\u00e6rdigt. Arcee AI har med Trinity Large Thinking leveret en 400 milliarder parameter sprogmodel under Apache 2.0-licens, tr\u00e6net for omkring 20 millioner dollar. Modellen scorer t\u00e6t p\u00e5 Claude Opus p\u00e5 PinchBench og sl\u00e5r Metas Llama 4 Maverick p\u00e5 flere benchmarks. Det er en historie om, at open source-AI langt fra er d\u00f8d.<\/p>\n\n\n\n
Trinity Large Thinking er en sparse Mixture-of-Experts-model (MoE) med 400 milliarder parametre totalt, men kun 13 milliarder aktive per token. Arkitekturen bruger en 4-of-256 expert routing-strategi, hvilket giver en routing-fraktion p\u00e5 bare 1,56%. Til sammenligning bruger DeepSeek-V3 3,13% og GLM-4.5 5,0%. Den lave aktivering betyder hurtigere inferens ved lavere beregningsomkostninger.<\/p>\n\n\n\n
Modellen underst\u00f8tter et kontekstvindue p\u00e5 op til 512.000 tokens nativt, med en preview-API p\u00e5 128.000 tokens. Den er tr\u00e6net p\u00e5 17 billioner tokens fordelt over tre faser (10T, 4T, 3T) p\u00e5 2.048 Nvidia B300 GPU\u2019er over 33 dage. Tr\u00e6ningsdataene er kurateret af DatologyAI og inkluderer over 8 billioner syntetiske tokens p\u00e5 tv\u00e6rs af web, kode, matematik, r\u00e6sonnering og 14 ikke-engelske sprog.<\/p>\n\n\n\n
To tekniske bidrag skiller sig ud. Det f\u00f8rste er SMEBU (Soft-clamped Momentum Expert Bias Updates), en ny load balancing-strategi for MoE-modeller. I traditionelle MoE-arkitekturer er det et velkendt problem, at visse eksperter overbelastes mens andre undervuderes. SMEBU l\u00f8ser det ved at justere routing-gradienter gennem momentum-biases med tanh-clipping og momentum-smoothing, suppleret med per-sekvens balance loss. Resultatet er mere stabil tr\u00e6ning og bedre udnyttelse af alle 256 eksperter.<\/p>\n\n\n\n
Det andet er brugen af Muon-optimizeren i stedet for den traditionelle AdamW. Muon underst\u00f8tter st\u00f8rre kritiske batch-st\u00f8rrelser, hvilket giver h\u00f8jere kapital- og sample-effektivitet. Arcee rapporterer, at hele tr\u00e6ningen blev gennemf\u00f8rt med nul loss spikes, noget der er us\u00e6dvanligt for modeller i denne st\u00f8rrelse.<\/p>\n\n\n\n
Tallene er interessante. P\u00e5 MMLU scorer Trinity Large Preview 87,2 mod Llama 4 Mavericks 85,5. P\u00e5 AIME 2025 (avanceret matematisk r\u00e6sonnering) scorer den 24,0 mod Mavericks 19,3. Llama 4 Maverick vinder dog p\u00e5 MMLU-Pro (80,5 mod 75,2) og GPQA-Diamond (69,8 mod 63,3).<\/p>\n\n\n\n
Den mest interessante benchmark er PinchBench, der m\u00e5ler autonome agent-kapabiliteter. Her scorer Trinity Large Thinking 91,9 og ligger p\u00e5 en andenplads, kun overg\u00e5et af Claude Opus 4.6. Forskellen er inden for statistisk st\u00f8j. For en model der koster en br\u00f8kdel af Anthropics compute-budget, er det et st\u00e6rkt resultat.<\/p>\n\n\n\n
Arcee selv ansl\u00e5r, at Trinity Large leverer 2-3x hurtigere inferens-throughput sammenlignet med modeller i samme v\u00e6gtklasse, takket v\u00e6re den h\u00f8je sparsitet og effektive attention-mekanismer.<\/p>\n\n\n\n
Konteksten g\u00f8r Trinity til mere end bare endnu en model-lancering. Arcee AI er en startup med 26 ansatte. Deres samlede budget for Trinity Large, inklusive compute, l\u00f8nninger, data, storage og drift, var omkring 20 millioner dollar. Til sammenligning har Amazon netop investeret 25 milliarder dollar i Anthropic<\/a>, og OpenAI bruger angiveligt hundredvis af millioner per tr\u00e6ningsk\u00f8rsel.<\/p>\n\n\n\n Det rejser et vigtigt sp\u00f8rgsm\u00e5l for branchen: hvor meget compute har man faktisk brug for? MoE-arkitekturer som Trinitys viser, at man kan opn\u00e5 konkurrencedygtig kvalitet ved kun at aktivere en lille del af modellens parametre per foresp\u00f8rgsel. Det handler ikke bare om at g\u00f8re modeller st\u00f8rre, men om at g\u00f8re dem smartere i deres ressourceforbrug.<\/p>\n\n\n\n Trinitys lancering falder i en periode, hvor open source-AI er under pres. Meta har med Muse Spark bev\u00e6get sig v\u00e6k fra open source<\/a>, og flere store akt\u00f8rer holder deres bedste modeller bag API-mure. Arcee g\u00e5r den modsatte vej med en fuld Apache 2.0-licens, der tillader kommerciel brug uden restriktioner.<\/p>\n\n\n\n Modellen er tilg\u00e6ngelig i tre varianter p\u00e5 HuggingFace: Trinity-Large-Preview (instruction-tuned), Trinity-Large-Base (fuldt pr\u00e6tr\u00e6net) og Trinity-Large-TrueBase (tidlig checkpoint uden instruction-tuning). Den sidste er s\u00e6rligt interessant for forskere, der vil bygge videre p\u00e5 en ren base-model.<\/p>\n\n\n\n Sammen med Googles Gemma 4<\/a> og Mistral Medium 3<\/a> viser Trinity, at open source-\u00f8kosystemet stadig er i stand til at levere modeller, der kan konkurrere med de propriet\u00e6re alternativer. Sp\u00f8rgsm\u00e5let er, om virksomheder som Arcee kan opretholde det tempo med s\u00e5 begr\u00e6nsede ressourcer.<\/p>\n\n\n\n For danske udviklere og IT-organisationer er Trinity interessant af flere grunde. Apache 2.0-licensen giver fuld frihed til at deploye, fine-tune og redistribuere modellen. De 13 milliarder aktive parametre per token g\u00f8r den overkommelig at k\u00f8re sammenlignet med dense-modeller i 70B+ klassen. Og det 512K kontekstvindue \u00e5bner for use cases med store dokumenter, kodebaser eller lange samtaler.<\/p>\n\n\n\n Modellen er allerede integreret med Kilo Code, Cline og OpenCode, og tilg\u00e6ngelig via OpenRouter og Arcees egen API. Det g\u00f8r den let at teste uden at s\u00e6tte infrastruktur op fra bunden.<\/p>\n\n\n\n Om Arcee kan holde momentum med et team p\u00e5 26, er usikkert. Men Trinity Large Thinking er et st\u00e6rkt bevis p\u00e5, at innovation i AI ikke er forbeholdt de st\u00f8rste spillere. Nogen gange er det de sm\u00e5, fokuserede teams der leverer de mest overraskende resultater.<\/p>\n\n\n\n Denne artikel er skrevet i samarbejde med AI, og efterf\u00f8lgende redigeret af et rigtigt menneske \ud83d\ude42<\/p>\n\n","protected":false},"excerpt":{"rendered":" Arcee AI har med kun 26 ansatte bygget Trinity Large Thinking, en 400B open source-sprogmodel under Apache 2.0 der scorer t\u00e6t p\u00e5 Claude Opus.<\/p>\n","protected":false},"author":1,"featured_media":1280,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[8],"tags":[31],"class_list":["post-1281","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai","tag-language-models"],"acf":[],"_links":{"self":[{"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/posts\/1281","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/comments?post=1281"}],"version-history":[{"count":1,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/posts\/1281\/revisions"}],"predecessor-version":[{"id":1650,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/posts\/1281\/revisions\/1650"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/media\/1280"}],"wp:attachment":[{"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/media?parent=1281"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/categories?post=1281"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/tags?post=1281"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Open source-modellernes genkomst<\/h2>\n\n\n\n
Hvad det betyder for udviklere<\/h2>\n\n\n\n
Kilder<\/h2>\n\n\n\n
\n