Transformer-arkitekturen har domineret AI-feltet siden 2017. Men i maj 2026 tog et nyt selskab det f\u00f8rste reelle skridt v\u00e6k fra den kvadratiske opm\u00e6rksomhedsmekanisme og ud i kommerciel produktion. SubQ \u2013 det f\u00f8rste kommercielt tilg\u00e6ngelige LLM bygget p\u00e5 en fuldt subkvadratsisk sparse-attention arkitektur \u2013 er nu tilg\u00e6ngeligt via API med st\u00f8tte fra 29 millioner dollars i seed-funding.<\/p>\n\n\n\n
Den klassiske transformer-arkitektur har et grundl\u00e6ggende skal\u00e9ringsproblem: self-attention-mekanismen er O(n\u00b2) i forhold til kontekstl\u00e6ngden. Det betyder at hvis du fordobler m\u00e6ngden af tokens i din kontekst, firedobler du beregningsomkostningerne. For modeller med 128.000 tokens er det til at betale. For modeller med 1 million tokens begynder det at g\u00f8re ondt. For modeller med 12 millioner tokens \u2013 som SubQ tilbyder \u2013 bliver det simpelthen uoverkommeligt med traditionel arkitektur.<\/p>\n\n\n\n
SubQ\u2019s l\u00f8sning er en sparse-attention tilgang der reducerer kompleksiteten til O(n). If\u00f8lge selskabet reducerer det attention-beregningerne med op til 1.000 gange ved 12 millioner tokens sammenlignet med en traditionel transformer. Det er ikke blot en marginal optimering \u2013 det er en strukturel \u00e6ndring i hvad long-context modeller koster at k\u00f8re.<\/p>\n\n\n\n
Det interessante er at SubQ ikke er et rent forskningsprojekt. Selskabet \u2013 grundlagt af forskere fra Meta, Google, Oxford, Cambridge og Brigham Young University \u2013 lancerede offentligt i maj 2026 med en API der kan bruges i dag. Benchmarks ser overraskende st\u00e6rke ud for en ny arkitektur:<\/p>\n\n\n\n
SWE-Bench-tallet er s\u00e6rligt bem\u00e6rkelsesv\u00e6rdigt. 81,8 procent placerer SubQ i n\u00e6rheden af de bedste frontier-modeller p\u00e5 kodeopgaver \u2013 og det p\u00e5 en arkitektur der ikke er en transformer. Hastigheden er 150 tokens per sekund, og prisen er angivet til cirka en femtedel af sammenlignelige frontier-modeller. Det er et afg\u00f8rende konkurrenceparameter for long-context arbejdsbelastninger, hvor omkostningerne ellers l\u00f8ber hurtigt op.<\/p>\n\n\n\n
SubQ lancerer med to produkter: en standard API med streaming og tool use, samt et Code-produkt der integrerer direkte med kodningsagenter som Claude, Codex og Cursor. Valget om at prioritere long-context fra start er bevidst \u2013 repository-analyse p\u00e5 tv\u00e6rs af et helt codebase, multi-dokument research og juridisk dokumentgennemgang er scenarier hvor 12 millioner tokens er en reel fordel, og hvor en femtedel af prisen betyder noget p\u00e5 bundlinjen.<\/p>\n\n\n\n
Det er v\u00e6rd at notere at subkvadratsiske arkitekturer ikke er et nyt koncept. Mamba, RWKV, Hyena og BASED er alle fors\u00f8g p\u00e5 pr\u00e6cis det samme alternativ til transformer-attention. Problemet har historisk set v\u00e6ret at disse modeller pr\u00e6sterer fint p\u00e5 kortere kontekster men konsekvent falder bagud i konkurrencen med transformers, n\u00e5r de presses p\u00e5 standardbenchmarks ved st\u00f8rre skala.<\/p>\n\n\n\n
SubQ h\u00e6vder at have krydset den gr\u00e6nse. Men det er klart at vi stadig venter p\u00e5 uafh\u00e6ngig validering. De benchmarktal selskabet fremviser er egne tal \u2013 og som analytikere p\u00e5 WhatLLM.org bem\u00e6rker, mangler vi endnu tredjepartsbekr\u00e6ftelse ved de ekstremt lange kontekstl\u00e6ngder. Det \u00e6ndrer dog ikke ved at tilgangen er strukturelt interessant. Hvis subkvadratsisk attention faktisk kan matche transformer-kvalitet ved lange kontekster, er det et skift der p\u00e5 sigt kan \u00e6ndre hvad det koster at drive production-LLM-systemer med store datam\u00e6ngder.<\/p>\n\n\n\n
Det minder om udviklingen vi allerede har set med diffusionsbaserede tilgange til sprogmodeller. Som Mercury 2 demonstrerede<\/a> med sin diffusionsarkitektur der genererer over 1.000 tokens per sekund, er transformer-alternativerne begyndt at konkurrere seri\u00f8st p\u00e5 performance \u2013 ikke kun p\u00e5 papir. Og som ZAYA1-8B viste<\/a> med sin MoE-diffusionstilgang, kan ikke-autoregressiv inferens levere markant speedup under de rette betingelser.<\/p>\n\n\n\n For udviklere og arkitekter er det praktiske sp\u00f8rgsm\u00e5l enkelt: hold \u00f8je med uafh\u00e6ngige test af SubQ i de kommende m\u00e5neder. Hvis MRCR- og RULER-tallene holder ved tredjepartsvalidering, er SubQ\u2019s subkvadratsisk LLM<\/em>-tilgang et reelt alternativ til frontier-transformers p\u00e5 long-context opgaver \u2013 og til en pris der giver mening i produktion.<\/p>\n\n\n\n Denne artikel er skrevet i samarbejde med AI, og efterf\u00f8lgende redigeret af et rigtigt menneske \ud83d\ude42<\/p>\n\n","protected":false},"excerpt":{"rendered":" SubQ er den f\u00f8rste kommercielle LLM med subkvadratsisk sparse-attention arkitektur – 12M tokens, 81,8% SWE-Bench og en femtedel af frontiermodellernes pris.<\/p>\n","protected":false},"author":1,"featured_media":1487,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[8],"tags":[31],"class_list":["post-1488","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai","tag-language-models"],"acf":[],"_links":{"self":[{"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/posts\/1488","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/comments?post=1488"}],"version-history":[{"count":1,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/posts\/1488\/revisions"}],"predecessor-version":[{"id":1645,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/posts\/1488\/revisions\/1645"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/media\/1487"}],"wp:attachment":[{"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/media?parent=1488"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/categories?post=1488"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/tags?post=1488"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Kilder<\/h2>\n\n\n\n
\n