LLM-routing: modelvalget er blevet et kontrolplan

Den vigtigste LLM-nyhed lige nu er ikke endnu en benchmarkgraf. Det er, at modelrouting er ved at blive almindelig økonomisk drift.

CNBC beskriver, hvordan amerikanske virksomheder i stigende grad sender trafik til kinesiske open source- og open weight-modeller, fordi de er blevet gode nok til mange opgaver og markant billigere end de dyreste modeller fra OpenAI og Anthropic. Samtidig skriver The Tech Portal, med Bloomberg som kilde, at Microsoft er begyndt at flytte udvalgte workloads i produktivitetsapps fra OpenAI og Anthropic til egne MAI-modeller.

Det lyder som leverandørpolitik. Det er det også. Men for udviklere, arkitekter og driftsteams er pointen mere jordnær: LLM-routing er ikke længere en optimering for nørder med for meget tid. Det er en del af produktarkitekturen.

Fra én model til en modelportefølje

De første LLM-implementeringer blev ofte bygget som en simpel integration: vælg en leverandør, vælg en model, send prompts, betal regningen. Den fase er ved at lukke. Når Microsoft selv begynder at flytte dele af belastningen til egne modeller, og når amerikanske virksomheder ifølge CNBC bruger kinesiske modeller for en stor del af tokenforbruget via OpenRouter, er signalet klart nok.

Der er ikke længere én rigtig model. Der er en portefølje af modeller med forskellige priser, latenstider, datarisici, jurisdiktioner, licenser og styrker. Nogle workloads skal måske køre på Claude eller GPT, fordi kvaliteten stadig er bedst til kompleks ræsonnering. Andre kan køre på en billigere model, hvis opgaven er klassifikation, udkast, ekstraktion eller triviel kodehjælp.

Det er den praktiske konsekvens af den udvikling, jeg tidligere beskrev i LLM tokenbudget: AI-regningen er blevet drift. Tokenforbrug er ikke bare en fakturalinje. Det er et arkitekturvalg. Hvis alt sendes til dyreste frontiermodel, har man reelt lavet en hårdkodet indkøbspolitik i sin applikation.

Billigere modeller er ikke gratis modeller

CNBC fremhæver flere konkrete tal. Kinesiske modeller via OpenRouter har ifølge artiklen ligget over 30 procent af tokenforbruget blandt amerikanske virksomheder i hver uge siden 8. februar, med toppe op mod 46 procent. I de foregående 12 måneder var gennemsnittet 11 procent, og i første halvdel af 2025 var det 4,5 procent. CNBC citerer også OpenRouter for, at kinesiske open source-modeller kan være 60 til 90 procent billigere end ledende modeller fra Anthropic og OpenAI.

Det er stærke incitamenter. Men billigere inference fjerner ikke governancearbejdet. Tværtimod. Når flere modeller og flere leverandører kommer ind i samme produktionsflow, bliver det vigtigere at styre, hvilke data der må sendes hvorhen. En supportopsummering med offentlige produktdata er én ting. Persondata, kontrakter, kildekode, sikkerhedssårbarheder eller interne strategidokumenter er noget andet.

Derfor skal modelrouting designes som et kontrolplan, ikke som en tilfældig fallbackmekanisme. Hver opgavetype bør have regler for modelvalg, dataklassifikation, logning, retention, evaluering og manuel eskalering. Hvis en billig model bruges til 80 procent af trafikken, skal det være fordi den er god nok og godkendt til netop den type data. Ikke bare fordi den sparer penge i denne uge.

Den geopolitiske del kan ikke ignoreres

Det er fristende at reducere historien til pris. Det ville være for nemt. Når virksomheder begynder at rute mere trafik til kinesiske modeller, sker det samtidig med amerikansk eksportkontrol, politiske krav til modeladgang og voksende usikkerhed om, hvem der får adgang til hvilke frontiermodeller hvornår.

For danske virksomheder betyder det ikke, at kinesiske modeller skal afvises automatisk. Det betyder, at de skal behandles som et bevidst leverandørvalg. Hvilke data forlader organisationen? Kan modellen hostes selv? Hvad siger licensen? Hvilke logs findes der hos gateway, leverandør og applikation? Hvem kan ændre routingreglerne? Og har man test, der opdager, når en billigere model ændrer svaradfærd?

Der er en parallel til GLM-5.2 og open weight-modellernes pres på frontiermodellerne. Open weight ændrer markedet, fordi gode nok modeller kan flyttes tættere på egne systemer. Men hvis modellen stadig kaldes gennem en ekstern gateway uden klare regler, har man måske kun byttet én afhængighed ud med en anden.

Hvad bør arkitekter gøre nu?

Start med at stoppe hårdkodningen. Applikationer bør ikke kende én magisk modelstreng spredt ud over kodebasen. De bør kalde en intern modelgateway eller et tyndt abstraktionslag, hvor politikken kan ændres uden deploy af hele produktet.

Derefter bør man kortlægge workloads. Hvilke prompts er højrisiko? Hvilke kræver stærk ræsonnering? Hvilke kan evalueres automatisk? Hvilke svar må aldrig sendes direkte til en kunde uden menneskelig godkendelse? Først når det billede er tydeligt, giver det mening at optimere pris.

Den modne LLM-stack kommer til at ligne klassisk drift mere end chatbot-magi: routingtabeller, politikker, budgetter, regressionstest, observability og change control. Det er kedeligt på den rigtige måde.

Nyheden er altså ikke, at kinesiske modeller er billige, eller at Microsoft helst vil bruge flere af sine egne modeller. Nyheden er, at modelvalget flytter fra udviklerens promptkode til virksomhedens kontrolplan. Det er der, LLM-routing hører hjemme.