Oracle lagde 10. juli en lille, men ret praktisk AI-nyhed frem: OCI Enterprise AI f\u00e5r b\u00e5de flere importerbare modeller og private endpoints til importerede modeller. Det lyder som cloud-produktstof, men for folk der skal drive LLM\u2019er i produktion, er det mere interessant end endnu en benchmarkgraf.<\/p>\n\n\n\n
Kernen er enkel. GLM 5.2 kan nu importeres og k\u00f8res i OCI Enterprise AI, sammen med blandt andet Qwen3-Next, DeepSeek V4, MiniMax M3, Mistral Medium 3.5, Moonshot Kimi K2.6 og K2.7 Code. Samtidig kan importerede modeller n\u00e5s gennem private netv\u00e6rksstier, s\u00e5 trafikken ikke skal ud over det offentlige internet.<\/p>\n\n\n\n
Det er ikke glamour\u00f8st. Det er drift. Og det er pr\u00e6cis derfor, det betyder noget.<\/p>\n\n\n\n
De sidste par uger har meget handlet om frontiermodeller, adgangsstyring og hvilke modeller der vinder hvilke agent-benchmarks. Men i den praktiske ende af markedet er sp\u00f8rgsm\u00e5let ofte mere jordn\u00e6rt: hvor kan modellen k\u00f8re, hvem kan n\u00e5 den, hvilke logs findes der, og hvad sker der med data p\u00e5 vejen?<\/p>\n\n\n\n
OCI\u2019s juli-opdatering peger p\u00e5 den retning. Oracle beskriver Model Import som en m\u00e5de at hente underst\u00f8ttede open source- og tredjepartsmodeller ind i OCI Generative AI, hoste dem p\u00e5 dedikerede AI-clustre, oprette endpoints og bruge dem gennem den samme enterprise-platform. Dokumentationen n\u00e6vner ogs\u00e5, at importerede modeller ikke har samme 744 unit-hour minimum hosting commitment som visse pr\u00e6tr\u00e6nede modeller p\u00e5 dedikerede clustre.<\/p>\n\n\n\n
Det \u00e6ndrer ikke magisk \u00f8konomien. GPU\u2019er er stadig dyre. Lange kontekstvinduer er stadig dyre. Men det giver arkitekter et andet h\u00e5ndtag end \u201csend det hele til \u00e9n ekstern model-API og h\u00e5b, at governance kommer senere\u201d.<\/p>\n\n\n\n
Jeg skrev for nylig om LLM-routing som kontrolplan<\/a>. Det her er samme bev\u00e6gelse set fra cloud-laget. N\u00e5r der er mange modeller, mange prisprofiler og forskellige risici, bliver modelvalget en del af platformen. Ikke en konstant i kildekoden.<\/p>\n\n\n\n Private endpoints til importerede modeller er den vigtigste del af nyheden. Oracle skriver, at kunder nu kan tilg\u00e5 importerede modeller gennem en privat netv\u00e6rkssti uden at sende trafikken over det offentlige internet. For en demo er det ligegyldigt. For en bank, en kommune, et hospital, en SaaS-platform med kundedata eller en intern kodeassistent er det forskellen p\u00e5 \u201cinteressant\u201d og \u201cmuligt\u201d.<\/p>\n\n\n\n Det er is\u00e6r relevant for \u00e5bne og kinesiske modeller. GLM 5.2, Qwen, DeepSeek og Kimi er teknisk st\u00e6rke, men de kommer med et andet risikobillede end de store amerikanske API\u2019er. Licenser, modelkort, tr\u00e6ningsdata, censuradf\u00e6rd, supply chain, eksportregler og supportansvar skal vurderes. Oracle skriver selv i dokumentationen, at brugen af importerede open source- og tredjepartsmodeller kan v\u00e6re underlagt separate vilk\u00e5r, og at kunden selv er ansvarlig for compliance med dem.<\/p>\n\n\n\n Det er et vigtigt forbehold. En privat endpoint l\u00f8ser netv\u00e6rksstien. Den l\u00f8ser ikke tilliden til modellen, datas\u00e6ttet, alignment-adf\u00e6rden eller leverand\u00f8rens fremtidige politiske pres. Den g\u00f8r bare deployment-modellen mere realistisk for organisationer, der allerede har netv\u00e6rkszoner, private subnets, auditkrav og change management.<\/p>\n\n\n\n Det er ogs\u00e5 derfor, GLM-5.2 ikke kun er interessant som model<\/a>. Den bliver mere interessant, n\u00e5r den kan pakkes ind i almindelig enterprise-infrastruktur.<\/p>\n\n\n\n OCI-dokumentationen beskriver ogs\u00e5 den tekniske motor bag importerede modeller. Oracle bruger Open Model Engine som lag mellem GPU og inference-runtime, og matcher modeller med blandt andet vLLM eller SGLang. SGLang n\u00e6vnes som relevant for store LLM\u2019er og workloads med lang kontekst, blandt andet fordi nogle modeller har brug for mere specialiseret h\u00e5ndtering af langtidshukommelse og attention.<\/p>\n\n\n\n Det er den slags detalje, der ofte bliver overset i modelnyheder. Men det er her produktionen ligger. En model er ikke bare v\u00e6gte. Den er runtime, scheduler, cache, netv\u00e6rk, IAM, logging, versionering, guardrails, omkostningsmodel og rollback-plan. Hvis bare \u00e9n af de dele mangler, ender open-weight-strategien hurtigt som en dyr GPU-maskine med en smart demo.<\/p>\n\n\n\n Oracle tilf\u00f8jer ogs\u00e5 billedmoderation og versionspinning i OCI Enterprise AI Guardrails. Versionspinning er v\u00e6rd at l\u00e6gge m\u00e6rke til. N\u00e5r guardrails \u00e6ndrer adf\u00e6rd, \u00e6ndrer produktet ogs\u00e5 adf\u00e6rd. Hvis en kundevendt agent pludselig filtrerer anderledes efter en platformopdatering, har driftsteamet et problem, selv hvis \u00e6ndringen er \u201csikkerhedsm\u00e6ssigt bedre\u201d. Stabilitet er ikke modstander af sikkerhed. I produktion h\u00e6nger de to sammen.<\/p>\n\n\n\n Hvis man bygger interne AI-v\u00e6rkt\u00f8jer i Danmark, er pointen ikke n\u00f8dvendigvis at flytte alt til OCI. Pointen er, at de store cloud-platforme nu behandler open-weight og tredjeparts-LLM\u2019er som noget, der skal kunne drives med normale enterprise-kontroller.<\/p>\n\n\n\n Det giver en praktisk tjekliste. Kan modellen tilg\u00e5s privat? Kan den k\u00f8res i en kontrolleret region? Kan runtime og modelversion l\u00e5ses? Er licensen forst\u00e5et? Er dataflowet dokumenteret? Kan modellen skiftes ud uden at omskrive hele applikationen? Og er der en klar gr\u00e6nse mellem workloads, der m\u00e5 bruge en ekstern frontier-API, og workloads der skal blive i en privat modelzone?<\/p>\n\n\n\n Det er mindre sexet end \u201cny model sl\u00e5r gammel model med 2,8 point\u201d. Til geng\u00e6ld er det den slags beslutninger, der afg\u00f8r om AI ender som stabil drift eller endnu en uoverskuelig integration, ingen t\u00f8r r\u00f8re efter f\u00f8rste pilot.<\/p>\n\n\n\n Denne artikel er skrevet i samarbejde med AI, og efterf\u00f8lgende redigeret af et rigtigt menneske \ud83d\ude42<\/p>\n\n","protected":false},"excerpt":{"rendered":" Private LLM-endpoints g\u00f8r \u00e5bne modeller mere realistiske i produktion. OCI viser, at modelvalg nu er infrastruktur, drift og governance.<\/p>\n","protected":false},"author":1,"featured_media":1756,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[24,8,7],"tags":[31],"class_list":["post-1757","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-agentic-engineering","category-ai","category-techology","tag-language-models"],"acf":[],"_links":{"self":[{"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/posts\/1757","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/comments?post=1757"}],"version-history":[{"count":1,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/posts\/1757\/revisions"}],"predecessor-version":[{"id":1760,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/posts\/1757\/revisions\/1760"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/media\/1756"}],"wp:attachment":[{"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/media?parent=1757"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/categories?post=1757"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/vittrup-graversen.dk\/index.php\/wp-json\/wp\/v2\/tags?post=1757"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Private endpoints er den kedelige del, der afg\u00f8r om det kan bruges<\/h2>\n\n\n\n
\u00c5bne modeller rykker fra \u201cdownload og pr\u00f8v\u201d til reguleret drift<\/h2>\n\n\n\n
Hvad danske teams b\u00f8r tage med<\/h2>\n\n\n\n
Kilder<\/h2>\n\n\n
\n