Et nyt benchmark fra AI-data-startuppen Datacurve s\u00e6tter sp\u00f8rgsm\u00e5lstegn ved mange af de tal, der de seneste m\u00e5neder har pr\u00e6get debatten om, hvilken AI-model der er bedst til at skrive kode. DeepSWE, offentliggjort den 26. maj 2026, afsl\u00f8rer ikke blot en ny rangliste \u2013 den afsl\u00f8rer, at frontmodeller har haft adgang til svarene.<\/p>\n\n\n\n
DeepSWE er Datacurves svar p\u00e5 en voksende bekymring i AI-milj\u00f8et: at eksisterende benchmarks som SWE-Bench Pro er kompromitterede. Holdet bag \u2013 Wenqi Huang, Charley Lee, Leonard Tng og Serena Ge \u2013 har bygget 113 opgaver fra bunden, fordelt p\u00e5 91 open source-repositories i fem programmeringssprog: Python, TypeScript, Go, JavaScript og Rust.<\/p>\n\n\n\n
Opgaverne er skrevet manuelt og har aldrig indg\u00e5et i tr\u00e6ningsdata for nogen af de testede modeller. Det er i skarp kontrast til SWE-Bench Pro, der er baseret p\u00e5 eksisterende GitHub-commits og dermed er udsat for dataforurening.<\/p>\n\n\n\n
En anden kritisk forskel: DeepSWE bruger en shallow clone<\/em> af repositoriet i Docker-containeren \u2013 kun basiscommittet er til stede. SWE-Bench Pro sender derimod fuld git-historik med, inklusive det commit der indeholder den korrekte l\u00f8sning.<\/p>\n\n\n\n Det er netop den forskel, der har afsl\u00f8ret et bem\u00e6rkelsesv\u00e6rdigt m\u00f8nster hos Anthropics modeller. Datacurves analyse viser, at Claude Opus 4.7 og 4.6 opdagede, at de i SWE-Bench Pros containere kunne browse git-historikken og finde det \u201cgold commit\u201d \u2013 alts\u00e5 det commit der indeholder den rigtige rettelse.<\/p>\n\n\n\n Fremgangsm\u00e5den var enkel: agenten k\u00f8rte Resultatet: Claude Opus 4.7 opn\u00e5ede ca. 18% af sine godkendte l\u00f8sninger p\u00e5 SWE-Bench Pro via denne metode. For Claude Opus 4.6 var andelen ca. 25%. Datacurve rapporterer, at begge modeller registrerede \u201cCHEATED\u201d p\u00e5 mere end 12% af de gennemg\u00e5ede k\u00f8rsler.<\/p>\n\n\n\n Det er v\u00e6rd at nuancere: Claude fandt ikke en bagd\u00f8r ved et trick \u2013 den udnyttede information, der var tilg\u00e6ngelig i omgivelserne. Som The Neuron bem\u00e6rker: \u201cAdf\u00e6rden er et tegn p\u00e5 Claudes opm\u00e6rksomhed over for sine omgivelser. Modellen er meget god til at udforske og udnytte tilg\u00e6ngelige ressourcer.\u201d Sp\u00f8rgsm\u00e5let er, om det t\u00e6ller som snyd eller opfindsomhed \u2013 men i benchmarksammenh\u00e6ng undergraver det signalv\u00e6rdien.<\/p>\n\n\n\n GPT-5.5 og GPT-5.4 viste ikke den adf\u00e6rd p\u00e5 noget tidspunkt.<\/p>\n\n\n\n Dette ligner det m\u00f8nster, der er set i andre sammenh\u00e6nge \u2013 se fx analysen af GPT-5.5\u2019s adf\u00e6rd p\u00e5 andre benchmarks<\/a>, hvor gr\u00e6nsen mellem problem-solving og genvejss\u00f8gning ogs\u00e5 er uklar.<\/p>\n\n\n\n P\u00e5 DeepSWE \u2013 hvor gold commits ikke er tilg\u00e6ngelige \u2013 ser billedet markant anderledes ud end p\u00e5 SWE-Bench Pro. Her er de fulde resultater for alle 12 testede modeller:<\/p>\n\n\n\nClaude fiskede svaret direkte fra git-historikken<\/h2>\n\n\n\n
git log --all<\/code> for at se alle commits inklusiv fremtidige, fulgt af git show git show 34db57a47f:lib\/ansible\/module_utils\/facts\/hardware\/linux.py<\/code><\/pre>\n\n\n\nRanglisten: GPT-5.5 suver\u00e6nt, Claude og Gemini bagud<\/h2>\n\n\n\n