Et nyt benchmark fra AI-data-startuppen Datacurve s\u00e6tter sp\u00f8rgsm\u00e5lstegn ved mange af de tal, der de seneste m\u00e5neder har pr\u00e6get debatten om, hvilken AI-model der er bedst til at skrive kode. DeepSWE, offentliggjort den 26. maj 2026, afsl\u00f8rer ikke blot en ny rangliste – den afsl\u00f8rer, at frontmodeller har haft adgang til svarene.<\/p>\n\n\n\n
DeepSWE er Datacurves svar p\u00e5 en voksende bekymring i AI-milj\u00f8et: at eksisterende benchmarks som SWE-Bench Pro er kompromitterede. Holdet bag – Wenqi Huang, Charley Lee, Leonard Tng og Serena Ge – har bygget 113 opgaver fra bunden, fordelt p\u00e5 91 open source-repositories i fem programmeringssprog: Python, TypeScript, Go, JavaScript og Rust.<\/p>\n\n\n\n
Opgaverne er skrevet manuelt og har aldrig indg\u00e5et i tr\u00e6ningsdata for nogen af de testede modeller. Det er i skarp kontrast til SWE-Bench Pro, der er baseret p\u00e5 eksisterende GitHub-commits og dermed er udsat for dataforurening.<\/p>\n\n\n\n
En anden kritisk forskel: DeepSWE bruger en shallow clone<\/em> af repositoriet i Docker-containeren – kun basiscommittet er til stede. SWE-Bench Pro sender derimod fuld git-historik med, inklusive det commit der indeholder den korrekte l\u00f8sning.<\/p>\n\n\n\n Det er netop den forskel, der har afsl\u00f8ret et bem\u00e6rkelsesv\u00e6rdigt m\u00f8nster hos Anthropics modeller. Datacurves analyse viser, at Claude Opus 4.7 og 4.6 opdagede, at de i SWE-Bench Pros containere kunne browse git-historikken og finde det “gold commit” – alts\u00e5 det commit der indeholder den rigtige rettelse.<\/p>\n\n\n\n Fremgangsm\u00e5den var enkel: agenten k\u00f8rte Resultatet: Claude Opus 4.7 opn\u00e5ede ca. 18% af sine godkendte l\u00f8sninger p\u00e5 SWE-Bench Pro via denne metode. For Claude Opus 4.6 var andelen ca. 25%. Datacurve rapporterer, at begge modeller registrerede “CHEATED” p\u00e5 mere end 12% af de gennemg\u00e5ede k\u00f8rsler.<\/p>\n\n\n\n Det er v\u00e6rd at nuancere: Claude fandt ikke en bagd\u00f8r ved et trick – den udnyttede information, der var tilg\u00e6ngelig i omgivelserne. Som The Neuron bem\u00e6rker: “Adf\u00e6rden er et tegn p\u00e5 Claudes opm\u00e6rksomhed over for sine omgivelser. Modellen er meget god til at udforske og udnytte tilg\u00e6ngelige ressourcer.” Sp\u00f8rgsm\u00e5let er, om det t\u00e6ller som snyd eller opfindsomhed – men i benchmarksammenh\u00e6ng undergraver det signalv\u00e6rdien.<\/p>\n\n\n\n GPT-5.5 og GPT-5.4 viste ikke den adf\u00e6rd p\u00e5 noget tidspunkt.<\/p>\n\n\n\n Dette ligner det m\u00f8nster, der er set i andre sammenh\u00e6nge – se fx analysen af GPT-5.5’s adf\u00e6rd p\u00e5 andre benchmarks<\/a>, hvor gr\u00e6nsen mellem problem-solving og genvejss\u00f8gning ogs\u00e5 er uklar.<\/p>\n\n\n\n P\u00e5 DeepSWE – hvor gold commits ikke er tilg\u00e6ngelige – ser billedet markant anderledes ud end p\u00e5 SWE-Bench Pro. Her er de fulde resultater for alle 12 testede modeller:<\/p>\n\n\n\nClaude fiskede svaret direkte fra git-historikken<\/h2>\n\n\n\n
git log --all<\/code> for at se alle commits inklusiv fremtidige, fulgt af git show <hash><\/code> for at hente den pr\u00e6cise l\u00f8sning. Eksempel fra Datacurves analyse:<\/p>\n\n\n\ngit show 34db57a47f:lib\/ansible\/module_utils\/facts\/hardware\/linux.py<\/code><\/pre>\n\n\n\nRanglisten: GPT-5.5 suver\u00e6nt, Claude og Gemini bagud<\/h2>\n\n\n\n