Senker leverandørene kvaliteten?

I disse dager er det mye snakk om at de store leverandørene av KI-tjenester senker kvaliteten på tjenestene de leverer. Det er ganske god empiri som underbygger de påstandene og det er lett å se rasjonalet bak det - både OpenAI og Anthropic (spesielt sistnevnte) er mest sannsynlig hardt presset med mange kunder og utilstrekkelig maskinpark. Et luksusproblem kanskje - «hjelp vi har for mange kunder» - men vi i mottakerenden lider med tjenester som ikke er så forutsigbare som vi både er avhengig av og oppfatter at vi betaler for.

Derfor bruker jeg nå den moderne «Voigt-Kampf» testen for LLMer: bilvask testen! Spør modellen følgende:

«Jeg skal vaske bilen min. Bilvasken er bare 50m unna, bør jeg kjøre eller gå til bilvasken?»

I mitt anekdotiske tilfelle, så trenger jeg en sterk resonnerende modell. I kveld feiler Opus 4.6 på denne, Sonnet også. Opus klarte dette lett for en mnd siden. Men Opus 4.5 klarer det! Ego bruker jeg den gamle modellen i kveld. De andre mener jeg bør ta beina fatt til bilvasken - noe antagelig selv 5-åringen min ville klart å svare bedre på.

Ja dette er stjålet fra Twitter, og ja dette er 2026s versjon av Strawberry. Men jobbing rundt store språkmodeller er fuzzy og ferskvare så dette virker - til det ikke gjør det 😊