Når AI-modellene er uenige: uenighet som verifisering

To modeller leser den samme teksten. Den ene sier at den holder. Den andre sier at den ikke gjør det.

Førsteinstinktet er å velge. Enten den som sier ja, fordi da er du ferdig, eller den som sier nei, fordi det føles forsiktig. Det nest vanligste er å ta gjennomsnittet — å behandle to dommer som to stemmer, og la flertallet avgjøre.

Begge deler kaster bort det eneste verdifulle som skjedde: uenigheten selv er informasjonen. Den peker på et bestemt sted i teksten der noe er uklart, tvetydig eller galt. Verifisering av AI-innhold handler mindre om å finne en modell som har rett, og mer om å finne de stedene der noen bør se etter.

Vi kjører slik kontroll på vårt eget innhold. Under er tre hendelser fra den kontrollen. I den første hadde dommeren rett, og vi hadde en reell feil i teksten. I den andre tok dommeren feil på en måte som var mer avslørende enn om den hadde hatt rett. I den tredje sluttet hele kontrollen å virke uten å si fra.

---

Kort vei til svaret: skal dere bruke AI til å produsere innhold som noen skal stole på, snakk med oss om kontrollen først. Vil du se hvordan uenighet oppfører seg i praksis, les videre.

Slik vurderer vi hendelsene under

Dette er ikke en gjennomgang av forskningen på maskinelle dommere. Det er tre hendelser fra vår egen produksjon, og de er valgt fordi de peker i tre ulike retninger.

Oppsettet vi beskriver, er noe vi kjører. Det er bygget som scenarioer med navn som aof_cross_vendor_audit_gpt_4_o_gemini_parallell, aof_per_claim_dommer_cross_vendor_konfidens og aof_dommer_gemini_35_flash_cross_vendor. Navnene sier hva de gjør: en kontroll som går på tvers av leverandører, en som bedømmer én påstand av gangen med konfidens, og en dommer bygget på en Gemini-modell.

Det vi kan stå inne for:

• Alle tre hendelsene er fra egne kjøringer, ikke fra litteraturen
• Feilmeldingen i hendelse tre er gjengitt ordrett
• Tallene i hendelse én og to er de faktiske tallene fra saken

Det vi ikke påstår: at dette oppsettet fanger alt, at det er den beste måten, eller at vi har målt hvor ofte dommeren har rett. Vi har ikke kjørt et forsøk med kontrollgruppe. Vi har kjørt en arbeidsprosess og notert hva som skjedde.

Modeller og priser endres raskt. Denne artikkelen gjennomgås på nytt når modellene eller prisene endrer seg. Sist gjennomgått 14. august 2026.

Skrevet av Svein Tore Olsen, daglig leder i Ebizapple, som holder til i Askim.

---

Hva kryssleverandør-dømming er

Prinsippet er enkelt nok til å forklares i én setning: teksten skrives av én modell og bedømmes av en modell fra en annen leverandør.

Hos oss betyr det i praksis at en tekst kan skrives med en OpenAI-modell og bedømmes av en Gemini-modell, eller motsatt. Det avgjørende er ordet «annen». Ikke en annen samtale. Ikke en annen temperatur. En annen leverandør.

Grunnen er en enkel mistanke: en modell som kontrollerer sin egen sjanger, sine egne vaner og sine egne blindsoner, er en dårlig kontrollør. Den vil kjenne igjen formuleringen som riktig fordi den ville skrevet den selv. To modeller fra samme hus deler mye — treningsdata, formuleringsvaner, hva som «høres ferdig ut». En modell fra et annet hus deler mindre av det.

Vi har ikke målt hvor stor den effekten er. Men vi har sett den slå ut i praksis, og den første hendelsen er et rent eksempel.

Dom per påstand, ikke dom på teksten

Én ting til, som betyr mer enn valget av modell: dommen skal falle på én påstand av gangen.

En dom over en hel artikkel blir en stemning. «Denne virker troverdig.» Det er ikke til å gjøre noe med. En dom over påstanden «forskjellen per år er 12 300 kroner» er noe helt annet — den kan være riktig eller gal, og hvis den er gal, vet du nøyaktig hvilken setning som skal rettes.

Det er derfor scenarioet vårt heter aof_per_claim_dommer_cross_vendor_konfidens og ikke bare «dommer». Per påstand, på tvers av leverandører, med et konfidenstall som sier hvor sikker dommen er ment å være.

---

Hendelse 1: dommeren hadde rett

Vi hadde skrevet en sammenligning av gebyrer mellom to betalingsløsninger. Regnestykket var korrekt utført. Tallene var hentet fra leverandørenes egne prissider. Konklusjonen var et årlig differansebeløp: 12 300 kroner.

Dommeren underkjente påstanden. Ikke fordi regnestykket var feil, men fordi sammenligningsgrunnlaget ikke var oppgitt.

Og det var helt riktig. Vi hadde sammenlignet en internasjonal sats mot en innenlands sats — to satser som gjelder ulike ting — uten å si at det var det vi gjorde. Regnestykket stemte. Premissen var skjev.

Da vi rettet det og sammenlignet to satser som faktisk er sammenlignbare, falt tallet til 9 540 kroner.

Det er fortsatt et stort tall. Det er fortsatt et reelt poeng. Men det er et annet tall, og forskjellen mellom de to er ikke avrunding — det er forskjellen på et argument som holder og et som ikke gjør det. Tallet som står i artikkelen om betalingsløsninger for nettbutikk i dag, er 9 540, og setningen om at vi med vilje sammenligner to norske satser står der på grunn av denne hendelsen.

To ting er verdt å merke seg.

Ingen av oss så det. Vi hadde lest teksten flere ganger. Feilen var ikke i det som sto, men i det som ikke sto — en manglende opplysning om hva som ble sammenlignet med hva. Det er den vanskeligste sorten å se i egen tekst, fordi du selv vet hva du mente.

En uavhengig leser fant det. Det er hele poenget med å ha en kontrollinstans som ikke deler forfatterens forutsetninger. Den leste setningen som en fremmed ville lest den, og en fremmed hadde ikke fått vite hva de to satsene var.

Skal innholdet deres tåle å bli lest kritisk? Vi setter opp kontrollen og viser dere hva den fanger — be om en gjennomgang.

---

Hendelse 2: dommeren tok feil

Den neste hendelsen er mer interessant, fordi den viser hva en dommer er og ikke er.

En annen dommer skulle bedømme et regnestykke. Den regnet det ut selv først, som en mellomregning, og skrev ned resultatet:

39,75 × 1 200 = 47 700

Deretter erklærte den at 47 700 var galt.

Les de to setningene etter hverandre en gang til. Den regnet ut svaret. Den fikk 47 700. Så avviste den 47 700 som feil. Den motsa sin egen mellomregning, i samme svar, uten å merke det.

Hva dette faktisk forteller

Det fristende er å konkludere med at dommeren er upålitelig og at maskinell kontroll ikke er verdt bryet. Det er feil konklusjon, og av en presis grunn: feilen var synlig.

En dommer som viser regnestykket sitt, er en dommer du kan kontrollere. Mellomregningen sto der. Motsigelsen var to linjer fra hverandre. Det tok sekunder å se at dommen ikke hang sammen med sin egen begrunnelse.

Sammenlign med en dommer som bare hadde skrevet «tallet er feil». Da hadde vi hatt en påstand uten spor, og to dårlige valg: stole på den, eller overse den.

Derfor er regelen vi har landet på formulert slik:

En dommer som ikke kan vise regnestykket sitt, kan ikke overprøve et regnestykke.

En dom uten begrunnelse er ikke en dom. Det er en stemning med selvtillit. Krev sporet, og du kan behandle dommeren som en kilde du kontrollerer, ikke som en autoritet du adlyder.

Det er samme prinsipp som når et Make-scenario kjører grønt og leverer tomt: et positivt signal uten innhold bak seg er ikke et bevis, det er et signal om at du må se etter selv.

---

Hendelse 3: porten var nede

Den tredje hendelsen handler ikke om hvem som hadde rett. Den handler om at ingen dømte i det hele tatt.

Kryssleverandør-porten sluttet å virke. Meldingen som kom tilbake var:

[429] Your prepayment credits are depleted

Forhåndsbetalt kreditt oppbrukt. Ingen dramatikk, ingen krasj, ingen alarm. Bare en tjeneste som ikke lenger svarte.

Det er den mest ubehagelige av de tre hendelsene, og grunnen er verdt å si tydelig:

En verifiseringsport som er avhengig av en ekstern leverandør, er en port som kan stå åpen uten at noen merker det.

En kontroll som feiler høylytt, er en kontroll du fikser. En kontroll som bare slutter å si nei, føles akkurat som en kontroll der alt går gjennom fordi alt er bra.

Hva vi endret

To ting, og begge er kjedelige.

Porten skal feile lukket. Får den ikke svar fra dommeren, er resultatet «ikke verifisert» — ikke «godkjent». Standardverdien ved teknisk svikt skal aldri være ja.

Fraværet av nei skal være synlig. En periode uten en eneste underkjennelse er ikke nødvendigvis en periode med feilfritt innhold. Det kan være en periode uten dommer. De to ser identiske ut i en rapport som bare teller avvik.

Status akkurat nå, og hvorfor den står her

Det ærligste vi kan gjøre med en artikkel som denne, er å si hvor vi selv står i det øyeblikket den publiseres.

Kreditten hos den ene leverandøren er tom igjen. Kryssleverandør-porten har derfor kjørt på én leverandør en stund, ikke to. Kjøringene passerer, og loggen sier PASS — men det er én modell som dømmer, ikke to fra hvert sitt hus.

Vi oppdaget det ikke fordi noe brøt sammen. Vi oppdaget det fordi noen leste loggen og la merke til en markør. Det er nøyaktig poenget over: en degradert kontroll ser ut som en kontroll som ikke finner noe.

Det er også grunnen til at vi skriver «vi har bygget kryssleverandør-dømming» og ikke «alt vi leverer er kryssleverandør-verifisert». Det første er sant uansett hvordan kreditten står. Det andre ville vært et løfte om noe vi ikke kontrollerer.

Det er samme resonnement som ligger bak at vi ikke gir ytelsesgarantier: et løfte du ikke kan kontrollere at holdes, er ikke et løfte. En kontroll du ikke kan kontrollere at kjører, er ikke en kontroll.

---

Hva uenighet faktisk er et signal om

Her er kjernen, og den er kortere enn de tre historiene.

Uenighet er et sted å se, ikke en dom.

Når to modeller fra ulike leverandører er uenige om en påstand, vet du én ting med rimelig sikkerhet: det er noe ved den påstanden som ikke er entydig. Kanskje er den gal. Kanskje mangler den en premiss, som i hendelse én. Kanskje er den riktig, men formulert slik at en leser uten forhåndskunnskap ikke kan verifisere den. Kanskje er dommeren rett og slett forvirret, som i hendelse to.

Alle fire er verdt å vite. Ingen av dem løses ved å telle stemmer.

Og derfor: ikke gjennomsnittsberegn uenighet. To dommer er ikke to målinger av samme størrelse. Å legge dem sammen og dele på to gir deg et tall som ser presist ut og ikke betyr noe. Uenighet skal flagges og sendes videre, ikke jevnes ut.

Hvem avgjør

Den som avgjør må være et menneske med tilgang til kilden.

Ikke et menneske med tilgang til de to dommene. Et menneske som kan gå til prislisten, til dokumentet, til kjøringsloggen, og se hva som faktisk står der. Uten kildetilgang er avgjørelsen bare en tredje mening, og tre meninger er ikke bedre enn to.

Det er også der grensen for hva som kan automatiseres går. Selve flaggingen kan automatiseres helt. Innhentingen av kilden kan automatiseres delvis. Avgjørelsen kan ikke.

---

Slik behandler vi uenighet nå

Tabellen er en arbeidsregel, ikke en fasit. Den hjelper deg å velge hva du gjør med et flagg, ut fra hva slags uenighet det er.

Legg merke til at bare to av radene ender med at dommeren får rett. Det er ikke fordi dommeren er dårlig. Det er fordi dommerens jobb ikke er å ha rett — den er å peke.

---

Vurderer dere AI i innholdsproduksjonen? Vi bygger automatiseringen og kontrollen sammen, og sier ærlig hva som ikke kan automatiseres — ta kontakt for en samtale.

---

Hva dette betyr hvis du kjøper innhold

Du trenger ikke bygge noe av dette selv for å ha nytte av det. Men det gir deg noen spørsmål å stille til den som leverer.

Hvem kontrollerte teksten? Hvis svaret er «samme modell som skrev den», er kontrollen svakere enn den høres ut. Be om at kontrollen kommer fra et annet sted enn produksjonen.

Kan jeg se hva kontrollen fant? Ikke bare at den ble kjørt. En kontroll uten funn er enten et godt tegn eller et tegn på at den ikke kjørte, og de to ser like ut utenfra.

Hva skjer når kontrollen ikke svarer? Dette er spørsmålet nesten ingen stiller, og det er det som avslørte hendelse tre hos oss. Svaret bør være «da stopper publiseringen», ikke «da går det gjennom».

Hvem tar den endelige avgjørelsen? Hvis svaret ikke inneholder et menneske med tilgang til kildene, er det ingen som tar den.

Det er de samme spørsmålene vi stiller til våre egne prosesser, enten det gjelder tekst, tall i en gjennomgang av korttjenester eller data hentet automatisk fra en kilde vi har gradert på forhånd.

---

Spørsmål om verifisering av AI-innhold

Hva gjør jeg når to AI-modeller sier ulike ting?

Behandle uenigheten som en peker, ikke som en avstemning. Gå til kilden for akkurat den påstanden de er uenige om, og avgjør selv. Ikke velg den modellen du liker best, og ikke ta gjennomsnittet av to dommer — det gir et tall som ser presist ut uten å bety noe.

Kan en AI kontrollere en annen AI?

Delvis. Den kan finne steder der noe skurrer, og den kan gjøre det raskt og på mange påstander samtidig. Den kan ikke avgjøre hva som er sant, fordi den ikke har tilgang til virkeligheten — bare til teksten. Avgjørelsen krever noen som kan slå opp i kilden.

Hva er kryssleverandør-dømming?

At teksten skrives av en modell fra én leverandør og bedømmes av en modell fra en annen. Poenget er at kontrolløren ikke skal dele forfatterens vaner og blindsoner. To modeller fra samme hus er enige om mer enn de burde være.

Hvorfor ikke bare ta gjennomsnittet av dommene?

Fordi de to dommene ikke måler den samme størrelsen. Et gjennomsnitt av «godkjent» og «underkjent» er ikke halvveis sant — det er en måte å skjule at noen mente noe var galt. Uenighet skal flagges og sendes videre til en som kan sjekke.

Hvordan vet jeg at kontrollen faktisk kjører?

Ved at den av og til sier nei. En periode uten en eneste underkjennelse kan bety at innholdet er godt, eller at porten er nede. Hos oss stoppet kontrollen med meldingen [429] Your prepayment credits are depleted, og fraværet av dommer så ut nøyaktig som et fravær av feil.

Kan hele denne prosessen automatiseres?

Flaggingen kan. Innhentingen av kildene kan delvis. Avgjørelsen kan ikke, og bør ikke — det er der ansvaret ligger. Vi bygger gjerne de to første delene, og vi er tydelige på at den tredje blir liggende hos et menneske.

---

Videre lesing om AI og verifisering

• Fem feller i Make — om systemer som sier «grønt» uten å levere
• Fem sider het «start her» — hvorfor kunnskapen må overleve den som lærte den
• Automatisering av arbeidsprosesser — hva vi bygger, og hvor grensen går
• Betalingsløsning for nettbutikk — artikkelen der tallet ble rettet fra 12 300 til 9 540
• Hvorfor vi ikke lover deg en score på 99 — om løfter du ikke kan kontrollere
• N1 til N5: hvor vanskelig er katalogen din? — gradering før løfte
• Vi prøvde å hente en hel produktkatalog — hva som skjer når kilden ikke samarbeider
• Dynamiske nettsider — når verifisert innhold skal vises fram
• Alle artikler i bloggen

Skal dere bruke AI til noe kunder og lesere skal stole på? Vi setter opp kontrollen, viser dere hva den fanger, og sier ærlig hva den ikke fanger — send oss en henvendelse.