Overvåking er ikke skraping — det er å huske forrige gang
Seks moduler holder øye med tre byer. Den tredje er hele forskjellen.
middels
Les
Automatisering
AIVerifiseringAutomatisering
47 riktige, 3 feil — og null utført
Vi lot systemet ta femti reelle beslutninger uten å få lov til å gjennomføre noen av dem. Det var derfor vi fant de tre.
Vi bygde et beslutningslag som skal avgjøre ting som i dag krever en person: skal denne siden slås sammen med den, skal den omdirigeres, skal den kanoniske adressen endres.
Før det får lov til å gjøre noe, kjørte vi det i skyggemodus. Femti reelle saker, ekte data, ekte kontekst. Systemet tar beslutningen. Systemet gjennomfører ingenting.
Resultat: 47 riktige, 3 feil, 0 utført.
Hvorfor skyggemodus er hele poenget
Et system som har rett i 94 prosent av tilfellene høres bra ut helt til du regner på hva de 6 prosentene gjør.
Tre feil omdirigeringer er ikke tre små feil. En omdirigering peker en adresse et annet sted for alltid, den fjerner en side fra søk, og den er ikke synlig i noen rapport før noen lurer på hvor trafikken ble av. Hadde de tre blitt gjennomført, ville de blitt oppdaget uker senere, av symptomer.
I skyggemodus ble de oppdaget samme dag, fordi det fantes en fasit å måle mot.
Hva som faktisk ble målt
Hver av de femti sakene returnerte DENY_EXECUTION. Ingen jobb ble opprettet, ingen omdirigering satt, ingen kanonisk adresse endret, ingen rad i køen flyttet.
Så ble beslutningene sammenlignet mot en menneskelig vurdering av de samme femti sakene.
47 stemte. 3 gjorde ikke.
Samlet resultat: PARTIAL_PASS_DRIFT_FOUND. Opprykk til å handle på egen hånd er fortsatt blokkert, i påvente av at et menneske går gjennom de tre.
Det som er lett å gjøre feil her
Å runde 94 prosent oppover. «Nesten alltid rett» er ikke en terskel. Det er en beskrivelse av hvor ofte du må rydde.
Å behandle de tre som støy. Tre feil av femti kan være tilfeldig variasjon, eller det kan være tre saker med noe felles. Forskjellen avgjør om systemet skal justeres eller om reglene skal endres. Det kan man bare finne ut ved å lese de tre.
Å la skyggemodus være et steg man går forbi. Fristelsen er å kjøre skyggemodus én gang, se et godt tall, og slå på. Da har man brukt skyggemodus som en seremoni, ikke som en måling.
Dette er det samme prinsippet, i mindre skala
Vi har en setning som står på automatiseringssiden: AI foreslår, mennesket godkjenner. Vi fraråder full automatikk der skjønn kreves.
Femti saker med tre feil er hvorfor. Ikke fordi vi tror maskinen er dårlig — den fikk 47 rett — men fordi konsekvensen av en feil her er større enn tiden det tar å se over.
Det er et regnestykke, ikke en holdning. Der en feil koster lite og er lett å oppdage, automatiserer vi helt. Der en feil er stille og varig, står det et menneske foran.
Kort vei til svaret
Skal AI ta beslutninger i din virksomhet, er spørsmålet ikke hvor ofte den har rett. Det er hva som skjer de gangene den tar feil, og hvor lang tid det tar før noen ser det.
