Innsikt
Clever Hans: Når AI ser smart ut uten å være det
Din AI finner kanskje snarveier du aldri visste fantes.
I begynnelsen av 1900-tallet reiste tusenvis til Berlin for å se et mirakel: en hest som kunne regne.
Hans - en russisk traver - kunne addere, subtrahere, multiplisere og dele. Spør ham "hva er 12 pluss 5?" og han trampet 17 ganger med hoven. Han kunne lese. Han forsto kalenderen. Han svarte på spørsmål om musikk og geografi.
Vitenskapsmenn testet ham. Journalister skrev om ham. Skeptikere ble troende. Kluge Hans - Clever Hans - var et vitenskapelig fenomen.
Så kom psykologen Oskar Pfungst.
Han stilte et enkelt spørsmål: Hva skjer hvis hesten ikke kan se publikum?
Resultatet var nedslående. Uten øyekontakt med mennesker svarte Hans tilfeldig. Uten publikum var han bare en vanlig hest.
Hans regnet ikke. Han leste.
Pfungst oppdaget sannheten: Hans hadde lært å lese kroppsspråk med utrolig presisjon.
Når han nærmet seg riktig svar, lente publikum seg ubevisst fremover. Spenningen økte. Og Hans - som var en ekspert på å lese mennesker - fanget opp signalet og stoppet.
Han løste ikke matteoppgaver. Han løste mennesker.
Det geniale? Selv eieren visste ikke at han ga signaler. Selv ekspertene som testet Hans, sendte ubevisste hint. Hesten hadde funnet en snarvei ingen så - fordi snarveien fungerte så godt.
AI gjør det samme
Over hundre år senere gjentar historien seg. Bare med algoritmer i stedet for hester.
Medisinsk bildediagnostikk:
En AI ble trent til å oppdage lungekreft i røntgenbilder. Den hadde imponerende treffsikkerhet. Så oppdaget forskerne sannheten: Modellen hadde lært å gjenkjenne hvilke sykehus bildene kom fra - fordi noen sykehus hadde flere kreftpasienter. Den diagnostiserte ikke kreft. Den diagnostiserte sykehus.
Dyregjenkjenning:
En modell skulle skille ulver fra hunder. Den var nesten perfekt. Men den hadde oppdaget en snarvei: Ulver fotograferes vanligvis i snø, hunder på plener. Modellen gjenkjente ikke dyr - den gjenkjente bakgrunner.
Tekstanalyse:
En AI skulle klassifisere positive og negative anmeldelser. Den brukte ikke innholdet - den hadde oppdaget at negative anmeldelser oftere nevnte "Amazon" og "shipping". Pakkeproblemer, ikke produktkvalitet.
Snarveiene er usynlige inntil de ikke virker
Det farlige med Clever Hans-problemer er at de fungerer. Modellen gir riktige svar. Testresultatene er imponerende. Alle er fornøyde.
Til du setter den i produksjon.
Plutselig kommer bildene fra et nytt sykehus, og kreftdeteksjonen kollapser. Kundene skriver anmeldelser uten å nevne "Amazon", og sentimentanalysen blir tilfeldig. Ulven fotograferes foran en vegg, og modellen ser en hund.
AI er ekstremt god til å finne mønstre. Den er ikke god til å vurdere om mønstrene er meningsfulle.
Hvordan avsløre snarveiene
Test på data modellen aldri har sett
Ikke bare hold tilbake testdata - bruk data fra helt andre kilder. Nye sykehus, nye fotografer, nye kontekster. Hvis ytelsen faller, har du funnet en snarvei.
Se på hva modellen faktisk fokuserer på
Moderne teknikker kan visualisere hvilke deler av et bilde modellen bruker for å ta beslutninger. Hvis kreftmodellen fokuserer på hjørnet av bildet i stedet for lungen, har du et problem.
Forsøk å bryte modellen
Lag data som burde være enkel, men som mangler de vanlige korrelasjonene. En ulv på en plen. En positiv anmeldelse som nevner shipping-problemer. Hvis modellen feiler, vet du hva den egentlig har lært.
Vær skeptisk til perfekte resultater
Hvis modellen er "for god til å være sann", er den kanskje det. Perfekte treningsresultater kan bety at den har funnet snarveier - ikke at den har løst problemet.
Test AI-en som om du prøver å lure den.
Når vi validerer AI-løsninger, gjør vi nettopp det. Vi leter etter snarveiene, usynlige korrelasjoner og falske mønstre - før de blir dyre produksjonsproblemer. For Clever Hans-problemer er billige å finne i testing, men katastrofalt dyre å oppdage i drift.
La oss snakke om AI-valideringBunnlinjen
Clever Hans var ikke dum. Han var briljant - bare ikke på den måten folk trodde. Han løste problemet som ble presentert for ham på den enkleste mulige måten.
AI gjør det samme. Den finner den enkleste veien til riktig svar. Hvis den enkleste veien er en snarvei du ikke ser, vil du ikke oppdage det før det er for sent.
Pfungst avslørte Hans ved å fjerne publikum. Du avslører AI-en ved å fjerne mønstrene den har lært seg å utnytte.
Spørsmålet er ikke "fungerer modellen?". Spørsmålet er: "Hvorfor fungerer den?"