Steg 2
Problemet som dödade AI-forskningen i 17 år
XOR betyder att svaret blir ja om ett av två svar är ja, men inte om båda är det. En femåring fattar det direkt. 1969 visade Minsky och Papert att perceptronen, tidens enklaste neurala nätverk, omöjligt kunde lära sig just det. Pengarna till forskningen försvann, och fältet låg stilla i sjutton år.
Lösningen kom 1986 och heter backpropagation. Nedan tränas två nätverk samtidigt på samma fyra exempel. Det ena har ett extra lager, det andra inte. Håll ögonen på kurvorna.
Hur fel nätverket har, över tid. Ju längre ner kurvan går, desto bättre.
Utan dolt lager
2 in, 1 ut
Tryck på knappen så fylls tabellen i.
Med dolt lager
2 in, 4 dolda, 1 ut
Tryck på knappen så fylls tabellen i.
Vad som hände
Det enkla nätverket kan bara dra en rak linje genom problemet, och de två ettorna ligger i motsatta hörn. Lägg linjen hur du vill: som mest tre av fyra hamnar rätt, minst en punkt blir alltid fel. Det var precis det Minsky och Papert bevisade.
Träningen hittar inte ens den kompromissen. Den landar mitt emellan och svarar ungefär 0.5 över hela rutan, vilket är varför fältet blir nästan enfärgat och varför alla fyra raderna i tabellen är röda. Felet stannar på 0.2842 — samma siffra varje körning, oavsett var vikterna slumpades. Det är samma sak som att singla slant.
Det dolda lagret böjer om problemet först, så att en rak linje räcker efteråt. I rutan syns det på att gränsen mellan lila och orange kröker sig. Rak kan den inte vara — då hade perceptronen klarat det. Exakt hur böjen ser ut skiftar mellan körningar: ibland blir orange två skilda öar kring ettorna, ibland ett sammanhängande band. Det som alltid gäller är att båda ettorna hamnar i orange och båda nollorna i lila. Att hitta böjningen är vad backpropagation gör: mäta hur fel svaret blev och skicka felet bakåt genom nätverket, ett litet steg i taget, sextusen gånger.
Kör gärna om några gånger. Ibland fastnar även det stora nätverket. Vikterna börjar på slumpade värden och alla startlägen leder inte fram. Så fungerar det på riktigt också, det är inget fel på demon.
Nu lär sig nätverket. Men det enda det begriper är siffror, och text är inte siffror. Det ordnar vi i steg 3.