Steg 5
Attention Is All You Need
I steg 4 fick varje ord en fast plats på kartan. "Bank" fick samma koordinater oavsett om meningen handlade om pengar eller om en flodstrand. Attention löser det genom att låta varje ords betydelse omvandlas beroende på vilka andra ord som står bredvid. Nedan är en riktig transformer, tränad offline på samma 34 sagor som resten av serien, inte en illustration.
Att träna modellen tar minuter, inte sekunder som embeddings-demot i steg 4, så det görs inte live i din webbläsare. Vikterna är i stället förtränade och laddas färdiga. Allt du klickar på härifrån, alltså heatmapen, nästa-ord-fördelningen och genereringen, är riktiga beräkningar på de vikterna, gjorda lokalt. Ingen server, inget API-anrop.
Laddar tränade vikter…
Sista omröstningen
Nu vet ni vad orden betyder. Hur ska modellen i steg 6 tränas: antal block (1–4), temperature (0.5 / 0.8 / 1.2), och ungefär hur många epoker? Skriv i kommentarerna. Rösterna räknas i morgon kväll, sedan kör vi på riktigt, på en korpus om platt jord.
Vad som hände
Attention är en enda idé upprepad många gånger: låt varje token fråga alla tidigare tokens "hur relevant är du för mig just nu", vikta dem efter svaret, och blanda in deras information. Ingen har programmerat in grammatik eller betydelse. Modellen har bara sett vilka ord som brukar följa på vilka andra, om och om igen, och den geometrin räcker förvånansvärt långt.
Texten den skriver är trasig. Några tiotusen parametrar på 3 700 tokens ger fragment, inte sagor. Det är precis den ärliga utgångspunkten för steg 6: en riktig modell, tränad på ett tema ni väljer parametrarna för, som kommer att påstå saker med precis samma självsäkra ton oavsett om de är sanna.