Hur LLM:er fungerar pixelum.se

Sex steg från if-satser till en språkmodell

Vi börjar 1966, med ett program som inte lär sig någonting alls. Sedan lägger vi till en sak i taget tills det finns en riktig språkmodell på andra sidan. Den sista tränar vi ihop, på ett ämne ni får rösta fram.

Allt räknas ut i din webbläsare medan du tittar på. Du kan köra om det, ändra i det och se vad som händer.

6 av 6 steg är uppe. Serien är klar.

  1. Maskinen som lurade alla

    tisdag 11 augusti

    1966. Ett par hundra rader kod fick folk att öppna sig om sina problem. Texten strömmar fram precis som i ChatGPT. Innanför finns ingenting.

    Försök få den att säga något dumt. Vad avslöjade den?

    Kör den

  2. Problemet som dödade AI-forskningen i 17 år

    torsdag 13 augusti

    En femåring löser det på tre sekunder. 1969 knäckte det hela forskningsfältet. Här tränas två nätverk samtidigt så du ser vad som går fel.

    Gissa om det enkla nätverket klarar det. Skriv innan du startar.

    Kör den

  3. Varför AI:n inte kan räkna R i "strawberry"

    tisdag 18 augusti

    Modellen ser aldrig bokstäverna. Den ser tokens. Klistra in din egen text och se hur den styckas, och vad det kostar att skriva på svenska.

    Rösta på vad vår modell ska tränas på.

    Kör den

  4. king − man + woman = queen

    tisdag 25 augusti

    Ord blir koordinater, och då går det att räkna med dem. Samma sak som vektorsök och RAG vilar på.

    Omröstningen gav inget utslag, så jag valde: platt jord. Vilka ord måste in i träningsdatan?

    Kör den

  5. Attention Is All You Need

    torsdag 27 augusti

    Ett papper på åtta sidor, Google 2017. Nästan allt du har hört om AI sedan dess bygger vidare på det. Här ser du vad modellen tittar på när den väljer nästa ord.

    Sista omröstningen: hur ska vi ställa in träningen?

    Kör den

  6. Vi tränade vår egen modell

    tisdag 1 september

    Ert tema och era inställningar. Vi kör, och jag visar vad som kom ut. Även de delar som blev dåliga.

    Kör den

Ett sidoprojekt från Pixelum. Allt räknas ut lokalt i din webbläsare. Ingenting du skriver skickas vidare.