Hur LLM:er fungerar pixelum.se

Sex steg från if-satser till en språkmodell

Vi börjar 1966, med ett program som inte lär sig någonting alls. Sedan lägger vi till en sak i taget tills det finns en riktig språkmodell på andra sidan. Den sista tränar vi ihop, på ett ämne ni får rösta fram.

Allt räknas ut i din webbläsare medan du tittar på. Du kan köra om det, ändra i det och se vad som händer.

1 av 6 steg är uppe. Nästa öppnar torsdag 13 augusti.

  1. Maskinen som lurade alla

    tisdag 11 augusti

    1966. Ett par hundra rader kod fick folk att öppna sig om sina problem. Texten strömmar fram precis som i ChatGPT. Innanför finns ingenting.

    Försök få den att säga något dumt. Vad avslöjade den?

    Kör den

  2. Problemet som dödade AI-forskningen i 17 år

    torsdag 13 augusti

    En femåring löser det på tre sekunder. 1969 knäckte det hela forskningsfältet. Här tränas två nätverk samtidigt så du ser vad som går fel.

    Gissa om det enkla nätverket klarar det. Skriv innan du startar.

    Öppnar torsdag 13 augusti.

  3. Varför AI:n inte kan räkna R i "strawberry"

    tisdag 18 augusti

    Modellen ser aldrig bokstäverna. Den ser tokens. Klistra in din egen text och se hur den styckas, och vad det kostar att skriva på svenska.

    Rösta på vad vår modell ska tränas på.

    Öppnar tisdag 18 augusti.

  4. king − man + woman = queen

    torsdag 20 augusti

    Ord blir koordinater, och då går det att räkna med dem. Samma sak som vektorsök och RAG vilar på.

    Nu vet vi temat. Vilka ord måste finnas med i träningsdatan?

    Öppnar torsdag 20 augusti.

  5. Attention Is All You Need

    tisdag 25 augusti

    Ett papper på åtta sidor, Google 2017. Nästan allt du har hört om AI sedan dess bygger vidare på det. Här ser du vad modellen tittar på när den väljer nästa ord.

    Sista omröstningen: hur ska vi ställa in träningen?

    Öppnar tisdag 25 augusti.

  6. Vi tränade vår egen modell

    torsdag 27 augusti

    Ert tema och era inställningar. Vi kör, och jag visar vad som kom ut. Även de delar som blev dåliga.

    Öppnar torsdag 27 augusti.

Ett sidoprojekt från Pixelum. Allt räknas ut lokalt i din webbläsare. Ingenting du skriver skickas vidare.