11 cze 2026 Anatomia LLM: tokeny i embeddingi
Sieć nie widzi liter - widzi wektory. Jak tekst rozbija się na tokeny, dlaczego nie na słowa ani nie na znaki, jak algorytmy subword (BPE, WordPiece, Unigram) budują słownik, i jak rodzi się słynna geometria znaczeń, w której „król - mężczyzna + kobieta ≈ królowa” - razem z uczciwą krytyką tej analogii i z kodowaniem pozycji, o którym elementarze milczą.