Jednotka textu zpracovávaná jazykovým modelem
Token je základní jednotka textu, se kterou jazykový model počítá – kousek slova dlouhý zhruba 4 znaky, v angličtině asi 0,75 slova. Model váš text nevidí po slovech ani po písmenech. Rozseká si ho na tokeny a teprve s nimi pracuje: krátké běžné slovo bývá jeden token, delší nebo méně obvyklé se rozpadne na několik.
Zní to jako technikálie. Není. Za tokeny se u API platí a tokeny zároveň vymezují, kolik textu model najednou udrží.
Tokenizéry vznikaly především nad angličtinou, tu proto umějí sekat úsporně. Čeština se svou diakritikou a skloňováním dopadá hůř – stejný obsah spolkne i zhruba dvojnásobek tokenů. Identický text vás tak přes API vyjde v češtině dráž. Při běžném chatování to neřešíte; u automatizace ve velkém už ano.
Druhé místo, kde se tokeny počítají. Kontextové okno je objem textu, který model pojme najednou – váš prompt, přiložené podklady i generovaná odpověď dohromady. Co se do okna nevejde, model jednoduše nevidí. A i tady čeština kvůli vyšší spotřebě tokenů narazí dřív než angličtina.
Před hromadným generováním si vždycky udělám malý testovací vzorek a změřím spotřebu tokenů na reálných českých textech. Pozor na odhady podle anglických příkladů z ceníků – čeština spotřebuje víc a rozpočet pak nesedí klidně o desítky procent. Cenu celé dávky počítám až z naměřených čísel; u popisků pro celý e-shop dělá ten rozdíl znatelnou položku na faktuře.
