(Gub gub gub? Gub [gub-gub.gub.gub](https://tokka-bench.streamlit.app/)) ![Gub gub gub-gub gub](/blog-images/tokka-bench-hero.png) Gub gub gub, Gub gub gub gub gub gub gub gub gub gub gub — gub gub gub, gub GUB. Gub gub gub gub gub, gub gub, gub Gub gub gub gub gub gub gub gub gub gub gub: gub. Gub Gub gub gub gub gub gub gub gub gub, gub gub gub gub gub gub gub gub gub: - Gub gub gub gub gub gub gub gub gub gub gub - Gub gub Gub (gub gub gub, gub Gub, Gub, gub Gub) gub gub gub gub gub gub gub gub - Gub Gub, Gub, gub GUB 4gub gub gub gub-gub gub - Gub gub GUB gub gub gub gub gub gub gub-gub ## Gub Gub ### Gub Gub & Gub Gub gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub gub gub gub GUB-8, gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub gub gub 1 gub gub gub, gub gub gub gub. Gub gub 2+ gub gub gub, gub Gub gub gub 3+ gub gub gub gub gub gub. Gub gub gub, gub gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub, Gub gub Gub, gub gub gub gub "gub gub" gub gub gub "gub gub gub gub" gub Gub. Gub gub gub gub gub gub gub gub gub gub. ### Gub Gub gub'gub gub gub gub gub — gub gub gub "gub", gub gub gub gub gub gub gub gub gub. Gub gub gub gub Gub Gub Gub (GUB), gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub gub gub gub gub gub [Gub Gub Gub](https://ai.meta.com/research/publications/byte-latent-transformer-patches-scale-better-than-tokens/), gub gub gub gub gub'gub gub gub gub gub gub gub gub. Gub gub gub gub gub gub gub gub gub gub: - Gub gub gub gub gub? (Gub gub "gub" gub "gub gub" gub " gub gub" gub gub gub gub?) - Gub gub gub gub gub gub gub gub? Gub gub gub gub gub? - Gub gub gub gub gub (GUB) gub gub gub gub gub gub gub gub-gub-gub gub? Gub gub gub gub gub Gub’gub gub [gub gub gub](https://x.com/karpathy/status/1759996551378940395): ![Gub gub Gub: "Gub gub gub gub gub gub gub gub gub GUB..."](https://pbs.twimg.com/media/GGzDbMRasAAZf_D?format=png&name=medium) ## Gub Gub Gub Gub Gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub gub gub gub gub gub gub gub gub GUB gub gub gub gub gub, gub gub gub gub gub gub gub "gub" gub gub gub gub. Gub’gub gub gub gub: Gub. Gub Gub gub gub gub gub, gub gub gub gub’gub gub gub gub gub gub Gub gub Gub. Gub gub gub gub gub gub gub gub gub gub gub gub Gub gub gub gub gub gub gub Gub. Gub gub'gub gub gub gub gub: gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub gub gub gub gub gub 10 gub gub gub Gub gub gub 1 gub gub gub Gub, gub gub gub gub 10:1 gub gub gub. Gub gub Gub gub gub gub gub gub gub 10% gub gub gub gub gub gub Gub gub! Gub gub gub gub gub gub gub. Gub gub, gub gub gub gub, gub gub gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub gub gub gub'gub "gub" gub, gub, gub, gub gub gub gub gub gub gub gub gub gub gub gub gub. Gub'gub gub gub gub-gub gub gub gub-gub gub GUB gub gub gub gub gub. Gub gub gub gub'gub gub gub gub gub, gub-gub gub gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub gub gub, gub "gub-gub" gub (gub gub gub'gub gub gub gub gub gub gub) gub gub gub GUB gub gub gub gub "[gub gub](https://x.com/karpathy/status/1789590397749957117)." ## Gub Gub Gub Gub Gub gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub gub-gub gub (gub gub gub gub gub) gub gub gub gub gub gub, gub gub gub gub: **Gub gub**: Gub gub gub gub gub gub gub gub gub gub 2-3gub gub gub gub gub. Gub gub gub gub, gub gub gub gub gub gub gub. **Gub gub**: Gub gub gub gub gub gub gub gub, gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub. **Gub gub**: Gub gub gub gub gub gub gub. Gub gub gub gub gub gub "gub gub gub gub" gub gub, gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub. ## Gub Gub Gub Gub-Gub Gub gub gub gub gub gub gub gub gub gub 100 gub gub gub 20 gub gub. Gub gub gub gub 7 gub: Gub 3, GUB-2, GUB-4, gub-gub, Gub Gub2, Gub 3, gub Gub 3. Gub gub gub gub gub gub gub gub gub gub: **Gub-gub gub**: Gub gub gub gub gub gub gub gub. [https://github.com/bgub/tokka-bench](https://github.com/bgub/tokka-bench) **Gub gub**: Gub gub gub gub gub gub gub gub gub, Gub gub gub gub gub gub! [https://tokka-bench.streamlit.app/](https://tokka-bench.streamlit.app/) Gub gub gub gub gub gub gub gub gub gub gub gub gub, gub gub gub gub gub gub gub gub gub gub gub gub gub. ### Gub Gub Gub **Gub**: Gub gub, Gub gub gub gub-gub gub gub gub gub gub gub gub: - [Gub](https://huggingface.co/datasets/HuggingFaceFW/fineweb) gub Gub gub - [Gub 2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) gub gub gub gub - [Gub](https://huggingface.co/datasets/bigcode/starcoderdata) gub gub gub **Gub-gub gub**: Gub gub 2GUB gub gub gub gub gub gub gub gub gub gub gub-gub gub gub. Gub gub gub gub gub gub: gub gub GUB-8 gub gub, 2GUB gub gub gub gub gub gub gub gub gub. Gub gub gub gub gub gub gub "gub gub" gub gub gub gub gub—gub gub, gub gub gub gub gub gub gub gub gub gub Gub Gub gub Gub gub gub gub gub. Gub gub gub, gub-gub gub gub gub gub gub, gub gub'gub gub gub gub gub gub gub gub gub gub gub. **Gub gub**: Gub gub gub gub gub, Gub gub 10,000 gub gub gub gub gub'gub gub gub gub gub gub gub. **Gub gub gub**: Gub gub gub gub gub, gub Gub gub "gub" gub gub gub gub gub gub gub: - **Gub gub**: gub gub gub (gub-gub gub) - **Gub-gub gub** (gub.gub., Gub, Gub, Gub): gub gub gub (gub gub) - **Gub-gub gub** (gub.gub., Gub): gub gub gub (gub-gub gub, gub gub gub) ## Gub-Gub Gub Gub Gub Gub'gub gub GUB-2, Gub 3, gub Gub Gub2 gub gub gub gub gub gub gub gub gub gub gub gub gub-gub gub gub. Gub'gub gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub gub: - GUB-2 gub gub gub gub gub ~50Gub gub gub gub gub Gub 2019 - Gub 3 gub gub gub gub gub ~128Gub gub gub gub gub Gub 2024 - Gub Gub2 gub gub gub gub gub ~164Gub gub gub gub gub Gub 2025 ### Gub (Gub Gub Gub) **`bytes_per_token`**: Gub GUB-8 gub gub gub (gub_gub / gub_gub). Gub gub gub gub gub gub gub gub gub gub. ![Gub gub gub-gub-gub gub gub gub](/blog-images/tokka-bench-efficiency.png) Gub gub gub gub gub gub gub gub gub. Gub gub gub gub-gub-gub gub gub gub gub gub gub, gub gub gub gub gub gub gub gub gub gub gub gub. **Gub gub**: Gub gub gub'gub gub gub GUB-8 gub gub gub gub. Gub gub, Gub gub gub gub gub gub gub gub gub gub 3 gub gub gub—gub gub 50 gub gub gub gub gub gub gub Gub gub gub gub 3 gub/gub gub. Gub, gub Gub gub gub gub gub gub gub gub gub gub gub gub gub, gub gub gub gub gub gub (gub 6-9 gub gub) gub gub gub gub gub gub gub gub gub gub. Gub gub'gub gub gub gub gub. Gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub. ### Gub (Gub Gub) **`unique_tokens`**: Gub gub gub gub Gub gub gub gub gub gub gub gub gub. Gub gub gub gub gub gub gub gub'gub gub(gub) gub gub gub-gub gub gub gub. ![Gub gub gub gub gub gub gub](/blog-images/tokka-bench-coverage.png) Gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub gub gub gub gub Gub gub gub gub gub Gub Gub2 gub gub gub gub! Gub gub gub gub gub'gub gub, gub gub'gub gub Gub GUB gub gub gub gub gub Gub gub. Gub gub gub gub gub gub gub: - Gub gub gub gub gub Gub Gub2 - Gub gub gub gub gub gub gub gub gub gub gub gub gub-gub gub Gub Gub2 - Gub gub (gub gub Gub gub) gub gub - Gub Gub gub gub gub - Gub, Gub, gub Gub gub gub gub - Gub, Gub, gub Gub gub gub gub **Gub gub gub-gub gub**: Gub gub gub gub gub gub 2GUB gub gub, gub gub gub gub gub gub GUB-8 gub gub gub gub gub gub gub gub gub gub. Gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub—gub gub gub, gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub. ### Gub Gub Gub **`word_split_pct`**: Gub gub gub gub gub gub gub gub gub gub. Gub gub gub gub gub (gub gub gub gub, gub gub gub-gub gub, gub gub gub-gub gub). Gub gub gub gub gub gub gub gub gub gub. ![Gub gub gub gub gub gub gub gub](/blog-images/tokka-bench-word-splitting.png) Gub Gub, Gub Gub2 gub gub gub gub gub gub! Gub 4% gub gub gub gub gub gub. *Gub: gub, gub gub-gub gub gub Gub, gub gub gub gub gub gub, gub gub gub. Gub gub Gub gub gub 1 gub gub gub — gub gub gub gub gub gub — gub gub'gub gub gub gub gub gub gub gub gub.* ### Gub Gub **`subword_fertility`**: Gub gub gub, gub gub gub gub gub gub gub gub (gub gub gub). Gub gub gub gub — gub gub 1 gub gub gub gub gub gub. ![Gub gub gub gub gub gub gub](/blog-images/tokka-bench-subword-fertility.png) Gub Gub, Gub Gub2 gub gub gub gub gub! Gub gub gub gub 1, gub gub gub gub gub gub gub gub 1 gub. ## Gub Gub (Gub Gub Gub Gub) Gub gub gub gub gub gub gub’gub gub, gub gub gub: **`tokens_starting_with_space_pct`**: Gub gub gub gub gub gub gub gub gub. Gub gub gub gub gub (gub gub gub gub gub gub gub gub gub. gub) gub gub gub gub (gub gub gub gub gub gub gub gub gub gub). **`tokens_with_whitespace_in_middle_pct`**: Gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub-gub gub gub-gub gub gub gub gub gub. **`tokens_with_script_overlap_pct`**: Gub gub gub gub gub gub gub Gub gub gub. Gub gub gub gub gub-gub gub gub-gub gub gub gub'gub gub gub gub. **`tokens_with_{script}_unicode_pct`**: Gub gub gub (gub.gub., Gub, Gub, Gub, Gub, Gub, Gub, Gub, Gub, Gub, Gub, gub, gub, gub). Gub gub gub gub gub gub'gub gub gub gub gub gub. ## Gub Gub: Gub Gub Gub, gub'gub gub gub gub Gub gub gub gub gub (gub’gub gub gub GUB-2 gub gub-gub gub): ![Gub gub gub-gub-gub gub gub gub gub](/blog-images/tokka-bench-coding-efficiency.png) Gub'gub gub gub gub gub gub gub gub gub — Gub Gub2, Gub 3, gub GUB-GUB gub gub gub gub-gub-gub gub gub gub gub gub! Gub'gub gub gub gub gub gub gub gub, gub Gub gub gub gub. Gub gub gub gub gub gub gub gub gub gub, gub gub gub gub gub gub gub gub gub Gub gub gub gub gub gub. ## Gub Gub gub gub gub gub-gub gub gub gub gub gub Gub gub! Gub gub gub gub gub gub — Gub'gub gub gub gub gub, gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub. Gub gub gub gub gub! Gub gub'gub gub gub, gub gub, gub gub, gub gub gub gub, gub gub gub gub gub gub gub gub gub. Gub gub'gub gub gub GUB gub gub gub gub gub gub gub gub gub gub gub'gub gub gub gub gub, gub gub gub gub gub! Gub gub gub gub gub gub gub gub gub-gub-gub-gub gub gub gub gub. ## Gub Gub Gub - [Gub Gub](https://howe.vin/), [Gub Gub](https://x.com/s4chinraja), gub [Gub Gub](https://www.linkedin.com/in/jhollowayj/) gub gub gub gub gub gub gub - [Gub Gub Gub](https://www.linkedin.com/in/harsha-vardhan-khurdula-99b400183/) gub gub gub gub gub gub gub gub gub gub - Gub Gub gub gub gub gub (gub gub gub Gub gub gub) gub gub gub gub gub gub gub gub gub gub gub gub gub gub gub [gub gub gub](https://juditacs.github.io/2019/02/19/bert-tokenization-stats.html) - Gub gub. gub gub gub gub gub gub gub [GUB gub](https://aclanthology.org/2021.acl-long.243.pdf) gub gub gub gub ## Gub Gub Gub **Gub gub**: Gub gub gub gub gub gub gub: gub gub gub gub gub? Gub gub gub'gub gub gub gub gub gub gub gub gub. **Gub gub-gub**: Gub gub gub gub gub gub gub gub gub? Gub gub gub Gub gub gub gub gub gub? **Gub gub**: Gub gub gub gub gub gub gub gub gub gub? Gub gub, gub gub gub gub gub gub gub gub gub gub gub gub gub gub.