Une police de caractères qui te montre comment le modèle découpe ton texte
Publiée le
Un compilateur de polices en ligne prend une fonte et un tokenizer, et produit une police où chaque token a la même largeur, ou sa propre couleur. Tu tapes, et tu vois le texte comme le modèle le voit.
Ce que c'est. Un modèle de langage ne lit pas des lettres ni des mots. Il lit des tokens : des morceaux de texte, parfois un mot entier, parfois une syllabe ou un signe, définis par un tokenizer propre à chaque famille de modèles. Tu paies au token, la fenêtre de contexte se compte en tokens, mais tu ne les vois jamais. Le Token-space font compiler, publié sur ampdot.mesh.host et repéré sur Hacker News le 26 septembre 2026 (la page n'est pas datée), rend ce découpage visible sans rien changer à ton texte. Tu choisis une fonte de base (Inter, Roboto, JetBrains Mono, ou la tienne) et un tokenizer : ceux d'OpenAI, DeepSeek V4.1 Flash, Llama 3, Qwen 3.6, Gemma 4, Gemini 3.5 Flash, une approximation de celui de Claude (annoncée comme non confirmée), ou n'importe quel tokenizer.json de Hugging Face. L'outil compile une vraie police, qui marche partout sans script, où chaque token occupe la même largeur, ou bien reçoit une couleur alternée ou stable. Tout se passe dans le navigateur, tes fichiers restent en local ; les gros tokenizers prennent plusieurs minutes.
Pourquoi c'est sympa. C'est de la pédagogie par le regard. Le fil Hacker News en donne les leçons en direct : un lecteur tape de l'allemand et voit ses mots hachés bien plus finement que l'anglais, parce que les tokenizers sont optimisés sur les textes les plus courants. Un autre réalise que ses fautes de frappe habituelles gonflent son nombre de tokens en entrée, donc sa facture. Un troisième constate que les caractères chinois font en gros un token chacun. L'auteur propose même un thème Discord pour lire les messages d'un bot avec sa police.
À quoi ça sert. À expliquer les tokens à quelqu'un qui n'est pas développeur en trente secondes : tu ouvres la page, tu colles un paragraphe de ton produit en français, et la personne voit pourquoi le français coûte plus cher que l'anglais et pourquoi un identifiant ou un nombre part en confettis. Pour une équipe, c'est aussi un moyen de regarder un prompt système long et de repérer ce qui se découpe mal.
Pour quels projets. Aucun en production : c'est un jouet, et c'est bien ainsi. Pour un atelier d'acculturation, une formation, un onboarding. Attention : plusieurs lecteurs signalent que la page fait souffrir Safari et certaines versions de Firefox, et le découpage « Claude » est une approximation.
Je vais m'en servir en formation. Expliquer les tokens avec des mots, ça ne prend jamais ; montrer un texte français qui part en morceaux à côté du même texte en anglais, ça prend tout de suite. Et ça donne une intuition physique de la facture, ce que les tableaux de prix ne donnent pas.