Limite de Tokens
Comprendre comment une IA découpe le langage
Qu’est-ce qu’un token ?
Un token est une unité de texte utilisée par un modèle d’intelligence artificielle. Ce n’est pas nécessairement un mot : il peut correspondre à un mot entier, une partie de mot, un signe de ponctuation ou un espace associé à un mot. Le découpage varie selon le modèle et son tokenizer.
Les limites de tokens concernent notamment la quantité de texte que le modèle peut traiter dans sa fenêtre de contexte : messages, documents et réponses, selon les règles du modèle.
Une phrase décomposée en tokens
Phrase reprise de ta diapositive (tronquée sur la capture) :
Important : ce découpage est une simulation pédagogique, pas le résultat exact du tokenizer d’un modèle donné. Le nombre réel peut être différent. Les segments sont volontairement visibles pour expliquer le principe.
Et avec 1 million de tokens ?
Un million de tokens représente une très grande quantité de texte, mais pas un nombre fixe de pages. À titre d’ordre de grandeur, si l’on prend environ 500 à 750 tokens par page de texte courant, cela correspond à :
Plusieurs longs rapports, contrats ou dossiers dans une même analyse.
Un ensemble important de documentation et de fichiers texte.
Des centaines de pages de supports, cas pratiques et notes.
Une longue conversation et ses documents, dans les limites du modèle.
Estimations indicatives : langue, mise en page, tableaux, code et tokenizer font varier les chiffres. Une fenêtre d’un million de tokens ne signifie pas qu’un modèle peut produire une réponse d’un million de tokens, ni qu’il exploitera parfaitement toutes les informations.
Teste ta propre phrase
Calcul de démonstration fondé sur les caractères (≈ 1 token pour 3,5 caractères). Ce n’est pas un comptage exact. Pour un résultat exact, il faut utiliser le tokenizer propre au modèle choisi.