Token

Un token ou jeton est une unité de texte utilisée par un modèle de langage pour analyser une entrée et générer une sortie. Avant qu’un texte puisse être traité par un système d’intelligence artificielle, il est découpé par un mécanisme appelé tokenisation. Chaque token est ensuite converti en une représentation numérique que le modèle peut manipuler.

Un token ne correspond pas nécessairement à un mot entier. Selon la langue, le vocabulaire du modèle et la méthode de tokenisation employée, il peut représenter un mot, une partie de mot, un signe de ponctuation, un espace ou une suite de caractères. Un terme courant peut être associé à un seul token, tandis qu’un mot rare, long ou technique peut être décomposé en plusieurs unités.

Ce que désigne exactement un token

Dans le contexte des grands modèles de langage, le token constitue l’unité élémentaire utilisée pour effectuer les calculs. Lorsqu’un utilisateur saisit un prompt, le texte est d’abord transformé en une séquence de tokens. Le modèle analyse cette séquence, puis génère sa réponse token après token en estimant, à chaque étape, quelle unité est la plus probable au regard du contexte disponible.

Les tokens peuvent représenter différents éléments :

• un mot complet fréquent ;
• une racine, un préfixe ou une partie de mot ;
• un chiffre ou une portion de nombre ;
• un signe de ponctuation ;
• un espace ou un retour à la ligne ;
• un symbole utilisé dans du code informatique ;
• un marqueur spécial réservé au fonctionnement du modèle.

La manière dont un texte est découpé varie d’un modèle à l’autre. Deux systèmes peuvent donc transformer une même phrase en un nombre différent de tokens. Cette différence s’explique par le vocabulaire du tokenizer, les langues prises en charge et les choix techniques effectués lors de la conception du modèle.

Le rôle des tokens dans les modèles de langage

Les tokens jouent un rôle central dans le fonctionnement d’un LLM. Ils déterminent notamment la quantité de texte que le modèle peut recevoir et produire pendant une interaction. Cette capacité est exprimée par la taille de la fenêtre de contexte, généralement mesurée en tokens.

La fenêtre de contexte peut inclure plusieurs éléments :

• les instructions définies par le système ;
• le prompt de l’utilisateur ;
• les messages précédents de la conversation ;
• les documents ou informations ajoutés au contexte ;
• la réponse générée par le modèle.

Lorsque la quantité totale de tokens dépasse la limite acceptée par le système, une partie du contenu doit être supprimée, résumée ou traitée séparément. La gestion des tokens est donc importante pour les conversations longues, l’analyse de documents volumineux et les architectures RAG.

Tokens, mots et caractères : quelles différences ?

Un token ne doit pas être confondu avec un mot ou un caractère. Un même mot peut correspondre à un ou plusieurs tokens, tandis qu’un token peut parfois regrouper plusieurs caractères ou inclure un espace. Il n’existe donc pas de conversion universelle permettant de déterminer exactement le nombre de tokens à partir du nombre de mots.

La langue influence également le découpage. Certaines écritures, certains mots composés, les accents, les nombres ou les termes spécialisés peuvent nécessiter davantage de tokens selon le modèle utilisé. Toute estimation du rapport entre mots, caractères et tokens doit par conséquent rester approximative.

Ce qu’un token ne désigne pas

Un token n’est pas une idée, un concept ou une unité de sens parfaitement autonome. Même lorsqu’il correspond à un mot, sa représentation ne suffit pas à déterminer sa signification. Le sens est construit par le modèle à partir des relations entre les différents tokens présents dans le contexte.

Un token n’est pas non plus un paramètre du modèle. Les paramètres sont les valeurs internes ajustées pendant l’entraînement, tandis que les tokens correspondent aux unités fournies au modèle ou produites par celui-ci.

Enfin, le terme ne désigne pas ici un jeton numérique utilisé dans les cryptomonnaies, l’authentification ou la sécurité informatique. Dans le domaine des modèles de langage, il fait précisément référence aux unités issues de la tokenisation des données traitées.

Origine du concept de token

Le terme token est utilisé depuis longtemps en informatique et en linguistique informatique pour désigner une unité élémentaire obtenue après le découpage d'un texte. Dans les premiers systèmes de traitement automatique du langage, la tokenisation consistait souvent à séparer une phrase en mots, en retirant ou en isolant les signes de ponctuation. Cette approche permettait déjà aux algorithmes de manipuler le langage sous une forme plus facilement exploitable.

À mesure que les méthodes de traitement du langage naturel se sont développées, cette vision du token a évolué. Les chercheurs ont constaté qu'un découpage fondé uniquement sur les mots présentait plusieurs limites, notamment pour gérer les langues riches en flexions, les mots rares, les néologismes ou les termes techniques.

L'évolution des méthodes de tokenisation

Avec l'essor de l'apprentissage automatique puis du deep learning, de nouvelles méthodes de tokenisation sont apparues. Plutôt que de représenter chaque mot comme une unité indépendante, les modèles ont progressivement adopté des techniques capables de découper les textes en sous-unités plus flexibles.

Parmi les approches les plus utilisées figurent notamment les méthodes Byte Pair Encoding (BPE), WordPiece et SentencePiece. Ces algorithmes permettent de représenter efficacement des mots fréquents tout en conservant la possibilité de traiter des mots inconnus grâce à leur décomposition en fragments plus petits.

Cette évolution a amélioré la couverture du vocabulaire et réduit les difficultés liées aux langues, aux noms propres ou aux termes spécialisés.

Le rôle des tokens dans les grands modèles de langage

L'apparition des transformeurs puis des LLM a renforcé l'importance des tokens. Ces modèles ne traitent jamais directement des phrases sous leur forme textuelle. Avant toute opération, le texte est converti en une séquence de tokens, puis chaque token est transformé en une représentation numérique appelée embedding.

Le modèle calcule ensuite les relations entre ces représentations afin de comprendre le contexte et de générer une réponse. Cette architecture permet de traiter efficacement de très longues séquences tout en conservant les dépendances entre les différentes parties du texte.

Une notion centrale dans les applications modernes

Aujourd'hui, les tokens jouent un rôle essentiel dans la plupart des systèmes d'intelligence artificielle générative. Ils servent à mesurer la longueur des prompts, des réponses et de la fenêtre de contexte des modèles. Ils interviennent également dans le calcul des coûts d'utilisation de nombreuses API commerciales, dont la facturation repose fréquemment sur le nombre de tokens traités.

Les tokens sont également utilisés dans les architectures RAG, les agents IA et les outils de traitement documentaire, où ils permettent de découper, représenter et transmettre les informations aux modèles de langage.

Une notion qui continue d'évoluer

Les recherches actuelles portent notamment sur des méthodes de tokenisation plus efficaces, adaptées à des contextes multilingues et multimodaux. Les modèles récents doivent en effet traiter non seulement du texte, mais également des images, de l'audio, de la vidéo ou du code informatique. Malgré ces évolutions, le principe reste identique : transformer des données complexes en unités élémentaires exploitables par les modèles d'intelligence artificielle.

Comment fonctionne un token ?

Avant qu'un LLM puisse analyser une question ou produire une réponse, le texte fourni par l'utilisateur est transformé en une suite de tokens. Cette étape est indispensable, car les modèles de langage ne manipulent pas directement les mots tels qu'ils apparaissent à l'écran. Ils travaillent uniquement sur des représentations numériques obtenues à partir de ces unités élémentaires.

Le processus commence par une opération appelée tokenisation. Le texte est découpé selon les règles du tokenizer associé au modèle. Chaque token est ensuite converti en un identifiant numérique, puis en une représentation vectorielle appelée embedding, qui pourra être exploitée par le modèle.

La tokenisation étape par étape

Lorsqu'un utilisateur saisit une phrase, plusieurs opérations sont réalisées :

• le texte est découpé en tokens ;
• chaque token reçoit un identifiant présent dans le vocabulaire du modèle ;
• ces identifiants sont convertis en embeddings ;
• le modèle analyse les relations entre ces représentations ;
• la réponse est générée token après token jusqu'à la fin de la production.

Ce fonctionnement est identique, que le modèle doive répondre à une question, résumer un document, traduire un texte ou générer du code.

Pourquoi un mot n'est pas toujours un token

Contrairement à une idée répandue, un token ne correspond pas systématiquement à un mot entier. Les méthodes modernes de tokenisation utilisent souvent des sous-unités afin de mieux gérer les langues naturelles et les mots peu fréquents.

Prenons un exemple simplifié. Le mot « ordinateur » pourra être représenté par un seul token dans un modèle donné, tandis qu'un terme plus rare ou très technique pourra être découpé en plusieurs fragments. Les signes de ponctuation, certains espaces ou certains caractères spéciaux peuvent également constituer des tokens distincts.

Ce découpage permet au modèle de traiter efficacement un très grand nombre de mots sans devoir mémoriser individuellement toutes les formes possibles d'une langue.

La génération de la réponse

Après avoir analysé les tokens d'entrée, le modèle produit sa réponse progressivement. À chaque étape, il estime quel est le prochain token le plus probable en fonction :

• du prompt fourni ;
• des messages précédents ;
• des éventuels documents présents dans le contexte ;
• des connaissances acquises pendant l'entraînement ;
• des paramètres utilisés lors de la génération.

Le texte affiché à l'utilisateur est donc construit progressivement à partir d'une succession de tokens générés les uns après les autres.

Les tokens et la fenêtre de contexte

Les modèles de langage possèdent une capacité maximale de traitement appelée fenêtre de contexte. Celle-ci est exprimée en nombre de tokens et non en nombre de mots ou de caractères.

Cette fenêtre comprend généralement :

• les instructions système ;
• le prompt de l'utilisateur ;
• l'historique de la conversation ;
• les éventuels documents ajoutés au contexte ;
• les tokens générés dans la réponse.

Lorsque cette limite est atteinte, certaines informations doivent être supprimées, résumées ou découpées afin que le modèle puisse poursuivre le traitement.

Un impact sur les performances et les coûts

Le nombre de tokens influence directement plusieurs aspects du fonctionnement des modèles. Plus une requête contient de tokens, plus le traitement demande des ressources de calcul. Pour cette raison, de nombreux fournisseurs d'API facturent leurs services en fonction du nombre de tokens d'entrée et de sortie.

Cette unité est également utilisée pour estimer la capacité d'un modèle à traiter de longs documents ou à conserver le contexte d'une conversation étendue.

Des différences selon les modèles

Il n'existe pas de tokenisation universelle. Chaque famille de modèles peut utiliser son propre tokenizer et son propre vocabulaire. Une même phrase peut donc être découpée différemment selon le système utilisé.

Cette différence explique pourquoi deux modèles peuvent afficher un nombre de tokens distinct pour un texte pourtant identique. Les performances, les limites de contexte ou les coûts d'utilisation ne sont donc pas directement comparables uniquement à partir du nombre de mots.

Une notion essentielle pour comprendre les LLM

Les tokens constituent la base du fonctionnement des grands modèles de langage. Ils interviennent à chaque étape du traitement : compréhension du prompt, représentation du contexte, calcul des relations entre les éléments et génération de la réponse. Même s'ils restent invisibles pour la plupart des utilisateurs, ils déterminent la manière dont un modèle lit, interprète et produit le langage naturel. Comprendre cette notion permet également de mieux appréhender le fonctionnement des architectures RAG, des agents IA, des systèmes de recherche sémantique et des outils d'intelligence artificielle générative.

Les principaux usages des tokens

Les tokens sont utilisés dans pratiquement tous les systèmes modernes de traitement automatique du langage naturel. Ils constituent l'unité de base sur laquelle travaillent les grands modèles de langage, les assistants conversationnels et de nombreux outils d'intelligence artificielle générative. Bien que la plupart des utilisateurs ne les voient jamais, ils interviennent dans chaque étape du traitement d'un texte, depuis la lecture d'une consigne jusqu'à la génération d'une réponse.

Les tokens jouent également un rôle important dans la gestion des performances, des coûts et des capacités des modèles d'intelligence artificielle.

Les secteurs concernés

La notion de token est présente dans de nombreux domaines utilisant des modèles de langage :

• IA générative : génération de textes, d'images, de code ou de contenus multimédias à partir de prompts.
• Recherche documentaire : indexation, analyse et interrogation de grandes bases de connaissances.
• Développement informatique : assistants de programmation capables d'analyser et de générer du code.
• Service client : chatbots et assistants conversationnels traitant les demandes des utilisateurs.
• Recherche scientifique : analyse automatique de publications et de documents techniques.
• Juridique, santé et finance : traitement de rapports, contrats, dossiers ou documents réglementaires.

Dans chacun de ces secteurs, les modèles commencent par transformer les contenus en tokens avant toute analyse.

Les usages pour les développeurs

Les développeurs utilisent fréquemment les tokens pour concevoir et optimiser des applications reposant sur des LLM. Ils doivent notamment tenir compte :

• de la taille maximale de la fenêtre de contexte ;
• du coût des appels aux API, souvent calculé en nombre de tokens ;
• de la longueur des prompts et des réponses générées ;
• du découpage de documents volumineux dans les architectures RAG.

Une bonne gestion des tokens permet d'améliorer les performances tout en limitant les coûts de traitement.

Des usages souvent invisibles pour les utilisateurs

Même lorsqu'ils n'ont jamais entendu parler des tokens, les utilisateurs les emploient indirectement à chaque interaction avec une intelligence artificielle. Lorsqu'ils rédigent un prompt, demandent un résumé ou interrogent un assistant conversationnel, leur texte est automatiquement converti en tokens avant d'être analysé.

Les réponses générées sont elles aussi produites token après token, puis reconstituées sous une forme lisible. Cette opération est entièrement transparente pour l'utilisateur.

Un rôle important dans les systèmes RAG

Les tokens occupent également une place essentielle dans les architectures Retrieval-Augmented Generation (RAG). Les documents sont souvent découpés en fragments, parfois appelés chunks, afin de respecter les limites de contexte des modèles. Chaque fragment est ensuite converti en représentations numériques pour faciliter la recherche sémantique.

Lorsque l'utilisateur pose une question, seuls les passages les plus pertinents sont ajoutés au contexte du modèle. Cette sélection permet de mieux utiliser la capacité disponible en tokens tout en améliorant la qualité des réponses.

Une notion centrale de l'intelligence artificielle moderne

Les tokens interviennent dans pratiquement toutes les applications reposant sur les grands modèles de langage. Ils déterminent la manière dont les textes sont découpés, analysés, transmis et générés. Ils influencent également les limites de contexte, la rapidité des traitements, les coûts d'utilisation et l'organisation des données dans les systèmes d'IA. Même s'ils restent largement invisibles pour le grand public, ils constituent l'un des fondements techniques des applications d'intelligence artificielle actuelles.

Pourquoi les tokens sont-ils utilisés ?

Les tokens permettent aux modèles d'intelligence artificielle de traiter le langage sous une forme exploitable par des algorithmes. Les ordinateurs ne comprennent pas directement les mots ou les phrases tels qu'ils sont écrits. La tokenisation transforme donc le texte en unités normalisées qui peuvent être converties en représentations numériques et analysées par un modèle.

Cette approche constitue une étape indispensable du fonctionnement des grands modèles de langage et de nombreuses applications de traitement automatique du langage naturel.

Une représentation plus flexible du langage

Le recours aux tokens offre plusieurs avantages par rapport à un traitement basé uniquement sur les mots entiers. Les modèles peuvent ainsi gérer :

• les mots rares ou inconnus ;
• les termes techniques ou spécialisés ;
• les langues présentant de nombreuses variantes morphologiques ;
• les nombres, les symboles et les signes de ponctuation ;
• le code informatique et d'autres formes de données textuelles.

Grâce à cette flexibilité, un même modèle peut traiter efficacement une grande diversité de contenus sans nécessiter un vocabulaire contenant tous les mots possibles.

Une meilleure efficacité des modèles

Les tokens facilitent l'entraînement et l'utilisation des LLM. En travaillant sur des sous-unités plutôt que sur des mots exclusivement complets, les modèles peuvent mieux représenter les relations entre les éléments du langage et généraliser leurs connaissances à de nouveaux termes.

Cette approche contribue également à limiter la taille du vocabulaire interne tout en conservant une bonne capacité à traiter des textes variés.

Un élément clé pour la gestion des ressources

Les tokens servent également à mesurer la quantité d'informations traitées par un modèle. Ils permettent de définir la taille de la fenêtre de contexte, d'estimer la capacité d'un système à analyser de longs documents et de calculer le coût d'utilisation de nombreuses API d'intelligence artificielle.

Cette unité commune facilite les comparaisons techniques entre différents usages, même si chaque modèle possède son propre système de tokenisation.

Des bénéfices à nuancer

La tokenisation ne constitue pas une garantie de meilleure compréhension du langage. Le choix du tokenizer influence la manière dont les textes sont découpés et peut avoir un impact sur les performances du modèle selon la langue, le domaine ou le type de contenu traité. Les tokens représentent donc une solution technique essentielle au fonctionnement des modèles modernes, mais leur efficacité dépend de l'ensemble de l'architecture du système, de son entraînement et des données utilisées.

Les limites de la tokenisation

Les tokens constituent une étape indispensable du fonctionnement des modèles de langage, mais leur utilisation présente certaines limites. La manière dont un texte est découpé influence directement la façon dont le modèle le représente et l'interprète. Une tokenisation n'est donc jamais totalement neutre : elle résulte de choix techniques réalisés lors de la conception du modèle.

Selon la langue, le vocabulaire utilisé ou le type de contenu traité, certains découpages peuvent être plus adaptés que d'autres.

Des différences entre les modèles

Il n'existe pas de méthode universelle de tokenisation. Chaque famille de modèles peut utiliser un tokenizer différent, avec son propre vocabulaire et ses propres règles de découpage. Une même phrase peut donc produire un nombre de tokens variable selon le système utilisé.

Cette différence peut avoir plusieurs conséquences :

• des limites de contexte différentes pour un même volume de texte ;
• des coûts d'utilisation variables sur les API facturées au nombre de tokens ;
• des performances qui peuvent varier selon les langues ou les domaines spécialisés.

Les limites liées à la fenêtre de contexte

Les modèles de langage disposent d'une capacité maximale exprimée en nombre de tokens. Lorsque cette limite est atteinte, le système ne peut plus conserver l'intégralité du contexte. Il doit alors supprimer, résumer ou ignorer une partie des informations.

Cette contrainte peut entraîner une perte de contexte lors de conversations longues ou de l'analyse de documents volumineux. Pour y remédier, les applications utilisent souvent des techniques de découpage en fragments ou des architectures RAG afin de ne transmettre au modèle que les informations les plus pertinentes.

Des effets sur la compréhension

Le découpage en tokens ne correspond pas toujours aux unités naturelles du langage. Certains mots sont séparés en plusieurs fragments, tandis que d'autres sont représentés par un seul token. Cette représentation peut rendre plus complexe le traitement de certains noms propres, termes techniques, expressions rares ou langues peu présentes dans les données d'entraînement.

La qualité des réponses dépend toutefois de nombreux autres facteurs, notamment de l'entraînement du modèle, de son architecture et des données utilisées.

Les précautions à adopter

Les utilisateurs n'ont généralement pas besoin de manipuler directement les tokens, mais leur compréhension peut être utile dans plusieurs situations :

• préparer des prompts longs ;
• analyser des documents volumineux ;
• optimiser les coûts d'utilisation d'une API ;
• concevoir des applications reposant sur des LLM ;
• organiser une base documentaire utilisée dans un système RAG.

Dans ces contextes, il est recommandé de tenir compte des limites de contexte du modèle et d'éviter de transmettre des informations inutiles qui consommeraient une partie de la capacité disponible.

Une notion technique à replacer dans son contexte

Les tokens ne constituent pas, à eux seuls, une source d'erreurs ou de biais. Ils représentent un mécanisme de représentation du texte indispensable au fonctionnement des modèles modernes. Les limites observées dans les réponses des LLM proviennent d'un ensemble de facteurs : qualité des données d'entraînement, architecture du modèle, paramètres de génération, informations disponibles dans le contexte et formulation des prompts. Comprendre le rôle des tokens permet donc surtout d'expliquer certaines contraintes techniques des modèles, sans les confondre avec les causes directes des hallucinations, des biais ou des erreurs de raisonnement.

Les principales idées reçues sur les tokens

La notion de token est souvent mal comprise, car elle reste invisible pour la majorité des utilisateurs. Beaucoup l'associent à un mot, alors qu'il s'agit en réalité d'une unité technique utilisée par les modèles d'intelligence artificielle pour représenter le texte. Comprendre cette distinction permet de mieux interpréter les limites et les capacités des grands modèles de langage.

« Un token correspond toujours à un mot »

Cette affirmation est incorrecte. Un token peut représenter un mot entier, mais aussi une partie de mot, un signe de ponctuation, un chiffre ou un symbole. Le découpage dépend du tokenizer utilisé par le modèle. Une même phrase peut donc contenir un nombre de tokens différent selon le système employé.

« Tous les modèles utilisent les mêmes tokens »

Chaque famille de modèles possède généralement son propre vocabulaire et sa propre méthode de tokenisation. Deux LLM peuvent ainsi découper un texte de manière différente, ce qui influence notamment le calcul de la fenêtre de contexte et le nombre de tokens consommés lors d'une requête.

Ne pas confondre token et caractère

Un caractère est une unité d'écriture, comme une lettre ou un chiffre. Un token est une unité de traitement choisie par le modèle. Il n'existe donc pas de correspondance fixe entre le nombre de caractères, le nombre de mots et le nombre de tokens. Toute conversion reste une estimation dépendant du tokenizer utilisé.

Ne pas confondre token et token numérique

Le mot « token » est également employé dans d'autres domaines de l'informatique, notamment pour désigner un jeton d'authentification, un jeton de sécurité ou un actif numérique dans les technologies de blockchain. Ces usages n'ont aucun lien avec les tokens utilisés par les modèles de langage.

Pourquoi ces distinctions sont importantes

Comprendre ce qu'est un token permet de mieux interpréter les limites de contexte, les coûts d'utilisation des API et le fonctionnement interne des LLM. Les tokens ne représentent ni des connaissances, ni des idées, ni des paramètres du modèle. Ils constituent simplement les unités techniques qui permettent au système de transformer un texte en représentations numériques avant de l'analyser et de générer une réponse.

Utiliser la notion de token à bon escient

Les tokens sont avant tout une notion technique. La plupart des utilisateurs d'outils d'intelligence artificielle n'ont pas besoin de les manipuler directement, mais comprendre leur rôle permet de mieux interpréter les limites des modèles de langage et d'optimiser certains usages professionnels.

Les développeurs, les intégrateurs et les concepteurs d'applications accordent en revanche une attention particulière aux tokens, car ils influencent directement les performances, les coûts et les capacités des systèmes reposant sur des LLM.

Les bonnes pratiques

• tenir compte de la fenêtre de contexte lors de l'analyse de documents volumineux ;
• éviter d'envoyer des informations inutiles dans les prompts lorsqu'une limite de contexte existe ;
• segmenter les documents longs en fragments cohérents pour les architectures RAG ;
• surveiller la consommation de tokens lors de l'utilisation d'API facturées à l'usage ;
• tester les performances d'un modèle avec des textes représentatifs des usages réels.

Ces pratiques permettent d'améliorer l'efficacité des traitements tout en maîtrisant les ressources mobilisées.

Les enjeux actuels

Les recherches portent aujourd'hui sur plusieurs aspects liés aux tokens : l'augmentation de la taille des fenêtres de contexte, le développement de méthodes de tokenisation mieux adaptées aux différentes langues, l'optimisation des coûts de calcul et l'amélioration du traitement des contenus multimodaux, comme les images, la vidéo ou l'audio.

Les fournisseurs de modèles travaillent également à rendre leurs systèmes plus efficaces afin de traiter davantage d'informations avec des ressources comparables.

Évaluer les performances avec discernement

Le nombre de tokens ne constitue pas, à lui seul, un indicateur de qualité. Une fenêtre de contexte plus importante peut permettre de traiter des documents plus longs, mais elle ne garantit pas une meilleure compréhension ni des réponses plus exactes. Les performances d'un modèle dépendent également de son architecture, de son entraînement, de ses mécanismes d'attention et de la qualité des données utilisées.

Comprendre le rôle des tokens permet donc d'évaluer plus précisément les capacités d'un système d'intelligence artificielle, sans attribuer à cette seule notion des propriétés qui relèvent en réalité de l'ensemble du modèle et de son fonctionnement.