Ressources · Intégration n8n

Nœud Token Splitter n8nConfigurer Token Splitter dans n8n.

Le nœud Token Splitter n8n compte en tokens, pas en caractères. Il convertit la chaîne de texte en tokens BPE, découpe ces tokens en morceaux, puis retransforme chaque morceau en texte. Deux paramètres le pilotent, et il fonctionne en sous-nœud accroché à un nœud racine.

Tester le nœud Token Splitter sur n8nVoir les 2 paramètres

Avis vérifiés sur Trustpilot · Agence IA, automatisation & growth

Pourquoi automatiser

À quoi sert le nœud Token Splitter n8n ?

Le nœud prend une chaîne de texte, la convertit en tokens BPE (les unités que lit réellement un modèle de langage, où un mot pèse parfois un token et parfois plusieurs), découpe ces tokens en morceaux, puis reconvertit les tokens de chaque morceau en texte. C'est un sous-nœud : il n'a pas d'entrée principale, il ne s'exécute jamais seul, et il ne sert à rien tant qu'il n'est pas branché à un nœud racine qui réclame un text splitter.

Premier cas : un cabinet indexe ses comptes rendus de rendez-vous pour qu'un assistant interne puisse y répondre. Chaque compte rendu arrive en un seul bloc de texte, et un modèle n'avale qu'un nombre limité de tokens à la fois. Avec Chunk Size à 2000, le splitter rend au loader des morceaux qui tiennent dans ce budget, quelle que soit la langue du document. Compter en tokens plutôt qu'en caractères change tout ici : un paragraphe français bourré d'accents ne pèse pas le même nombre de tokens que son équivalent anglais.

Deuxième cas : une base de connaissances qui alimente un AI Agent via un vector store. Un morceau qui coupe une phrase en deux ne donne au moteur de recherche qu'une demi-idée, et la réponse sort floue. Chunk Overlap répète une tranche de tokens au début du morceau suivant, ce qui garde la fin d'un passage collée au début du suivant. Le fournisseur du modèle derrière l'agent, OpenAI, Anthropic ou Google Gemini, facture ses propres appels d'API selon ses conditions : plus les morceaux sont courts, plus il y en a.

Troisième cas : le résumé d'un long verbatim. La Summarization Chain lit le texte morceau par morceau, donc la taille du morceau décide de ce que chaque passe voit. Un Chunk Size large, moins de passes et un résumé plus grossier. Un Chunk Size serré, plus de passes et plus de détail.

Quand préférer autre chose ? Ce nœud encode puis décode le texte, c'est du travail en plus. Si le contenu est de la prose simple et qu'une coupe approximative suffit, un splitter qui compte les caractères reste plus léger. Si la structure du document mérite d'être respectée, paragraphes puis lignes puis mots, un splitter récursif la suit là où celui-ci ne voit qu'un flux plat de tokens. On garde le Token Splitter quand la contrainte à respecter s'exprime en tokens.

Limites connues : deux paramètres, et rien d'autre. Pas de séparateur à choisir, pas d'encodeur à sélectionner, pas de réglage document par document au sein d'une même exécution. Le nœud n'affiche pas non plus de sortie dans le workflow, puisqu'un sous-nœud rend son résultat au nœud racine qui l'a appelé. Pour cadrer toute la chaîne autour, la Formation n8n passe les nœuds voisins en revue, et l'Avis n8n regarde la plateforme dans son ensemble.

Connexions

Où brancher le Token Splitter ?

Un flux IA n8n s'organise autour d'un nœud racine qui reçoit les items du workflow, et de sous-nœuds accrochés à ses ports, un type de sous-nœud par port. Le Token Splitter n'a aucun port d'entrée : il propose une seule sortie, qu'un nœud racine vient chercher.

Sortie (où il se branche)

  • Text Splitterai_textSplitter
01Text SplitterC'est le port par lequel le nœud se raccorde. Tire le connecteur du Token Splitter vers un nœud racine qui expose un emplacement text splitter, et ce dernier l'appellera chaque fois qu'une chaîne trop longue doit être découpée.

C'est le port par lequel le nœud se raccorde. Tire le connecteur du Token Splitter vers un nœud racine qui expose un emplacement text splitter, et ce dernier l'appellera chaque fois qu'une chaîne trop longue doit être découpée.

Paramètres clés

  • Optional : un nœud racine accepte un text splitter sur ce port, et le découpage n'intervient que si le texte fourni est assez long pour le justifier.
  • Default Data Loader : le loader qui prépare les documents avant leur vectorisation, poste habituel du splitter dans un flux de recherche documentaire.
  • Summarization Chain : la chaîne qui résume un texte long en plusieurs passes, un morceau à la fois.
Cas d'usage
le Default Data Loader pour indexer des contrats ou des procédures, la Summarization Chain quand un verbatim dépasse ce qu'une seule passe peut lire.
Paramètres

Quels paramètres règle-t-on sur ce nœud ?

Le nœud Token Splitter compte 2 paramètres. Pour chacun : le nœud tel que tu le configures dans n8n, ce que le paramètre change, et nos notes de terrain.

01

Chunk Size

chunkSize

Ce que tu vois dans n8n

Notes & cas d'usage

Fixe le nombre maximal de tokens par morceau. Le nœud encode le texte en tokens BPE, les compte, et ferme le morceau dès que le plafond est atteint : c'est un budget ferme, pas une moyenne.

Paramètres clés

  • Chunk Size : un nombre de tokens, saisi dans le champ ou lu sur l'item entrant avec une expression du type {{ $json.chunkSize }} quand la taille dépend du document.
Cas d'usage
une base d'aide indexée pour la recherche garde des morceaux courts, pour qu'une requête ramène un passage précis ; un résumé de réunion prend un plafond plus haut, pour qu'une passe voie davantage de l'échange.
02

Chunk Overlap

chunkOverlap

Ce que tu vois dans n8n

Notes & cas d'usage

Détermine combien de tokens deux morceaux consécutifs partagent, pour que le contexte de la jointure ne disparaisse pas. La fin d'un morceau réapparaît au début du suivant.

Paramètres clés

  • Chunk Overlap : un nombre de tokens partagés entre morceaux consécutifs, à garder nettement sous le plafond du morceau, puisque chaque token partagé est stocké deux fois.
Cas d'usage
une clause ou une consigne à cheval sur deux pages survit à la coupe grâce au recouvrement, la phrase entamée dans un morceau restant lisible au début du suivant. À 0 quand la source est déjà une suite de fiches courtes et indépendantes.
Besoin d'aide

Besoin d'aide pour automatiser Token Splitter avec n8n ?

L'équipe te répond directement.

Chaque message est lu par une personne.

FAQ

Les questions qu'on se pose ensuite

01Le Token Splitter est-il gratuit dans n8n ?
Oui. Le nœud fait partie du paquet IA de n8n, publié sous le nom @n8n/n8n-nodes-langchain, et il est livré tel quel aussi bien sur n8n Cloud que sur une instance auto-hébergée en Community Edition, sous licence Sustainable Use. Rien à installer, rien à payer côté n8n, et un workflow se comporte de la même façon dans les deux configurations. La seule facture qui peut apparaître dans un flux IA vient du fournisseur du modèle branché plus loin, chacun facturant ses propres appels d'API selon ses conditions. Le splitter, lui, n'appelle aucun service externe : il encode, découpe et décode sur ton instance.
02Faut-il un credential ou des droits particuliers ?
Non, rien du tout. Ce nœud n'a ni credential, c'est-à-dire ni jeu d'identifiants enregistré dans n8n, ni sélecteur Authentication : aucune clé à coller, aucune application à autoriser avant de s'en servir. Ce qu'il lui faut, en revanche, c'est un nœud racine auquel se raccrocher, puisqu'un sous-nœud ne s'exécute jamais seul. Branche-le sur un Default Data Loader ou une Summarization Chain et il entre en action dès que ce nœud racine tourne. La clé d'API éventuelle appartient au sous-nœud modèle ou embeddings voisin, pas au splitter. Deux valeurs à régler, une connexion à tirer, et c'est prêt.
03Quelles sont les limites de ce nœud ?
Il fait une chose et expose deux paramètres, Chunk Size et Chunk Overlap. Pas de séparateur à configurer, pas d'encodeur au choix, pas de règle pour préserver les paragraphes ou les phrases, et pas de réglage différent d'un document à l'autre à l'intérieur d'une même exécution. Cette page décrit la version 1 du nœud, la plus haute du catalogue : un workflow ancien peut afficher une version antérieure, avec moins d'options. Comme c'est un sous-nœud, il n'a pas d'entrée principale et ne renvoie rien dans la vue du workflow, son résultat repartant vers le nœud racine qui a demandé le découpage.
04Quand choisir le nœud Token Splitter n8n plutôt qu'un autre découpeur ?
Dès que la contrainte se mesure en tokens, donc dès qu'une fenêtre de contexte de modèle ou une limite d'embeddings entre en jeu. Découper sur les caractères, c'est approcher cette limite de loin, et l'écart se creuse avec les textes accentués, le code ou les alphabets non latins, où un mot peut peser plusieurs tokens. On passe à un autre découpeur quand la structure compte plus que le compte exact, par exemple sur un document long où couper au milieu d'un paragraphe fait plus de dégâts qu'un morceau un peu trop gros. Au minimum : ce nœud, un nœud racine sur le port Text Splitter, et les deux valeurs.
05n8n ou Make pour ce type de découpage ?
Ça dépend surtout de l'endroit où tes données doivent rester. n8n s'auto-héberge en Docker ou en npm, ou s'utilise sur n8n Cloud, l'offre hébergée par n8n : un traitement qui lit des documents internes peut donc rester de bout en bout sur ton infrastructure. Make est uniquement hébergé, sans option d'auto-hébergement, et se facture à l'opération, ce qui change le calcul quand un document produit des centaines de morceaux. Côté logique visuelle, les deux enchaînent des blocs ; le modèle nœud racine et sous-nœuds montré ici est propre à la façon dont n8n structure ses nœuds IA. Regarde l'hébergement, la maîtrise des données et le modèle de coût.
Hack'celeration Lab

Reçois nos tips intégration chaque semaine.

Pas de spam. Désinscription à tout moment.

Même plateforme

Autres docs utiles sur ce stack.

Voir toutes les intégrations