Intégration Kafka n8nAutomatiser Kafka avec n8n.
Les événements circulent déjà sur tes brokers, reste à en faire quelque chose. L'intégration Kafka n8n, c'est 1 opération côté nœud pour publier un message sur un topic, et un trigger qui consomme un topic sous un identifiant de groupe. Pensée pour les équipes qui exploitent déjà Kafka.
Avis vérifiés sur Trustpilot · Agence IA, automatisation & growth
Que couvre vraiment l'intégration Kafka n8n ?
Kafka transporte les événements, n8n décide de la suite. Le nœud Kafka écrit dans le flux, le Kafka Trigger le lit. Une opération publie un message sur le topic de ton choix, avec une clé et des en-têtes facultatifs. Un trigger s'abonne à un topic sous un identifiant de groupe de consommateurs, ce nom partagé qui permet à plusieurs consommateurs de se répartir les messages, et transmet chaque message au reste du workflow.
Premier cas de figure, faire atterrir un flux là où il devient lisible. Le trigger consomme un topic, un nœud Set ne garde que les champs utiles, et un nœud MySQL écrit une ligne par message. Même logique avec un stockage souple si les messages n'ont pas tous la même forme : MongoDB encaisse mieux les charges utiles hétérogènes qu'un schéma relationnel figé.
Deuxième cas de figure, transformer un topic en alerte humaine. Un topic de traitements en échec alimente un nœud IF, et tout ce qui dépasse le seuil part dans un message Slack avec la clé du message en clair. L'identifiant de groupe garde ce workflow indépendant des autres consommateurs du même topic.
Troisième cas de figure, n8n en producteur. N'importe quel workflow peut se terminer sur default.execute et publier ce qu'il vient de construire. Un template public fait exactement ça : un nœud HTTP Request récupère la position de l'ISS chaque minute et l'envoie vers un topic Kafka. Remplace l'appel d'API par une soumission de formulaire ou une requête en base, le schéma tient toujours.
Un point à intégrer avant de bâtir dessus. Le credential Kafka ouvre une connexion vers tes brokers, ce n'est pas une API HTTP. Il n'existe donc aucun nœud générique de repli : sur un outil en HTTP, tu sortirais le nœud HTTP Request pour appeler l'endpoint manquant, ici non. Ce que le nœud n'expose pas ne se fait pas depuis n8n. Ni création de topic depuis un workflow, ni inspection des groupes de consommateurs, ni navigation dans les offsets.
L'autre limite connue concerne le trigger. En version 1, il consomme les messages non compressés et les messages GZIP, et échoue avec une erreur de format de compression non pris en charge sur LZ4, Snappy ou Zstd, qui sont pourtant des réglages fréquents côté Confluent et côté producteurs JVM. Soit le producteur bascule en gzip ou sans compression, soit tu passes sur la préversion de la version 2. Pour savoir si l'outil correspond à ton contexte, l'Avis n8n et la Formation n8n vont plus loin.
Comment relier n8n à tes brokers Kafka ?
- 01
Créer le credential Kafka
Dans n8n, ouvre le menu Credentials et crée un credential Kafka. Un credential, c'est la fiche de connexion enregistrée une fois et réutilisée par tous les nœuds. Tu la remplis donc une seule fois pour tous tes workflows Kafka. Commence par le champ Client ID, l'identifiant du client ou du groupe de consommateurs que n8n annonce au cluster. Choisis un nom reconnaissable dans les logs des brokers : il sépare le trafic n8n du reste.
- 02
Déclarer la liste des brokers
Le champ Brokers attend une liste séparée par des virgules, au format
<broker-service-name>:<port>. Le nom de service est celui que tu as donné au broker dans ta listeservices:kafka-1:9092,kafka-2:9092pointe donc vers deux brokers sur le port 9092. Déclare-les tous, le credential s'appuie sur la liste entière pour joindre le cluster. Environnement sans SSL ? Désactive l'interrupteur SSL, actif par défaut sinon. - 03
Ajouter l'authentification SASL
Si ton cluster s'authentifie en SASL, active l'interrupteur Authentication puis renseigne Username et Password. Choisis ensuite le SASL Mechanism réglé côté broker :
Plain,scram-sha-256ouscram-sha-512. Enregistre. Le même credential sert ensuite au nœud Kafka comme au Kafka Trigger, sans rien ressaisir. Seule exception, l'encodage avec un Confluent Schema Registry authentifié : il passe par un credential Schema Registry distinct.
Qu'écoute le Kafka Trigger ?
Kafka Trigger est le nœud qui démarre un workflow quand quelque chose se passe dans Kafka. Tu actives le workflow et chaque événement reçu devient une exécution.
Ce que tu vois dans n8n
Notes de configuration
01Set Up the Kafka Trigger
Le Kafka Trigger s'abonne à un topic et lance le workflow sur les messages qu'il reçoit. Deux champs sont obligatoires, et le workflow doit être actif pour que le trigger écoute quoi que ce soit. Tant qu'il reste en brouillon, rien ne remonte.
Paramètres clés
- Topic : le nom du topic à consommer, tel qu'il existe sur le cluster, sans approximation d'orthographe.
- Group ID : le groupe de consommateurs que rejoint ce trigger. Donne un identifiant propre à chaque workflow, sauf si tu veux volontairement répartir les partitions d'un topic entre deux triggers.
- Allow Topic Creation : autorise le rattachement à un topic qui n'existe pas encore, au lieu d'échouer dessus.
02Choose Where Reading Starts
Par défaut, un groupe de consommateurs reprend là où il s'est arrêté. Ces options fixent le comportement de la première exécution et la fréquence d'enregistrement de la position.
Paramètres clés
- Read Messages From Beginning : activé, le trigger lit le topic depuis le plus ancien message conservé, et pas seulement les nouveaux. Pratique pour une reprise unique, bruyant si l'option reste active.
- Auto Commit Threshold : enregistre la position après un nombre donné de messages traités.
- Auto Commit Interval : enregistre plutôt la position après une durée donnée, quelques secondes par exemple.
- Batch Size : le nombre de messages traités par lot. À 1, le traitement se fait message par message.
03Shape What Each Message Outputs
Kafka transmet une valeur et des métadonnées. Ces options décident de ce que le nœud suivant reçoit réellement en entrée.
Paramètres clés
- JSON Parse Message : tente de convertir le message en objet, pour adresser les champs avec une expression comme
{{ $json.champ }}plutôt que de manipuler une chaîne unique. - Only Message : ne renvoie que la propriété message, sans l'enveloppe qui l'entoure.
- Return Headers : ajoute à la sortie les en-têtes reçus de Kafka, là où les producteurs glissent souvent un identifiant de trace ou de client.
- Keep Message as Binary Data : conserve la valeur en binaire pour un traitement en aval, une désérialisation Avro par exemple.
04Keep The Consumer In Its Group
Un consommateur Kafka signale régulièrement qu'il est vivant. Ces options pilotent cet échange, et ce sont elles qu'on regarde quand un workflow perd sa place dans le topic.
Paramètres clés
- Heartbeat Interval : la fréquence à laquelle le consommateur signale son activité au broker. Elle doit rester inférieure à Session Timeout, la valeur conseillée tournant autour du tiers de celui-ci.
- Session Timeout : le délai en millisecondes au bout duquel le broker considère le consommateur comme défaillant.
- Rebalance Timeout : le temps maximal accordé à un consommateur pour rejoindre le groupe.
- Retry Delay on Error : l'attente en millisecondes avant de réessayer un enregistrement de position qui a échoué, ce qui évite une boucle de reprise qui sature le broker.
Que sait faire le nœud Kafka ?
Le nœud Kafka expose une opération. Pour chacune : le nœud tel que tu le configures dans n8n, les champs obligatoires, et nos notes de terrain.
Sends messages to a Kafka topic
executeCe que tu vois dans n8n
Notes & cas d'usage
Le nœud publie un message par item entrant. Kafka renvoie un accusé de réception, pas des données : c'est un point de sortie de workflow, pas une consultation.
Paramètres clés
- Topic : la destination du message, par exemple
orders-created. - Message : le contenu envoyé, souvent une expression du type
{{ $json.id }}. Active Send Input Data pour pousser l'item entier en JSON à la place. - Key : la clé du message, celle qui regroupe les messages liés sur une même partition.
- Event Name : le schéma au format
namespace.name, utile une fois Use Schema Registry activé.
Besoin d'aide pour automatiser Kafka avec n8n ?
L'équipe te répond directement.
Chaque message est lu par une personne.
Kafka et n8n, les questions fréquentes
01L'intégration Kafka n8n est-elle gratuite ?
02Quels credentials faut-il pour connecter Kafka à n8n ?
03Quelles sont les limites du nœud Kafka dans n8n ?
04Le Kafka Trigger réagit-il en temps réel ?
05n8n ou Make pour Kafka ?
Reçois nos tips intégration chaque semaine.
Pas de spam. Désinscription à tout moment.
