Recursos · Integración n8n

Integración Kafka n8nAutomatiza Kafka con n8n.

Los eventos ya circulan por tus brokers, falta decidir qué pasa después. La integración Kafka n8n son 1 operación del nodo para publicar un mensaje en un topic y un disparador que consume un topic bajo un identificador de grupo. Pensada para equipos que ya trabajan con Kafka.

Probar la integración Kafka en n8nVer las 1 operaciones

Reseñas verificadas en Trustpilot · Agencia de IA, automatización y growth

Por qué automatizar

¿Qué cubre la integración Kafka n8n?

Kafka transporta los eventos y n8n decide qué viene después. El nodo Kafka escribe en ese flujo y el Kafka Trigger lo lee. Una operación publica un mensaje en el topic que indiques, con clave y cabeceras opcionales. Un disparador se suscribe a un topic bajo un identificador de grupo de consumidores, ese nombre compartido que permite repartir los mensajes entre varios consumidores, y entrega cada mensaje al resto del flujo de trabajo.

Primer escenario: aterrizar un flujo donde alguien pueda leerlo. El disparador consume un topic, un nodo Set deja solo los campos que importan y un nodo Microsoft SQL escribe una fila por mensaje. Cuando quien consulta esos datos no tiene acceso a la base, la misma cadena termina en Google Sheets y el equipo de operaciones lo abre sin pedir permisos.

Segundo escenario: convertir un topic en un aviso para personas. Un topic de procesos fallidos alimenta un nodo IF y todo lo que supera el umbral acaba en un mensaje de Slack con la clave del mensaje visible. El identificador de grupo mantiene ese flujo independiente de los demás consumidores del mismo topic.

Tercer escenario: n8n como productor. Cualquier flujo puede terminar en default.execute y publicar lo que acaba de construir. Hay una plantilla pública que hace justo eso: un nodo HTTP Request consulta la posición de la ISS una vez por minuto y la envía a un topic de Kafka. Cambia la llamada a la API por un formulario o una consulta a base de datos y el patrón se sostiene igual.

Conviene tener claro un detalle antes de diseñar sobre esto. La credencial de Kafka abre una conexión con tus brokers, no es una API HTTP, así que no hay ningún nodo genérico al que recurrir. Con una herramienta HTTP sacarías el nodo HTTP Request y llamarías tú al endpoint que falta. Aquí no: lo que el nodo no expone no se hace desde n8n. Ni crear un topic desde un flujo, ni inspeccionar grupos de consumidores, ni recorrer los offsets.

El otro límite conocido está en el disparador. En la versión 1 consume mensajes sin comprimir y mensajes GZIP, y falla con un error de formato de compresión no admitido en LZ4, Snappy o Zstd, que son ajustes habituales en Confluent y en productores JVM. O el productor pasa a gzip o a sin compresión, o te apuntas a la versión 2 en preview. Si quieres contrastarlo con tu propio contexto, la Reseña n8n y el Curso n8n entran en más detalle.

Conexión

¿Cómo conectas n8n con tus brokers de Kafka ?

  1. 01

    Crea la credencial de Kafka

    En n8n, abre el menú Credentials y crea una credencial de Kafka. Una credencial es la ficha de conexión que se guarda una vez y reutilizan todos los nodos. La rellenas una sola vez para todos tus flujos con Kafka. Empieza por Client ID, el identificador del cliente o del grupo de consumidores que n8n anuncia al clúster. Elige un nombre reconocible en los logs de los brokers: es lo que separa el tráfico de n8n del resto.

  2. 02

    Declara la lista de brokers

    El campo Brokers espera una lista separada por comas con el formato <broker-service-name>:<port>. El nombre de servicio es el que diste al broker en tu lista services, de modo que kafka-1:9092,kafka-2:9092 apunta a dos brokers en el puerto 9092. Declara todos los que quieras alcanzar. Si tu entorno de Kafka funciona sin SSL, desactiva el interruptor SSL; si no, déjalo encendido.

  3. 03

    Añade la autenticación SASL

    Si tu clúster autentica con SASL, activa el interruptor Authentication y rellena Username y Password. Después elige en SASL Mechanism el mecanismo configurado en el broker, entre Plain, scram-sha-256 y scram-sha-512. Guarda. La misma credencial sirve luego para el nodo Kafka y para el Kafka Trigger, sin volver a escribir nada. Codificar con un Confluent Schema Registry autenticado pide una credencial de Schema Registry aparte.

Disparadores

¿Qué escucha el Kafka Trigger?

Kafka Trigger es el nodo que arranca un workflow cuando algo ocurre en Kafka. Activas el workflow y cada evento recibido se convierte en una ejecución.

Lo que ves en n8n

Notas de configuración

01Set Up the Kafka TriggerEl Kafka Trigger se suscribe a un topic y arranca el flujo con los mensajes que recibe. Dos campos son obligatorios y el flujo tiene que estar activo para que el disparador escuche.

El Kafka Trigger se suscribe a un topic y arranca el flujo con los mensajes que recibe. Dos campos son obligatorios y el flujo tiene que estar activo para que el disparador escuche.

Parámetros clave

  • Topic: el nombre del topic que se va a consumir, tal como existe en el clúster.
  • Group ID: el grupo de consumidores al que se une este disparador. Asigna un identificador propio a cada flujo, salvo que quieras repartir a propósito las particiones de un topic entre dos disparadores.
  • Allow Topic Creation: permite engancharse a un topic que todavía no existe en lugar de fallar.
Cuándo usarlo
cuando el evento ya está en un topic y algo tiene que reaccionar sin que una persona copie valores a mano.
02Choose Where Reading StartsPor defecto un grupo de consumidores retoma donde lo dejó. Estas opciones fijan qué ocurre en la primera ejecución y cada cuánto se guarda la posición.

Por defecto un grupo de consumidores retoma donde lo dejó. Estas opciones fijan qué ocurre en la primera ejecución y cada cuánto se guarda la posición.

Parámetros clave

  • Read Messages From Beginning: activado, el disparador lee el topic desde el mensaje más antiguo que se conserva y no solo los nuevos. Va bien para una recuperación puntual y molesta si se queda encendido.
  • Auto Commit Threshold: guarda la posición tras un número dado de mensajes resueltos.
  • Auto Commit Interval: guarda la posición tras un periodo dado, por ejemplo unos segundos.
  • Batch Size: cuántos mensajes se procesan por lote. Con el valor 1 el procesamiento es mensaje a mensaje.
Casos de uso
un flujo de conciliación que debe reproducir un topic entero en su primera ejecución y comportarse con normalidad después.
03Shape What Each Message OutputsKafka entrega un valor y algunos metadatos. Estas opciones deciden qué recibe de verdad el nodo siguiente en su entrada.

Kafka entrega un valor y algunos metadatos. Estas opciones deciden qué recibe de verdad el nodo siguiente en su entrada.

Parámetros clave

  • JSON Parse Message: intenta convertir el mensaje en un objeto, para direccionar los campos con una expresión como {{ $json.campo }} en vez de manejar una cadena única.
  • Only Message: devuelve solo la propiedad del mensaje, sin la envoltura que la rodea.
  • Return Headers: añade a la salida las cabeceras recibidas de Kafka, donde los productores suelen colocar un identificador de traza o de cliente.
  • Keep Message as Binary Data: mantiene el valor en binario para un tratamiento posterior, por ejemplo una deserialización Avro.
Casos de uso
un topic cuyo productor envía JSON en texto, convertido ya en el disparador para ahorrarse un nodo Code.
04Keep The Consumer In Its GroupUn consumidor de Kafka avisa cada cierto tiempo de que sigue vivo. Estas opciones gobiernan esa conversación y son las que se revisan cuando un flujo pierde su sitio en el topic.

Un consumidor de Kafka avisa cada cierto tiempo de que sigue vivo. Estas opciones gobiernan esa conversación y son las que se revisan cuando un flujo pierde su sitio en el topic.

Parámetros clave

  • Heartbeat Interval: cada cuánto avisa el consumidor al broker de que sigue activo. Tiene que ser menor que Session Timeout y el valor recomendado ronda un tercio de este.
  • Session Timeout: el plazo en milisegundos tras el cual el broker da al consumidor por caído.
  • Rebalance Timeout: el tiempo máximo que tiene un consumidor para unirse al grupo.
  • Retry Delay on Error: la espera en milisegundos antes de reintentar una resolución de offset fallida, lo que evita un bucle de reintentos que sature al broker.
Cuándo usarlo
cuando el clúster ya tiene valores ajustados y n8n tiene que alinearse con ellos.
Acciones

¿Qué sabe hacer el nodo Kafka ?

El nodo Kafka expone una operación. Para cada una: el nodo tal como lo configuras en n8n, los campos obligatorios y nuestras notas de campo.

01

Sends messages to a Kafka topic

execute

Lo que ves en n8n

Notas y casos de uso

El nodo publica un mensaje por cada item de entrada. Kafka devuelve un acuse de recibo, no datos, así que funciona como punto final del flujo y no como consulta.

Parámetros clave

  • Topic: el destino del mensaje, por ejemplo orders-created.
  • Message: el contenido enviado, a menudo una expresión como {{ $json.id }}. Activa Send Input Data para enviar el item entero en JSON.
  • Key: la clave del mensaje, la que agrupa mensajes relacionados en una misma partición.
  • Event Name: el esquema con formato namespace.name, útil con Use Schema Registry activado.
Casos de uso
republicar en un topic interno una solicitud de formulario ya limpia.
Necesitas ayuda

¿Necesitas ayuda para automatizar Kafka con n8n?

El equipo te responde directamente.

Cada mensaje lo lee una persona.

FAQ

Kafka y n8n, preguntas frecuentes

01¿La integración Kafka n8n es gratuita?
Sí por el lado de n8n. Tanto el nodo Kafka como el Kafka Trigger vienen incluidos con n8n, así que no hay nada que instalar ni coste adicional, da igual si trabajas en n8n Cloud o en una instancia autoalojada con la Community Edition y su licencia Sustainable Use. Lo que cuesta tu propio Kafka es otra conversación y depende por completo de cómo explotes tus brokers, algo que esta página no puede cifrar por ti. El coste real es el tiempo de configuración: una credencial, un nombre de topic y un identificador de grupo por cada flujo que consuma.
02¿Qué credenciales necesita n8n para Kafka?
Una sola credencial de Kafka, compartida por el nodo y el disparador. Pide un Client ID, es decir el identificador del cliente o del grupo de consumidores, y una lista de brokers escrita con el nombre de servicio y el puerto, separados por comas, por ejemplo kafka-1:9092. El interruptor SSL se queda encendido salvo que tu entorno funcione sin SSL. Si el clúster usa SASL, activa el interruptor Authentication y añade usuario, contraseña y el mecanismo que espera el broker, entre Plain, scram-sha-256 y scram-sha-512. Codificar o decodificar con un Confluent Schema Registry autenticado usa una credencial de Schema Registry aparte.
03¿Qué límites tiene el nodo Kafka en n8n?
El nodo expone 1 operación, enviar un mensaje a un topic. Todo lo demás que hace Kafka queda fuera: crear un topic desde un flujo, inspeccionar grupos de consumidores o recorrer los offsets. Y tampoco hay rodeo mediante un nodo genérico, porque la credencial abre una conexión con tus brokers y no una API HTTP, de modo que llamar tú a un endpoint no es una opción aquí. En el lado del consumo, la versión 1 del disparador lee únicamente mensajes sin comprimir y GZIP, y falla en topics con LZ4, Snappy o Zstd.
04¿El Kafka Trigger reacciona en tiempo real?
Depende, y n8n no documenta el mecanismo de este disparador, así que darlo por instantáneo sería una suposición. Lo que sí está documentado es el resto. El flujo tiene que estar publicado y activo para que el disparador escuche. El identificador de grupo determina si tu disparador lee el topic en solitario o reparte particiones con otro consumidor. La opción Read Messages From Beginning decide si la primera ejecución reproduce el histórico conservado o solo atiende lo que llega después. Y Batch Size con valor 1 da un procesamiento mensaje a mensaje en lugar de por lotes.
05¿n8n o Make para Kafka?
La diferencia honesta está en dónde se ejecuta cada plataforma. Make está alojada por Make, sin opción de autoalojamiento, y se factura por operación consumida. n8n corre en tus propios servidores o en n8n Cloud, con el mismo flujo de trabajo en ambos casos. Para Kafka eso pesa más de lo habitual, porque los brokers suelen vivir en una red privada a la que una plataforma alojada no llega, y porque un flujo de eventos genera volumen, lo que obliga a revisar el modelo por operación con tus propias cifras. Make sigue ganando en cantidad de conectores alojados.
Hack'celeration Lab

Recibe nuestros tips de integración cada semana.

Sin spam. Cancela cuando quieras.

Misma plataforma

Otros docs útiles sobre este stack.

Ver todas las integraciones