Nodo Ollama Chat Model n8nConfigura Ollama Chat Model en n8n.

Esta lista indica el modelo que genera la completación. Es el único ajuste que rellenas siempre, y tiene que corresponder a un modelo ya descargado en la máquina de Ollama; la biblioteca de modelos de Ollama recoge lo disponible.

• Model: requerido. La documentación del nodo cita Llama2, Llama2 13B, Llama2 70B y Llama2 Uncensored entre las opciones.

Algunos modelos razonan paso a paso antes de responder. Con el modo de razonamiento activado, que es lo que viene por defecto, ese razonamiento queda separado de la salida. Desactivado, el modelo escribe el contenido directamente. No cambia nada en los modelos que no soportan la función.

• Enable Thinking: una casilla activada por defecto, que aparta el razonamiento del modelo de lo que recibe el flujo.

El azar del texto generado lo gobierna este número. Los valores bajos dan una salida más centrada y determinista. Los altos la vuelven más diversa y aleatoria, con el riesgo de invención que eso trae.

• Sampling Temperature: un número, bajo para respuestas reproducibles, alto para respuestas variadas.

En cada paso el modelo ordena tokens candidatos, los fragmentos de palabra con los que construye el texto. Top K limita cuántos de los más probables siguen en juego. Un valor alto aumenta la diversidad pero puede reducir la coherencia. Con -1, el límite desaparece.

• Top K: un número, que limita los tokens de vocabulario más probables considerados en cada paso.

Aquí no se cuentan tokens sino probabilidad acumulada: el modelo elige dentro del conjunto más pequeño cuya probabilidad sumada supera el umbral. El efecto documentado es un texto más natural y con menos repeticiones.

• Top P: un número, un valor bajo descarta las opciones menos probables.

Los tokens que ya salieron en el texto generado quedan penalizados, y este valor dice cuánto. Cuanto más sube, menos se repite el modelo. La penalización sigue a la frecuencia: cuanto más vuelve una fórmula, más se aleja de ella.

• Frequency Penalty: un número, que ajusta la penalización de los tokens ya presentes en la salida.

Terminada la generación, Ollama puede mantener el modelo en memoria en lugar de descargarlo. Este campo dice cuánto tiempo, como una duración del tipo 1h30m para una hora y treinta minutos. Sirve para los modelos que se usan a menudo.

• Keep Alive: una cadena de duración en formato 1h30m, que fija cuánto sigue cargado el modelo tras usarlo.

¿Memoria gráfica justa? Este interruptor reduce el consumo de memoria a cambio de una generación más lenta. Está pensado para GPU con poca memoria, y es un intercambio real, no una optimización gratis.

• Low VRAM Mode: una casilla que cambia velocidad de generación por menos memoria usada.

En una máquina con varias tarjetas gráficas hay que señalar cuál lleva el cálculo principal. Este campo recibe ese identificador de GPU. Con una sola tarjeta no hay nada que decidir, y la documentación pide tocarlo solo si tienes varias GPU.

• Main GPU ID: un número, el identificador de la GPU usada para el cálculo principal.

El prompt se procesa por lotes, y este ajuste fija su tamaño. Lotes más grandes pueden acelerar la generación, pero consumen más memoria. Es la palanca de rendimiento, sin efecto sobre la calidad de la salida.

• Context Batch Size: un número, el tamaño de lote usado para procesar el prompt.

La ventana de contexto es el texto que el modelo mantiene a la vista para producir el siguiente token. Este número la topa. Un valor bajo reduce la memoria consumida, uno alto da más material al modelo.

• Context Length: el número máximo de tokens que sirven de contexto para generar el siguiente token.

El procesamiento en paralelo entre tarjetas se ajusta aquí: el valor indica cuántas GPU debe usar Ollama. Con -1 se activa la detección automática, que es lo razonable en una máquina que controlas.

• Number of GPUs: un número, -1 significa detección automática.

El largo de la respuesta encuentra su techo en este campo. Con -1 desaparece el límite, aunque la documentación avisa contra los valores altos, que llevan a salidas muy largas y a los tiempos de ejecución que las acompañan.

• Max Tokens to Generate: el número máximo de tokens producidos, -1 quita el límite.

El trabajo en la CPU usa tantos hilos como permita este valor. Con 0, Ollama detecta el número por su cuenta. Merece la pena tocarlo cuando la máquina hace algo más que servir modelos.

• Number of CPU Threads: un número, 0 activa la detección automática.

Los saltos de línea también son tokens. Activado, este ajuste hace menos probable que el modelo los genere, lo que empuja hacia secuencias de texto continuas en vez de líneas cortadas.

• Penalize Newlines: una casilla que vuelve menos probables los caracteres de salto de línea en la salida.

El criterio ya no es la frecuencia sino la simple presencia: un token se penaliza en cuanto ha aparecido en el texto producido. Los valores positivos empujan al modelo hacia material nuevo y favorecen la diversidad.

• Presence Penalty: un número, los valores positivos penalizan los tokens ya aparecidos.

Un modelo atrapado en bucle, repitiendo la misma frase sin parar, es lo que este factor corrige. Cuanto más alto, más fuerte desalienta la repetición. Con 1.0, la penalización por repetición queda desactivada.

• Repetition Penalty: un número, que ajusta el factor de penalización de los tokens repetidos, 1.0 lo desactiva.

El swap, cuando el sistema manda páginas de memoria al disco, hunde los tiempos de respuesta. Bloquear el modelo en memoria lo evita y puede mejorar el rendimiento, pero exige memoria libre suficiente para sostenerlo entero.

• Use Memory Locking: una casilla que fija el modelo en memoria para evitar el swap.

Cargar el fichero del modelo mediante mapeo de memoria puede reducir la memoria usada, con posible impacto en el rendimiento. La documentación recomienda dejarlo activado, así que es un ajuste que se desactiva a propósito, no por defecto.

• Use Memory Mapping: una casilla para la carga del modelo por mapeo de memoria, recomendada activa.

Solo se carga el vocabulario del modelo, sin los pesos. Detrás no hay generación real, y ese es justo el punto: probar la tokenización se vuelve rápido.

• Load Vocabulary Only: una casilla que carga el vocabulario y deja los pesos fuera.

Los nodos siguientes rara vez quieren prosa. Este selector fija el formato de la respuesta de la API, para que llegue en una forma que el resto del flujo pueda manejar.

• Output Format: dos opciones, default (Default) y json (JSON).