Nodo Ollama Model n8nConfigura Ollama Model en n8n.

Mientras este selector siga vacío no ocurre nada. Señala el modelo que generará la completación, y esa elección decide todo lo demás: calidad de la respuesta, velocidad y memoria ocupada mientras el modelo está cargado.

• Model: el modelo que genera la completación. La documentación oficial del nodo cita Llama2, Llama2 13B, Llama2 70B y Llama2 Uncensored; para descargar modelos, pasa por la Ollama Models Library.

Los modelos de razonamiento guardan un borrador antes de responder. Este interruptor decide si ese borrador queda aparte del resultado, y no significa nada en un modelo que no soporta el modo.

• Enable Thinking: activa (por defecto) el modo de razonamiento en los modelos compatibles. Activado, el razonamiento se separa de la salida; desactivado, el modelo devuelve el contenido directamente.

El azar tiene una rueda, y es esta. El mismo prompt lanzado dos veces puede volver redactado de otra forma, y la distancia entre esas dos respuestas depende justo de este número.

• Sampling Temperature: controla la aleatoriedad del texto generado. Los valores bajos hacen la salida más enfocada y determinista; los altos, más variada y aleatoria.

En cada paso el modelo ordena todo su vocabulario y luego elige de la parte alta. Un token es un fragmento de texto, más o menos una palabra o un trozo de ella. Este ajuste marca hasta dónde puede bajar el muestreo.

• Top K: limita el número de tokens más probables considerados en cada paso. Un valor alto aumenta la diversidad pero puede reducir la coherencia. -1 lo desactiva.

Aquí ya no se cuentan candidatos sino probabilidad. El muestreo va sumando tokens al cesto hasta que su probabilidad acumulada supera el umbral fijado, y ahí para.

• Top P: elige dentro del conjunto más pequeño de tokens cuya probabilidad acumulada supera top_p. Ayuda a generar texto más natural reduciendo las repeticiones.

La repetición se cuela cuando el mismo token gana el ranking una y otra vez. Esta penalización empuja en contra de los tokens en proporción a las veces que ya se han usado en la respuesta en curso.

• Frequency Penalty: ajusta la penalización de los tokens que ya han aparecido en el texto generado. Los valores altos desalientan la repetición.

Cargar un modelo local en memoria cuesta segundos reales. Este campo dice cuánto debe mantenerlo Ollama ahí tras la llamada, para que la siguiente ejecución arranque en caliente.

• Keep Alive: duración durante la cual el modelo cargado permanece en memoria tras su uso. Útil para modelos muy solicitados. Formato 1h30m para una hora y treinta minutos.

Las tarjetas gráficas modestas se ahogan con los modelos grandes. Activar este modo cambia velocidad por espacio, y muchas veces es lo que separa una cadena que corre de otra que falla en la máquina que tienes de verdad.

• Low VRAM Mode: activa el modo de poca VRAM, que reduce el uso de memoria a costa de una generación más lenta. Útil para GPU con memoria limitada.

Una máquina con varias tarjetas gráficas necesita saber cuál lleva la voz cantante en el cálculo. Si no lo tocas, este campo no hace nada; en un servidor con varias tarjetas decide dónde cae la carga.

• Main GPU ID: identificador de la GPU usada para el cálculo principal. Cámbialo solo si tienes varias GPU.

Antes de generar nada, el modelo tiene que leer el prompt, y lo lee por lotes. Ensanchar el lote acelera esa fase de lectura, y lo pagas en memoria.

• Context Batch Size: define el tamaño de lote para el procesamiento del prompt. Lotes mayores pueden acelerar la generación pero aumentan el uso de memoria.

El contexto es un presupuesto. Todo lo que el modelo puede mirar para escribir el siguiente token, tanto el prompt como lo que ya lleva escrito, tiene que caber en esta cifra.

• Context Length: número máximo de tokens usados como contexto para generar el siguiente token. Los valores bajos reducen la memoria; los altos dan más contexto al modelo.

Repartir el trabajo entre varias tarjetas se pide de forma explícita aquí. Este campo cuenta tarjetas, mientras que Main GPU ID nombra la que manda.

• Number of GPUs: número de GPU usadas para el procesamiento en paralelo. -1 activa la detección automática.

Una respuesta puede desbocarse. Este techo corta al modelo en pleno vuelo, lo que protege tanto la duración de la ejecución como al nodo siguiente, que espera un campo de tamaño razonable.

• Max Tokens to Generate: número máximo de tokens generados. -1 elimina el límite; cuidado con un valor alto, porque puede producir salidas muy largas.

Parte del trabajo siempre recae en el procesador, y en una máquina sin tarjeta gráfica aprovechable recae todo. Este campo dice cuántos hilos puede reclamar Ollama.

• Number of CPU Threads: número de hilos de CPU usados para el procesamiento. 0 activa la detección automática.

Los saltos de línea también son tokens, y un modelo que los busca devuelve respuestas troceadas. Este interruptor lo empuja en sentido contrario.

• Penalize Newlines: hace que el modelo tienda menos a generar caracteres de salto de línea, favoreciendo secuencias de texto continuas más largas.

Presencia y frecuencia suenan parecido pero cuentan cosas distintas. Esta solo retiene que un token apareció, no cuántas veces, y empuja al modelo hacia vocabulario aún sin estrenar.

• Presence Penalty: ajusta la penalización de los tokens según su presencia en el texto ya generado. Los valores positivos penalizan los tokens ya aparecidos y fomentan la diversidad.

Un tercer freno contra la repetición se suma a los otros dos, y es el más directo: un único factor aplicado a los tokens que vuelven.

• Repetition Penalty: ajusta el factor de penalización de los tokens repetidos. Los valores altos desalientan con más fuerza la repetición. 1.0 desactiva la penalización.

Un sistema bajo presión moverá el modelo cargado al disco, y la llamada siguiente se arrastra. El bloqueo lo clava en memoria para que eso no pase.

• Use Memory Locking: bloquea el modelo en memoria para evitar el intercambio a disco. Puede mejorar el rendimiento, pero exige memoria disponible suficiente.

Cómo se leen los pesos desde el disco también es una decisión. El mapeo en memoria deja que el sistema los cargue según hacen falta en lugar de subirlo todo a la RAM de golpe.

• Use Memory Mapping: usa el mapeo en memoria para cargar el modelo. Reduce el uso de memoria pero puede afectar al rendimiento. Se recomienda mantenerlo activo.

A veces los pesos no son el asunto. Cargar solo el vocabulario se los salta por completo: es rápido y no produce ninguna completación real.

• Load Vocabulary Only: carga únicamente el vocabulario del modelo, sin los pesos. Útil para probar rápido la tokenización.

La forma de la respuesta de la API se elige, y eso importa en cuanto el nodo siguiente espera datos estructurados en vez de un texto que haya que desmenuzar.

• Output Format: formato de la respuesta de la API, a elegir entre default (Default) y json (JSON).