Alternativas a Databricks: adónde ir y cómo migrar sin reescribirlo todo

Por qué pasarte a Snowflake. Es el almacén SQL gestionado más parecido a lo que hace Databricks SQL, sin clústeres ni máquinas que gestionar. Creas un almacén virtual, eliges su tamaño y se pausa cuando nadie lo usa. Snowflake incluso documenta la migración desde Databricks.

Para quién. Equipos de datos de pymes y empresas medianas cuyo día a día es SQL, modelos dbt y paneles, con algo de Python.

Para quién no. Un equipo que entrena modelos pesados en GPU cada noche, o que escribe sobre todo Scala: perderá más de lo que gane.

Su límite. El crédito es caro en Europa: 2,60 $ en Standard, 3,90 $ en Enterprise y 5,20 $ en Business Critical en AWS Dublín, Fráncfort o París. Un almacén X-Small consume 1 crédito por hora, y el almacenamiento cuesta 23 $ por TB y mes en Dublín. Un almacén mal configurado que nunca se pausa cuesta lo mismo que un clúster de Databricks olvidado.

Cómo migrar. Para el SQL, SnowConvert AI convierte el código SQL de tus tablas y vistas escrito en Spark SQL o Databricks SQL. Para el PySpark, Snowpark Connect ejecuta tu código Spark en el motor de Snowflake sin clúster Spark, así que no tienes que reescribirlo todo de golpe. Para los datos, Snowflake puede crear una tabla Iceberg sobre ficheros Delta en almacenamiento de objetos: lees tus tablas donde están durante la transición y luego copias las más usadas a tablas nativas. Ojo con el dialecto: Netlify tuvo que cambiar if() por iff() y collect_list() por array_agg(), y dividir por cero da error en Snowflake, mientras que Databricks devuelve NULL.

Por qué pasarte a BigQuery. No hay nada que encender ni apagar. Escribes una consulta, Google la ejecuta y pagas los bytes leídos. Para un equipo cansado de ajustar tamaños de clúster y apagados automáticos, es el cambio más claro.

Para quién. Empresas que ya están en Google Cloud, equipos que reciben datos de Google Analytics 4 o Google Ads, y equipos que consultan a ratos y no todo el día.

Para quién no. Un equipo con todos sus datos en AWS o Azure: sacar terabytes de otra nube cuesta dinero y sumas un proveedor más.

Su límite. En modo bajo demanda, cada consulta cuesta 6,25 $ por TiB leído, después de 1 TiB gratis al mes. Un SELECT * sobre una tabla grande sin particionar se paga caro. A partir de cierto volumen toca pasar a capacidad reservada (0,06 $ por slot-hora en Enterprise en EE. UU.) y aprender a dimensionarla. El almacenamiento activo cuesta unos 0,023 $ por GiB y mes, con 10 GiB gratis.

Cómo migrar. Si tus tablas Delta están en Google Cloud Storage, BigQuery las lee como tablas externas BigLake (CREATE EXTERNAL TABLE), con deletion vectors incluidos, y sigue solo los cambios de esquema. Puedes conectar tus paneles a BigQuery antes de mover un solo fichero y después convertir en nativas las tablas más leídas.

Por qué pasarte a Fabric. Fabric reúne bajo una sola capacidad el lakehouse, el almacén, Spark, las canalizaciones y Power BI. Las tablas del lakehouse son ficheros Delta en OneLake, el mismo formato que usa Databricks: tus ficheros cambian de dirección, no de forma. Para una empresa estandarizada en Microsoft, es un solo contrato y una sola consola.

Para quién. Equipos de finanzas y de BI que ya usan Power BI y Azure y quieren acercar los datos a los informes.

Para quién no. Un equipo con picos de cómputo imprevisibles que no puede esperar: Fabric responde a la sobrecarga frenando, no cobrando más.

Su límite. Pagas una capacidad encendida, no una consulta. Una F2 en Francia Central cuesta unos 0,20 $ por CU-hora, es decir, unos 292 $ al mes con 730 horas encendida (cálculo nuestro); la reserva a 1 o 3 años ahorra en torno a un 41 %. Cuando la capacidad se satura, Microsoft limita por etapas: pasados 10 minutos de capacidad futura consumida, 20 segundos de espera en las consultas interactivas; pasada una hora, se rechazan; pasadas 24 horas, se rechaza todo. El exceso de pago existe, pero cuesta el triple de la tarifa normal. Y por debajo de F64, cada persona que publica o consulta un informe necesita una licencia Power BI Pro.

Cómo migrar. Si estás en Azure Databricks, Fabric puede reflejar tu catálogo de Unity Catalog: solo se copia la estructura y los datos se leen mediante accesos directos. Las tablas, vistas materializadas y streaming tables se reflejan; las vistas y las metric views no aparecen, ni las tablas externas que no son Delta. Para lo demás, crea accesos directos de OneLake a tu ADLS Gen2 o tu S3: una carpeta Delta dentro de Tables se reconoce como tabla. Los nombres de tabla con espacios no funcionan.

Por qué pasarte a EMR. Tu código PySpark funciona tal cual, o casi, porque EMR ejecuta Apache Spark. Desaparece la capa de DBU: con EMR Serverless pagas la vCPU y la memoria que consumes, por segundo, con un mínimo de un minuto. Con EMR sobre EC2 pagas el recargo de EMR más la máquina, y las instancias Spot pueden ahorrar hasta un 90 % frente al precio bajo demanda.

Para quién. Equipos de ingeniería de datos en AWS con canalizaciones Spark pesadas y regulares, y con alguien que se ocupe de la orquestación (Airflow, Step Functions).

Para quién no. Un equipo de analistas que quiere notebooks, un catálogo y paneles listos para usar: EMR es un motor, no una plataforma.

Su límite. Todo lo que Databricks ponía alrededor de Spark te toca rehacerlo: catálogo (Glue), permisos (Lake Formation), notebooks, alertas, despliegue. En Reddit, a un ingeniero que planeaba justo ese montaje le advirtieron de la complejidad de los permisos de Lake Formation y del trabajo de orquestación que recae en el equipo. Las funciones propias de Databricks (dbutils, Delta Live Tables) no existen aquí.

Cómo migrar. Haz la lista de tus jobs y sustituye en cada notebook las llamadas a dbutils.fs por llamadas a S3 y dbutils.secrets por AWS Secrets Manager. Convierte los notebooks en scripts Python versionados. Ejecuta cada job en EMR Serverless en paralelo con Databricks y compara las salidas antes de cortar. En la región de España, la vCPU-hora cuesta 0,0605176 $ y el GB-hora de memoria 0,0066456 $.

Por qué pasarte a Starburst. Starburst Galaxy es un servicio gestionado sobre Trino, un motor SQL que consulta los ficheros donde están. Tus tablas Delta se quedan en tu S3 o tu ADLS y solo cambia lo que calcula. Es la salida con menos riesgo para tus datos.

Para quién. Equipos con datos repartidos entre un lago, bases operativas y otros almacenes, que quieren consultarlo todo en SQL sin copiarlo.

Para quién no. Un equipo que hace sobre todo machine learning en notebooks de Python: Starburst es un motor SQL.

Su límite. El precio va en créditos: Pro desde 0,50 $ el crédito, Enterprise desde 0,75 $, y un clúster con 2 workers consume 12 créditos por hora, o sea 6 $ por hora en Pro. El consumo de créditos es igual en todos los niveles; solo cambia el precio del crédito. El conector Delta Lake no lee las vistas de Databricks, pero sí lee las tablas gestionadas y externas mediante el metastore de Unity.

Cómo migrar. Conecta el conector Delta Lake a tu almacenamiento, vuelve a crear tus vistas en SQL de Trino (no vienen solas) y redirige tus paneles. La prueba de 30 días incluye 500 $ de cómputo y las funciones Enterprise; después, la cuenta pasa al nivel gratuito, con hasta 3 clústeres.

Por qué pasarte a Dremio. Dremio consulta tu lago de datos en SQL y apuesta por Apache Iceberg, el formato de tabla abierto que también leen Snowflake, Starburst o Spark. Si tu motivo para irte es no depender de un solo proveedor, es una buena salida.

Para quién. Equipos que quieren un motor SQL rápido sobre sus propios ficheros, con un precio fácil de explicar a la dirección.

Para quién no. Un equipo que lo quiere todo en una sola herramienta, canalizaciones y machine learning incluidos: Dremio cubre la consulta y la capa semántica, no el entrenamiento de modelos.

Su límite. Dremio Cloud cuesta 0,20 $ por DCU (Dremio Compute Unit), contados según el tamaño del motor y el tiempo que está encendido: un motor de 20 DCU durante 10 horas consume 200 DCU, es decir, 40 $. La versión Enterprise autoalojada va con presupuesto, y la Community Edition, gratuita, la gestionas tú.

Cómo migrar. Empieza por tus tablas más leídas: conviértelas a Iceberg o exponlas tal cual, redirige un panel y compara las cifras. La prueba da 400 $ de créditos durante 30 días, sin tarjeta, suficiente para un piloto real.

Por qué pasarte a ClickHouse. ClickHouse es una base de datos columnar pensada para agregaciones rápidas sobre grandes volúmenes de eventos. Para un panel que ven tus clientes, o para analizar logs, suele ser más rápido y más barato que un SQL warehouse encendido todo el día.

Para quién. Empresas SaaS que muestran estadísticas a sus clientes, equipos de producto que analizan eventos y equipos frenados por el coste de los paneles en Databricks.

Para quién no. Procesos pesados con muchas uniones entre tablas grandes, y el machine learning: para eso, quédate con Spark o un almacén.

Su límite. ClickHouse te obliga a pensar antes el modelo de datos (clave de ordenación, particiones); perdona menos que un almacén generalista. El precio se calcula por unidad de cómputo (8 GiB de RAM y 2 vCPU) y por hora: en Enterprise, de 0,36027 $ (GCP Países Bajos) a 0,46974 $ (AWS Fráncfort), más el almacenamiento de 22 a 26,95 $ por TB y mes. El nivel Basic limita el almacenamiento a 1 TB.

Cómo migrar. No lo muevas todo: pasa solo las tablas que alimentan los paneles rápidos, cargadas desde tu lago. Exporta una vez el histórico en Parquet y luego alimenta ClickHouse de forma continua desde tu canalización de ingesta. La prueba da 300 $ de créditos durante 30 días.

Por qué pasarte a MotherDuck. MotherDuck es DuckDB en la nube: un motor SQL muy rápido sobre un solo nodo, con espacio compartido e interfaz web. Si tus datos ocupan unos cientos de gigas, suele ser la forma más sencilla de recortar la factura.

Para quién. Startups y equipos de datos pequeños con 100 a 500 GB, necesidades sobre todo analíticas y la costumbre de probar en local con DuckDB antes de publicar.

Para quién no. Equipos con decenas de terabytes y canalizaciones Spark complejas, o grandes empresas que necesitan una gobernanza fina.

Su límite. El plan Lite es gratuito, pero se limita a 3 usuarios, 10 GB de almacenamiento y 10 horas de cómputo al mes. Business cuesta 250 $ al mes por organización más el uso: 0,60 $ por CU-hora en cómputo Pulse y 0,04 $ por GB y mes de almacenamiento. Es un producto joven al lado de Snowflake o BigQuery.

Cómo migrar. DuckDB tiene una extensión delta que lee tus tablas Delta directamente desde S3 con delta_scan(). Lee tus tablas donde están, compara resultados y luego carga en MotherDuck las más usadas. Business se prueba 7 días sin tarjeta.