DataLakeHouse: Comparativa entre Iceberg, Delta Lake y Hudi 📊

---

Data Lakehouse es una arquitectura moderna en Big Data que combina lo mejor de los Data Lakes y los Data Warehouses, permitiendo que toda la información se maneje de forma gobernable, escalable y flexible (Post-Datalakehouse).

Además, esta arquitectura trabaja en base a 3 motores muy utilizados para gestionar y procesar grandes cantidades de información, estos son:

🧊 Apache Iceberg

Definición:

• Iceberg es un formato de tabla abierto diseñado para trabajar sobre data lakes.

• Fue creado por Netflix y luego donado a Apache.

• Está enfocado en grandes volúmenes de datos y consultas eficientes.

Características destacadas:

• Soporta versionado completo y time travel.

• Optimiza consultas dividiendo los metadatos en niveles (manifiestos y archivos de datos).

• Compatible con motores como Trino, Spark, Flink, Hive, Presto.

• Diseñado para escalabilidad en petabytes y para evitar cuellos de botella con metadatos grandes.

Cuándo aplicar:

• Necesitas consultas analíticas intensivas sobre grandes volúmenes de datos.

• Requieres un sistema agnóstico de motor de procesamiento (multimotor).

• Necesitas schema evolution (cambios en el esquema) y versionado eficiente.

---

🔼 Delta Lake

Definición:

• Desarrollado por Databricks, también formato de tabla sobre data lakes.

• Muy integrado con Apache Spark (es su motor preferido).

Características destacadas:

• Soporta ACID transactions en almacenamiento distribuido como S3.

• Proporciona versionado, time travel y vacuum para limpiar versiones antiguas.

• Permite operaciones como MERGE, UPDATE, DELETE, lo cual es útil para ETL.

Cuándo aplicar:

• Trabajas en entornos Spark o Databricks.

• Necesitas una solución probada para hacer upserts, deletes y mantener historial.

• Estás en el ecosistema Databricks o quieres aprovechar su alta integración con Spark.

---

🔁 Apache Hudi (Hadoop Upserts Deletes and Incrementals)

Definición:

• Enfocado en flujos de datos incrementales y cambios frecuentes.

• Fue desarrollado en Uber para resolver problemas de ingestión en tiempo real.

Características destacadas:

• Soporta dos modos:

  • Copy-on-Write (CoW): para lecturas rápidas.

  • Merge-on-Read (MoR): para escrituras rápidas.

• Muy útil para casos de uso near real-time, con soporte para ingestión incremental.

• Tiene su propio metaserver y timeline para cambios.

Cuándo aplicar:

• Necesitas actualizaciones frecuentes e ingestión incremental (CDC).

• Tienes pipelines en Flink o Spark.

• Requieres lecturas consistentes y rápidas, pero también escrituras continuas (IoT, logs, eventos).

📊 Comparación entre los 3 motores de un DataLakehouse:

Característica	Delta Lake	Apache Iceberg	Apache Hudi
Formato base	Parquet	Parquet	Parquet/ORC
ACID	✅ Sí	✅ Sí	✅ Sí
Time travel	✅ Sí	✅ Sí	✅ Sí
Integración con Spark	🔥 Muy alta	Media	Alta
Uso en Databricks	✅ Nativo	❌ No nativo	❌ No nativo
Casos comunes	Lakehouse Databricks	Snowflake-like OLAP	CDC y escritura frecuente

📌 Lo que ocurrió con Databricks

• Databricks fue pionero en formalizar el concepto de Data Lakehouse, con un fuerte enfoque en su propio stack (Delta Lake + Spark).

• Pero no es el único ni el estándar obligatorio.

• Empresas como Netflix, Uber, Apple, LinkedIn usan Iceberg o Hudi sobre sus propios data lakes en arquitecturas tipo lakehouse.