🌐 Data Engineering Hub

Introducción Para realmente entender qué es Delta Lake y por qué cambió completamente la manera moderna de trabajar con datos… Primero necesitamos entender cómo interactúan las distintas capas de Databricks. Porque honestamente, este fue uno de los puntos donde finalmente muchas piezas empezaron a conectar para mí... La arquitectura moderna de Databricks Antes de hablar directamente de Delta Lake, veamos cómo se conectan sus capas principales: 1️⃣ Workspace⬇️2️⃣ Unity Catalog

Introducción Hay tecnologías que aprendemos porque están de moda. Y hay otras que aprendemos porque, tarde o temprano, la realidad nos obliga. Para mí, Git pertenece completamente al segundo grupo. Hoy considero que aprender Git es prácticamente obligatorio para cualquier persona que trabaje con datos o desarrollo. Da igual si eres: 👨‍💻 Software Developer ⚙️ Data Engineer 📊 Data Analyst 🤖 ML Engineer 🧠 Data Scientist En algún momento terminarás trabajando con código, scr

Introducción Habiendo revisado distintas capas de la arquitectura de Databricks, hay un concepto fundamental que muchas personas terminan entendiendo recién después de cierto tiempo utilizando la plataforma: 👉 Los clusters. Y aunque hoy Databricks Free Edition apuesta muchísimo por experiencias serverless, entender cómo funcionan los clusters sigue siendo clave para comprender la arquitectura distribuida detrás de la plataforma. Databricks no es un cloud provider Antes de ha

Introducción Después de revisar: ☁️ Infraestructura Cloud ⚡ Runtime (Apache Spark + Delta Lake) 🔐 Unity Catalog Llegamos a otra de las capas más importantes dentro de la arquitectura moderna de Databricks: 👉 El Workspace. Y honestamente… aquí fue donde entendí que Databricks no es solo procesamiento o notebooks. Es un entorno completo que centraliza muchísimas capacidades dentro de una sola plataforma. ¿Cómo interactuamos realmente con Databricks? La respuesta rápida sería:

Introducción La arquitectura de Databricks sigue trayendo muchísimos conceptos interesantes. Y, después de revisar: ☁️ Infraestructura Cloud ⚡ Runtime (Apache Spark + Delta Lake) Hoy toca hablar de otra de las capas más importantes dentro de la arquitectura moderna de Databricks: 👉 Unity Catalog. Y honestamente… este fue otro concepto que entendí mal al inicio. Durante mucho tiempo pensé que Unity Catalog era “el almacenamiento de Databricks”. Pero no. Entonces… ¿qué es real

Introducción Después de revisar Apache Spark dentro de la capa Runtime de Databricks, llegamos a otro de los componentes más importantes de toda la arquitectura Lakehouse: Delta Lake. Y honestamente, este fue uno de los conceptos que más me costó entender al inicio 😅. Sin embargo, al revisar documentación oficial y comprender cómo funciona realmente por debajo, todo empezó a tener mucho más sentido. Delta Lake no reemplaza al Data Lake Lo primero que hay que entender es algo

Introducción Después de revisar la primera capa de la arquitectura de Databricks —su infraestructura cloud y enfoque multi-cloud— llega una de las capas más importantes dentro de toda la plataforma: 👉 Databricks Runtime Y honestamente… esta fue otra de las partes que no entendí bien al inicio 😅. Usaba Databricks todos los días, pero realmente no comprendía qué significaba el “runtime” dentro de la arquitectura. ¿Qué es Databricks Runtime? En pocas palabras: 👉 Es la capa do

Introducción Después de revisar nuevamente los conceptos de Databricks y su enfoque como plataforma inteligente de datos, hubo algo que no entendí bien al inicio… incluso usándolo todos los días: Su arquitectura interna. En este post empiezo a descomponer Databricks capa por capa, comenzando por la base: la infraestructura. ¿Databricks es un cloud provider? Una de las primeras ideas que suele aparecer es: “Databricks es un proveedor de cloud...” ❌ No. Databricks no tiene infr

Introducción Hace un año, mi percepción sobre Databricks era bastante limitada: lo veía únicamente como una herramienta basada en Spark. Sin embargo, con la evolución reciente de la plataforma —incluyendo su Free Edition, nuevos features y cambios en su ecosistema— decidí replantear y actualizar los conceptos que había compartido anteriormente. Este post marca ese punto de partida. Databricks como Data Intelligence Platform Lo primero que hay que entender es que Databricks no