🌐 Data Engineering Hub

Link del Repositorio: Taller-Ingeniería-Datos- PySpark-Databricks

En el mundo de la ingeniería de datos , una de las fases más importantes es la exportación de datasets/dataframes . Después de...

Cuando trabajamos con datasets distribuidos en PySpark, una de las operaciones más comunes es la unión de DataFrames . Esta acción nos...

Cuando hablamos de manipulación de datos en el mundo real, es casi imposible no encontrarnos con la necesidad de unir información...

En el mundo del Data Engineering , uno de los mayores retos es garantizar trazabilidad, limpieza y valor analítico  a partir de datos...

En entornos distribuidos como Databricks , los cálculos móviles son igual de relevantes que en Pandas o Polars, pero requieren una...

Cuando trabajamos en Databricks, no siempre necesitamos abrir el editor de SQL para aprovechar el poder de Spark SQL. En mi flujo,...

En el mundo de la ingeniería de datos, transformar datos cuantitativos de forma robusta es esencial. Esta vez abordé cómo hacerlo en...

En esta fase, enfoqué mis esfuerzos en aplicar transformaciones sobre datos cualitativos  usando Spark DataFrames en PySpark , replicando...

Esta fase tiene como objetivo replicar desde la perspectiva declarativa del SQL acciones que se han venido realizando anteriormente con...

Con la llegada de Databricks Free Edition (2025) , trabajar con archivos ya no se limita a simples rutas de almacenamiento. Todo sigue un...

📅 Año de ejecución: 2025 La empresa ficticia COSMET S.A.C  almacenaba toda su información en archivos Excel, lo cual generaba problemas...

En este apartado, comparto cuáles son los casos de uso reales y potentes de Databricks dentro del flujo de trabajo moderno de ingeniería...

Databricks es una plataforma en la nube desarrollada por los creadores de Apache Spark que permite a científicos e ingenieros de datos...

🔍 ¿Qué son los DataFrames en Apache Spark? Los DataFrames  son una abstracción de alto nivel sobre los RDDs . A diferencia de los RDDs...

🚀 ¿Qué es SparkSession y por qué es el punto de partida en PySpark? Cuando iniciamos un proyecto en PySpark (como en la edición actual...