🚀 Fase 5.1 – Uniones de Datasets a nivel de fila en PySpark Databricks ♾️
- Brayan Neciosup
- 22 ago
- 1 Min. de lectura
Cuando trabajamos con datasets distribuidos en PySpark, una de las operaciones más comunes es la unión de DataFrames. Esta acción nos permite apilar filas de múltiples conjuntos de datos en uno solo.
En PySpark, tenemos tres métodos principales:
union: une DataFrames fila por fila basándose en la posición de las columnas.
unionAll: funciona igual que union, pero conserva duplicados en el resultado final.
unionByName: une DataFrames basándose en los nombres de las columnas. Además, con el parámetro allowMissingColumns=True podemos manejar situaciones donde un dataset tiene columnas adicionales que el otro no posee.
🔎 Importante: en todos los casos, PySpark exige que las columnas tengan tipos compatibles. Ninguna de estas funciones elimina duplicados automáticamente, por lo que debemos usar .distinct() o .dropDuplicates() según la necesidad. Además, la ventaja de trabajar estas uniones en Databricks Free Edition es que podemos llevar la lógica de unión a escala, garantizando consistencia y evitando errores en la integración de datos.
Comentarios