📂 Querying Files en Databricks (Parte 2): PySpark + Volumes
- 20 jul
- 1 min de lectura
Introducción
En la primera parte de esta serie exploramos cómo consultar archivos almacenados en Volumes utilizando Spark SQL.
En esta segunda parte realizaremos el mismo proceso, pero empleando PySpark, una de las herramientas más utilizadas por los Data Engineers para desarrollar procesos de transformación de datos dentro de Databricks.
Dos formas de leer archivos
PySpark ofrece dos enfoques principales para consultar archivos almacenados en un Volume:
La primera consiste en realizar una lectura directa utilizando el método correspondiente al formato del archivo.
La segunda utiliza format().load(), un enfoque más flexible que permite indicar explícitamente el formato y configurar opciones adicionales durante la lectura.
Aunque ambas alternativas producen el mismo resultado, personalmente considero que format().load() ofrece una mayor flexibilidad y resulta más conveniente cuando los proyectos comienzan a crecer.
Uso de Wildcards
Al igual que ocurre con Spark SQL, ambas formas permiten utilizar wildcards (*) para consultar múltiples archivos dentro de un mismo Volume. Esta característica facilita el procesamiento de conjuntos de archivos sin necesidad de indicar cada ruta de forma individual.
Conclusión
Después de revisar ambas partes de esta serie, ya contamos con dos alternativas para consultar archivos almacenados en Volumes:
⚡ Spark SQL, ideal para consultas rápidas directamente desde SQL.
🐍 PySpark, una opción muy flexible para integrar la lectura de archivos dentro de procesos de transformación y pipelines de datos.
📌 En el notebook asociado encontrarás ejemplos completos de ambos métodos, el uso de wildcards y una comparación práctica entre los diferentes enfoques de lectura (Repositorio-GitHub).
Comentarios