🚀 Fase 4.1 – Cálculos móviles en PySpark con funciones de spark.sql en Databricks 📊
- Brayan Neciosup
- 14 ago
- 1 Min. de lectura
En entornos distribuidos como Databricks, los cálculos móviles son igual de relevantes que en Pandas o Polars, pero requieren una definición explícita de la ventana sobre la que operan.
Conceptos clave
Funciones acumulativas y móviles: sum(), avg(), count() aplicadas sobre ventanas definidas con Window.
Particionamiento: Window.partitionBy() para dividir los cálculos en grupos lógicos.
Ordenamiento: Window.orderBy() para asegurar que el cálculo móvil siga el orden correcto (temporal o por índice).
Rango de ventana: .rowsBetween() para especificar cuántas filas hacia atrás y hacia adelante incluir en el cálculo.
💡 Dato importante: A diferencia de Pandas, aquí el cálculo móvil no incluye automáticamente la fila actual, a menos que lo especifiques en el rango de la ventana.
📂 El ejemplo práctico con código y resultados está en Repositorio-GitHub-ApacheSpark.
Comentarios