📊 Proyecto ELT: Automatización de pipelines con Fivetran, AWS S3 y Databricks Unity Catalog
- Brayan Neciosup
- 19 oct
- 1 Min. de lectura
En este artículo comparto el desarrollo completo de un flujo ELT (Extract, Load, Transform) moderno, integrando AWS S3, Fivetran y Databricks bajo una arquitectura de datos gobernada con Unity Catalog.
Este proyecto me permitió unir teoría y práctica, aplicando conceptos de data governance, automatización y arquitectura medallion.
🔧 Tecnologías utilizadas
AWS S3: almacenamiento de datos fuente.
AWS IAM: gestión de credenciales seguras.
Fivetran: automatización y orquestación ELT.
Databricks Unity Catalog: administración y gobernanza del Lakehouse.
🧱 Arquitectura Medallion implementada
Bronze Layer: datos crudos provenientes de AWS S3.
Silver Layer: limpieza y estandarización.
Gold Layer: datos analíticos listos para explotación.
📽️ Serie de videos del proyecto
📂 Repositorio completo
Este proyecto representa un flujo totalmente automatizado, gobernado y reproducible, aplicable a entornos empresariales modernos de Data Engineering.
Autor: Brayan Neciosup | Bachiller en Ingeniería de Sistemas | Data Engineer en formación
Comentarios