🌐 Data Engineering Hub

📖 Introducción Uno de los desafíos más interesantes al aprender procesamiento de datos en tiempo real es dar el salto desde escenarios basados en archivos hacia arquitecturas capaces de consumir y procesar eventos conforme estos son generados. Con ese objetivo desarrollé este proyecto utilizando Amazon Kinesis Data Streams como fuente de eventos y Databricks Structured Streaming como motor de procesamiento. A lo largo de la implementación se construyó un flujo completo de st

🚀 Evolución de la Arquitectura La primera versión del proyecto fue construida utilizando un enfoque basado en métricas mediante la integración de Amazon S3, AWS CloudTrail, Amazon CloudWatch y Amazon SNS. Esta implementación permitió detectar eventos relevantes sobre objetos almacenados en S3 y generar alertas automáticas cuando ocurrían operaciones como: PutObject DeleteObject Si bien la solución cumplía con el objetivo inicial de monitoreo, durante las pruebas se identific

Introducción En este proyecto desarrollé una arquitectura de auditoría y monitoreo sobre Amazon S3 utilizando servicios nativos de AWS orientados a observabilidad, trazabilidad y alertamiento automatizado. Aunque inicialmente parecía una implementación sencilla basada únicamente en registrar eventos sobre un bucket S3, conforme avanzaba la configuración y análisis de los servicios involucrados, el proyecto terminó convirtiéndose en una solución completa de monitoreo basada en

Llegamos finalmente al capítulo final de este proyecto de Infraestructura como Código (IaC) en AWS. A lo largo de cada capítulo, fuimos construyendo progresivamente conocimientos importantes relacionados con: CloudFormation, diseño de templates, organización de Stacks, dependencias entre recursos, despliegues multi-región, automatización de infraestructura. Y sinceramente, este proyecto permitió comprender muchísimo mejor cómo funciona realmente IaC más allá de simplemente es

En el mundo actual, donde los datos crecen de forma exponencial, analizar logs de manera eficiente no es solo una necesidad técnica, sino una decisión estratégica para optimizar costos y rendimiento . En este proyecto, diseñé e implementé un pipeline de datos serverless en AWS enfocado en la generación, procesamiento y análisis de logs , simulando un entorno real de auditoría y compliance. 🎯 Objetivo del proyecto El objetivo fue construir una solución capaz de: Simular la ge

En este proyecto se desarrolla la implementación completa de una arquitectura de alta disponibilidad en AWS , utilizando múltiples Availability Zones y un Application Load Balancer para garantizar continuidad del servicio ante fallos. 🎯 Objetivo del Proyecto El objetivo principal es diseñar una infraestructura capaz de: Mantener la aplicación disponible ante fallos de instancias Distribuir tráfico de manera eficiente Asegurar los recursos mediante segmentación de red Aplicar

En este proyecto desarrollo un flujo ETL (Extract, Transform, Load) completamente funcional sobre AWS , enfocado en replicar un escenario real de ingeniería de datos, desde la ingestión hasta la carga en un data warehouse. El objetivo principal es demostrar cómo integrar distintos servicios de AWS de forma correcta, segura y alineada a buenas prácticas de Data Engineering. 🧩 Arquitectura del proyecto La arquitectura se apoya en los siguientes componentes: Amazon S3: almac

En este artículo comparto el desarrollo completo de un flujo ELT (Extract, Load, Transform) moderno, integrando AWS S3, Fivetran y Databricks bajo una arquitectura de datos gobernada con Unity Catalog . Este proyecto me permitió unir teoría y práctica, aplicando conceptos de data governance, automatización y arquitectura medallion . 🔧 Tecnologías utilizadas AWS S3: almacenamiento de datos fuente. AWS IAM: gestión de credenciales seguras. Fivetran: automatización y orque

En el mundo del Data Engineering , uno de los mayores retos es garantizar trazabilidad, limpieza y valor analítico a partir de datos...

📅 Año de ejecución: 2025 La empresa ficticia COSMET S.A.C almacenaba toda su información en archivos Excel, lo cual generaba problemas...

¿Estás listo para llevar el análisis de datos a un nuevo nivel? 🔍 Con el proyecto DELTRON (Data Engineering & Logistics for Technology...

En esta entrada te comparto un dashboard interactivo desarrollado en Power BI , donde podrás analizar de forma dinámica la utilidad,...

Descubre cómo utilicé Selenium para extraer datos de películas, Pandas para limpiar y transformar la información, y Plotly para crear...

En este proyecto, combiné el poder de SQL Server para extraer datos y Python (Plotly) para transformarlos en visualizaciones...

Proyecto desarrollado en Jupyter Notebook utilizando Pandas, Seaborn y Matplotlib para analizar un dataset de jugadores de distintos...

"¿Cuáles fueron las películas y series más populares en Netflix entre 2000 y 2020? En este análisis visual interactivo, podrás explorar...

"¿Cómo se distribuyen los gastos militares a nivel mundial? ¿Cuáles son los países con mayor inversión en defensa y seguridad? Este...

"¿Sabes en qué estás gastando tu dinero cada mes? ¿Estás logrando ahorrar lo suficiente? En este análisis interactivo, visualiza tus...

"¿Cómo ha evolucionado la esperanza de vida en los últimos años? ¿Cuáles son los factores que más influyen en la mortalidad a nivel...

"¿Cuáles son los videojuegos más vendidos de todos los tiempos? ¿Cómo han evolucionado las ventas a lo largo de los años? En este...