🌐 Data Engineering Hub

Introducción Este proyecto forma parte de una serie de implementaciones que desarrollaré para profundizar en Amazon DynamoDB y explorar su integración con diferentes servicios de AWS. En esta primera implementación construí una arquitectura orientada a eventos (Event-Driven Architecture) capaz de detectar cambios realizados sobre una tabla DynamoDB mediante DynamoDB Streams. 🏗️ Arquitectura El flujo implementado es: La arquitectura permite capturar operaciones INSERT, MODIFY

Introducción Como parte de mi preparación para la certificación AWS Solutions Architect Associate, decidí retomar uno de mis primeros proyectos de infraestructura en AWS para evolucionarlo hacia una arquitectura con mayores capacidades de resiliencia y escalabilidad. El proyecto comenzó implementando una arquitectura enfocada en Alta Disponibilidad (High Availability) y posteriormente fue actualizado para incorporar Amazon EC2 Auto Scaling, permitiendo que la infraestructura

📖 Introducción Uno de los desafíos más interesantes al aprender procesamiento de datos en tiempo real es dar el salto desde escenarios basados en archivos hacia arquitecturas capaces de consumir y procesar eventos conforme estos son generados. Con ese objetivo desarrollé este proyecto utilizando Amazon Kinesis Data Streams como fuente de eventos y Databricks Structured Streaming como motor de procesamiento. A lo largo de la implementación se construyó un flujo completo de st

🚀 Evolución de la Arquitectura La primera versión del proyecto fue construida utilizando un enfoque basado en métricas mediante la integración de Amazon S3, AWS CloudTrail, Amazon CloudWatch y Amazon SNS. Esta implementación permitió detectar eventos relevantes sobre objetos almacenados en S3 y generar alertas automáticas cuando ocurrían operaciones como: PutObject DeleteObject Si bien la solución cumplía con el objetivo inicial de monitoreo, durante las pruebas se identific

Introducción En este proyecto desarrollé una arquitectura de auditoría y monitoreo sobre Amazon S3 utilizando servicios nativos de AWS orientados a observabilidad, trazabilidad y alertamiento automatizado. Aunque inicialmente parecía una implementación sencilla basada únicamente en registrar eventos sobre un bucket S3, conforme avanzaba la configuración y análisis de los servicios involucrados, el proyecto terminó convirtiéndose en una solución completa de monitoreo basada en

En el mundo actual, donde los datos crecen de forma exponencial, analizar logs de manera eficiente no es solo una necesidad técnica, sino una decisión estratégica para optimizar costos y rendimiento . En este proyecto, diseñé e implementé un pipeline de datos serverless en AWS enfocado en la generación, procesamiento y análisis de logs , simulando un entorno real de auditoría y compliance. 🎯 Objetivo del proyecto El objetivo fue construir una solución capaz de: Simular la ge

En este proyecto se desarrolla la implementación completa de una arquitectura de alta disponibilidad en AWS , utilizando múltiples Availability Zones y un Application Load Balancer para garantizar continuidad del servicio ante fallos. 🎯 Objetivo del Proyecto El objetivo principal es diseñar una infraestructura capaz de: Mantener la aplicación disponible ante fallos de instancias Distribuir tráfico de manera eficiente Asegurar los recursos mediante segmentación de red Aplicar

En este artículo comparto el desarrollo completo de un flujo ELT (Extract, Load, Transform) moderno, integrando AWS S3, Fivetran y Databricks bajo una arquitectura de datos gobernada con Unity Catalog . Este proyecto me permitió unir teoría y práctica, aplicando conceptos de data governance, automatización y arquitectura medallion . 🔧 Tecnologías utilizadas AWS S3: almacenamiento de datos fuente. AWS IAM: gestión de credenciales seguras. Fivetran: automatización y orque