La arquitectura del almacén de lago medallion es un patrón de diseño de datos empresariales que se usa con frecuencia. Puede usar este patrón de diseño para organizar lógicamente los datos sin procesar en su formato nativo dentro de un repositorio grande y centralizado. Enriquezca incrementalmente los datos a medida que fluyen a través de cada capa de la arquitectura. Este proceso mejora la estructura, la calidad y la información que puede obtener de los datos.
Azure Data Factory es una solución de plataforma como servicio para la escalabilidad horizontal de la transformación de datos y la integración de datos sin servidor. Data Factory realiza los procesos de extracción, transformación y carga dentro de la instancia del almacén de lago medallion necesaria en los distintos componentes para generar valor a partir del origen de datos sin procesar.
En este artículo se proporciona una serie de diseños que suelen progresar desde una implementación inicial hasta la adopción en toda la empresa y, en última instancia, hasta la expansión crítica para soluciones específicas. Esta guía ayuda a los clientes en un proceso similar de adopción de la nube.
Introducción
Si va a embarcarse en su recorrido de adopción de la nube con la arquitectura de almacén de lago medallion, comience con estos módulos de entrenamiento en la plataforma learn. Puede usar:
Data Factory para la ingesta de datos.
Azure Databricks para el procesamiento de datos a escala.
SQL Server para el modelado de datos.
Power BI para ofrecer datos y elaborar informes.
Obtenga más información sobre cómo diseñar y crear soluciones seguras, escalables y de alto rendimiento en Azure gracias a los pilares del marco de trabajo de buena arquitectura de Azure. Este recurso en línea gratuito proporciona formación interactiva que incluye pruebas de conocimientos para evaluar su aprendizaje.
Para obtener documentación del producto, consulte los siguientes recursos:
Implementación de línea base
Después de aprender a implementar Data Factory para la ingesta de datos, desarrolle la arquitectura de almacén de lago medallion para el procesamiento de datos mediante Azure Databricks y, a continuación, presente esos datos a Power BI mediante Azure SQL como almacén persistente. Puede aplicar sus aptitudes para diseñar y establecer una solución sencilla mediante un origen de datos local.
Consulte la arquitectura de línea base que implementa instancias de Data Factory para la ingesta de datos, Azure Databricks para el procesamiento de datos y Azure SQL para almacenar los datos procesados, todo dentro de una sola región con redundancia de zona.
Adopción y protección de la empresa
Para cumplir con los requisitos comunes de seguridad y gobernanza empresariales no funcionales (NFR) para cargas de trabajo de producción, debe agregar patrones de protección empresarial a la arquitectura de línea base. Por ejemplo, un NFR podría requerir que la solución use recursos federados que administran los equipos centrales. Para evitar interrupciones del servicio, es fundamental comunicar sus requisitos de forma eficaz a esos equipos.
Consulte esta arquitectura que implementa una implementación protegida por la empresa. Esta implementación amplía la topología radial según los principios de la zona de aterrizaje de Azure.
Elevación crítica
El último paso de esta ruta de acceso es expandir la infraestructura y los procesos de una infraestructura de solución individual para admitir un acuerdo de nivel de servicio crítico. Por crítico se entienden soluciones que provocan problemas críticos para la empresa o críticos para la seguridad cuando tienen un rendimiento inferior o no están disponibles.
La solución debe garantizar una alta disponibilidad, una capacidad de respuesta rápida a los problemas operativos, un rendimiento coherente y una seguridad sólida. Las arquitecturas críticas deben equilibrar los requisitos y objetivos de rendimiento y resistencia con la optimización de costes.
Colaboradores
Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.
Creadores de entidad de seguridad:
- Leo Kozhushnik | Arquitecto de soluciones en la nube
- Darren Turchiarelli | Arquitecto de soluciones en la nube
- Scott Mckinnon | Arquitecto de soluciones en la nube
- Nicholas Moore | Arquitecto de soluciones en la nube
Otros colaboradores:
- Justice Zisanhi | Arquitecto de soluciones en la nube
Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.
Pasos siguientes
- Zonas de aterrizaje de Azure
- Marco de buena arquitectura de Azure
- Guía crítica de Azure
- Arquitectura de almacén de lago medallion