Архитектура medallion lakehouse является часто используемым шаблоном проектирования корпоративных данных. Этот шаблон конструктора можно использовать для логического упорядочивания необработанных данных в собственном формате в большом и централизованном репозитории. Добавочное обогащение данных по мере его прохождения через каждый слой архитектуры. Этот процесс улучшает структуру, качество и аналитические сведения, которые можно получить от данных.
Фабрика данных Azure — это решение azure platform-as-a-service для горизонтального масштабирования интеграции бессерверных данных и преобразования данных. Фабрика данных выполняет процессы извлечения, преобразования и загрузки в озере медальона, которые необходимы для различных компонентов для создания значения из источника необработанных данных.
В этой статье представлен ряд проектов, которые обычно выполняются с первоначальной реализации до внедрения на уровне предприятия и в конечном итоге до критически важного расширения для конкретных решений. Это руководство поддерживает клиентов в аналогичном пути внедрения облака.
Начало работы
Если вы приступили к внедрению облака с архитектурой medallion lakehouse, начните с этих учебных модулей на платформе Learn. Вы можете использовать:
Фабрика данных для приема данных.
Azure Databricks для обработки данных в большом масштабе.
SQL Server для моделирования данных.
Power BI для обслуживания данных и отчетов.
Узнайте, как разрабатывать и создавать безопасные, масштабируемые и высокопроизводительные решения в Azure с помощью основных компонентов Azure Well-Architected Framework. Этот бесплатный онлайн-ресурс предоставляет интерактивное обучение, включающее проверки знаний для оценки обучения.
Документация по продукту см. в следующих ресурсах:
Базовая реализация
После того как вы узнаете, как развернуть фабрику данных для приема данных, разработайте архитектуру medallion lakehouse для обработки данных с помощью Azure Databricks, а затем обработайте эти данные в Power BI с помощью Azure SQL в качестве сохраненного хранилища. Вы можете применить свои навыки к проектированию и созданию простого решения с помощью локального источника данных.
Ознакомьтесь с базовой архитектурой, которая развертывает экземпляры фабрики данных для приема данных, Azure Databricks для обработки данных и SQL Azure для хранения обработанных данных в пределах одного региона, избыточного между зонами.
Внедрение и защита предприятий
Чтобы обеспечить соблюдение общих требований к безопасности и управлению, не являющихся нефункциональными (NFR) для рабочих рабочих нагрузок, следует добавить в базовую архитектуру шаблонов защиты предприятия. Например, NFR может потребовать, чтобы решение использовало федеративные ресурсы, которыми управляют центральные команды. Чтобы избежать нарушений работы служб, важно эффективно взаимодействовать с вашими требованиями с этими командами.
См. эту архитектуру, которая развертывает реализацию, защищенной предприятием. Эта реализация расширяет топологию концентратора и периферийной в соответствии с принципами целевой зоны Azure.
Критически важный подъем
Последним шагом в этом пути является расширение инфраструктуры и процессов отдельной инфраструктуры решений для поддержки соглашения на уровне обслуживания, критического для миссии. Критически важные решения относятся к решениям, которые вызывают критически важные для бизнеса или критически важные проблемы безопасности, когда они не работают или недоступны.
Решение должно обеспечить высокую доступность, быструю скорость реагирования на операционные проблемы, согласованную производительность и надежную безопасность. Критически важные архитектуры должны балансировать требования к производительности и устойчивости и целевые показатели с оптимизацией затрат.
Соавторы
Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.
Основные авторы:
- Лео Косушник | Архитектор облачных решений
- Даррен Турчиарелли | Архитектор облачных решений
- Скотт Маккиннон | Архитектор облачных решений
- Николас Мур | Архитектор облачных решений
Другие участники:
- Судья Зисанхи | Архитектор облачных решений
Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.
Следующие шаги
- Целевые зоны Azure
- Хорошо спроектированная платформа
- Руководство по Критически важной задаче Azure
- Архитектура Medallion Lakehouse