Рекомендации по управлению lakehouse
Существует несколько рекомендаций по управлению lakehouse, в том числе о том, как защитить озеро и как обрабатывать непрерывную интеграцию и непрерывную доставку (CI/CD).
Защита озера
Защитите lakehouse, гарантируя, что только авторизованные пользователи могут получить доступ к данным. В Fabric это можно сделать, задав разрешения на уровне рабочей области или элемента .
Разрешения рабочей области управляют доступом ко всем элементам в рабочей области. Разрешения уровня элементов управляют доступом к определенным элементам в рабочей области и могут использоваться при совместной работе с коллегами, которые не в той же рабочей области, или им нужен доступ только к одному конкретному элементу.
Вы можете стратегически хранить различные слои озера в отдельных рабочих областях для повышения безопасности и эффективного управления емкостью. Этот подход не только повышает безопасность, но и оптимизирует эффективность затрат.
- Вопросы безопасности и доступа. Определите, кто нуждается в доступе на каждом уровне, обеспечивая взаимодействие только авторизованных сотрудников с конфиденциальными данными.
- Золотой слой контроль доступа: ограничить доступ к уровню Gold только для чтения, подчеркивая важность минимальных разрешений.
- Использование silver Layer. Определите, будут ли пользователи создаваться на основе уровня Silver, балансировки гибкости и безопасности.
- Бронзовый слой контроль доступа: ограничить доступ к бронзовому слое только для чтения, подчеркивая важность минимальных разрешений.
Совместное использование содержимого Fabric следует обсудить с командой безопасности вашей организации, чтобы обеспечить соответствие политик безопасности вашей организации.
Рекомендации по непрерывной интеграции и непрерывной доставке (CI/CD)
Проектирование процесса непрерывной интеграции и непрерывного развертывания (CI/CD) для архитектуры lakehouse включает в себя несколько рекомендаций, чтобы обеспечить плавный и эффективный процесс развертывания. Рекомендации включают реализацию проверок качества данных, управления версиями, автоматизированных развертываний, мониторинга и мер безопасности. Рекомендации также должны включать масштабируемость, аварийное восстановление, совместную работу, соответствие и непрерывное улучшение, чтобы обеспечить надежное и эффективное развертывание конвейеров данных. Хотя некоторые из них связаны с процессами и практиками, другие связаны с инструментами и технологиями, используемыми для реализации CI/CD. Структура изначально предоставляет несколько средств и технологий для поддержки процессов CI/CD.
Интеграция Git в Microsoft Fabric позволяет интегрировать процессы разработки, инструменты и рекомендации непосредственно на платформу Fabric. Интеграция Git Fabric позволяет командам данных создавать резервные копии и версии, возвращаться на предыдущие этапы по мере необходимости, сотрудничать с другими пользователями или работать в одиночку с помощью ветвей Git и использовать возможности знакомых средств управления версиями для управления элементами Fabric.
Примечание.
Дополнительные сведения об интеграции Git в Fabric см. в статье "Введение в интеграцию git".
CI/CD имеет решающее значение в золотом слое озера, потому что это гарантирует, что высококачественные, проверенные и надежные данные доступны для потребления. Автоматизированные процессы обеспечивают непрерывную интеграцию новых данных, преобразований данных и обновлений, сокращая ошибки вручную и обеспечивая последовательную и актуальную аналитику для подчиненных пользователей и приложений. Это повышает точность данных, ускоряет принятие решений и поддерживает инициативы, управляемые данными.