Операционное превосходство для озера данных
Архитектурные принципы операционного превосходства охватывают все операционные процессы, которые обеспечивают функционирование лейкхауса. Операционное превосходство показывает, как можно эффективно работать с лейкхаусом, и объясняет, как его эксплуатировать, управлять им и отслеживать его, чтобы обеспечить бизнес-ценность.
Принципы операционного превосходства
Оптимизация процессов сборки и выпуска
Используйте рекомендации по проектированию программного обеспечения во всей среде Lakehouse. Сборка и выпуск с помощью непрерывной интеграции и конвейеров непрерывной доставки для DevOps и MLOps.
Автоматизация развертываний и рабочих нагрузок
Автоматизация развертываний и рабочих нагрузок для lakehouse помогает стандартизировать эти процессы, устранять человеческие ошибки, улучшать производительность и обеспечивать более высокую повторяемость. Это включает использование "конфигурации в виде кода" для избежания расхождения конфигурации и "инфраструктуры в виде кода" для автоматизации развертывания всех необходимых lakehouse и облачных служб.
Для машинного обучения процессы должны управлять автоматизацией: не каждый этап процесса может или должен быть автоматизирован. Люди по-прежнему определяют бизнес-вопросы, и некоторые модели всегда нуждаются в человеческом надзоре перед развертыванием. Таким образом, процесс разработки является основным, и каждый модуль в процессе должен быть автоматизирован при необходимости. Это позволяет постепенно расширять автоматизацию и настройку.
Настройка мониторинга, оповещений и логирования
Рабочие нагрузки в Lakehouse обычно интегрируют службы платформы Databricks и внешние облачные службы, например источники данных или целевые объекты. Успешное выполнение может произойти только в том случае, если каждая служба в цепочке выполнения работает правильно. Если это не так, мониторинг, оповещение и ведение журнала важны для обнаружения и отслеживания проблем и понимания системного поведения.
Управление емкостью и квотами
Для любой службы, запущенной в облаке, учитывайте ограничения, например ограничения скорости доступа, количество экземпляров, количество пользователей и требования к памяти. Прежде чем разрабатывать решение, необходимо понимать эти ограничения.
Далее: рекомендации по оптимизации работы
Ознакомьтесь с рекомендациями по обеспечению эффективности работы.