Описание процесса Фабрики данных
Рабочие процессы на основе данных
Конвейеры (управляемые данными рабочие процессы) в фабрике Azure данных обычно выполняют следующие четыре действия.
Подключение и сбор данных
Первый этап построения системы оркестрации предусматривает определение и подключение всех необходимых источников данных, включая базы данных и файловые ресурсы веб-службы FTP. На следующем шаге осуществляется прием данных в централизованное расположение для их последующей обработки.
Преобразование и дополнение данных
Вычислительные службы, такие как Databricks и Служба машинного обучения, можно использовать для подготовки или создания преобразованных данных по обслуживаемому управляемому расписанию, что позволяет передавать очищенные и преобразованные данные в рабочие среды. В некоторых случаях вы можете даже дополнить исходные данные, чтобы упростить анализ или консолидировать их в рамках процесса нормализации, который будет использоваться, например, в эксперименте Службы машинного обучения.
Публикация
После того как необработанные данные будут преобразованы в готовую к использованию форму на этапах преобразования и обогащения, вы можете передать данные в хранилище данных Azure, базу данных SQL Azure, Azure Cosmos DB или любую аналитическую платформу, которую могут выбрать бизнес-пользователи для своих средств бизнес-аналитики.
Azure Monitor
Фабрика данных Azure обеспечивает встроенную поддержу мониторинга конвейера с помощью Azure Monitor, API, PowerShell, журналов Azure Monitor и панелей работоспособности на портал Azure, что позволяет отслеживать запланированные действия и конвейеры на предмет успешного выполнения и частоты сбоев.