Начало работы с контрольным списком сетки данных
Во время вашего путешествия данных в аналитике облачного масштаба вы обнаружите разные этапы цикла адаптации. В этом разделе представлен краткий контрольный список для начала работы, который поможет вам внедрить сценарий на этапах. Ниже приведены следующие этапы.
- Этап 1: Первая посадочная зона
- Этап 2. Дополнительные домены данных
- Этап 3. Улучшение готовности к использованию
- Этап 4. Критически важные компоненты управления
Этап 1 - Первая посадочная зона
- Определение первых вариантов использования
- Развертывание вашей первой посадочной зоны управления данными
- Разверните вашу первую зону размещения данных
- Определите первый шаблон загрузки данных (например, пакетный parquet)
- Создание вашего первого продукта данных (поглощение необработанных данных и их преобразование в продукт)
- Определение "достаточного и минимального" управления
- Определение требований к метаданным (сведения о приложении, метаданные схемы)
- Регистрация первого потребителя данных (ручной процесс)
Этап 2. Дополнительные домены данных
- Уточнение целевой архитектуры
- Развертывание дополнительных зон приема данных
- Расширение с помощью второго, третьего и четвертого продуктов данных
- Реализация репозитория метаданных продукта данных (база данных или Excel)
- Реализация первого набора элементов управления (качество данных, проверка схемы)
- Реализуйте конвейер потребления (принимая входные данные как выходные)
- Установка владения данными
Этап 3. Улучшение готовности к использованию
- Реализация самостоятельной регистрации и приема метаданных
- Предложение других шаблонов преобразования (платформа преобразования, средства ETL и т. д.)
- Обогащение элементов управления на стороне поставщика (глоссарий, происхождение, компоновка)
- Реализуйте ваш процесс потребления: утверждения, метаданные сценариев использования, вручную развертывайте безопасные представления.
- Создание совета по управлению данными
Этап 4. Критически важные компоненты управления
- Применение автоматизации (автоматическая подготовка безопасного представления)
- Развернуть надежное управление данными, создать орган по разрешению споров
- Завершите создание руководства по продукту данных
- Определите ваш дополнительный стандарт совместимости
- Разработка процесса самостоятельного потребления данных
- Развивайте свои возможности создания запросов данных, самообслуживания, каталогизации, отслеживания происхождения данных и т. д.
- Разработка большего числа возможностей для рынка данных
Сводка
Эти четыре этапа разработки позволяют настроить минимальный жизнеспособный продукт на одном этапе, учиться и выполнять итерацию на двух этапах. На протяжении всего поэтапного подхода вы растёте в зрелости, чтобы создавать самостоятельную, масштабируемую и управляемую платформу.