Процессы управления данными
Существует четыре категории процессов управления данными.
| Категория процесса | Процессы |
|---|---|
| процессы обнаружения данных, чтобы понять ландшафт данных | Процесс обнаружения данных и сущностей данных, сопоставления и каталогизации Процесс исследования профилирования данных для оценки качества данных Процесс обнаружения конфиденциальных данных и классификации управления Процесс обнаружения и управления данными для анализа CRUD, например из файлов журналов, с целью понимания использования и обслуживания данных, например основных данных предприятия. |
| процессы определения управления данными | Создание и обслуживание общего бизнес-словаря в бизнес-глоссарии определяют сущности данных, включая основные данные, имена атрибутов данных, правила целостности данных и допустимые форматы Определение ссылочных данных для стандартизации наборов кода на предприятии Определение схем управления данными для маркировки данных, чтобы определить, как управлять ими Определение политик и правил управления данными для управления жизненным циклом сущностей и документов Определение метрик успешного выполнения и порогового значения |
| Политика управления данными и процессы соблюдения правил | Процесс автоматизации приложений и применения политик управления данными и правил Процесс ручного применения и обеспечения соблюдения политик и правил Процессы управления данными, на основе событий, по запросу и по таймеру, опубликованные как службы, которые можно вызывать для управления: Прием данных — каталогизация, классификация, назначение владельца и хранение Качество данных Безопасность доступа к данным Конфиденциальность данных Например, использование данных, включая общий доступ и обеспечение использования лицензированных данных только для утвержденных целей Обслуживание данных, например базовые данные Хранение данных Основные данные и синхронизация эталонных данных |
| процессы мониторинга | Мониторинг и аудит активности использования данных, качества данных, безопасности доступа к данным, конфиденциальности данных, обслуживания данных и хранения данных Мониторинг обнаружения и разрешения нарушений правил политики |
Общий бизнес-словарь должен быть определен в бизнес-глоссарии в каталоге данных.
Рабочие группы по управлению данными планируют и разрабатывают определяющие характеристики данных и улучшают конкретные домены данных (например, клиент или поставщик); предоставляют совету по управлению данными обновленную информацию о ходе выполнения; и осуществляют кураторство по всему предприятию для конкретного домена. Каждая рабочая группа должна взять на себя ответственность за определение определенной сущности данных или области субъекта данных, например нескольких связанных сущностей. Затем можно параллельно работать с несколькими сущностями данных в словаре, а также политиками и правилами. Дополнительные сведения см. в разделе роли управления данными и обязанности
рис. 1. Пример рабочей группы управления данными
Затем необходимо интегрировать бизнес-глоссарий каталога с другими технологиями, чтобы получить согласованные общие имена данных во всех технологиях. Примеры других технологий, с которыми можно интегрироваться, включают:
- Средства извлечения, преобразования, загрузки (ETL)
- Средства моделирования данных
- Средства бизнес-аналитики, системы управления базами данных
- Управление главными данными
- Средства виртуализации данных
- Средства разработки программного обеспечения
Рекомендуется создать общий бизнес-словарь для разработки модели концепции данных. Эта модель использует подход верхнего уровня для идентификации концепций данных, которые можно использовать в качестве сущностей данных в общем бизнес-словаре. Затем для каждой концепции данных (сущности) или группы связанных понятий данных (предметной области) можно назначить разные рабочие группы управления данными. Эти рабочие группы отвечают за управление различными сущностями данных в ландшафте.
При создании общего бизнес-словаря можно использовать программное обеспечение каталога данных для автоматического обнаружения данных в нескольких хранилищах данных. Это программное обеспечение помогает определить все атрибуты, связанные с определенными сущностями данных, который является подходом вниз вверх.
Несколько рабочих групп могут постепенно создавать общий бизнес-словарь, сочетая подход сверху вниз, как в модели концепции данных, с подходом снизу вверх, применяемым для автоматического обнаружения данных.
Использование каталога данных для автоматического обнаружения данных позволяет сопоставлять разнородные данные с общим словарем. Каталог данных поможет вам понять, где данные для каждой конкретной сущности данных в бизнес-глоссарии расположены в пределах предприятия.
Политики и правила для управления данными в различных точках жизненного цикла
Политики управления данными описывают набор правил для управления целостностью, качеством, безопасностью доступа, конфиденциальностью и хранением данных. Существуют различные типы политик, которые включают:
- Политики целостности данных, такие как допустимые значения, целостность ссылок.
- Политики качества данных с правилами стандартизации, очистки и сопоставления данных.
- Политики защиты данных с правилами безопасности доступа и конфиденциальности данных.
- Политики хранения данных для управления жизненным циклом с помощью правил хранения, архива и резервного копирования. Для управления одинаковыми данными в разных юридических юрисдикциях может потребоваться несколько версий политики.
Схема классификации конфиденциальности данных имеет пять уровней классификации:
- Общественный
- Только внутреннее использование
- Конфиденциальный
- Конфиденциальные персональные данные
- Ограниченный
Управление данными путем объединения этой схемы классификации с политиками и правилами. Используйте каждый из пяти уровней для метки данных, таких как конфиденциальные персональные данные. Создавая правила для конфиденциальных персональных данных и присоединяя эти правила к политике, вы создаете политику для конфиденциальных персональных данных. Вы можете присоединить политику к метке конфиденциальных персональных данных, а затем прикрепить метку конфиденциальных персональных данных к данным. Таким образом, все данные, помеченные как конфиденциальные персональные данные, применяются к тем же политикам и правилам. Этот процесс называется управлением политиками на основе тегов . Это гибко, так как отдельное правило или политика могут быть независимо изменены. Все данные, помеченные как конфиденциальные персональные данные, регулируются новыми правилами. В равной степени метка конфиденциальных персональных данных может быть удалена от данных, и вместо неё может быть использована метка конфиденциальности. В этом случае данные мгновенно управляются новым набором политик и правил, связанных с конфиденциальной меткой.
После определения политик и правил в каталоге данных для каждого класса в схеме классификации данных их можно передать другим технологиям из каталога данных через API для их применения. Вместо этого общая платформа управления данными, которая может подключаться к нескольким хранилищам данных, может потенциально применять их.
Затем необходимо отслеживать качество данных, конфиденциальность, безопасность доступа, использование, обслуживание и хранение определенных сущностей данных на протяжении всего жизненного цикла.