Выберите правильную конфигурацию среды выполнения интеграции для своего сценария.
Среда выполнения интеграции (IR) — это вычислительная инфраструктура, которую Microsoft Purview использует для проверки данных в разных сетевых средах. В этой статье представлены различные типы среды выполнения интеграции, доступные в Microsoft Purview, и приведены рекомендации по выбору правильной конфигурации среды выполнения интеграции для вашего сценария.
Типы сред выполнения интеграции
Microsoft Purview предоставляет следующие типы сред выполнения интеграции:
- Среда выполнения интеграции Azure. Среда выполнения интеграции Azure — это полностью управляемые и эластичные вычисления, которые можно использовать для сканирования источников данных Azure или других источников данных. Azure IR поддерживает подключения к хранилищам данных и службам вычислений с общедоступными конечными точками. Это среда выполнения интеграции по умолчанию, которую не нужно создавать для начала работы.
- Управляемая среда выполнения интеграции виртуальная сеть (виртуальная сеть). Вы можете создать среду выполнения интеграции управляемой виртуальной сети, которая находится в управляемом виртуальная сеть Microsoft Purview. Он может использовать частные конечные точки для безопасного подключения и сканирования поддерживаемых источников данных. Дополнительные сведения см. в разделе Управляемые виртуальная сеть и управляемые частные конечные точки.
- Локальная среда выполнения интеграции. Локальная среда выполнения интеграции может использоваться для сканирования источников данных в локальной или виртуальной сети. Его можно установить на локальном компьютере или виртуальной машине в частной сети. Дополнительные сведения см. в статье Создание локальных сред выполнения интеграции и управление ими.
- Поддерживаемая kubernetes локальная среда выполнения интеграции (предварительная версия). Эта среда выполнения интеграции размещена в кластере Kubernetes и может использоваться для сканирования источников данных в локальной или виртуальной сети. Поддержка Kubernetes повышает общую производительность и позволяет среде выполнения интеграции масштабироваться вместе с заданием. Дополнительные сведения см. в статье Создание поддерживаемых kubernetes локальных сред выполнения интеграции и управление ими
- Среда выполнения интеграции AWS. Среда выполнения интеграции AWS — это полностью управляемая и эластичная среда вычислений, размещенная Microsoft Purview в AWS. Это применимо при сканировании источников данных Amazon, таких как S3, RDS.
Выбор правильной среды выполнения интеграции
Важно выбрать подходящий тип среды выполнения интеграции. Он не только должен соответствовать существующей архитектуре и требованиям для интеграции данных, но также необходимо рассмотреть вопрос о том, как в дальнейшем удовлетворить растущие бизнес-потребности и любое будущее увеличение рабочей нагрузки.
Следующие рекомендации помогут вам принять решение.
Какие типы источников данных нужно сканировать?
Ознакомьтесь с разделом Поддерживаемые источники данных , чтобы узнать о поддерживаемых типах IR для источников данных, которые требуется сканировать.
Что такое управление доступом к сети в источнике данных?
Разные источники данных могут иметь разные параметры сетевого брандмауэра, чтобы защитить его от случайного доступа через Интернет, может быть локальным или облачным хранилищем данных или хранилищем данных SaaS. В следующей таблице перечислены некоторые распространенные параметры брандмауэра. Поддерживаемый тип IR можно выбрать в соответствии с вашим сценарием.
Брандмауэр источника данных Azure IR Среда IR управляемой виртуальной сети СБОРКИ Поддерживаемый Kubernetes SHIR Разрешить общий доступ ✓ ✓ ✓ ✓ Разрешение службы Azure или доверенной службы ✓ ✓ ✓ ✓ Разрешение доступа из определенной виртуальной сети Azure ✓ (с поддержкой управляемой частной конечной точки) ✓ ✓ Разрешить определенный IP-адрес или диапазон IP-адресов ✓ ✓ Доступ к другим локальным или частным сетям ✓ ✓ Какой параметр брандмауэра в Microsoft Purview?
Microsoft Purview предоставляет различные параметры брандмауэра сети. Дополнительные сведения см . в статье Настройка брандмауэра Microsoft Purview. Поддерживаемый тип IR можно выбрать в соответствии с вашим сценарием.
Брандмауэр Purview Azure IR Среда IR управляемой виртуальной сети СБОРКИ Поддерживаемый Kubernetes SHIR Включена из всех сетей ✓ ✓ ✓ ✓ Отключено во всех сетях ✓ (требуется управляемая частная конечная точка) ✓ (необходимо создать частную конечную точку из сети) ✓ (необходимо создать частную конечную точку из сети) Какой уровень безопасности требуется во время передачи данных?
Расположение среды выполнения интеграции определяет расположение внутренних вычислений и место выполнения операций сканирования. Чтобы рассмотреть вопрос о месте расположения данных:
- При использовании Azure IR Microsoft Purview автоматически обнаруживает расположение источника данных и использует ir в этом регионе. Если Microsoft Purview не может определить регион, он использует регион учетной записи Purview.
- При использовании среды IR управляемой виртуальной сети она выполняется в регионе, настроенном для управляемой виртуальной сети.
- При использовании SHIR вы можете полностью выбрать расположение на локальных виртуальных машинах или виртуальных машинах Azure.
Чтобы защититься от атак типа "злоумышленник в середине" во время передачи данных, можно использовать частную конечную точку и Приватный канал для обеспечения безопасности данных.
- Управляемые частные конечные точки можно создавать в хранилищах данных при использовании среды IR управляемой виртуальной сети. Частные конечные точки поддерживаются службой Microsoft Purview в управляемой виртуальной сети.
- Вы также можете создавать частные конечные точки в виртуальной сети, а SHIR может использовать их для доступа к хранилищам данных.
Какой уровень обслуживания вы можете обеспечить?
Обслуживание инфраструктуры, серверов и оборудования является одной из важных задач ИТ-отдела предприятия. Обычно это занимает много времени и усилий.
- При использовании Azure IR и управляемой среды ir виртуальной сети вам не нужно беспокоиться об обслуживании, таком как обновление, исправление и версия. Служба Microsoft Purview берет на себя все усилия по обслуживанию.
- Так как SHIR установлен на компьютерах, а поддерживаемый Kubernetes SHIR находится в кластерах Kubernetes, необходимо управлять обслуживанием.
- SHIR поддерживает автоматическое обновление, чтобы автоматически получать последнюю версию при каждом обновлении. Дополнительные сведения см. в статье Автоматическое обновление и истечение срока действия локальной среды выполнения интеграции.
- В настоящее время локальная среда выполнения интеграции, поддерживаемая Kubernetes , поддерживает только обновления вручную.
Производительность и масштабируемость
При необходимости рекомендуется использовать полностью управляемую и автомасштабируемую среду выполнения Azure IR, управляемой виртуальной сети IR или локальную среду выполнения интеграции с поддержкой Kubernetes. Благодаря эластичности они могут обеспечить лучшую производительность и масштабируемость, особенно при сканировании крупномасштабных систем данных.
Поддерживаемые источники данных
В таблице ниже показаны все источники данных, поддерживаемые проверкой Microsoft Purview, и поддерживаемые типы среды выполнения интеграции.
| Категория | Поддерживаемо хранилище данных | Azure IR/AWS IR | Среда IR управляемой виртуальной сети | СБОРКИ | Kubernetes SHIR |
|---|---|---|---|---|---|
| Azure | Несколько источников | ✓ | |||
| Хранилище BLOB-объектов Azure | ✓ | ✓ (включая управляемую частную конечную точку) | ✓ | ✓ | |
| Azure Cosmos DB (API для NoSQL) | ✓ | ✓ (включая управляемую частную конечную точку) | ✓ | ✓ | |
| Azure Data Explorer | ✓ | ✓ (только версия 2) | ✓ | ✓ | |
| Azure Data Lake Storage 1-го поколения | ✓ | ✓ (только версия 2) | ✓ | ||
| Azure Data Lake Storage 2-го поколения | ✓ | ✓ (включая управляемую частную конечную точку) | ✓ | ✓ | |
| База данных Azure для MySQL | ✓ | ✓ (включая управляемую частную конечную точку) | ✓ | ✓ | |
| База данных Azure для PostgreSQL | ✓ | ✓ (включая управляемую частную конечную точку) | ✓ | ✓ | |
| Хранилище метаданных Hive в Azure Databricks | ✓ | ✓ | |||
| Каталог Unity Azure Databricks | ✓ | ✓ (только версия 2, включая управляемую частную конечную точку) | ✓ | ||
| Выделенный пул SQL Azure (ранее — SQL DW) | ✓ | ✓ (включая управляемую частную конечную точку) | ✓ | ✓ | |
| Файлы Azure | ✓ | ✓ (включая управляемую частную конечную точку) | ✓ | ✓ | |
| База данных SQL Azure | ✓ | ✓ (включая управляемую частную конечную точку) | ✓ | ✓ | |
| Управляемый экземпляр SQL Azure | ✓ | ✓ (включая управляемую частную конечную точку) | ✓ | ✓ | |
| аналитика Azure Synapse (рабочая область) | ✓ | ✓ (включая управляемую частную конечную точку) | ✓ | ✓ | |
| База данных | Amazon RDS | ✓ | ✓ | ||
| Amazon Redshift | ✓ | ✓ | |||
| Cassandra | ✓ | ✓ (только версия 2) | ✓ | ✓ | |
| Db2 | ✓ | ✓ | |||
| Google BigQuery | ✓ | ✓ | |||
| База данных хранилища метаданных Hive | ✓ | ✓ | |||
| MongoDB | ✓ | ✓ | |||
| MySQL | ✓ | ✓ (только версия 2, включая управляемую частную конечную точку) | ✓ | ✓ | |
| Oracle | ✓ | ||||
| PostgreSQL | ✓ | ✓ (только версия 2) | ✓ | ✓ | |
| Хранилище SAP для бизнеса | ✓ | ✓ | |||
| SAP HANA | ✓ | ✓ | |||
| Снежинка | ✓ | ✓ (только версия 2) | ✓ | ||
| Сервер SQL Server. | ✓ | ✓ | |||
| SQL Server в Azure-Arc | ✓ | ✓ | |||
| Teradata | ✓ | ||||
| File | Amazon S3 | ✓ | |||
| HDFS | ✓ | ✓ | |||
| Службы и приложения | Dataverse | ✓ | ✓ (только версия 2) | ✓ | |
| Erwin | ✓ | ||||
| Looker | ✓ | ✓ (только версия 2) | ✓ | ✓ | |
| Ткань | ✓ | ✓ (только версия 2) | ✓ | ||
| Power BI | ✓ | ✓ (только версия 2) | ✓ | ✓ | |
| Qlik Sense | ✓ | ✓ (только версия 2) | ✓ | ||
| Salesforce | ✓ | ✓ (только версия 2) | ✓ | ✓ | |
| SAP ECC | ✓ | ✓ | |||
| SAP S/4HANA | ✓ | ✓ | |||
| Tableau | ✓ | ✓ (только версия 2) | ✓ |