Устранение неполадок, связанных с безопасностью и управлением доступом, в Фабрике данных Azure и Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этой статье рассматриваются распространенные методы устранения неполадок, связанных с безопасностью и управлением доступом, в конвейерах Фабрики данных Azure и Synapse Analytics.

Распространенные ошибки и сообщения

Проблемы с подключением в рамках действия копирования облачного хранилища данных

Симптомы

При возникновении проблем с подключением в хранилище данных источника или приемника могут возвращаться различные сообщения об ошибках.

Причина

Эта проблема, как правило, возникает в связи с одним из факторов, описанных ниже.

• Параметр прокси-сервера в узле локальной среды выполнения интеграции (IR), если используется эта локальная среда.

• Параметр брандмауэра в узле локальной среды IR, если используется эта локальная среда.

• Параметр брандмауэра в облачном хранилище данных.

Разрешение

• Чтобы убедиться в наличии проблемы с подключением, проверьте нижеуказанные моменты.

  • Ошибка возникает из соединителей источника или приемника.
  • Сбой происходит при запуске действия копирования.
  • Этот постоянный сбой для Azure IR или локальной среды IR с одним узлом, поскольку он может быть случайным сбоем в многоузловой локальной среде IR, если проблема возникает только на некоторых узлах.

• Если используется локальная среда IR, проверьте параметры прокси-сервера, брандмауэра и сети, так как подключение к одному и тому же хранилищу данных может быть продолжено, если вы используете Azure IR. Чтобы устранить неполадки в этом сценарии, просмотрите статьи, указанные ниже.

  • Порты и брандмауэры локальной среды IR
  • Соединитель Azure Data Lake Storage

• Если используется Azure IR, попробуйте отключить параметр брандмауэра хранилища данных. Этим способом можно устранить проблемы в двух ситуациях, описанных ниже.

  • IP-адреса Azure IR не содержатся в списке разрешений.
  • Отключена функция Разрешить доверенным службам Майкрософт доступ к этой учетной записи хранения для хранилища BLOB-объектов Azure и Azure Data Lake Storage Gen 2.
  • Не включен параметр Разрешить доступ к службам Azure для Azure Data Lake Storage 1-го поколения.

Если ни один из вышеперечисленных методов не работает, обратитесь в корпорацию Майкрософт за помощью.

Удаленная или отклоненная частная конечная точка по-прежнему отображает утвержденную в ADF

Симптомы

Вы создали управляемую частную конечную точку из ADF и получили утвержденную частную конечную точку. Но после удаления или отклонения частной конечной точки позже управляемая частная конечная точка в ADF по-прежнему сохраняется и отображает "Утверждено".

Причина

В настоящее время ADF останавливает извлечение состояния частной конечной точки после утверждения. Поэтому состояние, отображаемое в ADF, является устаревшим.

Разрешение

После удаления управляемой частной конечной точки в ADF после того, как существующие частные конечные точки отклоняются и удаляются из наборов данных источника и приемника.

Ошибка, связанная с недействительным или пустым ключом проверки подлинности, после отключения доступа к общедоступной сети

Симптомы

После отключения доступа службы к общедоступной сети локальная среда выполнения интеграции выдает следующие ошибки: The Authentication key is invalid or empty. или Cannot connect to the data factory. Please check whether the factory has enabled public network access or the machine is hosted in a approved private endpoint Virtual Network..

Причина

Ошибка, скорее всего, вызвана проблемой с разрешением службы доменных имен (DNS), поскольку отключение общедоступного подключения и установка частной конечной точки не допускают повторного подключения.

Чтобы проверить, разрешено ли полное доменное имя (FQDN) службы в общедоступный IP-адрес, выполните действия, описанные ниже.

1. Убедитесь, что виртуальная машина (VM) Azure создана в той же виртуальной сети, что и частная конечная точка службы.

2. Выполните команды PsPing и Ping на виртуальной машине Azure для полного доменного имени службы:

   psping.exe <dataFactoryName>.<region>.datafactory.azure.net:443 ping <dataFactoryName>.<region>.datafactory.azure.net

   Примечание.

   Необходимо указать порт для команды PsPing. Порт 443 указан, но не является обязательным.

3. Проверьте, разрешены ли обе команды на общедоступный IP-адрес Фабрики данных Azure, основанный на указанном регионе. Требуемый формат IP-адреса: xxx.xxx.xxx.0.

Разрешение

Чтобы решить эту проблему, выполните действия, описанные ниже.

• Как вариант, предлагается вручную добавить "ссылку на виртуальную сеть" в разделе "Приватный канал зоны DNS" для службы. Подробные сведения см. в статье Приватный канал Azure. Инструкция предназначена для настройки частной зоны DNS или пользовательского DNS-сервера для разрешения FQDN службы в частный IP-адрес.

• Однако если вы не хотите настраивать частную зону DNS или пользовательский DNS-сервер, попробуйте применить временное решение, описанное ниже.

  1. Измените файл host в Windows и сопоставьте частный IP-адрес (частная конечная точка службы) с полным доменным именем службы.

     На виртуальной машине Azure перейдите к C:\Windows\System32\drivers\etc, затем откройте файл узла в Блокноте. Добавьте строку, которая сопоставляет частный IP-адрес с FQDN в конце файла, и сохраните изменения.

     

  2. Повторно выполните те же команды, что и на предыдущих этапах проверки, чтобы проверить ответ, который должен содержать частный IP-адрес.

  3. Повторно зарегистрируйте локальную среду выполнения интеграции, и проблема должна быть решена.

Не удалось зарегистрировать ключ проверки подлинности IR на локальных виртуальных машинах из-за частной ссылки

Симптомы

Не удается зарегистрировать ключ проверки подлинности IR на локальной виртуальной машине, поскольку включена частная ссылка. Отображается следующее сообщение об ошибке:

"Не удалось получить маркер службы из службы ADF с ключом *************** и затратами на время: 0,1250079 в секунду, код ошибки: InvalidGatewayKey, activityId is: XXXXXXX и подробное сообщение об ошибке — IP-адрес клиента не является допустимым частным IP-адресом, что фабрика данных не может получить доступ к общедоступной сети, тем самым не сможет обратиться к облаку, чтобы сделать успешное подключение".

Причина

Эта проблема может быть вызвана виртуальной машиной, в которой вы пытаетесь установить локальную среду IR. Чтобы подключиться к облаку, убедитесь, что включен доступ к общедоступной сети.

Разрешение

Решение 1

Чтобы решить эту проблему, выполните действия, описанные ниже.

1. Перейдите на страницу Фабрики — Обновление.

2. В правом верхнем углу нажмите кнопку Попробовать.

3. Внесите необходимые сведения в разделе Параметры.

4. В разделе Текст вставьте следующее свойство:

   { "tags": { "publicNetworkAccess":"Enabled" } }
   

5. Выберите Выполнить, чтобы запустить функцию.

6. Внесите необходимые сведения в разделе Параметры.

7. В разделе Текст вставьте следующее свойство:

   { "tags": { "publicNetworkAccess":"Enabled" } }
   

8. Выберите Выполнить, чтобы запустить функцию.

9. Убедитесь, что отображается Код отклика: 200. Вставленное свойство должно также отображаться в определении JSON.

10. Еще раз добавьте ключ проверки подлинности IR в среду выполнения интеграции.

Решение 2

Чтобы устранить эту проблему, перейдите в раздел Приватный канал Azure.

Попробуйте включить доступ к общедоступной сети в пользовательском интерфейсе, как показано на следующем снимке экрана:

Фабрика данных Azure

Synapse Analytics

Частная зона DNS службы переопределяет разрешение DNS Azure Resource Manager, вызывающее ошибку "Не найдено"

Причина

Azure Resource Manager и служба используют одну и ту же частную зону, создавая потенциальный конфликт в частной DNS клиента с сценарием, в котором записи Azure Resource Manager не найдены.

Разрешение

1. Поиск частных зон DNS privatelink.azure.com на портале Azure.
2. Проверьте, есть ли adf-запись A.
3. Перейдите к разделу Ссылки виртуальной сети и удалите все записи.
4. Перейдите к своей службе на портале Azure и повторно создайте частную конечную точку для портала.
5. Вернитесь к зонам Частная зона DNS и проверьте, есть ли новая частная зона DNS privatelink.adf.azure.com.

Ошибка подключения в общедоступной конечной точке

Симптомы

При копировании данных с общим доступом к учетной записи хранилища BLOB-объектов Azure выполнение конвейера запускается случайным образом с нижеуказанной ошибкой.

Например, приемник Хранилище BLOB-объектов Azure использовал Azure IR (общедоступную, не управляемую виртуальную сеть), а источник База данных SQL Azure использовал управляемой виртуальной сети IR. Или источник или приемник используют управляемой виртуальной сети IR только с общедоступным доступом к хранилищу.

<LogProperties><Text>Invoke callback url with req: "ErrorCode=AzureBlobFailedToCreateContainer,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Unable to create Azure Blob container. Endpoint: XXXXXXX/, Container Name: test.,Source=Microsoft.DataTransfer.ClientLibrary,''Type=Microsoft.WindowsAzure.Storage.StorageException,Message=Unable to connect to the remote server,Source=Microsoft.WindowsAzure.Storage,''Type=System.Net.WebException,Message=Unable to connect to the remote server,Source=System,''Type=System.Net.Sockets.SocketException,Message=A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond public ip:443,Source=System,'","Details":null}}</Text></LogProperties>.

Причина

Служба по-прежнему может использовать управляемой виртуальной сети IR, но вы можете столкнуться с такой ошибкой, так как общедоступная конечная точка для Хранилище BLOB-объектов Azure в управляемой виртуальной сети не является надежной на основе результата тестирования, а Хранилище BLOB-объектов Azure и Azure Data Lake 2-го поколения не поддерживаются для подключения через общедоступную конечную точку из управляемой службы. виртуальная сеть в соответствии с Управляемая виртуальная сеть и управляемые частные конечные точки.

Разрешение

• Если частная конечная точка включена в источнике, а также на стороне приемника при использовании управляемой виртуальной сети IR.
• Если вы по-прежнему хотите использовать общедоступную конечную точку, вы можете переключиться на общедоступную среду IR только вместо использования управляемой виртуальной сети для источника и приемника. Даже если вы переключитесь на общедоступную среду ir, служба может по-прежнему использовать управляемой виртуальной сети IR, если управляемой виртуальной сети ir по-прежнему существует.

Внутренняя ошибка при попытке удалить фабрику данных или рабочую область Synapse с использованием ключа, управляемого клиентом (CMK), и управляемого удостоверения, назначаемого пользователем (UA-MI)

Симптомы

{\"error\":{\"code\":\"InternalError\",\"message\":\"Internal error has occurred.\"}}

Причина

Если вы выполняете какие-либо операции, связанные с CMK, необходимо сначала выполнить все операции, связанные со службой, а затем внешние операции (например, управляемые удостоверения или операции Key Vault). Например, если необходимо удалить все ресурсы, сначала нужно удалить экземпляр службы, а затем удалить хранилище ключей. Если сначала удалить хранилище ключей, эта ошибка возникает, так как служба больше не может считывать необходимые объекты, и она не сможет проверить, возможно ли удаление.

Разрешение

Существует три способа решения этой проблемы. Это следующие:

• Вы отозвали доступ службы к хранилищу ключей, в котором хранился ключ CMK. Вы можете переназначить доступ к разрешениям службы на получение, распаковку ключа и упаковку ключа. Эти разрешения необходимы для включения использования ключей, управляемых клиентом. Дополнительные сведения см. в статье "Предоставление доступа к ключам, управляемым клиентом". После предоставления разрешения вы сможете удалить службу.

• Клиент удалил хранилище ключей или ключ CMK, прежде чем удалять службу. Для ключа CMK в службе должны быть включены параметры "Обратимое удаление" и "Защита от очистки", для которых по умолчанию используется политика хранения в течение 90 дней. Вы можете восстановить удаленный ключ.
  Проверка восстановления удаленного ключа и значения удаленного ключа

• Управляемое удостоверение, назначаемое пользователем (UA-MI), было удалено до службы. Это можно восстановить с помощью вызовов REST API. Это можно сделать в выбранном клиенте HTTP на любом языке программирования. Если вы еще не настроили вызовы REST API с проверкой подлинности Azure, проще всего сделать это с помощью Fiddler. Выполните следующие действия.

  1. Отправьте вызов GET к с помощью URL-адреса метода GET, например https://management.azure.com/subscriptions/YourSubscription/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourFactoryName?api-version=2018-06-01.

  2. Вам нужно создать новое управляемое удостоверение пользователя с другим именем (то же имя может работать, но просто убедитесь, что это безопасно использовать другое имя, отличное от имени в ответе GET).

  3. Измените свойства encryption.identity и identity.userassignedidentities, чтобы они указывали на новое управляемое удостоверение. Удалите свойства clientId и principalId из объекта userAssignedIdentity.

  4. Отправьте вызов PUT к тому же URL-адресу, передав новый текст. Важно, чтобы вы передавали все, что вы получили в ответе GET, и только изменяете удостоверение. В противном случае они переопределят другие параметры.

  5. После успешного вызова вы сможете снова увидеть сущности и повторить удаление.

Совместное использование локальной среды выполнения интеграции

Совместное использование локальной среды ir из другого клиента не поддерживается

Симптомы

Вы можете увидеть другие фабрики данных (в других клиентах), когда вы пытаетесь предоставить общий доступ к локальной среде выполнения интеграции с помощью пользовательского интерфейса, но вы не можете использовать совместно ее с фабриками данных, находящимися в других арендаторах.

Причина

Локальная среда IR не может совместно использоваться в нескольких клиентах.

Связанный контент

Дополнительные сведения об устранении неполадок см. в статьях, указанных ниже.

• Приватный канал для Фабрики данных
• Блог о Фабрике данных
• Запросы на добавление функции в Фабрику данных
• Видео по Azure
• Майкрософт: вопросы и ответы
• Форум Stack Overflow по Фабрике данных
• Сведения о фабрике данных X