Поделиться через

Связанные службы в Фабрике данных Azure и Azure Synapse Analytics

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этой статье описывается, какие бывают связанные службы, каким образом они определяются в формате JSON, а также как они используются в конвейерах Фабрики данных Azure и Azure Synapse Analytics.

Дополнительные сведения см. в вводной статье по Фабрика данных Azure или Azure Synapse.

Обзор

Фабрика данных Azure и Azure Synapse Analytics могут иметь один или несколько конвейеров. Конвейер — это логическая группа действий, которые вместе выполняют задачу. Действия в конвейере определяют действия, выполняемые с данными. Например, вы можете использовать действие копирования, чтобы скопировать данные из SQL Server в хранилище BLOB-объектов Azure. Затем можно использовать действие Hive для запуска сценария Hive в кластере HDInsight Azure, чтобы обработать данные из хранилища BLOB-объектов для получения выходных данных. Наконец, можно использовать второе действие копирования, чтобы скопировать выходные данные в службу Azure Synapse Analytics, на основе которой созданы решения для создания отчетов бизнес-аналитики. Дополнительные сведения о конвейерах и действиях см. в статье Конвейеры и действия.

Теперь набор данных — это именованное представление данных, которое просто указывает или ссылается на данные, которые вы хотите использовать в качестве входных и выходных данных.

Перед созданием набора данных необходимо создать связанную службу, чтобы связать хранилище данных с Фабрикой данных или рабочей областью Synapse. Связанные службы во многом напоминают строки подключения, определяющие сведения о подключении, необходимые для подключения службы к внешним ресурсам. Подумайте об этом следующим образом: набор данных представляет структуру данных в связанных хранилищах данных, а связанная служба определяет подключение к источнику данных. Например, связанная служба хранилища Azure связывает учетную запись хранения со службой. Набор данных BLOB-объектов Azure представляет собой контейнер BLOB-объектов и папку в учетной записи хранения Azure, содержащую входные BLOB-объекты для обработки.

Ниже приведен пример сценария. Чтобы скопировать данные из хранилища BLOB-объектов в База данных SQL, создайте две связанные службы: служба хранилища Azure и База данных SQL Azure. Затем создайте два набора данных: набор данных больших двоичных объектов Azure (для связанной службы хранилища Azure) и набор данных таблицы SQL Azure (для связанной службы "База данных SQL Azure"). Связанные службы хранилища Azure и Базы данных SQL Azure содержат строки подключения, которые служба использует во время выполнения подключения к службе хранилища Azure и Базе данных SQL Azure соответственно. Набор данных больших двоичных объектов Azure указывает контейнер и папку больших двоичных объектов, содержащие входные большие двоичные объекты в хранилище BLOB-объектов. Набор данных таблицы SQL Azure определяет таблицу SQL в базе данных SQL, в которую будут копироваться данные.

На следующей схеме показана связь между конвейером, действием, набором данных и связанной службой в этой службе.

Связь между конвейером, действием, набором данных и связанными службами

Создание связанной службы с помощью пользовательского интерфейса

Чтобы создать связанную службу в Фабрике данных Azure, перейдите на вкладку Управление и выберите Связанные службы. Здесь можно просмотреть все существующие связанные службы. Нажмите кнопку +Создать , чтобы создать связанную службу.

Отображает вкладку

После выбора +Создать , чтобы создать связанную службу, можно выбрать любой из поддерживаемых соединителей и настроить соответствующие сведения. После этого можно будет использовать связанную службу в любом создаваемом конвейере.

Отображает новое окно связанной службы.

JSON связанной службы

Связанная служба определяется в формате JSON, как показано ниже.

{
    "name": "<Name of the linked service>",
    "properties": {
        "type": "<Type of the linked service>",
        "typeProperties": {
              "<data store or compute-specific type properties>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

В следующей таблице описаны свойства приведенного выше объекта JSON.

Свойство Описание: Обязательное поле
name Имя связанной службы. См. Правила именования. Да
type Тип связанной службы. Например, AzureBlobStorage (хранилище данных) или AzureBatch (служба вычислений). См. описание typeProperties. Да
typeProperties Свойства типов отличаются для каждого хранилища данных или вычислительного ресурса.

Сведения о поддерживаемых типах хранилищ данных и соответствующие свойства типов см. в статье с общими сведениями о соединителях. Дополнительные сведения о свойствах типов, характерных для хранилища данных, см. в статье о соединителях хранилища данных.

Поддерживаемые типы вычислительных служб и соответствующие свойства типов см. в статье Вычислительные среды, поддерживаемые фабрикой данных Azure.		 Да
connectVia Среда выполнения интеграции, используемая для подключения к хранилищу данных. Вы можете использовать среду выполнения интеграции Azure или локальную среду IR (если хранилище данных расположено в частной сети). Если не указано другое, по умолчанию используется интегрированная среда выполнения Azure. No

Образец связанной службы

Ниже показана связанная служба хранилища BLOB-объектов Azure. Обратите внимание, что параметру type присвоено значение "Хранилище BLOB-объектов Azure". Свойства типов связанной службы хранилища BLOB-объектов Azure включают строку подключения. Служба использует эту строку подключения для соединения с хранилищем данных в среде выполнения.

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Создание связанных служб

Связанные службы можно создать в службе "Фабрика данных Azure" через центр управления и с помощью любых действий, наборов или потоков данных, которые ссылаются на них.

Связанные службы можно создавать с помощью таких средств и пакетов SDK: API .NET, PowerShell, REST API, шаблон Azure Resource Manager и портал Azure.

При создании связанной службы пользователю требуется соответствующая авторизация для указанной службы. Если доступ не предоставлен, пользователь не может видеть доступные ресурсы и использовать параметр записи вручную.

Связанные службы хранилища данных

Список поддерживаемых хранилищ данных см. в статье Общие сведения о соединителях. Выберите хранилище данных, чтобы узнать поддерживаемые свойства подключения.

Связанные службы вычислений

Справочные вычислительные среды, поддерживаемые для получения сведений о разных вычислительных средах, к которые можно подключиться из службы и различных конфигураций.

Связанный контент

Пошаговые инструкции по созданию конвейеров и наборов данных с помощью одного из указанных ниже инструментов или пакетов SDK приведены в указанных ниже руководствах.