Поделиться через

Подключение к Syncsort

  • Статья

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии.

Syncsort помогает разбивать приемники данных, интегрируя устаревшие версии, мейнфреймы и данные IBM с Azure Databricks. Вы можете легко извлечь данные из этих источников в Delta Lake.

Ниже приведены инструкции по использованию Syncsort с Azure Databricks.

шаг 1: Generate токен личного доступа Databricks

Syncsort выполняет проверку подлинности для Azure Databricks с помощью личного маркера доступа Azure Databricks.

Примечание.

В качестве рекомендации по обеспечению безопасности при проверке подлинности с помощью автоматизированных средств, систем, сценариев и приложений Databricks рекомендуется использовать личные маркеры доступа, принадлежащие субъектам-службам, а не пользователям рабочей области. Сведения о создании маркеров для субъектов-служб см. в разделе "Управление маркерами" для субъекта-службы.

шаг 2. Set настройка кластера для поддержки потребностей интеграции

Syncsort будет записывать данные в путь Azure Data Lake Storage, и кластер интеграции Azure Databricks будет считывать данные из этого расположения. Поэтому кластеру интеграции требуется безопасный доступ к пути Azure Data Lake Storage.

Безопасный доступ по пути в Azure Data Lake Storage

Для защиты доступа к данным в Azure Data Lake Storage (ADLS) можно использовать ключ доступа к учетной записи хранения Azure (рекомендуется) или субъект-службу идентификатора Microsoft Entra ID.

Использование ключа доступа к учетной записи хранения Azure

Вы можете настроить ключ доступа к учетной записи хранения в кластере интеграции как часть конфигурации Spark. Убедитесь, что учетная запись хранения имеет доступ к контейнеру ADLS и файловой системе, используемой для промежуточного хранения данных, а также к контейнеру ADLS и файловой системе where, в которые вы хотите записывать данные Delta Lake tables. Чтобы настроить кластер интеграции для использования ключа, выполните действия, описанные в разделе "Подключение к Azure Data Lake Storage 2-го поколения и хранилищу BLOB-объектов".

Использование субъекта-службы Идентификатора Microsoft Entra

Вы можете настроить субъект-службу в кластере интеграции Azure Databricks в составе конфигурации Spark. Убедитесь, что учетная запись службы имеет доступ к контейнеру ADLS, используемому для промежуточных данных, и к контейнеру ADLS where, в который вы хотите записать Delta tables. Чтобы настроить кластер интеграции для использования субъекта-службы, выполните действия, описанные в статье Доступ к ADLS 2-го поколения с помощью субъекта-службы.

Указание конфигурации кластера

  1. Set режим кластерастандартный.

  2. Set переход с версии среды выполнения Databricks на другую версию среды выполнения Databricks.

  3. Включите оптимизированные операции записи и автоматическое сжатие , добавив следующие свойства в конфигурацию Spark:

    spark.databricks.delta.optimizeWrite.enabled true
spark.databricks.delta.autoCompact.enabled true

  4. Настройте кластер в соответствии с вашими потребностями в интеграции и масштабировании.

Сведения о конфигурации кластера см . в справочнике по конфигурации вычислений.

См. сведения о подключении Get для вычислительного ресурса Azure Databricks, чтобы получить шаги для получения URL-адреса JDBC и пути HTTP.

Шаг 3. Получение сведений о подключении JDBC и ODBC для подключения к кластеру

Чтобы подключить кластер Azure Databricks к Syncsort, вам потребуются следующие свойства подключения JDBC / ODBC.

  • URL-адрес JDBC
  • Путь HTTP

Шаг 4. Настройка Syncsort с помощью Azure Databricks

Перейдите на страницу входа Databricks и Connect для данных большого размера и следуйте инструкциям.

Дополнительные ресурсы

Поддержка