Поделиться через

Подключение к Fivetran

  • Статья

Автоматизированная интеграция данных Fivetran адаптируется по мере изменений схем и API, обеспечивая надежный доступ к данным и упрощенный анализ с помощью готовых к запросам схем.

С помощью Hightouch вы можете интегрировать ваши хранилища Databricks SQL (прежнее название — конечные точки Databricks SQL) и кластеры Azure Databricks с помощью Fivetran. Интеграция Fivetran с Azure Databricks помогает централизовать данные из разнородных источников в Delta Lake.

Подключение к Fivetran с помощью Partner Connect

В этом разделе описывается, как подключиться к Fivetran с помощью Partner Connect. Каждый пользователь создает собственное подключение.

Примечание.

Взаимодействие с подключением для каждого пользователя находится в общедоступной предварительной версии. Вы можете отключить возможность создания подключений для каждого пользователя, связався с командой учетной записи Azure Databricks.

Перед подключением с помощью Partner Connect

Прежде чем подключиться к Fivetran с помощью Partner Connect, убедитесь, что у вас есть следующее:

  • Роль администратора рабочей области или следующие разрешения:
  • Для данных, управляемых каталогом Unity, следующие привилегии объекта хранилища метаданных для каталога, в который требуется записать fivetran:
    • USE CATALOG иCREATE SCHEMA в каталоге.
    • (Необязательно) Чтобы указать расположение назначения, СОЗДАЙТЕ ВНЕШНЮЮ ТАБЛИЦу во внешнем расположении и доступе к данным в облачном хранилище объектов.
  • Для данных, управляемых устаревшим хранилищем метаданных Hive, следующие права объекта хранилища метаданных для каталога, в который требуется записать Fivetran:
    • USAGE и CREATE в каталоге
    • (Необязательно) Чтобы указать расположение назначения, получите доступ к данным в облачном хранилище объектов.

Привилегии для объектов хранилища метаданных каталога Unity могут предоставляться администратором хранилища метаданных, владельцем объекта или владельцем каталога или схемы, содержащей объект. Дополнительные сведения см. в разделе "Привилегии каталога Unity" и защищаемые объекты.

Привилегии для устаревших объектов хранилища метаданных Hive могут предоставляться администратором рабочей области или владельцем объекта. Дополнительные сведения см. в разделе "Привилегии хранилища метаданных Hive" и защищаемые объекты (устаревшие версии).

Доступ к данным в облачном хранилище объектов должен быть настроен администратором рабочей области с достаточными разрешениями в учетной записи хранения объектов облака. Дополнительные сведения см. в разделе "Включение конфигурации доступа к данным".

Действия по подключению партнеров

Чтобы подключить рабочую область Azure Databricks к Fivetran с помощью Partner Connect, сделайте следующее:

  1. На боковой панели нажмите кнопку Partner Connect.

  2. Щелкните плитку Fivetran.

    В этом разделе описано, как создать пробную учетную запись на уровне пользователя Fivetran. Чтобы войти в существующую пробную учетную запись на уровне рабочей области Fivetran, нажмите кнопку "Использовать существующее подключение", выполните инструкции на экране, чтобы войти в Fivetran, и пропустить остальные действия, описанные в этой статье.

  3. Выберите хранилище SQL. Если хранилище SQL остановлено, нажмите кнопку "Пуск".

  4. Если рабочая область включена для каталога Unity, выберите каталог для записи Fivetran, а затем нажмите кнопку "Далее".

    Partner Connect создает личный маркер доступа Azure Databricks, связанный с пользователем.

  5. Нажмите кнопку "Подключиться к Fivetran".

    Откроется новая вкладка в веб-браузере, на котором отображается веб-сайт Fivetran.

  6. Выполните инструкции на экране на веб-сайте Fivetran, чтобы создать пробную учетную запись партнера.

Подключение к Fivetran вручную

Общие сведения о процедуре подключения вручную см. в видео на YouTube (2 минуты).

Примечание.

Чтобы ускорить процедуру подключения хранилища SQL к Fivetran, используйте Partner Connect.

Перед подключением вручную

Перед подключением к Fivetran вручную необходимо следующее:

Совет

Если на плитке Fivetran в Partner Connect в рабочей области есть значок галочки, вы можете получить сведения о подключении для подключенного хранилища SQL, щелкнув плитку, а затем разверните сведения о подключении. Личный маркер доступа здесь скрыт; необходимо создать заменяющий личный маркер доступа и указать его по запросу Fivetran.

Создание вручную

Чтобы подключиться к Fivetran вручную, выполните следующие действия:

  1. Войдите в учетную запись Fivetran или создайте новую учетную запись на странице https://fivetran.com/login.

    Внимание

    Если вы вошли в учетную запись Fivetran своей организации, может отобразиться страница Выбор назначения с одной или несколькими существующими целевыми записями с логотипом Databricks. Эти записи могут содержать сведения о подключении для вычислительных ресурсов в рабочих областях, функционирующих отдельно от вашей. Если вы по-прежнему хотите повторно использовать одно из этих подключений, и вы доверяете вычислительному ресурсу и имеете к нему доступ, выберите это назначение, а затем перейдите к следующим шагам. В противном случае выберите любое доступное назначение, чтобы пройти эту страницу.

  2. На странице панели мониторинга в Fivetran щелкните вкладку "Назначения".

  3. Нажмите кнопку Добавить назначение.

  4. Введите Имя назначения и нажмите кнопку Добавить.

  5. На странице Fivetran — современная платформа ELT щелкните Настроить соединитель.

  6. Выберите источник данных, а затем нажмите кнопку Далее.

  7. Следуйте инструкциям на экране в руководстве по установке в Fivetran, чтобы завершить настройку соединителя.

  8. Нажмите кнопку "Сохранить" и " Тест".

  9. Когда проверка будет успешно пройдена, нажмите кнопку Продолжить.

  10. На странице Выбор назначения данных щелкните Databricks в Azure.

  11. Нажмите кнопку Продолжить установку.

  12. Выполните инструкции на экране в Fivetran, чтобы ввести сведения о подключении для имеющегося вычислительного ресурса Azure Databricks, в частности значения полей Имя узла сервера и Путь HTTP, а также созданный ранее токен.

  13. Нажмите кнопку "Сохранить" и " Тест".

  14. Когда проверка будет успешно пройдена, нажмите кнопку Продолжить.

  15. Перейдите к следующим шагам.

Дополнительные ресурсы

Ознакомьтесь со следующими ресурсами на веб-сайте Fivetran: