Использование хранилища метаданных Hive с кластером Apache Spark™

Примечание.

Мы отставим Azure HDInsight в AKS 31 января 2025 г. До 31 января 2025 г. необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого прекращения рабочих нагрузок. Оставшиеся кластеры в подписке будут остановлены и удалены из узла.

До даты выхода на пенсию будет доступна только базовая поддержка.

Внимание

Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.

Важно предоставить общий доступ к данным и хранилищу метаданных в нескольких службах. Один из часто используемых хранилищ метаданных в хранилище метаданных HIVE. HDInsight в AKS позволяет пользователям подключаться к внешнему хранилищу метаданных. Этот шаг позволяет пользователям HDInsight легко подключаться к другим службам в экосистеме.

Azure HDInsight в AKS поддерживает пользовательские метаданные, которые рекомендуется использовать для рабочих кластеров. Основные этапы, которые необходимо выполнить

1. Создание базы данных SQL Azure
2. Создание хранилища ключей для хранения учетных данных
3. Настройка хранилища метаданных при создании HDInsight в кластере AKS с помощью Apache Spark™
4. Работа с внешним хранилищем метаданных (показывает базы данных и делает ограничение 1).

При создании кластера служба HDInsight должна подключиться к внешнему хранилищу метаданных и проверить учетные данные.

Создание базы данных SQL Azure

1. Создайте или создайте существующий База данных SQL Azure перед настройкой настраиваемого хранилища метаданных Hive для кластера HDInsight.

   Примечание.

   В настоящее время мы поддерживаем только База данных SQL Azure для хранилища метаданных HIVE. Из-за ограничения Hive символ "-" (дефис) в имени базы данных хранилища метаданных не поддерживается.

Создание хранилища ключей для хранения учетных данных

1. Создайте хранилище Azure Key Vault.

   Целью Key Vault является сохранение набора паролей администратора SQL Server во время создания базы данных SQL. HDInsight на платформе AKS напрямую не имеет дело с учетными данными. Поэтому необходимо сохранить важные учетные данные в Azure Key Vault. Узнайте, как создать Azure Key Vault.

2. После создания Azure Key Vault назначьте следующие роли

   Object	Роль	Замечания
   Назначаемое пользователем управляемое удостоверение (то же UAMI, что и в кластере HDInsight)	Пользователь секретов хранилища ключей	Узнайте, как назначить роль UAMI
   Пользователь (который создает секрет в Azure Key Vault)	Администратор хранилища ключей	Узнайте, как назначить роль пользователю.

   Примечание.

   Без этой роли пользователь не может создать секрет.

3. Создание секрета

   Этот шаг позволяет сохранить пароль администратора SQL Server в качестве секрета в Azure Key Vault. Добавьте пароль (тот же пароль, что и в базе данных SQL для администратора) в поле "Значение" при добавлении секрета.

   

   

   Примечание.

   Обязательно запишите имя секрета, так как это потребуется во время создания кластера.

Настройка хранилища метаданных при создании кластера HDInsight Spark

1. Перейдите в HDInsight в пуле кластеров AKS, чтобы создать кластеры.

   

2. Включите переключатель, чтобы добавить внешнее хранилище метаданных hive и указать следующие сведения.

   

3. Остальные сведения должны быть заполнены согласно правилам создания кластера для кластера Apache Spark в HDInsight в AKS.

4. Щелкните Проверка и создание.

   

   Примечание.

   • Жизненный цикл хранилища метаданных не привязан к жизненному циклу кластеров, поэтому вы можете создавать и удалять кластеры без потери метаданных. Метаданные, такие как схемы Hive, сохраняются даже после удаления и повторного создания кластера HDInsight.
   • Пользовательское хранилище метаданных позволяет присоединять к этому хранилищу метаданных кластеры различных типов.

Работа с внешним хранилищем метаданных

1. Создание таблицы

   >> spark.sql("CREATE TABLE sampleTable (number Int, word String)")

   

2. Добавление данных в таблицу

   >> spark.sql("INSERT INTO sampleTable VALUES (123, \"HDIonAKS\")");\

   

3. Чтение таблицы

   >> spark.sql("select * from sampleTable").show()

   

Справочные материалы

• Apache, Apache Spark, Spark и связанные открытый код имена проектов являются товарными знаками Apache Software Foundation (ASF).