Вычислительные ресурсы с поддержкой GPU

Примечание.

Некоторые типы экземпляров с поддержкой GPU находятся в бета-версии и помечены как такие в раскрывающемся списке при выборе драйверов и рабочих типов во время создания вычислений.

Обзор

Azure Databricks поддерживает ускорение вычислений с помощью единиц обработки графики (GPU). В этой статье описывается создание вычислительных ресурсов с экземплярами с поддержкой GPU и описание драйверов и библиотек GPU, установленных на этих экземплярах.

Дополнительные сведения о глубоком обучении вычислительных ресурсов с поддержкой GPU см. в статье "Глубокое обучение".

Создание вычислений GPU

Создание вычислений GPU аналогично созданию любых вычислений. Учитывайте следующее:

• Версия среды выполнения Databricks должна быть версией с поддержкой GPU, например среды выполнения 13.3 LTS ML (GPU, Scala 2.12.15, Spark 3.4.1)).
• Тип рабочего процесса и тип драйвера должны быть типами экземпляров GPU.

Поддерживаемые типы экземпляров

Azure Databricks поддерживает следующие типы экземпляров:

• Серия типов экземпляров NC — Standard_NC12, Standard_NC24.
• Серия типов экземпляров NC версии 3: Standard_NC6s_v3, Standard_NC12s_v3, Standard_NC24s_v3
• Серия типов экземпляров NC T4 версии 3 — Standard_NC4as_T4_v3, Standard_NC8as_T4_v3, Standard_NC16as_T4_v3, Standard_NC64as_T4_v3.
• Серия типов экземпляров NC A100 версии 4: Standard_NC24ads_A100_v4, Standard_NC48ads_A100_v4, Standard_NC96ads_A100_v4
• Серия типов экземпляров NCads H100 v5: Standard_NC40ads_H100_v5, Standard_NC80adis_H100_v5
• Серия типов экземпляров ND A100 версии 4: Standard_ND96asr_v4
• Серия типов экземпляров NV A10 v5: Standard_NV36ads_A10_v5, Standard_NV36adms_A10_v5, Standard_NV72ads_A10_v5

Актуальный список поддерживаемых типов экземпляров GPU и доступных регионов см. в разделе Цены на Azure Databricks. Развертывание Azure Databricks должно находиться в поддерживаемом регионе для запуска вычислений с поддержкой GPU.

Планирование GPU

Планирование GPU эффективно распределяет задачи Spark по большому количеству GPU.

Databricks Runtime поддерживает планирование с поддержкой GPU из Apache Spark 3.0. Azure Databricks предварительно настраивает его на вычислительных ресурсах GPU.

Примечание.

Планирование GPU не включено в вычислительных ресурсах с одним узлом.

Определяемое пользователем расписание GPU доступно только для Databricks Runtime 7.1 и более поздних версий. Для предыдущих версий Databricks Runtime Databricks автоматически настраивает вычислительные ресурсы GPU таким образом, чтобы на узел выполнялось не более одной задачи. Таким образом, задача может использовать все GPU на узле без конфликтов с другими задачами.

Планирование GPU для искусственного интеллекта и машинного обучения

spark.task.resource.gpu.amount — это единственная конфигурация Spark, связанная с планированием с поддержкой GPU, которую может потребоваться настроить. Конфигурация по умолчанию использует один GPU для каждой задачи, что является хорошим базовым показателем для распределенных рабочих нагрузок вывода и распределенного обучения при использовании всех узлов GPU.

Чтобы сократить затраты на обмен данными во время распределенного обучения, Databricks рекомендует задать spark.task.resource.gpu.amount количество GPU на рабочий узел в конфигурации вычислительной Spark. Это создает только одну задачу Spark для каждой рабочей роли Spark и назначает все графические процессоры в этом рабочем узле одной задаче.

Чтобы увеличить параллелизацию для вывода распределенного глубокого обучения, можно задать spark.task.resource.gpu.amount для дробных значений, таких как 1/2, 1/3, 1/4, ... 1/Н. Это создает больше задач Spark, чем есть графические процессоры, что позволяет выполнять более параллельные задачи для параллельного обработки запросов вывода. Например, если задано spark.task.resource.gpu.amount 0.5значение , 0.33или 0.25, доступные графические процессоры будут разделены между двумя, тройными или четырехкратными числами задач.

Индексы GPU

Для задач PySpark Azure Databricks автоматически переназначает назначенные GPU на индексы с нуля. Для конфигурации по умолчанию, которая использует один GPU для каждой задачи, можно использовать GPU по умолчанию, не проверяя, какой GPU назначен задаче. Если задать несколько GPU для каждой задачи, например 4, индексы назначенных GPU всегда равны 0, 1, 2 и 3. Если вам нужны физические индексы назначенных GPU, вы можете получить их из переменной среды CUDA_VISIBLE_DEVICES.

При использовании Scala можно получить индексы GPU, назначенных задаче, из TaskContext.resources().get("gpu").

Драйвер NVIDIA GPU, CUDA и cuDNN

Azure Databricks устанавливает библиотеки и драйвер NVIDIA, требуемые для использования GPU в экземплярах драйвера и рабочей роли Spark.

• CUDA Toolkit— установка в /usr/local/cuda.
• cuDNN — NVIDIA CUDA Deep Neural Network Library.
• NCCL — NVIDIA Collective Communications Library.

Версия драйвера NVIDIA включается 535.54.03, которая поддерживает CUDA 11.0. Для серии типов экземпляров NV A10 версии 5 включена 535.154.05версия драйвера NVIDIA.

Версии включенных библиотек см. в заметках о выпуск для конкретной версии Databricks Runtime, которую вы используете.

Примечание.

Это программное обеспечение содержит исходный код, предоставляемый корпорацией NVIDIA. В частности, для поддержки GPU Azure Databricks включает код из CUDA Samples.

Лицензионное соглашение с пользователем NVIDIA

При выборе версии среды выполнения Databricks с поддержкой GPU в Azure Databricks вы неявно согласны с условиями, описанными в NVIDIA EULA в отношении библиотек CUDA, cuDNN и Tesla, а также лицензионного соглашения NVIDIA (с дополнением NCCL) для библиотеки NCCL.

Службы контейнеров Databricks на вычислительных ресурсах GPU

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии.

Службы контейнеров Databricks можно использовать для вычислений с графическими процессорами для создания переносимых сред глубокого обучения с настраиваемыми библиотеками. Инструкции см. в разделе "Настройка контейнеров с помощью службы контейнеров Databricks".

Чтобы создать пользовательские образы для вычислений GPU, необходимо выбрать стандартную версию среды выполнения вместо Databricks Runtime ML для GPU. Выбрав "Использовать собственный контейнер Docker", вы можете выбрать вычислительные ресурсы GPU со стандартной версией среды выполнения. Пользовательские образы для GPU основаны на официальных контейнерах CUDA, отличных от Databricks Runtime ML для GPU.

При создании пользовательских образов для вычислений GPU нельзя изменить версию драйвера NVIDIA, так как она должна соответствовать версии драйвера на хост-компьютере.

В databricksruntime Центре Docker содержатся примеры базовых образов с возможностью GPU. Файлы Dockerfile, используемые для создания этих образов, находятся в репозитории примеров контейнеров GitHub, где также есть подробная информация о том, что предоставляют примеры образов и как их настроить.