Отладка заданий и мониторинг хода обучения

Обучение модели машинного обучения — это итеративный процесс и требует значительных экспериментов. Благодаря интерактивному заданию Машинное обучение Azure специалисты по обработке и анализу данных могут использовать пакет SDK для Python Машинное обучение Azure, Машинное обучение Azure CLI или Azure Studio для доступа к контейнеру, где выполняется их задание. После доступа к контейнеру заданий пользователи могут выполнять итерацию по сценариям обучения, отслеживать ход обучения или удаленно выполнять отладку задания, как правило, на локальных компьютерах. Задания можно взаимодействовать с различными учебными приложениями, включая JupyterLab, TensorBoard, VS Code или подключаясь к контейнеру заданий непосредственно через SSH.

Интерактивное обучение поддерживается в Машинное обучение Azure вычислительных кластерах и кластере Kubernetes с поддержкой Azure Arc.

Необходимые компоненты

• Ознакомьтесь с учебным курсом по Машинное обучение Azure.
• Дополнительные сведения см. в этой ссылке для VS Code, чтобы настроить расширение Машинное обучение Azure.
• Убедитесь, что в вашей среде openssh-server задания установлены и ipykernel ~=6.0 пакеты (все Машинное обучение Azure курируемые учебные среды имеют эти пакеты по умолчанию).
• Интерактивные приложения не могут быть включены в распределенных обучающих запусках, где тип распространения отличается от PyTorch, TensorFlow или MPI. Настраиваемая настройка распределенного обучения (настройка обучения с несколькими узлами без использования указанных выше платформ распространения) в настоящее время не поддерживается.
• Чтобы использовать SSH, вам нужна пара ключей SSH. С помощью ssh-keygen -f "<filepath>" команды можно создать пару открытого и закрытого ключей.

Взаимодействие с контейнером заданий

Указав интерактивные приложения при создании задания, вы можете подключиться непосредственно к контейнеру на вычислительном узле, где выполняется задание. Получив доступ к контейнеру заданий, можно протестировать или отладить задание в той же среде, где она будет выполняться. Вы также можете использовать VS Code для подключения к выполняемой процедуре и отладке, как и локально.

Включение во время отправки задания

Студия машинного обучения Azure

1. Создайте задание на левой панели навигации на портале студии.

2. Выберите вычислительный кластер или подключенные вычисления (Kubernetes) в качестве типа вычислений, выберите целевой объект вычислений и укажите, сколько узлов требуется.Instance count

3. Следуйте указаниям мастера, чтобы выбрать среду, которую вы хотите запустить задание.

4. На шаге скрипта обучения добавьте код обучения (и входные и выходные данные) и сослаться на него в команде, чтобы убедиться, что он подключен к заданию.

В конце команды можно указать sleep <specific time> время резервирования вычислительного ресурса. Следующий формат:

• спящий режим 1s
• спящий 1 млн
• спящий 1 ч
• спящий режим 1d

Вы также можете использовать sleep infinity команду, которая будет поддерживать задание на неопределенный срок.

Примечание.

При использовании sleep infinityнеобходимо вручную отменить задание , чтобы отпустить вычислительный ресурс (и остановить выставление счетов).

5. В параметрах вычислений разверните параметр для приложений обучения. Выберите хотя бы одно учебное приложение, которое вы хотите использовать для взаимодействия с заданием. Если вы не выберете приложение, функция отладки не будет доступна.

6. Просмотрите и создайте задание.

Пакет SDK для Python

1. Определите интерактивные службы, которые вы хотите использовать для задания. Обязательно замените your compute name собственное значение. Если вы хотите использовать собственную настраиваемую среду, следуйте примерам, приведенным в этом руководстве , чтобы создать настраиваемую среду.

   Необходимо импортировать JobService класс из azure.ai.ml.entities пакета, чтобы настроить интерактивные службы с помощью пакета SDK.

   command_job = command(...
       code="./src",  # local path where the code is stored
       command="python main.py", # you can add a command like "sleep 1h" to reserve the compute resource is reserved after the script finishes running
       environment="AzureML-tensorflow-2.7-ubuntu20.04-py38-cuda11-gpu@latest",
       compute="<name-of-compute>",
       services={
         "My_jupyterlab": JupyterLabJobService(
           nodes="all" # For distributed jobs, use the `nodes` property to pick which node you want to enable interactive services on. If `nodes` are not selected, by default, interactive applications are only enabled on the head node. Values are "all", or compute node index (for ex. "0", "1" etc.)
         ),
         "My_vscode": VsCodeJobService(
           nodes="all"
         ),
         "My_tensorboard": TensorBoardJobService(
           nodes="all",
           log_dir="output/tblogs"  # relative path of Tensorboard logs (same as in your training script)         
         ),
         "My_ssh": SshJobService(
           ssh_public_keys="<add-public-key>",
           nodes="all"  
         ),
       }
   )
   
   # submit the command
   returned_job = ml_client.jobs.create_or_update(command_job)
   

   В services этом разделе указаны учебные приложения, с которыми вы хотите взаимодействовать.

   В конце команды можно указать sleep <specific time> время резервирования вычислительного ресурса. Следующий формат:

   • спящий режим 1s
   • спящий 1 млн
   • спящий 1 ч
   • спящий режим 1d

   Вы также можете использовать sleep infinity команду, которая будет поддерживать задание на неопределенный срок.

   Примечание.

   При использовании sleep infinityнеобходимо вручную отменить задание , чтобы отпустить вычислительный ресурс (и остановить выставление счетов).

2. Отправьте задание обучения. Дополнительные сведения об обучении с помощью пакета SDK для Python см. в этой статье.

Azure CLI

1. Создайте yaml job.yaml задания с помощью примера содержимого. Обязательно замените your compute name собственное значение. Если вы хотите использовать настраиваемую среду, следуйте примерам, приведенным в этом руководстве , чтобы создать настраиваемую среду.

   code: src 
   command: 
     python train.py 
     # you can add a command like "sleep 1h" to reserve the compute resource is reserved after the script finishes running.
   environment: azureml:AzureML-tensorflow-2.4-ubuntu18.04-py37-cuda11-gpu:41
   compute: azureml:<your compute name>
   services:
       my_vs_code:
         type: vs_code
         nodes: all # For distributed jobs, use the `nodes` property to pick which node you want to enable interactive services on. If `nodes` are not selected, by default, interactive applications are only enabled on the head node. Values are "all", or compute node index (for ex. "0", "1" etc.)
       my_tensor_board:
         type: tensor_board
         log_dir: "output/tblogs" # relative path of Tensorboard logs (same as in your training script)
         nodes: all
       my_jupyter_lab:
         type: jupyter_lab
         nodes: all
       my_ssh:
         type: ssh
         ssh_public_keys: <paste the entire pub key content>
         nodes: all
   

   В services этом разделе указаны учебные приложения, с которыми вы хотите взаимодействовать.

   Вы можете поместить sleep <specific time> в конец команды, чтобы указать время, в течение которого требуется зарезервировать вычислительный ресурс. Следующий формат:

   • спящий режим 1s
   • спящий 1 млн
   • спящий 1 ч
   • спящий режим 1d

   Вы также можете использовать sleep infinity команду, которая будет поддерживать задание на неопределенный срок.

   Примечание.

   При использовании sleep infinityнеобходимо вручную отменить задание , чтобы отпустить вычислительный ресурс (и остановить выставление счетов).

2. Выполните команду az ml job create --file <path to your job yaml file> --workspace-name <your workspace name> --resource-group <your resource group name> --subscription <sub-id> , чтобы отправить задание обучения. Дополнительные сведения о выполнении задания с помощью CLI см. в этой статье.

Подключение к конечным точкам

Студия машинного обучения Azure

Чтобы взаимодействовать с запущенным заданием, нажмите кнопку Отладка и мониторинг на странице сведений о задании.

Щелкнув приложения на панели, откроется новая вкладка для приложений. Доступ к приложениям можно получить только в том случае, если они находятся в состоянии "Выполнение ", и доступ к приложениям разрешен только владельцу задания. Если вы обучаете на нескольких узлах, можно выбрать конкретный узел, с которым вы хотите взаимодействовать.

Для запуска задания и учебных приложений, указанных во время создания задания, может потребоваться несколько минут.

Пакет SDK для Python

• После отправки задания можно использовать ml_client.jobs.show_services("<job name>", <compute node index>) для просмотра конечных точек интерактивной службы.

• Чтобы подключиться через SSH к контейнеру, где выполняется задание, выполните команду az ml job connect-ssh --name <job-name> --node-index <compute node index> --private-key-file-path <path to private key>. Чтобы настроить интерфейс командной строки Машинное обучение Azure, следуйте инструкциям в этом руководстве.

Справочную документацию по пакету SDK можно найти здесь.

Доступ к приложениям можно получить только в том случае, если они находятся в состоянии "Выполнение ", и доступ к приложениям разрешен только владельцу задания. Если вы обучаете на нескольких узлах, можно выбрать конкретный узел, с которым вы хотите взаимодействовать, передав индекс узла.

Azure CLI

• При выполнении задания выполните командуaz ml job show-services --name <job name> --node-index <compute node index>, чтобы получить URL-адрес приложений. URL-адрес конечной точки отображается services в выходных данных. Для VS Code необходимо скопировать и вставить указанный URL-адрес в браузере.

• Чтобы подключиться через SSH к контейнеру, где выполняется задание, выполните команду az ml job connect-ssh --name <job-name> --node-index <compute node index> --private-key-file-path <path to private key>.

Справочную документацию по этим командам можно найти здесь.

Доступ к приложениям можно получить только в том случае, если они находятся в состоянии "Выполнение ", и доступ к приложениям разрешен только владельцу задания. Если вы обучаете на нескольких узлах, можно выбрать конкретный узел, с которым вы хотите взаимодействовать, передав индекс узла.

Взаимодействие с приложениями

При выборе конечных точек для взаимодействия при задании вы перейдете в контейнер пользователя в рабочем каталоге, где можно получить доступ к коду, входным данным, выходным данным и журналам. При возникновении проблем при подключении к приложениям интерактивные возможности и журналы приложений можно найти на вкладке "Выходные данные и журналы" system_logs-interactive_capability>.

• Вы можете открыть терминал из Jupyter Lab и начать взаимодействие в контейнере заданий. Вы также можете напрямую итерировать сценарий обучения с помощью Jupyter Lab.

  

• Вы также можете взаимодействовать с контейнером заданий в VS Code. Чтобы подключить отладчик к заданию во время отправки задания и приостановить выполнение, перейдите здесь.

  Примечание.

  Рабочие области с поддержкой приватного канала в настоящее время не поддерживаются при взаимодействии с контейнером заданий с VS Code.

  

• Если вы зарегистрировали события tensorflow для задания, вы можете использовать TensorBoard для отслеживания метрик при выполнении задания.

  

Завершение задания

После завершения интерактивного обучения вы также можете перейти на страницу сведений о задании, чтобы отменить задание, которое выпустит вычислительный ресурс. Кроме того, используйте az ml job cancel -n <your job name> интерфейс командной строки или ml_client.job.cancel("<job name>") пакет SDK.

Присоединение отладчика к заданию

Чтобы отправить задание с присоединенным отладчиком и приостановленным выполнением, можно использовать debugpy и VS Code (debugpy необходимо установить в среде задания).

Примечание.

Рабочие области с поддержкой приватного канала в настоящее время не поддерживаются при присоединении отладчика к заданию в VS Code.

1. Во время отправки задания (через пользовательский интерфейс, ИНТЕРФЕЙС командной строки или пакет SDK) используйте команду debugpy для запуска скрипта Python. Например, на следующем снимке экрана показан пример команды, которая использует debugpy для подключения отладчика для скрипта tensorflow (tfevents.py можно заменить именем скрипта обучения).

2. После отправки задания подключитесь к VS Code и выберите встроенный отладчик.

   

3. Используйте конфигурацию отладки "Удаленное подключение", чтобы подключиться к отправленной задаче и передать путь и порт, настроенный в команде отправки задания. Эти сведения также можно найти на странице сведений о задании.

   

   

4. Задайте точки останова и просмотрите выполнение задания, как и в локальном рабочем процессе отладки.

   

Примечание.

Если вы используете debugpy для запуска задания, задание не будет выполняться, если вы не присоедините отладчик в VS Code и выполните скрипт. Если это не сделано, вычислительные ресурсы будут зарезервированы, пока задание не будет отменено.

Следующие шаги

• Узнайте больше о том, как и где можно развернуть модель.