Używanie funkcji GitHub Actions z usługą Azure Machine Learning

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure w wersji 2 (current)Zestaw PYTHON SDK azure-ai-ml v2 (bieżąca)

Rozpocznij pracę z funkcją GitHub Actions w celu wytrenowania modelu w usłudze Azure Machine Learning.

W tym artykule dowiesz się, jak utworzyć przepływ pracy funkcji GitHub Actions, który kompiluje i wdraża model uczenia maszynowego w usłudze Azure Machine Learning. Wytrenujesz model regresji liniowej scikit-learn w zestawie danych NYC Taxi.

Funkcja GitHub Actions używa pliku YAML przepływu pracy (.yml) w /.github/workflows/ ścieżce w repozytorium. Ta definicja zawiera różne kroki i parametry tworzące przepływ pracy.

Wymagania wstępne

Przed wykonaniem kroków opisanych w tym artykule upewnij się, że masz następujące wymagania wstępne:

• Obszar roboczy usługi Azure Machine Learning. Jeśli go nie masz, wykonaj kroki opisane w artykule Szybki start: tworzenie zasobów obszaru roboczego, aby je utworzyć.

• Aby zainstalować zestaw PYTHON SDK w wersji 2, użyj następującego polecenia:

  pip install azure-ai-ml azure-identity
  

  Aby zaktualizować istniejącą instalację zestawu SDK do najnowszej wersji, użyj następującego polecenia:

  pip install --upgrade azure-ai-ml azure-identity
  

  Aby uzyskać więcej informacji, zobacz Instalowanie zestawu PYTHON SDK w wersji 2 dla usługi Azure Machine Learning.

• Konto usługi GitHub. Jeśli nie masz takiego konta, zarejestruj się bezpłatnie.

Krok 1. Pobieranie kodu

Rozwidlenie następującego repozytorium w usłudze GitHub:

https://github.com/azure/azureml-examples

Sklonuj rozwidlenie repozytorium lokalnie.

git clone https://github.com/YOUR-USERNAME/azureml-examples

Krok 2. Uwierzytelnianie za pomocą platformy Azure

Najpierw należy zdefiniować sposób uwierzytelniania za pomocą platformy Azure. Możesz użyć jednostki usługi lub openID Connect.

Generowanie poświadczeń wdrożenia

Jednostka usługi

Utwórz jednostkę usługi za pomocą polecenia az ad sp create-for-rbac w interfejsie wiersza polecenia platformy Azure. Uruchom to polecenie za pomocą usługi Azure Cloud Shell w witrynie Azure Portal lub wybierając przycisk Wypróbuj .

az ad sp create-for-rbac --name "myML" --role contributor \
                            --scopes /subscriptions/<subscription-id>/resourceGroups/<group-name> \
                            --json-auth

Parametr --json-auth jest dostępny w wersjach >interfejsu wiersza polecenia platformy Azure = 2.51.0. Wersje przed tym użyciem --sdk-auth z ostrzeżeniem o wycofaniu.

W powyższym przykładzie zastąp symbole zastępcze identyfikatorem subskrypcji, nazwą grupy zasobów i nazwą aplikacji. Dane wyjściowe to obiekt JSON z poświadczeniami przypisania roli, które zapewniają dostęp do aplikacji usługi App Service podobnej do poniższej. Skopiuj ten obiekt JSON do późniejszego użycia.

  {
    "clientId": "<GUID>",
    "clientSecret": "<GUID>",
    "subscriptionId": "<GUID>",
    "tenantId": "<GUID>",
    (...)
  }

OpenID Connect

OpenID Connect to metoda uwierzytelniania, która używa tokenów krótkotrwałych. Konfigurowanie programu OpenID Connect za pomocą funkcji GitHub Actions jest bardziej złożonym procesem, który oferuje zabezpieczenia ze wzmocnionymi zabezpieczeniami.

1. Jeśli nie masz istniejącej aplikacji, zarejestruj nową aplikację Microsoft Entra i jednostkę usługi, która może uzyskiwać dostęp do zasobów.

   az ad app create --display-name myApp
   

   To polecenie zwróci kod JSON z elementem , który jest twoim client-idelementem appId . Element objectId jest APPLICATION-OBJECT-ID używany do tworzenia poświadczeń federacyjnych przy użyciu wywołań interfejsu API programu Graph. Zapisz wartość do użycia jako AZURE_CLIENT_ID wpis tajny usługi GitHub później.

2. Tworzenie jednostki usługi. Zastąp element $appID identyfikatorem appId z danych wyjściowych JSON. To polecenie generuje dane wyjściowe JSON z inną objectId wartością, która będzie używana w następnym kroku. objectId Nowy element to assignee-object-id.

   To polecenie generuje dane wyjściowe JSON z inną objectId wartością i będzie używane w następnym kroku. objectId Nowy element to assignee-object-id.

   Skopiuj element appOwnerTenantId , aby użyć go jako wpisu tajnego usługi GitHub do AZURE_TENANT_ID późniejszego użycia.

    az ad sp create --id $appId
   

3. Utwórz nowe przypisanie roli według subskrypcji i obiektu. Domyślnie przypisanie roli będzie powiązane z domyślną subskrypcją. Zastąp $subscriptionId ciąg identyfikatorem subskrypcji, $resourceGroupName nazwą grupy zasobów i $assigneeObjectId wygenerowaną assignee-object-id wartością (nowo utworzony identyfikator obiektu jednostki usługi).

   az role assignment create --role contributor --subscription $subscriptionId --assignee-object-id  $assigneeObjectId --assignee-principal-type ServicePrincipal --scope /subscriptions/$subscriptionId/resourceGroups/$resourceGroupName
   

4. Uruchom następujące polecenie, aby utworzyć nowe poświadczenie tożsamości federacyjnej dla aplikacji Firmy Microsoft Entra.

   • Zastąp element APPLICATION-OBJECT-ID objectId (wygenerowany podczas tworzenia aplikacji) dla aplikacji Firmy Microsoft Entra.
   • Ustaw wartość dla elementu , CREDENTIAL-NAME aby odwoływać się później.
   • Ustaw wartość subject. Wartość tej wartości jest definiowana przez usługę GitHub w zależności od przepływu pracy:
     • Zadania w środowisku funkcji GitHub Actions: repo:< Organization/Repository >:environment:< Name >
     • W przypadku zadań, które nie są powiązane ze środowiskiem, dołącz ścieżkę ref dla gałęzi/tagu na podstawie ścieżki ref używanej do wyzwalania przepływu pracy: repo:< Organization/Repository >:ref:< ref path>. Na przykład: repo:n-username/ node_express:ref:refs/heads/my-branch lub repo:n-username/ node_express:ref:refs/tags/my-tag.
     • W przypadku przepływów pracy wyzwalanych przez zdarzenie żądania ściągnięcia: repo:< Organization/Repository >:pull_request.

   az ad app federated-credential create --id <APPLICATION-OBJECT-ID> --parameters credential.json
   ("credential.json" contains the following content)
   {
       "name": "<CREDENTIAL-NAME>",
       "issuer": "https://token.actions.githubusercontent.com",
       "subject": "repo:octo-org/octo-repo:environment:Production",
       "description": "Testing",
       "audiences": [
           "api://AzureADTokenExchange"
       ]
   }
   

Tworzenie wpisów tajnych

Jednostka usługi

1. W usłudze GitHub przejdź do repozytorium.

2. Przejdź do pozycji Ustawienia w menu nawigacji.

3. Wybierz pozycję Wpisy tajne zabezpieczeń > i zmienne > Akcje.

   

4. Wybierz pozycję Nowy wpis tajny repozytorium.

5. Wklej całe dane wyjściowe JSON z polecenia interfejsu wiersza polecenia platformy Azure do pola wartości wpisu tajnego. Nadaj wpisowi tajnym nazwę AZURE_CREDENTIALS.

6. Wybierz przycisk Add secret (Dodaj wpis tajny).

OpenID Connect

Musisz podać identyfikator klienta aplikacji, identyfikator dzierżawy i identyfikator subskrypcji do akcji logowania. Te wartości można podać bezpośrednio w przepływie pracy lub przechowywać w wpisach tajnych usługi GitHub i odwoływać się do nich w przepływie pracy. Zapisanie wartości jako wpisów tajnych usługi GitHub jest bezpieczniejszą opcją.

1. W usłudze GitHub przejdź do repozytorium.

2. Wybierz pozycję Wpisy tajne zabezpieczeń > i zmienne > Akcje.

   

3. Wybierz pozycję Nowy wpis tajny repozytorium.

4. Utwórz wpisy tajne dla , AZURE_CLIENT_IDAZURE_TENANT_IDi AZURE_SUBSCRIPTION_ID. Użyj tych wartości z aplikacji Microsoft Entra dla wpisów tajnych usługi GitHub:

   Wpis tajny usługi GitHub	Aplikacja Microsoft Entra
   AZURE_CLIENT_ID	Identyfikator aplikacji (klient)
   AZURE_TENANT_ID	Identyfikator katalogu (dzierżawcy)
   AZURE_SUBSCRIPTION_ID	Identyfikator subskrypcji

5. Zapisz każdy wpis tajny, wybierając pozycję Dodaj wpis tajny.

Krok 3. Aktualizacja setup.sh w celu nawiązania połączenia z obszarem roboczym usługi Azure Machine Learning

Musisz zaktualizować zmienne pliku konfiguracji interfejsu wiersza polecenia, aby pasować do obszaru roboczego.

1. W rozwidlonym repozytorium przejdź do strony azureml-examples/cli/.

2. Edytuj setup.sh i aktualizuj te zmienne w pliku.

   Zmienna	opis
   GRUPA	Nazwa grupy zasobów
   LOKALIZACJA	Lokalizacja obszaru roboczego (przykład: eastus2)
   OBSZAR ROBOCZY	Nazwa obszaru roboczego usługi Azure Machine Learning

Krok 4. Aktualizowanie pipeline.yml przy użyciu nazwy klastra obliczeniowego

Użyjesz pipeline.yml pliku do wdrożenia potoku usługi Azure Machine Learning. Jest to potok uczenia maszynowego, a nie potok DevOps. Musisz wprowadzić tę aktualizację tylko wtedy, gdy używasz nazwy innej niż cpu-cluster nazwa klastra komputerów.

1. W rozwidlonym repozytorium przejdź do strony azureml-examples/cli/jobs/pipelines/nyc-taxi/pipeline.yml.
2. Za każdym razem, gdy zobaczysz wartość compute: azureml:cpu-cluster, zaktualizuj wartość cpu-cluster za pomocą nazwy klastra obliczeniowego. Jeśli na przykład klaster ma nazwę my-cluster, nowa wartość to azureml:my-cluster. Istnieje pięć aktualizacji.

Krok 5. Uruchamianie przepływu pracy funkcji GitHub Actions

Przepływ pracy uwierzytelnia się za pomocą platformy Azure, konfiguruje interfejs wiersza polecenia usługi Azure Machine Learning i używa interfejsu wiersza polecenia do trenowania modelu w usłudze Azure Machine Learning.

Jednostka usługi

Plik przepływu pracy składa się z sekcji wyzwalacza i zadań:

• Wyzwalacz uruchamia przepływ pracy w on sekcji . Przepływ pracy jest uruchamiany domyślnie zgodnie z harmonogramem cron i po wysłaniu żądania ściągnięcia z pasujących gałęzi i ścieżek. Dowiedz się więcej o zdarzeniach wyzwalających przepływy pracy.
• W sekcji zadań przepływu pracy wyewidencjonujesz kod i zalogujesz się do platformy Azure przy użyciu wpisu tajnego jednostki usługi.
• Sekcja zadań zawiera również akcję konfiguracji, która instaluje i konfiguruje interfejs wiersza polecenia usługi Machine Learning (wersja 2). Po zainstalowaniu interfejsu wiersza polecenia akcja uruchamiania zadania uruchamia plik usługi Azure Machine Learning pipeline.yml w celu wytrenowania modelu przy użyciu danych taksówek NYC.

Włączanie przepływu pracy

1. W rozwidlonym repozytorium otwórz .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml i sprawdź, czy przepływ pracy wygląda następująco.

   name: cli-jobs-pipelines-nyc-taxi-pipeline
   on:
     workflow_dispatch:
     schedule:
       - cron: "0 0/4 * * *"
     pull_request:
       branches:
         - main
         - sdk-preview
       paths:
         - cli/jobs/pipelines/nyc-taxi/**
         - .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml
         - cli/run-pipeline-jobs.sh
         - cli/setup.sh
   jobs:
     build:
       runs-on: ubuntu-latest
       steps:
       - name: check out repo
         uses: actions/checkout@v2
       - name: azure login
         uses: azure/login@v1
         with:
           creds: ${{secrets.AZURE_CREDENTIALS}}
       - name: setup
         run: bash setup.sh
         working-directory: cli
         continue-on-error: true
       - name: run job
         run: bash -x ../../../run-job.sh pipeline.yml
         working-directory: cli/jobs/pipelines/nyc-taxi
   

2. Wybierz pozycję Wyświetl przebiegi.

3. Włącz przepływy pracy, wybierając pozycję Rozumiem moje przepływy pracy, przejdź do przodu i włącz je.

4. Wybierz przepływ pracy cli-jobs-pipelines-nyc-taxi-pipeline i wybierz pozycję Włącz przepływ pracy.

5. Wybierz pozycję Uruchom przepływ pracy i wybierz opcję Uruchom przepływ pracy teraz.

OpenID Connect

Plik przepływu pracy składa się z sekcji wyzwalacza i zadań:

• Wyzwalacz uruchamia przepływ pracy w on sekcji . Przepływ pracy jest uruchamiany domyślnie zgodnie z harmonogramem cron i po wysłaniu żądania ściągnięcia z pasujących gałęzi i ścieżek. Dowiedz się więcej o zdarzeniach wyzwalających przepływy pracy.
• W sekcji zadań przepływu pracy wyewidencjonujesz kod i zalogujesz się do platformy Azure przy użyciu akcji logowania platformy Azure przy użyciu narzędzia OpenID Connect.
• Sekcja zadań zawiera również akcję konfiguracji, która instaluje i konfiguruje interfejs wiersza polecenia usługi Machine Learning (wersja 2). Po zainstalowaniu interfejsu wiersza polecenia akcja uruchamiania zadania uruchamia plik usługi Azure Machine Learning pipeline.yml w celu wytrenowania modelu przy użyciu danych taksówek NYC.

Włączanie przepływu pracy

1. W rozwidlonym repozytorium otwórz .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml i sprawdź, czy przepływ pracy wygląda następująco.

   name: cli-jobs-pipelines-nyc-taxi-pipeline
   on:
     workflow_dispatch:
     schedule:
       - cron: "0 0/4 * * *"
     pull_request:
       branches:
         - main
         - sdk-preview
       paths:
         - cli/jobs/pipelines/nyc-taxi/**
         - .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml
         - cli/run-pipeline-jobs.sh
         - cli/setup.sh
   jobs:
     build:
       runs-on: ubuntu-latest
       steps:
       - name: check out repo
         uses: actions/checkout@v2
       - name: azure login
         uses: azure/login@v1
         with:
             client-id: ${{ secrets.AZURE_CLIENT_ID }}
             tenant-id: ${{ secrets.AZURE_TENANT_ID }}
             subscription-id: ${{ secrets.AZURE_SUBSCRIPTION_ID }}
       - name: setup
         run: bash setup.sh
         working-directory: cli
         continue-on-error: true
       - name: run job
         run: bash -x ../../../run-job.sh pipeline.yml
         working-directory: cli/jobs/pipelines/nyc-taxi
   

2. Wybierz pozycję Wyświetl przebiegi.

3. Włącz przepływy pracy, wybierając pozycję Rozumiem moje przepływy pracy, przejdź do przodu i włącz je.

4. Wybierz przepływ pracy cli-jobs-pipelines-nyc-taxi-pipeline i wybierz pozycję Włącz przepływ pracy.

   

5. Wybierz pozycję Uruchom przepływ pracy i wybierz opcję Uruchom przepływ pracy teraz.

   

Krok 6. Weryfikowanie przebiegu przepływu pracy

1. Otwórz ukończony przebieg przepływu pracy i sprawdź, czy zadanie kompilacji zostało pomyślnie uruchomione. Obok zadania zostanie wyświetlony zielony znacznik wyboru.

2. Otwórz program Azure Machine Learning Studio i przejdź do przykładu nyc-taxi-pipeline-example. Sprawdź, czy każda część zadania (przygotowywanie, przekształcanie, trenowanie, przewidywanie, wynik) została ukończona i czy jest widoczna zielona znacznik wyboru.

   

Czyszczenie zasobów

Gdy grupa zasobów i repozytorium nie są już potrzebne, wyczyść wdrożone zasoby, usuwając grupę zasobów i repozytorium GitHub.

Następne kroki

Tworzenie produkcyjnych potoków uczenia maszynowego przy użyciu zestawu SDK języka Python