Tworzenie sparametryzowanego notesu przy użyciu narzędzia Papermill
Parametryzacja w narzędziu Azure Data Studio uruchamia ten sam notes z innym zestawem parametrów.
W tym artykule pokazano, jak utworzyć i uruchomić sparametryzowany notes w narzędziu Azure Data Studio przy użyciu jądra języka Python.
Uwaga
Obecnie można używać parametryzacji z jądrami Python, PySpark, PowerShell i .NET Interactive.
Wymagania wstępne
Instalowanie i konfigurowanie biblioteki Papermill w usłudze Azure Data Studio
Wszystkie kroki opisane w tej sekcji są uruchamiane wewnątrz notesu usługi Azure Data Studio.
Utwórz nowy notes. Zmień jądro na Python 3:
Jeśli zostanie wyświetlony monit o uaktualnienie pakietów języka Python, gdy pakiety wymagają aktualizacji, wybierz pozycję Tak:
Zainstaluj bibliotekę Papermill:
import sys !{sys.executable} -m pip install papermill --no-cache-dir --upgrade
Sprawdź, czy aplikacja Papermill jest zainstalowana:
import sys !{sys.executable} -m pip list
Aby sprawdzić, czy aplikacja Papermill jest zainstalowana poprawnie, sprawdź wersję narzędzia Papermill:
import papermill papermill
Przykład parametryzacji
Możesz użyć przykładowego pliku notesu, aby wykonać kroki opisane w tym artykule:
- Przejdź do pliku notesu w usłudze GitHub. Wybierz pozycję Nieprzetworzone.
- Wybierz Ctrl+S lub kliknij prawym przyciskiem myszy, a następnie zapisz plik z rozszerzeniem ipynb.
- Otwórz plik w narzędziu Azure Data Studio.
Konfigurowanie sparametryzowanego notesu
Możesz rozpocząć od otwarcia przykładowego notesu w narzędziu Azure Data Studio lub wykonać następujące kroki, aby utworzyć notes. Następnie spróbuj użyć różnych parametrów. Wszystkie kroki są uruchamiane wewnątrz notesu usługi Azure Data Studio.
Sprawdź, czy jądro ma ustawioną wartość Python 3:
Utwórz nową komórkę kodu. Wybierz pozycję Parametry , aby oznaczyć komórkę jako komórkę parametrów.
x = 2.0 y = 5.0
Dodaj inne komórki, aby przetestować różne parametry:
addition = x + y multiply = x * y
print("Addition: " + str(addition)) print("Multiplication: " + str(multiply))
Po uruchomieniu wszystkich komórek dane wyjściowe będą wyglądać podobnie do tego przykładu:
Zapisz notes jako Input.ipynb:
Wykonywanie notesu papermill
Papiermill można wykonać na dwa sposoby:
- Interfejs wiersza polecenia
- Interfejs API języka Python
Sparametryzowane wykonywanie interfejsu wiersza polecenia
Aby wykonać notes przy użyciu interfejsu wiersza polecenia, w terminalu wprowadź papermill
polecenie z notesem wejściowym, lokalizacją notesu wyjściowego i opcjami.
Uwaga
Aby dowiedzieć się więcej, zobacz dokumentację interfejsu wiersza polecenia platformy Papermill.
Wykonaj notes wejściowy z nowymi parametrami:
papermill Input.ipynb Output.ipynb -p x 10 -p y 20
To polecenie wykonuje notes wejściowy z nowymi wartościami parametrów x i y.
Nowa komórka oznaczona
# Injected-Parameters
etykietą zawiera nowe wartości parametrów, które zostały przekazane za pośrednictwem interfejsu wiersza polecenia. Nowe# Injected-Parameters
wartości są używane dla nowych danych wyjściowych wyświetlanych w ostatniej komórce:
Sparametryzowane wykonywanie interfejsu API języka Python
Utwórz nowy notes. Zmień jądro na Python 3:
Dodaj nową komórkę kodu. Następnie użyj interfejsu API języka Python Papermill, aby wykonać i wygenerować wyjściowy notes sparametryzowany:
import papermill as pm pm.execute_notebook( '/Users/vasubhog/GitProjects/AzureDataStudio-Notebooks/Demo_Parameterization/Input.ipynb', '/Users/vasubhog/GitProjects/AzureDataStudio-Notebooks/Demo_Parameterization/Output.ipynb', parameters = dict(x = 10, y = 20) )
Nowa komórka oznaczona
# Injected-Parameters
etykietą zawiera nowe wartości parametrów, które zostały przekazane. Nowe# Injected-Parameters
wartości są używane dla nowych danych wyjściowych wyświetlanych w ostatniej komórce:
Następne kroki
Dowiedz się więcej o notesach i parametryzacji: