Przekształcanie danych przez uruchomienie notesu usługi Synapse

Artykuł
10/03/2024

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Działanie notesu usługi Azure Synapse w potoku uruchamia notes usługi Synapse w obszarze roboczym usługi Azure Synapse Analytics. Ten artykuł opiera się na artykule dotyczącym działań przekształcania danych, który zawiera ogólne omówienie transformacji danych i obsługiwanych działań przekształcania.

Działanie notesu usługi Azure Synapse Analytics można utworzyć bezpośrednio za pomocą interfejsu użytkownika usługi Azure Data Factory Studio. Aby zapoznać się z instrukcjami krok po kroku dotyczącymi tworzenia działania notesu usługi Synapse przy użyciu interfejsu użytkownika, zapoznaj się z następującymi tematami.

Dodawanie działania notesu dla usługi Synapse do potoku za pomocą interfejsu użytkownika

Aby użyć działania notesu dla usługi Synapse w potoku, wykonaj następujące kroki:

Ustawienia ogólne

Wyszukaj pozycję Notes w okienku Działania potoku i przeciągnij działanie Notes w obszarze usługi Synapse do kanwy potoku.
Wybierz nowe działanie Notes na kanwie, jeśli nie zostało jeszcze wybrane.
W obszarze Ustawienia ogólne wprowadź przykład w polu Nazwa.
(Opcja) Możesz również wprowadzić opis.
Limit czasu: maksymalny czas uruchomienia działania. Wartość domyślna to 12 godzin, a maksymalny dozwolony czas to 7 dni. Format jest w formacie D.HH:MM:SS.
Ponów próbę: maksymalna liczba ponownych prób.
Interwał ponawiania prób (s): liczba sekund między poszczególnymi próbami ponawiania próby.
Bezpieczne dane wyjściowe: po zaznaczeniu dane wyjściowe z działania nie będą przechwytywane podczas rejestrowania.
Bezpieczne dane wejściowe: po zaznaczeniu dane wejściowe z działania nie będą przechwytywane podczas rejestrowania.

Ustawienia usługi Azure Synapse Analytics (Artefakty)

Wybierz kartę Azure Synapse Analytics (Artifacts), aby wybrać lub utworzyć nową połączoną usługę Azure Synapse Analytics, która wykona działanie Notes.

Karta Ustawienia

Wybierz nowe działanie notesu usługi Synapse na kanwie, jeśli nie zostało jeszcze wybrane.
Wybierz kartę Ustawienia.
Rozwiń listę Notes. Możesz wybrać istniejący notes w połączonej usłudze Azure Synapse Analytics (Artifacts).
Kliknij przycisk Otwórz, aby otworzyć stronę połączonej usługi, na której znajduje się wybrany notes.

Uwaga

Jeśli identyfikator zasobu obszaru roboczego w połączonej usłudze jest pusty, przycisk Otwórz zostanie wyłączony.

Wybierz kartę Ustawienia i wybierz notes oraz opcjonalne parametry podstawowe, które mają być przekazywane do notesu.

(Opcjonalnie) Możesz podać informacje dotyczące notesu usługi Synapse. Jeśli następujące ustawienia są puste, do uruchomienia zostaną użyte ustawienia samego notesu usługi Synapse; Jeśli następujące ustawienia nie są puste, te ustawienia zastąpią ustawienia samego notesu usługi Synapse.

Właściwości	opis
Pula platformy Spark	Odwołanie do puli Platformy Spark. Z listy możesz wybrać pulę platformy Apache Spark.
Rozmiar funkcji wykonawczej	Liczba rdzeni i pamięci, które mają być używane dla funkcji wykonawczych przydzielonych w określonej puli platformy Apache Spark dla sesji. W przypadku zawartości dynamicznej prawidłowe wartości to Small/Medium/Large/XLarge/XXLarge.
Dynamiczne przydzielanie funkcji wykonawczych	To ustawienie mapuje na właściwość alokacji dynamicznej w konfiguracji platformy Spark dla alokacji funkcji wykonawczych aplikacji platformy Spark.
Minimalna liczba funkcji wykonawczych	Minimalna liczba funkcji wykonawczych do przydzielenia w określonej puli Spark dla zadania.
Maksymalna liczba funkcji wykonawczych	Maksymalna liczba funkcji wykonawczych do przydzielenia w określonej puli Spark dla zadania.
Rozmiar sterownika	Liczba rdzeni i pamięci, które mają być używane dla sterownika podanego w określonej puli platformy Apache Spark dla zadania.

Definicja działania notesu usługi Azure Synapse Analytics

Oto przykładowa definicja JSON działania notesu usługi Azure Synapse Analytics:

{
    "activities": [
            {
                "name": "demo",
                "description": "description",
                "type": "SynapseNotebook",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [
                    {
                        "name": "testproperties",
                        "value": "test123"
                    }
                ],
                "typeProperties": {
                    "notebook": {
                        "referenceName": {
                            "value": "Notebookname",
                            "type": "Expression"
                        },
                        "type": "NotebookReference"
                    },
                    "parameters": {
                        "test": {
                            "value": "testvalue",
                            "type": "string"
                        }
                    },
                    "snapshot": true,
                    "sparkPool": {
                        "referenceName": {
                            "value": "SampleSpark",
                            "type": "Expression"
                        },
                        "type": "BigDataPoolReference"
                    }
                },
                "linkedServiceName": {
                    "referenceName": "AzureSynapseArtifacts1",
                    "type": "LinkedServiceReference"
                }
            }
        ]
    }

Właściwości działania notesu usługi Azure Synapse Analytics

W poniższej tabeli opisano właściwości JSON używane w definicji JSON:

Właściwości	Opis	Wymagania
name	Nazwa działania w potoku.	Tak
opis	Tekst opisujący działanie.	Nie.
type	W przypadku działania notesu usługi Azure Synapse Analytics typ działania to SynapseNotebook.	Tak
notes	Nazwa notesu do uruchomienia w usłudze Azure Synapse Analytics.	Tak
sparkPool	Pula platformy Spark wymagana do uruchomienia notesu usługi Azure Synapse Analytics.	Nie.
parametr	Parametr wymagany do uruchomienia notesu usługi Azure Synapse Analytics. Aby uzyskać więcej informacji, zobacz Przekształcanie danych przez uruchomienie notesu usługi Synapse	Nie.

Wyznaczanie komórki parametrów

Usługa Azure Data Factory wyszukuje komórkę parametrów i używa wartości jako wartości domyślnych dla parametrów przekazywanych w czasie wykonywania. Aparat wykonywania doda nową komórkę pod komórką parameters z parametrami wejściowymi, aby zastąpić wartości domyślne. Możesz odwołać się do tematu Przekształć dane, uruchamiając notes usługi Synapse.

Odczytywanie wartości wyjściowej komórki notesu usługi Synapse

Możesz odczytać wartość danych wyjściowych komórki notesu w działaniu. Na potrzeby tego panelu możesz zapoznać się z tematem Przekształć dane, uruchamiając notes usługi Synapse.

Uruchamianie innego notesu usługi Synapse

Możesz odwoływać się do innych notesów w działaniu notesu usługi Synapse za pośrednictwem wywoływania narzędzi notesu %run magic lub mssparkutils. Obie obsługują zagnieżdżanie wywołań funkcji. Kluczowe różnice między tymi dwiema metodami, które należy wziąć pod uwagę na podstawie danego scenariusza, to:

%run magic kopiuje wszystkie komórki z notesu, do którego odwołuje się notes, do komórki %run i współudzieli kontekst zmiennej. Gdy notes1 odwołuje się do notesu notebook2 za pośrednictwem %run notebook2 i notebook2 wywołuje funkcję mssparkutils.notebook.exit , wykonanie komórki w notesie notebook1 zostanie zatrzymane. Zalecamy użycie polecenia %run magic, jeśli chcesz "dołączyć" plik notesu.
narzędzia notesu mssparkutils wywołuje notes, do którego odwołuje się odwołanie, jako metodę lub funkcję. Kontekst zmiennej nie jest udostępniany. Gdy notes1 odwołuje się do notesu notebook2 za pośrednictwem mssparkutils.notebook.run("notebook2") i notebook2 wywołuje funkcję mssparkutils.notebook.exit , wykonanie komórki w notesie notebook1 będzie kontynuowane. Zalecamy użycie narzędzi notesu mssparkutils, gdy chcesz "zaimportować" notes.

Zobacz Historię uruchamiania działania notesu usługi Azure Synapse Analytics

Przejdź do pozycji Uruchomienia potoku na karcie Monitor . Zostanie wyświetlony wyzwolony potok. Otwórz potok zawierający działanie notesu, aby wyświetlić historię uruchamiania.

W przypadku migawki otwartego notesu ta funkcja nie jest obecnie obsługiwana.

Dane wejściowe lub wyjściowe działania notesu można wyświetlić, wybierając przycisk dane wejściowe lub wyjściowe. Jeśli potok nie powiódł się z powodu błędu użytkownika, wybierz dane wyjściowe, aby sprawdzić pole wyniku, aby wyświetlić szczegółowe śledzenie błędów użytkownika.

Udostępnij za pośrednictwem