Planowanie zadań U-SQL przy użyciu usług SQL Server Integration Services (SSIS)

Z tego dokumentu dowiesz się, jak organizować i tworzyć zadania U-SQL przy użyciu usługi SQL Server Integration Service (SSIS).

Ważne

Usługa Azure Data Lake Analytics wycofana 29 lutego 2024 r. Dowiedz się więcej z tego ogłoszenia.

Na potrzeby analizy danych organizacja może używać usługi Azure Synapse Analytics lub Microsoft Fabric.

Wymagania wstępne

Pakiet Azure Feature Pack for Integration Services udostępnia zadanie usługi Azure Data Lake Analytics oraz usługę Azure Data Lake Analytics Menedżer połączeń, która ułatwia nawiązywanie połączenia z usługą Azure Data Lake Analytics. Aby użyć tego zadania, upewnij się, że zainstalowano następujące elementy:

• Pobieranie i instalowanie narzędzi SQL Server Data Tools (SSDT) dla programu Visual Studio
• Instalowanie pakietu Azure Feature Pack dla usług integration Services (SSIS)

Zadanie usługi Azure Data Lake Analytics

Zadanie usługi Azure Data Lake Analytics umożliwia użytkownikom przesyłanie zadań U-SQL na konto usługi Azure Data Lake Analytics.

Dowiedz się, jak skonfigurować zadanie usługi Azure Data Lake Analytics.

Skrypt U-SQL można pobrać z różnych miejsc przy użyciu wbudowanych funkcji i zadań usługi SSIS. Poniższe scenariusze pokazują, jak można skonfigurować skrypty U-SQL dla różnych przypadków użytkowników.

Scenariusz 1 — używanie wbudowanych wywołań skryptu tvfs i przechowywanych procs

W usłudze Azure Data Lake Analytics Task Redaktor skonfiguruj wartość SourceType jako directInput i umieść instrukcje U-SQL w obszarze USQLStatement.

Aby ułatwić konserwację i zarządzanie kodem, wystarczy umieścić krótki skrypt U-SQL jako skrypty wbudowane, na przykład można wywołać istniejące funkcje tabeli i procedury składowane w bazach danych U-SQL.

Powiązany artykuł: Jak przekazać parametr do procedur składowanych

Scenariusz 2 — używanie plików U-SQL w usłudze Azure Data Lake Store

Pliki U-SQL można również używać w usłudze Azure Data Lake Store za pomocą zadania systemu plików usługi Azure Data Lake Store w pakiecie Azure Feature Pack. Takie podejście umożliwia korzystanie ze skryptów przechowywanych w chmurze.

Wykonaj poniższe kroki, aby skonfigurować połączenie między zadaniem systemu plików usługi Azure Data Lake Store a zadaniem usługi Azure Data Lake Analytics.

Ustawianie przepływu sterowania zadaniami

W widoku projektu pakietu SSIS dodaj zadanie systemu plików usługi Azure Data Lake Store, kontener pętli foreach i zadanie usługi Azure Data Lake Analytics w kontenerze pętli foreach. Zadanie systemu plików usługi Azure Data Lake Store pomaga pobrać pliki U-SQL na koncie usługi ADLS do folderu tymczasowego. Kontener pętli Foreach i zadanie usługi Azure Data Lake Analytics pomagają przesłać każdy plik U-SQL w folderze tymczasowym do konta usługi Azure Data Lake Analytics jako zadanie U-SQL.

Konfigurowanie zadania systemu plików usługi Azure Data Lake Store

1. Ustaw operację na Wartość CopyFromADLS.
2. Konfigurowanie usługi AzureDataLakeConnection, dowiedz się więcej o usłudze Azure Data Lake Store Menedżer połączeń.
3. Ustaw wartość AzureDataLakeDirectory. Wskaż folder przechowujący skrypty U-SQL. Użyj ścieżki względnej powiązanej z folderem głównym konta usługi Azure Data Lake Store.
4. Ustaw pozycję Destination (Miejsce docelowe ) na folder buforujący pobrane skrypty U-SQL. Ta ścieżka folderu będzie używana w kontenerze pętli Foreach na potrzeby przesyłania zadań U-SQL.

Dowiedz się więcej o zadaniu systemu plików usługi Azure Data Lake Store.

Konfigurowanie kontenera pętli Foreach

1. Na stronie Kolekcja ustaw dla modułu wyliczającego wartośćForeach File Enumerator.

2. Ustaw folder w obszarze Grupa konfiguracji modułu wyliczania na folder tymczasowy zawierający pobrane skrypty U-SQL.

3. Ustaw wartość w obszarze Plikiw obszarze Konfiguracja modułu wyliczającego , *.usql aby kontener pętli przechwycił tylko pliki kończące się ciągiem .usql.

   

4. Na stronie Mapowania zmiennych dodaj zmienną zdefiniowaną przez użytkownika, aby uzyskać nazwę pliku dla każdego pliku U-SQL. Ustaw wartość Indeks na wartość 0, aby uzyskać nazwę pliku. W tym przykładzie zdefiniuj zmienną o nazwie User::FileName. Ta zmienna będzie używana do dynamicznego uzyskiwania połączenia pliku skryptu U-SQL i ustawiania nazwy zadania U-SQL w zadaniu usługi Azure Data Lake Analytics.

   

Konfigurowanie zadania usługi Azure Data Lake Analytics

1. Ustaw wartość SourceType na Wartość FileConnection.

2. Ustaw wartość FileConnection na połączenie pliku wskazujące obiekty plików zwrócone z kontenera pętli Foreach.

   Aby utworzyć to połączenie pliku:

   1. Wybierz pozycję< Nowe połączenie...> w ustawieniu FileConnection.

   2. Ustaw wartość Typ użycia na Istniejący plik i ustaw dla pozycji Plik dowolną ścieżkę pliku istniejącego.

      

   3. W widoku Menedżerowie połączeń kliknij prawym przyciskiem myszy utworzone połączenie pliku, a następnie wybierz pozycję Właściwości.

   4. W oknie Właściwości rozwiń węzeł Wyrażenia i ustaw właściwość ConnectionString na zmienną zdefiniowaną w kontenerze pętli Foreach, na przykład @[User::FileName].

      

3. Ustaw pozycję AzureDataLakeAnalyticsConnection na konto usługi Azure Data Lake Analytics, do którego chcesz przesłać zadania. Dowiedz się więcej o usłudze Azure Data Lake Analytics Menedżer połączeń.

4. Ustaw inne konfiguracje zadań. Dowiedz się więcej.

5. Użyj wyrażeń , aby dynamicznie ustawić nazwę zadania U-SQL:

   1. Na stronie Wyrażenia dodaj nową parę klucz-wartość wyrażenia dla parametru JobName.

   2. Ustaw wartość parametru JobName na zmienną zdefiniowaną w kontenerze pętli Foreach, na przykład @[User::FileName].

      

Scenariusz 3 — używanie plików U-SQL w Azure Blob Storage

Pliki U-SQL można używać w Azure Blob Storage za pomocą zadania pobierania obiektów blob platformy Azure w pakiecie Azure Feature Pack. Takie podejście umożliwia korzystanie ze skryptów w chmurze.

Kroki są podobne w scenariuszu 2: Używanie plików U-SQL w usłudze Azure Data Lake Store. Zmień zadanie systemu plików usługi Azure Data Lake Store na Zadanie pobierania obiektu blob platformy Azure. Dowiedz się więcej o zadaniu pobierania obiektów blob platformy Azure.

Przepływ sterowania wygląda następująco:

Scenariusz 4 — używanie plików U-SQL na komputerze lokalnym

Oprócz korzystania z plików U-SQL przechowywanych w chmurze można również używać plików na komputerze lokalnym lub plikach wdrożonych z pakietami usług SSIS.

1. Kliknij prawym przyciskiem myszy pozycję Menedżerowie połączeń w projekcie SSIS i wybierz pozycję Nowy Menedżer połączeń.

2. Wybierz pozycję Typ pliku i wybierz pozycję Dodaj....

3. Ustaw opcję Typ użycia na Istniejący plik i ustaw wartość Plik na plik na komputerze lokalnym.

   

4. Dodaj zadanie usługi Azure Data Lake Analytics i:

   1. Ustaw wartość SourceType na Wartość FileConnection.
   2. Ustaw wartość FileConnection na utworzone połączenie z plikiem.

5. Zakończ inne konfiguracje zadania usługi Azure Data Lake Analytics.

Scenariusz 5— Używanie instrukcji U-SQL w zmiennej SSIS

W niektórych przypadkach może być konieczne dynamiczne generowanie instrukcji U-SQL. Możesz użyć zmiennej SSIS z wyrażeniem SSIS i innymi zadaniami usług SSIS, takimi jak zadanie skryptu, aby ułatwić dynamiczne generowanie instrukcji U-SQL.

1. Otwórz okno narzędzi Zmienne za pomocą menu najwyższego poziomu zmiennych SSIS>.

2. Dodaj zmienną SSIS i ustaw wartość bezpośrednio lub użyj wyrażenia , aby wygenerować wartość.

3. Dodaj zadanie usługi Azure Data Lake Analytics i:

   1. Ustaw wartość SourceType na zmienną.
   2. Ustaw zmienną SourceVariable na zmienną SSIS utworzoną teraz.

4. Zakończ inne konfiguracje zadania usługi Azure Data Lake Analytics.

Scenariusz 6-przekazywanie parametrów do skryptu U-SQL

W niektórych przypadkach możesz chcieć dynamicznie ustawić wartość zmiennej U-SQL w skryscie U-SQL. Funkcja mapowania parametrów w zadaniu usługi Azure Data Lake Analytics pomaga w tym scenariuszu. Zwykle istnieją dwa typowe przypadki użytkowników:

• Ustaw zmienne ścieżki pliku wejściowego i wyjściowego dynamicznie na podstawie bieżącej daty i godziny.
• Ustaw parametr dla procedur składowanych.

Dowiedz się więcej na temat ustawiania parametrów skryptu U-SQL.

Następne kroki

• Uruchamianie pakietów SSIS na platformie Azure
• Azure Feature Pack for Integration Services (SSIS)
• Planowanie zadań U-SQL przy użyciu Azure Data Factory