Uruchamianie skryptów U-SQL na komputerze lokalnym
Ważne
Usługa Azure Data Lake Analytics została wycofana 29 lutego 2024 r. Dowiedz się więcej z tym ogłoszeniem.
Na potrzeby analizy danych organizacja może używać usługi Azure Synapse Analytics lub microsoft fabric.
Podczas tworzenia skryptów U-SQL można zaoszczędzić czas i wydatki, uruchamiając skrypty lokalnie. Narzędzia Azure Data Lake Tools for Visual Studio obsługują uruchamianie skryptów U-SQL na komputerze lokalnym.
Podstawowe pojęcia dla przebiegów lokalnych
Na poniższym wykresie przedstawiono składniki lokalnego uruchamiania oraz sposób odwzorowania tych składników na uruchamianie w chmurze.
| Składnik | Uruchamianie lokalne | Uruchamianie chmury |
|---|---|---|
| Magazynowanie | Lokalny folder główny danych | Domyślne konto usługi Azure Data Lake Store |
| Obliczyć | Lokalny aparat uruchamiania U-SQL | Usługa Azure Data Lake Analytics |
| Środowisko uruchomieniowe | Katalog roboczy na komputerze lokalnym | Klaster usługi Azure Data Lake Analytics |
Poniższe sekcje zawierają więcej informacji na temat lokalnych składników uruchamiania.
Foldery główne danych lokalnych
Lokalny folder główny danych to lokalny magazyn dla lokalnego konta obliczeniowego. Dowolny folder w lokalnym systemie plików na komputerze lokalnym może być lokalnym folderem głównym danych. Jest to takie samo, jak domyślne konto usługi Azure Data Lake Store dla konta usługi Data Lake Analytics. Przełączenie do innego folderu głównego danych jest podobne do przełączania się na inne domyślne konto sklepu.
Folder główny danych jest używany w następujący sposób:
- Przechowywanie metadanych. Przykłady to bazy danych, tabele, funkcje z wartościami tabel i zestawy.
- Wyszukaj ścieżki wejściowe i wyjściowe zdefiniowane jako ścieżki względne w skryptach U-SQL. Korzystając ze ścieżek względnych, łatwiej jest wdrożyć skrypty U-SQL na platformie Azure.
Lokalne silniki wykonawcze U-SQL
Silnik lokalnego uruchamiania U-SQL to lokalne konto obliczeniowe dla zadań U-SQL. Użytkownicy mogą uruchamiać zadania U-SQL lokalnie za pomocą narzędzi Azure Data Lake Tools for Visual Studio. Przebiegi lokalne są również obsługiwane za pośrednictwem interfejsów wiersza polecenia i programowania zestawu AZURE Data Lake U-SQL SDK. Dowiedz się więcej o zestawie Azure Data Lake U-SQL SDK.
Katalogi robocze
Po uruchomieniu skryptu U-SQL folder katalogu roboczego jest potrzebny do buforowania wyników kompilacji, uruchamiania dzienników i wykonywania innych funkcji. W narzędziach Azure Data Lake Tools for Visual Studio katalog roboczy to katalog roboczy projektu U-SQL. Znajduje się pod <U-SQL project root path>/bin/debug>. Katalog roboczy jest czyszczony za każdym razem, gdy uruchomiony jest nowy proces.
Lokalne uruchomienia w programie Microsoft Visual Studio
Narzędzia Azure Data Lake dla Visual Studio mają wbudowany lokalny silnik uruchamiania. Narzędzia wyłaniają silnik jako lokalne konto obliczeniowe. Aby uruchomić skrypt U-SQL lokalnie, wybierz konto Local-machine lub Local-project w menu rozwijanym marginesu edytora skryptu. Następnie wybierz pozycję Prześlij.
Lokalne uruchomienia przy użyciu konta komputera lokalnego
Konto komputera lokalnego to współużytkowane lokalne konto obliczeniowe z pojedynczym lokalnym folderem głównym danych jako konto magazynu lokalnego. Domyślnie folder główny danych znajduje się w folderze C:\Users<username>\AppData\Local\USQLDataRoot. Można go również konfigurować za pomocą Narzędzia>Jezioro Danych>Opcje i Ustawienia.
Projekt U-SQL jest wymagany do uruchomienia lokalnego. Katalog roboczy projektu U-SQL jest używany jako lokalny katalog roboczy U-SQL. Wyniki kompilacji, dzienniki uruchamiania i inne pliki związane z uruchamianiem zadania są generowane i przechowywane w folderze katalogu roboczego podczas uruchamiania lokalnego. Za każdym razem, gdy ponownie uruchomisz skrypt, wszystkie pliki w katalogu roboczym są czyszczone i ponownie generowane.
Lokalne uruchomienia z kontem projektu lokalnego
Konto lokalnego projektu to lokalne konto obliczeniowe odizolowane od projektu dla każdego projektu z izolowanym lokalnym folderem głównym danych. Każdy aktywny projekt U-SQL otwierany w Eksploratorze rozwiązań w programie Visual Studio ma odpowiednie (Local-project: <project name>) konto. Konta są wyświetlane zarówno w Eksploratorze serwera w programie Visual Studio, jak i na marginesie edytora skryptów U-SQL.
Konto projektu lokalnego zapewnia czyste i izolowane środowisko projektowe. Konto komputera lokalnego ma udostępniony folder główny danych lokalnych, który przechowuje metadane i dane wejściowe i wyjściowe dla wszystkich zadań lokalnych. Jednak konto lokalnego projektu tworzy tymczasowy folder główny danych lokalnych w katalogu roboczym projektu U-SQL za każdym razem, gdy skrypt U-SQL jest uruchamiany. Ten tymczasowy folder główny danych jest czyszczony podczas ponownego kompilowania lub ponownego uruchamiania.
Projekt U-SQL zarządza odizolowanym lokalnym środowiskiem uruchomieniowym za pomocą odniesienia i właściwości projektu. Źródła danych wejściowych dla skryptów U-SQL można skonfigurować zarówno w projekcie, jak i w środowiskach bazy danych, do których się odwołujesz.
Zarządzanie wejściowym źródłem danych dla konta projektu lokalnego
Projekt U-SQL tworzy lokalny folder główny danych i konfiguruje dane dla konta projektu lokalnego . Tymczasowy folder główny danych jest czyszczony i tworzony ponownie w katalogu roboczym projektu U-SQL za każdym razem, gdy następuje ponowne skompilowanie i uruchomienie lokalne. Wszystkie źródła danych skonfigurowane przez projekt U-SQL są kopiowane do tego tymczasowego lokalnego folderu głównego danych przed uruchomieniem zadania lokalnego.
Folder główny źródeł danych można skonfigurować. Kliknij prawym przyciskiem myszy projekt U-SQL>Property>Źródło danych testowych. Po uruchomieniu skryptu U-SQL na koncie projektu lokalnego wszystkie pliki i podfoldery w folderze Źródła danych testowych są kopiowane do tymczasowego lokalnego folderu głównego danych. Pliki w podfolderach są dołączane. Po uruchomieniu zadania lokalnego wyniki wyjściowe można również znaleźć w tymczasowym folderze danych lokalnych w katalogu roboczym projektu. Wszystkie te dane wyjściowe są usuwane i czyszczone, gdy projekt zostanie ponownie skompilowany i oczyszczony.
Zarządzaj środowiskiem bazy danych używanym przez konto projektu lokalnego
Jeśli zapytanie U-SQL używa obiektów bazy danych U-SQL lub wykonuje zapytania z obiektami bazy danych U-SQL, przed uruchomieniem skryptu U-SQL lokalnie należy przygotować środowiska bazy danych. W przypadku konta projektu lokalnego zależności bazy danych U-SQL mogą być zarządzane przez odwołania do projektu U-SQL. Możesz dodać odwołania projektu bazy danych U-SQL do projektu U-SQL. Przed uruchomieniem skryptów U-SQL na koncie projektu lokalnego wszystkie przywoływane bazy danych są wdrażane w tymczasowym folderze głównym danych lokalnych. W przypadku każdego przebiegu tymczasowy folder główny danych jest czyszczony jako nowe izolowane środowisko.
Zapoznaj się z tym powiązanym artykułem:
- Dowiedz się, jak zarządzać definicjami i odwołaniami bazy danych U-SQL w projektach bazy danych U-SQL.
Różnica między kontami lokalnego komputera i projektu lokalnego
Konto komputera lokalnego symuluje konto usługi Azure Data Lake Analytics na komputerach lokalnych użytkowników. Ma to takie samo doświadczenie z kontem usługi Azure Data Lake Analytics. Konto lokalnego projektu zapewnia przyjazne dla użytkownika lokalne środowisko programistyczne. To środowisko ułatwia użytkownikom wdrażanie odwołań do bazy danych i danych wejściowych przed uruchomieniem skryptów lokalnie. Konto komputera lokalnego zapewnia współużytkowane środowisko trwałe, do którego można uzyskać dostęp we wszystkich projektach. Konto projektu lokalnego zapewnia izolowane środowisko projektowe dla każdego projektu. Jest odświeżany przy każdym uruchomieniu. Konto projektu lokalnego oferuje szybsze doświadczenie programistyczne poprzez szybkie stosowanie nowych zmian.
Więcej różnic między kontami local-machine i Local-project przedstawiono w poniższej tabeli:
| Kąt różnicy | Maszyna lokalna | Projekt lokalny |
|---|---|---|
| Dostęp lokalny | Może być dostępny dla wszystkich projektów. | Tylko odpowiedni projekt może uzyskać dostęp do tego konta. |
| Lokalny folder główny danych | Stały folder lokalny. Skonfigurowane poprzez Narzędzia>Data Lake>Opcje i Ustawienia. | Tymczasowy folder utworzony dla każdego lokalnego uruchomienia w katalogu roboczym projektu U-SQL. Folder jest czyszczony, gdy następuje ponowne budowanie lub ponowne uruchomienie. |
| Dane wejściowe skryptu U-SQL | Ścieżka względna w folderze głównym stałych danych lokalnych. | Ustaw właściwość >projektu U-SQLTest Data Source. Wszystkie pliki i podfoldery są kopiowane do tymczasowego folderu głównego danych przed uruchomieniem lokalnym. |
| Dane wyjściowe skryptu U-SQL | Ścieżka względna w folderze głównym stałych danych lokalnych. | Dane zapisane do tymczasowego głównego folderu danych. Wyniki są czyszczone podczas rekonstrukcji lub ponownego uruchomienia. |
| Wdrożenie odnoszącej się bazy danych | Przywoływane bazy danych nie są wdrażane automatycznie podczas uruchamiania na koncie komputera lokalnego . To samo dotyczy przesyłania do konta usługi Azure Data Lake Analytics. | Przywoływane bazy danych są wdrażane automatycznie na koncie projektu lokalnego przed uruchomieniem lokalnym. Wszystkie środowiska bazy danych są czyszczone i wdrażane ponownie podczas przebudowy lub ponownego uruchomienia. |
Uruchamianie lokalne za pomocą zestawu U-SQL SDK
Skrypty U-SQL można uruchamiać lokalnie w programie Visual Studio, a także używać zestawu AZURE Data Lake U-SQL SDK do uruchamiania skryptów U-SQL lokalnie przy użyciu interfejsów wiersza polecenia i programowania. Za pomocą tych interfejsów można zautomatyzować lokalne przebiegi i testy języka U-SQL.
Dowiedz się więcej o Zestawie SDK Azure Data Lake U-SQL.