Spouštění skriptů U-SQL na místním počítači
Důležité
Azure Data Lake Analytics vyřazena 29. února 2024. Další informace najdete v tomto oznámení.
Pro analýzu dat může vaše organizace používat Azure Synapse Analytics nebo Microsoft Fabric.
Při vývoji skriptů U-SQL můžete ušetřit čas a náklady tím, že skripty spustíte místně. Nástroje Azure Data Lake pro Visual Studio podporuje spouštění skriptů U-SQL na místním počítači.
Základní koncepty pro místní spuštění
Následující graf ukazuje komponenty pro místní spuštění a způsob, jakým se tyto komponenty mapují na spuštění v cloudu.
| Součást | Místní spuštění | Spuštění v cloudu |
|---|---|---|
| Storage | Místní kořenová složka dat | Výchozí účet Azure Data Lake Store |
| Compute | Modul místního spuštění U-SQL | Služba Azure Data Lake Analytics |
| Spuštění prostředí | Pracovní adresář na místním počítači | Cluster Azure Data Lake Analytics |
Další informace o komponentách místního spuštění najdete v následujících částech.
Složky místních kořenových dat
Místní kořenová složka dat je místní úložiště pro místní výpočetní účet. Libovolná složka v místním systému souborů na místním počítači může být místní kořenová složka dat. Je stejný jako výchozí účet Azure Data Lake Store Data Lake Analytics účtu. Přepnutí do jiné složky kořenového adresáře dat je stejně jako přepnutí na jiný výchozí účet úložiště.
Kořenová složka dat se používá takto:
- Uložte metadata. Příkladem jsou databáze, tabulky, funkce s hodnotou tabulky a sestavení.
- Vyhledejte vstupní a výstupní cesty, které jsou definované jako relativní cesty ve skriptech U-SQL. Použití relativních cest usnadňuje nasazení skriptů U-SQL do Azure.
Moduly místního spuštění U-SQL
Modul místního spuštění U-SQL je místní výpočetní účet pro úlohy U-SQL. Uživatelé můžou spouštět úlohy U-SQL místně prostřednictvím Nástroje Azure Data Lake pro Visual Studio. Místní spuštění se podporují také prostřednictvím příkazového řádku sady Azure Data Lake U-SQL SDK a programovacích rozhraní. Přečtěte si další informace o sadě Azure Data Lake U-SQL SDK.
Pracovní adresáře
Při spuštění skriptu U-SQL je potřeba složka pracovního adresáře, která bude ukládat výsledky kompilace do mezipaměti, spouštět protokoly a provádět další funkce. V Nástroje Azure Data Lake pro Visual Studio je pracovní adresář pracovním adresářem projektu U-SQL. Nachází se pod položkou <U-SQL project root path>/bin/debug>. Pracovní adresář se vyčistí při každém spuštění nového spuštění.
Místní spuštění v sadě Microsoft Visual Studio
Nástroje Azure Data Lake pro Visual Studio mají integrovaný místní modul. Nástroje se vysunou jako místní výpočetní účet. Pokud chcete skript U-SQL spustit místně, vyberte v rozevírací nabídce okraje editoru skriptu účet místního počítače nebo místní projekt. Pak vyberte Odeslat.
Místní spuštění s účtem místního počítače
Účet místního počítače je sdílený místní výpočetní účet s jednou místní kořenovou složkou dat jako účtem místního úložiště. Ve výchozím nastavení se kořenová složka dat nachází v umístění C:\Users<username>\AppData\Local\USQLDataRoot. Dá se také konfigurovat prostřednictvím nástrojů>Možnosti a nastaveníData Lake>.
Pro místní spuštění se vyžaduje projekt U-SQL. Pracovní adresář projektu U-SQL se používá pro pracovní adresář místního spuštění U-SQL. Výsledky kompilace, protokoly spuštění a další soubory související se spuštěním úloh se generují a ukládají do složky pracovního adresáře během místního spuštění. Při každém opětovném spuštění skriptu se všechny soubory v pracovním adresáři vyčistí a znovu vygenerují.
Místní spuštění s účtem místního projektu
Účet místního projektu je místní výpočetní účet oddělený projektem pro každý projekt s izolovanou místní kořenovou složkou dat. Každý aktivní projekt U-SQL, který se otevře v Průzkumník řešení v sadě Visual Studio, má odpovídající (Local-project: <project name>) účet. Účty jsou uvedené v Průzkumníku serveru v sadě Visual Studio i v okraji editoru skriptů U-SQL.
Účet místního projektu poskytuje čisté a izolované vývojové prostředí. Účet místního počítače má sdílenou složku místních kořenových dat, která ukládá metadata a vstupní a výstupní data pro všechny místní úlohy. Účet místního projektu ale vytvoří dočasnou složku místních kořenových dat v pracovním adresáři projektu U-SQL při každém spuštění skriptu U-SQL. Při opětovném sestavení nebo opětovném spuštění se tato dočasná kořenová složka dat vyčistí.
Projekt U-SQL spravuje izolované místní prostředí spuštění prostřednictvím odkazu na projekt a vlastnosti. Vstupní zdroje dat můžete nakonfigurovat pro skripty U-SQL v projektovém i odkazovaném databázovém prostředí.
Správa vstupního zdroje dat pro účet místního projektu
Projekt U-SQL vytvoří místní kořenovou složku dat a nastaví data pro účet místního projektu . Dočasná kořenová složka dat se vyčistí a znovu vytvoří v pracovním adresáři projektu U-SQL při každém opětovném sestavení a místním spuštění. Všechny zdroje dat nakonfigurované projektem U-SQL se zkopírují do této dočasné místní kořenové složky dat před spuštěním místní úlohy.
Můžete nakonfigurovat kořenovou složku zdrojů dat. Klikněte pravým tlačítkem naZdroj dat testvlastností> projektu >U-SQL. Při spuštění skriptu U-SQL na účtu místního projektu se všechny soubory a podsložky ve složce Test Data Source zkopírují do dočasné místní kořenové složky dat. Soubory v podsložkách jsou zahrnuté. Po spuštění místní úlohy najdete výsledky výstupu také ve složce dočasného kořenového adresáře místních dat v pracovním adresáři projektu. Veškerý tento výstup se odstraní a vyčistí, když se projekt znovu sestaví a vyčistí.
Správa odkazovaného databázového prostředí pro účet místního projektu
Pokud dotaz U-SQL používá nebo dotazuje s databázovými objekty U-SQL, musíte před místním spuštěním skriptu U-SQL připravit prostředí databáze místně. U účtu místního projektu je možné spravovat závislosti databáze U-SQL pomocí odkazů na projekt U-SQL. Do projektu U-SQL můžete přidat odkazy na projekt databáze U-SQL. Před spuštěním skriptů U-SQL na účtu místního projektu se všechny odkazované databáze nasadí do dočasné místní kořenové složky dat. A při každém spuštění se dočasná kořenová složka dat vyčistí jako nové izolované prostředí.
Podívejte se na tento související článek:
- Zjistěte, jak spravovat definice a odkazy databází U-SQL v projektech databáze U-SQL.
Rozdíl mezi účty místního počítače a místního projektu
Účet místního počítače simuluje účet Azure Data Lake Analytics na místních počítačích uživatelů. Sdílí stejné prostředí s účtem Azure Data Lake Analytics. Účet místního projektu poskytuje uživatelsky přívětivé místní vývojové prostředí. Toto prostředí pomáhá uživatelům nasadit odkazy na databáze a vstupní data před spuštěním skriptů místně. Účet místního počítače poskytuje sdílené trvalé prostředí, ke kterému je možné přistupovat prostřednictvím všech projektů. Účet místního projektu poskytuje izolované vývojové prostředí pro každý projekt. Aktualizuje se při každém spuštění. Účet místního projektu nabízí rychlejší vývojové prostředí díky rychlému použití nových změn.
Další rozdíly mezi účty místního počítače a místního projektu jsou uvedeny v následující tabulce:
| Úhel rozdílu | Místní počítač | Místní projekt |
|---|---|---|
| Místní přístup | Jsou přístupné pro všechny projekty. | K tomuto účtu má přístup pouze odpovídající projekt. |
| Kořenová složka místních dat | Trvalá místní složka. Nakonfigurováno prostřednictvím nástrojů>Možnosti a nastaveníData Lake>. | Dočasná složka vytvořená pro každé místní spuštění v pracovním adresáři projektu U-SQL. Složka se vyčistí při opětovném sestavení nebo opětovném spuštění. |
| Vstupní data pro skript U-SQL | Relativní cesta pod trvalou místní kořenovou složkou dat. | Nastavte prostřednictvím vlastnosti >projektu U-SQLTestovací zdroj dat. Všechny soubory a podsložky se zkopírují do dočasné kořenové složky dat před místním spuštěním. |
| Výstupní data pro skript U-SQL | Relativní cesta pod trvalou místní kořenovou složkou dat. | Výstup do dočasné kořenové složky dat. Výsledky se vyčistí při opětovném sestavení nebo opětovném spuštění. |
| Nasazení odkazované databáze | Odkazované databáze se nenasazují automaticky při spuštění v účtu místního počítače . Stejné je to i při odesílání do účtu Azure Data Lake Analytics. | Odkazované databáze se do účtu místního projektu nasadí automaticky před místním spuštěním. Všechna prostředí databáze se vyčistí a znovu nasadí při opětovném sestavení nebo opětovném spuštění. |
Místní spuštění se sadou U-SQL SDK
Skripty U-SQL můžete spouštět místně v sadě Visual Studio a také pomocí sady Azure Data Lake U-SQL SDK spouštět skripty U-SQL místně pomocí rozhraní příkazového řádku a programovacích rozhraní. Prostřednictvím těchto rozhraní můžete automatizovat místní spuštění a testy U-SQL.
Přečtěte si další informace o sadě Azure Data Lake U-SQL SDK.