Condividi tramite

Usare Azure Data Lake Tools per Visual Studio Code

  • Articolo

Importante

Non è più possibile creare nuovi account di Azure Data Lake Analytics a meno che la sottoscrizione non sia stata abilitata. Se è necessario attivare la sottoscrizione contattare il supporto tecnico e descrivere il vostro scenario aziendale.

Se si usa già Azure Data Lake Analytics, è necessario creare un piano di migrazione #B0 ad Azure Synapse Analytics #C1 per l'organizzazione entro il 29 febbraio 2024.

Questo articolo illustra come usare Azure Data Lake Tools per Visual Studio Code (VS Code) per creare, testare ed eseguire script U-SQL. Le informazioni sono illustrate anche nel video seguente:

Prerequisiti

Azure Data Lake Tools per VS Code supporta Windows, Linux e macOS. L'esecuzione locale di U-SQL e il debug locale funziona solo in Windows.

Per macOS e Linux:

Installare gli Strumenti di Azure Data Lake

Dopo aver installato i prerequisiti, è possibile installare Azure Data Lake Tools per VS Code.

Per installare Azure Data Lake Tools

  1. Apri Visual Studio Code.

  2. Selezionare Estensioni nel riquadro sinistro. Immettere Azure Data Lake Tools nella casella di ricerca.

  3. Selezionare Installa accanto a Strumenti Azure Data Lake.

    Selezioni per l'installazione di Strumenti Data Lake

    Dopo alcuni secondi, il pulsante Installa cambia in Ricarica.

  4. Selezionare Ricarica per attivare l'estensione Azure Data Lake Tools .

  5. Selezionare Ricarica finestra per confermare. È possibile visualizzare Azure Data Lake Tools nel riquadro Estensioni .

Attivare gli strumenti di Azure Data Lake

Creare un file con estensione usql o aprire un file con estensione usql esistente per attivare l'estensione.

Lavorare con U-SQL

Per usare U-SQL, è necessario aprire un file U-SQL o una cartella.

Per aprire lo script di esempio

Aprire il riquadro comandi (CTRL+MAIUSC+P) e immettere ADL: Apri script di esempio. Si apre una nuova istanza di questo esempio. È anche possibile modificare, configurare e inviare uno script in questa istanza.

Per aprire una cartella per il progetto U-SQL

  1. In Visual Studio Code, seleziona il menu File e poi seleziona Apri cartella.

  2. Specificare una cartella e quindi selezionare Seleziona cartella.

  3. Selezionare il menu File e quindi selezionare Nuovo. Un file Untitled-1 viene aggiunto al progetto.

  4. Immettere il codice seguente nel file Untitled-1:

    @departments  =
    SELECT * FROM
        (VALUES
            (31,    "Sales"),
            (33,    "Engineering"),
            (34,    "Clerical"),
            (35,    "Marketing")
        ) AS
              D( DepID, DepName );

    OUTPUT @departments IN "/Output/departments.csv" USING Outputters.Csv();

    Lo script crea un file departments.csv con alcuni dati inclusi nella cartella /output.

  5. Salvare il file come myUSQL.usql nella cartella aperta.

Per compilare uno script U-SQL

  1. Selezionare CTRL+MAIUSC+P per aprire il riquadro comandi.
  2. Immettere ADL: Compila script. I risultati della compilazione vengono visualizzati nella finestra Output . È anche possibile fare clic con il pulsante destro del mouse su un file di script e quindi scegliere ADL: Compila script per compilare un processo U-SQL. Il risultato della compilazione viene visualizzato nel riquadro Output .

Per inviare uno script U-SQL

  1. Selezionare CTRL+MAIUSC+P per aprire il riquadro comandi.
  2. Immettere ADL: Invio lavoro. È anche possibile fare clic con il pulsante destro del mouse su un file di script e quindi scegliere ADL: Submit Job (ADL: Submit Job).

Dopo aver inviato un processo U-SQL, i log di invio vengono visualizzati nella finestra Output in VS Code. La vista del lavoro appare nel riquadro destro. Se l'invio ha esito positivo, viene visualizzato anche l'URL del lavoro. È possibile aprire l'URL del processo in un Web browser per tenere traccia dello stato del processo in tempo reale.

Nella scheda RIEPILOGO della vista lavoro, puoi vedere i dettagli del lavoro. Le funzioni principali includono la reinviazione di uno script, la duplicazione di uno script e l'apertura nel portale. Nella scheda DATI della visualizzazione processo è possibile fare riferimento ai file di input, ai file di output e ai file di risorse. I file possono essere scaricati nel computer locale.

Scheda di riepilogo nella visualizzazione del processo

Scheda Dati nella vista lavoro

Per impostare il contesto predefinito

È possibile impostare il contesto predefinito per applicare questa impostazione a tutti i file di script se non sono stati impostati parametri per i file singolarmente.

  1. Selezionare CTRL+MAIUSC+P per aprire il riquadro comandi.

  2. Immettere ADL: Imposta contesto predefinito. In alternativa, fare clic con il pulsante destro del mouse sull'editor di script e selezionare ADL: Imposta contesto predefinito.

  3. Scegliere l'account, il database e lo schema desiderati. L'impostazione viene salvata nel file di configurazione xxx_settings.json.

    Account, database e schema impostati come contesto predefinito

Per impostare i parametri di script

  1. Selezionare CTRL+MAIUSC+P per aprire il riquadro comandi.

  2. Immettere ADL: Imposta parametri script.

  3. Il file xxx_settings.json viene aperto con le proprietà seguenti:

    • account: un account di Azure Data Lake Analytics nella sottoscrizione di Azure necessaria per compilare ed eseguire processi U-SQL. È necessario configurare l'account computer prima di compilare ed eseguire processi U-SQL.
    • database: un database sotto il tuo account. Il valore predefinito è master.
    • schema: Uno schema incluso nel tuo database. Il valore predefinito è dbo.
    • optionalSettings:
      • priority: l'intervallo di priorità è compreso tra 1 e 1000, con 1 come priorità più alta. Il valore predefinito è 1000.
      • degreeOfParallelism: l'intervallo di parallelismo è compreso tra 1 e 150. Il valore predefinito è il parallelismo massimo consentito nell'account di Azure Data Lake Analytics.

    Contenuto del file JSON

Annotazioni

Dopo aver salvato la configurazione, l'account, il database e le informazioni sullo schema vengono visualizzate sulla barra di stato nell'angolo inferiore sinistro del file con estensione usql corrispondente, se non è stato configurato un contesto predefinito.

Per configurare Git ignore

  1. Selezionare CTRL+MAIUSC+P per aprire il riquadro comandi.

  2. Immettere ADL: Imposta Git Ignore.

    • Se non si dispone di un file con estensione gitIgnore nella cartella di lavoro di VS Code, nella cartella viene creato un file denominato .gitIgnore . Nel file vengono aggiunti quattro elementi (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj). Se necessario, è possibile apportare altri aggiornamenti.
    • Se nella cartella di lavoro di VS Code è già presente un file con estensione gitIgnore , lo strumento aggiunge quattro elementi (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) nel file con estensionegitIgnore se i quattro elementi non sono stati inclusi nel file.

    Elementi nel file con estensione gitIgnore

Lavorare con i file code-behind: C Sharp, Python e R

Azure Data Lake Tools supporta più codici personalizzati. Per istruzioni, vedere Sviluppare U-SQL con Python, R e C Sharp per Azure Data Lake Analytics in VS Code.

Lavorare con gli assembly

Per informazioni sullo sviluppo di assembly, vedere Sviluppare assembly U-SQL per i processi di Azure Data Lake Analytics.

È possibile usare Strumenti Data Lake per registrare assembly di codice personalizzati nel catalogo di Data Lake Analytics.

Per registrare un assembly

È possibile registrare l'assembly tramite il comando ADL: Register Assembly o ADL: Register Assembly (Advanced).

Per registrarsi utilizzando il comando ADL: Register Assembly

  1. Selezionare CTRL+MAIUSC+P per aprire il riquadro comandi.
  2. Immettere ADL: Registra assembly.
  3. Specificare il percorso dell'assembly locale.
  4. Selezionare un account Data Lake Analytics.
  5. Selezionare un database.

Il portale viene aperto in un browser e visualizza il processo di registrazione dell'assemblaggio.

Un modo più pratico per attivare il comando ADL: Registra assembly consiste nel fare clic con il pulsante destro del mouse sul file .dll in Esplora file.

Per eseguire la registrazione tramite il comando ADL: Register Assembly (Advanced)

  1. Selezionare CTRL+MAIUSC+P per aprire il riquadro comandi.

  2. Immettere ADL: Register Assembly (Advanced).

  3. Specificare il percorso dell'assembly locale.

  4. Viene visualizzato il file JSON. Esaminare e modificare le dipendenze dell'assembly e i parametri delle risorse, se necessario. Le istruzioni vengono visualizzate nella finestra Output . Per passare alla registrazione dell'assembly, salvare (CTRL+S) il file JSON.

    File JSON con dipendenze dell'assembly e parametri delle risorse

Annotazioni

  • Azure Data Lake Tools rileva automaticamente se la DLL presenta dipendenze di assembly. Le dipendenze vengono visualizzate nel file JSON dopo che sono state rilevate.
  • È possibile caricare le tue risorse DLL (ad esempio, .txt, .pnge .csv) come parte della registrazione dell'assembly.

Un altro modo per attivare il comando ADL: Register Assembly (Advanced) è fare clic con il pulsante destro del mouse sul file .dll in Esplora file.

Il codice U-SQL seguente illustra come chiamare un assembly. Nell'esempio, il nome dell'assembly è test.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Usare l'esecuzione locale di U-SQL e il debug locale per gli utenti di Windows

L'esecuzione locale di U-SQL testa i dati locali e convalida lo script in locale prima che il codice venga pubblicato in Data Lake Analytics. È possibile usare la funzionalità di debug locale per completare le attività seguenti prima che il codice venga inviato a Data Lake Analytics:

  • Eseguire il debug del code-behind C#.
  • Eseguire il codice passo per passo.
  • Convalida lo script localmente.

La funzionalità di esecuzione locale e debug locale funziona solo negli ambienti Windows e non è supportata nei sistemi operativi macOS e Linux.

Per istruzioni sull'esecuzione locale e sul debug locale, vedere Esecuzione locale di U-SQL e debug locale con Visual Studio Code.

Connect to Azure

Prima di poter compilare ed eseguire script U-SQL in Data Lake Analytics, è necessario connettersi all'account Azure.

Per connettersi ad Azure usando un comando

  1. Selezionare CTRL+MAIUSC+P per aprire il riquadro comandi.

  2. Immettere ADL: Accesso. Le informazioni di accesso sono visualizzate in basso a destra.

    Immissione del comando login

    Notifica sull'accesso e l'autenticazione

  3. Selezionare Copia e apri per aprire la pagina Web di accesso. Incollare il codice nella casella e quindi selezionare Continua.

    Pagina Web di accesso

  4. Seguire le istruzioni per accedere dalla pagina Web. Quando si è connessi, il nome dell'account azure viene visualizzato sulla barra di stato nell'angolo inferiore sinistro della finestra di VS Code.

Annotazioni

  • Data Lake Tools effettua automaticamente l'accesso la prossima volta se non esegui la disconnessione.
  • Se l'account ha due fattori abilitati, è consigliabile usare l'autenticazione tramite telefono anziché usare un PIN.

Per disconnettersi, immettere il comando ADL: Disconnessione.

Per connettersi ad Azure da Explorer

Espandere AZURE DATALAKE, selezionare Accedi ad Azure e quindi seguire il passaggio 3 e il passaggio 4 di Per connettersi ad Azure usando un comando.

Selezione di

Non è possibile disconnettersi da Esplora file. Per disconnettersi, vedere Per connettersi ad Azure usando un comando.

Creare uno script di estrazione

È possibile creare uno script di estrazione per .csvfile , tsv e .txt usando il comando ADL: Create EXTRACT Script o da Azure Data Lake Explorer.

Per creare uno script di estrazione usando un comando

  1. Selezionare Ctrl+MAIUSC+P per aprire la palette dei comandi e immettere ADL: Crea script di estrazione.
  2. Specificare il percorso completo per un file di Archiviazione di Azure e selezionare invio.
  3. Seleziona un account.
  4. Per un file .txt, selezionare un delimitatore per estrarre il file.

Processo per la creazione di uno script di estrazione

Lo script di estrazione viene generato in base alle voci. Per uno script che non riesce a rilevare le colonne, scegliere una delle due opzioni. In caso contrario, verrà generato un solo script.

Risultato della creazione di uno script di estrazione

Per creare uno script di estrazione da Explorer

Un altro modo per creare lo script di estrazione consiste nell'usare il menu contestuale (scorciatoia) con il tasto destro sui file .csv, .tsv, o .txt in Azure Data Lake Store o archiviazione Azure Blob.

Comando

Passaggi successivi