Condividi tramite

Interagire a livello di codice con i file dell'area di lavoro

  • Articolo

È possibile interagire con i file dell'area di lavoro archiviati in Azure Databricks a livello di codice. In questo modo vengono abilitate attività come:

  • Archiviazione di file di dati di piccole dimensioni insieme a notebook e codice.
  • Scrittura di file di log nelle directory sincronizzate con Git.
  • Importazione di moduli tramite percorsi relativi.
  • Creazione o modifica di un file di specifica dell'ambiente.
  • Scrittura dell'output dai notebook.
  • Scrittura dell'output dall'esecuzione di librerie come Tensorboard.

È possibile creare, modificare ed eliminare file dell'area di lavoro a livello di codice in Databricks Runtime 11.3 LTS e versioni successive.

Nota

Per disabilitare la scrittura nei file dell'area di lavoro, impostare la variabile WSFS_ENABLE_WRITE_SUPPORT=falsedi ambiente del cluster . Per altre informazioni, vedere Variabili di ambiente.

Nota

In Databricks Runtime 14.0 e versioni successive, la directory di lavoro corrente predefinita (CWD) per il codice eseguito in locale è la directory contenente il notebook o lo script in esecuzione. Si tratta di una modifica del comportamento da Databricks Runtime 13.3 LTS e versioni successive. Vedere Che cos'è la directory di lavoro corrente predefinita?.

Leggere i percorsi dei file

Usare i comandi della shell per leggere i percorsi dei file, ad esempio in un repository o nel file system locale.

Per determinare il percorso dei file, immettere quanto segue:

%sh ls
  • I file non si trovano in un repository: il comando restituisce il file system /databricks/driver.
  • I file si trovano in un repository: il comando restituisce un repository virtualizzato, /Workspace/Repos/name@domain.com/public_repo_2/repos_file_systemad esempio .

Leggere i file dell'area di lavoro dati

È possibile leggere a livello di codice file di dati di piccole dimensioni, ad .csv esempio o .json file dal codice nei notebook. L'esempio seguente usa Pandas per eseguire query sui file archiviati in una /data directory relativa alla radice del repository del progetto:

import pandas as pd
df = pd.read_csv("./data/winequality-red.csv")
df

È possibile usare Spark per leggere i file di dati. È necessario fornire a Spark il percorso completo.

  • I file dell'area di lavoro nelle cartelle Git usano il percorso file:/Workspace/Repos/<user-folder>/<repo-name>/path/to/file.
  • I file dell'area di lavoro nella directory personale usano il percorso : file:/Workspace/Users/<user-folder>/path/to/file.

È possibile copiare il percorso assoluto o relativo in un file dal menu a discesa accanto al file:

menu a discesa file

L'esempio seguente illustra l'uso di {os.getcwd()} per ottenere il percorso completo.

import os
spark.read.format("csv").load(f"file:{os.getcwd()}/my_data.csv")

Per altre informazioni sui file in Azure Databricks, vedere Usare i file in Azure Databricks.

Creare, aggiornare ed eliminare file ed directory a livello di codice

In Databricks Runtime 11.3 LTS e versioni successive è possibile modificare direttamente i file dell'area di lavoro in Azure Databricks. Gli esempi seguenti usano pacchetti e funzionalità Python standard per creare e modificare file e directory.

# Create a new directory

os.mkdir('dir1')

# Create a new file and write to it

with open('dir1/new_file.txt', "w") as f:
    f.write("new content")

# Append to a file

with open('dir1/new_file.txt', "a") as f:
    f.write(" continued")

# Delete a file

os.remove('dir1/new_file.txt')

# Delete a directory

os.rmdir('dir1')