Partilhar via

Gerencie arquivos em volumes do Unity Catalog com o driver ODBC Databricks

  • Artigo

Este artigo descreve como carregar, baixar e excluir arquivos em volumes do Unity Catalog usando o driver ODBC Databricks.

Requisitos

  • Databricks ODBC Driver versões 2.8.2 ou superior.
  • Por padrão, o modo de consulta nativo está habilitado. Caso contrário, adicione UseNativeQuery a propriedade à cadeia de conexão ODBC, definindo seu valor como 1 ou 2.

Carregar um ficheiro

Para carregar um arquivo em um volume, você deve adicionar a StagingAllowedLocalPaths propriedade à cadeia de conexão ODBC, definindo o valor dessa propriedade como o caminho do arquivo a ser carregado. Para carregar vários arquivos de locais separados, defina essa propriedade como uma lista de caminhos separados por vírgula, por exemplo /tmp/,/usr/tmp/.

Para substituir o conteúdo de qualquer arquivo existente no local de carregamento especificado, adicione OVERWRITE.

O trecho de código Python a seguir mostra como carregar um arquivo para um volume.

conn_string = "".join([
    "DRIVER=", os.getenv("ODBC_DRIVER", "/Library/simba/spark/lib/libsparkodbc_sbu.dylib"),
    ";Host=", os.getenv("ODBC_HOST_NAME", "<<HOST_NAME>>"),
    ";PORT=443",
    ";HTTPPath=", os.getenv("ODBC_HTTP_PATH", "/sql/1.0/endpoints/1234567890"),
    ";AuthMech=11",
    ";SSL=1",
    ";ThriftTransport=2",
    ";SparkServerType=3",
    ";Auth_Flow=0",
    ";Auth_AccessToken=", os.getenv("API_TOKEN", "<<NO_ACCESS_TOKEN_IS_SET>>"),
    ";StagingAllowedLocalPaths=", "/tmp"),
    os.getenv("ODBC_OPTIONS", ""),
])

conn = pyodbc.connect(conn_string, autocommit=True)
cursor = conn.cursor()
cursor.execute("PUT '" +
    "/tmp/my-data.csv" +
    "' INTO '" +
    "/Volumes/main/default/my-volume/my-data.csv" +
    "' OVERWRITE")

Transferir um ficheiro

O trecho de código Python a seguir mostra como baixar um arquivo de um volume.

conn = pyodbc.connect(conn_string, autocommit=True)
cursor = conn.cursor()
cursor.execute("GET '" +
    "/Volumes/main/default/my-volume/my-data.csv" +
    "' TO '" +
    "/tmp/my-downloaded-data.csv" +
    "'")

Eliminar um ficheiro

O trecho de código Python a seguir mostra como excluir um arquivo de um volume.

conn = pyodbc.connect(conn_string, autocommit=True)
cursor = conn.cursor()
cursor.execute("REMOVE '" +
    "/Volumes/main/default/my-volume/my-data.csv" +
    "'")