Leer tablas de Databricks de clientes Delta

Use el catálogo REST de Cosmos para leer las tablas registradas en el catálogo de Unity en Azure Databricks desde clientes de Cosmos compatibles, incluidos Apache Spark y DuckDB.

Consejo (if the meaning of "Tip" is advice or suggestion)

Para obtener información sobre cómo leer datos de Azure Databricks mediante Microsoft Fabric, consulte Uso de Microsoft Fabric para leer datos registrados en el Catálogo de Unity.

Lectura mediante la API REST de Unity

La API REST de Unity proporciona a los clientes externos acceso de lectura a las tablas delta registradas en el catálogo de Unity. Algunos clientes también admiten la creación de tablas y la escritura en tablas existentes.

Configure el acceso mediante el punto de conexión /api/2.1/unity-catalog.

Requisitos

Azure Databricks admite el acceso de la API REST de Unity a tablas como parte del catálogo de Unity. Debe tener habilitado el Catálogo de Unity en el área de trabajo para usar estos puntos de conexión. Los siguientes tipos de tabla son aptos para las lecturas de la API REST de Unity:

• Tablas administradas por el cCtálogo de Unity.
• Tablas externas de Unity Catalog almacenadas con Delta Lake.

Debe completar los siguientes pasos de configuración para configurar el acceso para leer tablas de Databricks desde clientes Delta mediante la API REST de Unity:

• Habilite el acceso a datos externos para su metastore. Consulte Habilitar el acceso a datos externos en el metastore.
• Conceda al principal responsable de configurar la integración el privilegio EXTERNAL USE SCHEMA en el esquema que contiene las tablas. Consulte Conceder una entidad de seguridad EXTERNAL USE SCHEMA.
• Autentíquese mediante un token de acceso personal de Databricks. Consulte Autorización del acceso a los recursos de Azure Databricks.

Lectura de tablas delta con Apache Spark

A continuación se muestra un ejemplo de la configuración para configurar Apache Spark para leer tablas delta administradas y externas del catálogo de Unity:

"spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension",
"spark.sql.catalog.spark_catalog": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>.uri": "<workspace-url>/api/2.1/unity-catalog",
"spark.sql.catalog.<uc-catalog-name>.token":"<token>",
"spark.sql.defaultCatalog":"<uc-catalog-name>"

Sustituya las siguientes variables:

• <uc-catalog-name>: El nombre del catálogo en Unity Catalog que contiene tus tablas.
• <workspace-url>: dirección URL del área de trabajo de Azure Databricks.
• <token>: Token PAT para el principal responsable de configurar la integración.

Importante

Las configuraciones específicas varían en función del tipo de almacenamiento de objetos en la nube que respalda el catálogo. Consulte la documentación del catálogo de Unity de OSS para obtener configuraciones adicionales.