Uso de canalizaciones de Delta Live Tables con metastore de Hive heredado
En este artículo se detallan las configuraciones y advertencias específicas de las canalizaciones de Delta Live Tables configuradas para publicar datos en el metastore de Hive heredado. Databricks recomienda usar el catálogo de Unity para todas las canalizaciones nuevas. Consulte Utiliza el Catálogo Unity con tus canalizaciones de Tablas Delta Live.
Nota
En este artículo se describe la funcionalidad del modo de publicación predeterminado actual para las canalizaciones. Las canalizaciones creadas antes del 5 de febrero de 2025 pueden usar el modo de publicación heredado y el esquema virtual LIVE. Consulte Esquema LIVE (heredado).
Consulta de tablas de streaming y vistas materializadas en el metastore de Hive heredado
Una vez completada una actualización, puede ver el esquema y las tablas, consultar los datos o usar los datos en aplicaciones de bajada.
Una vez publicada, las tablas de Delta Live Tables se pueden consultar desde cualquier entorno con acceso al esquema de destino. Esto incluye Databricks SQL, cuadernos y otras canalizaciones de Delta Live Tables.
Importante
Al crear una configuración target, solo se publican tablas y metadatos asociados. No se publican vistas en el metastore.
Configurar una canalización para publicar en el metastore de Hive
Al crear una nueva canalización, puede especificar Metastore de Hive en las Opciones de almacenamiento para publicar en el metastore de Hive heredado. Debe especificar un esquema de destino predeterminado al publicar en metastore de Hive. Consulte Configuración de una canalización de Delta Live Tables.
Especificar una ubicación de almacenamiento
Puede especificar una ubicación de almacenamiento para una canalización que se publica en el metastore de Hive. La motivación principal para especificar una ubicación es controlar la ubicación de almacenamiento de objetos para los datos escritos por la canalización. Databricks recomienda especificar siempre una ubicación de almacenamiento para evitar escribir en la raíz de DBFS.
Dado que todas las tablas, los datos, los puntos de control y los metadatos de las canalizaciones de Delta Live Tables están totalmente administrados por Delta Live Tables, la mayoría de las interacciones con los conjuntos de datos de Delta Live Tables se producen a través de tablas registradas en el metastore de Hive o en Unity Catalog.
Configuración de almacenamiento en la nube
Para acceder Azure Storage, debe configurar los parámetros necesarios, incluidos los tokens de acceso, mediante la configuración spark.conf en las configuraciones del clúster. Para un ejemplo de cómo configurar el acceso a una cuenta de almacenamiento de Azure Data Lake Storage Gen2 (ADLS Gen2), consulte Acceso seguro a las credenciales de almacenamiento con secretos en una canalización.
Cuadernos de código fuente de canalización de ejemplo para áreas de trabajo sin catálogo de Unity
Puede importar los siguientes cuadernos en un área de trabajo de Azure Databricks sin el catálogo de Unity habilitado y usarlos para implementar una canalización de Delta Live Tables. Importe el cuaderno del idioma elegido y especifique la ruta de acceso en el campo Código fuente al configurar una canalización con la opción de almacenamiento de metastore de Hive. Consulte Configuración de una canalización de Delta Live Tables.