¿Qué viene?

Obtenga información sobre las características y los cambios de comportamiento en las próximas versiones de Azure Databricks.

Publicar en múltiples catálogos y esquemas en Unity Catalog desde las canalizaciones de Delta Live Tables

Una próxima versión de Delta Live Tables incluirá funcionalidad mejorada para publicar y leer conjuntos de datos de las canalizaciones:

• Al publicar tablas en Unity Catalog desde una sola canalización, ya no se le restringirá a especificar un único catálogo y un esquema. En su lugar, podrá publicar en varios catálogos y esquemas desde una única canalización especificando nombres de tabla completos (catalog.schema.table).
• También se admitirá la sintaxis USE CATALOG y USE SCHEMA.
• El uso de la palabra clave LIVE para hacer referencia a conjuntos de datos internos ya no será necesario.

Se trata de un cambio no importante. Esta nueva funcionalidad se aplicará al crear una nueva canalización de Delta Live Tables, pero las canalizaciones existentes seguirán ejecutándose con su configuración actual.

Administración estadística habilitada de forma predeterminada con optimización predictiva

A partir del 21 de enero, Databricks comenzará a habilitar la administración de estadísticas en todas las cuentas con la optimización predictiva habilitada. La gestión de estadísticas amplía la funcionalidad de optimización predictiva existente al añadir la recopilación de estadísticas durante la escritura y ejecutar automáticamente comandos de ANALYZE para las tablas gestionadas por el catálogo de Unity. Para obtener más información sobre la optimización predictiva, consulte Optimización predictiva para tablas administradas del catálogo de Unity.

Cambio de comportamiento cuando se quitan definiciones de conjunto de datos de una canalización de Delta Live Tables

Una próxima versión de Delta Live Tables cambiará el comportamiento cuando se elimine una vista materializada o una tabla de streaming de una canalización. Con este cambio, la vista materializada eliminada o la tabla de streaming no se eliminarán automáticamente cuando se ejecute la siguiente actualización de canalización. En su lugar, podrá usar el comando DROP MATERIALIZED VIEW para eliminar una vista materializada o el comando DROP TABLE para eliminar una tabla de streaming. Después de quitar un objeto, la ejecución de una actualización de canalización no recuperará el objeto automáticamente. Se crea un nuevo objeto si se vuelve a agregar una vista materializada o una tabla de streaming con la misma definición a la canalización. Sin embargo, puede recuperar un objeto mediante el comando UNDROP.

Los cuadernos de IPYNB se convertirán en el formato de cuaderno predeterminado para Azure Databricks.

Actualmente, Databricks crea todos los cuadernos nuevos en el "formato de origen de Databricks" de forma predeterminada, que captura solo el código. En enero de 2025, el nuevo formato de cuaderno predeterminado será IPYNB (.ipynb), que también captura el entorno del cuaderno, las definiciones de visualización y los widgets de cuaderno. Este nuevo valor predeterminado se puede cambiar en el panel configuración del usuario del área de trabajo . Para obtener más información sobre los formatos de cuaderno, consulte formatos de cuaderno.

Los archivos del área de trabajo se habilitarán para todas las áreas de trabajo de Azure Databricks el 1 de febrero de 2025

Databricks habilitará los archivos del área de trabajo para todas las áreas de trabajo de Azure Databricks el 1 de febrero de 2025. Este cambio permite a los usuarios del área de trabajo utilizar las nuevas características de archivos del área de trabajo. Después del 1 de febrero de 2025, no podrá deshabilitar los archivos del área de trabajo mediante la propiedad enableWorkspaceFilesystem con la API de REST de Azure Databricks para habilitar y deshabilitar las características del área de trabajo. Para obtener más información sobre los archivos del área de trabajo, consulte ¿Qué son los archivos del área de trabajo?.

Las tablas en Delta Sharing se comparten con el historial de forma predeterminada.

Databricks planea cambiar la configuración predeterminada de las tablas compartidas con Delta Sharing para incluir el historial de forma predeterminada. Anteriormente, el uso compartido del historial estaba deshabilitado de forma predeterminada. Compartir el historial de tablas mejora el rendimiento de lectura y proporciona compatibilidad automática con optimizaciones avanzadas de Delta.

Menor costo y mayor control sobre el rendimiento frente al costo del proceso sin servidor para cargas de trabajo de flujos de trabajo

Además de las optimizaciones de rendimiento automática admitidas actualmente, las mejoras en el proceso sin servidor para las características de optimización de flujos de trabajo le proporcionarán más control sobre si las cargas de trabajo están optimizadas para el rendimiento o el costo. Para más información, consulte Ahorros de costos en proceso sin servidor para cuadernos, trabajos y canalizaciones.

Cambios en la compatibilidad con la versión del panel heredada

Databricks recomienda utilizar paneles de IA o BI (anteriormente paneles de Lakeview). Las versiones anteriores de los paneles, anteriormente denominadas paneles sql de Databricks, ahora se denominan paneles heredados. Databricks no recomienda crear nuevos paneles heredados. Los paneles de IA/BI ofrecen características mejoradas en comparación con la versión heredada, como la creación asistida por IA, los modos borrador y publicados y el filtrado cruzado.

Finalización del soporte de la escala de tiempo de soporte técnico para paneles heredados

• 7 de abril de 2025: finalizará el soporte oficial para la versión heredada de los paneles. Solo se solucionarán los problemas críticos de seguridad y las interrupciones del servicio.
• 3 de noviembre de 2025: Databricks comenzará a archivar paneles heredados a los que no se ha accedido en los últimos seis meses. Los paneles archivados ya no serán accesibles y el proceso de archivado se producirá de forma gradual. El acceso a paneles usados activamente permanecerá sin cambios.

Databricks trabajará con los clientes a fin de desarrollar planes de migración para paneles heredados activos después del 3 de noviembre de 2025.

Para ayudar a realizar la transición a los paneles de INTELIGENCIA ARTIFICIAL o BI, las herramientas de actualización están disponibles tanto en la interfaz de usuario como en la API. Para obtener instrucciones sobre cómo usar la herramienta de migración integrada en la interfaz de usuario, consulte Clonar un panel heredado en un panel de INTELIGENCIA ARTIFICIAL o BI. Para ver tutoriales sobre cómo crear y administrar paneles mediante la API REST en Uso de las API de Azure Databricks para administrar paneles.

Cambios en la atribución de la carga de trabajo de proceso sin servidor

Actualmente, la tabla del sistema de uso facturable puede incluir registros de facturación de SKU sin servidor con valores NULL para run_as, job_id, job_run_id y notebook_id. Estos registros representan los costos asociados a los recursos compartidos que no son directamente imputables a ninguna carga de trabajo determinada.

Para ayudar a simplificar los informes de costos, Databricks pronto asignará estos costos compartidos a las cargas de trabajo específicas en las que se incurrió. Ya no verá registros de facturación con valores NULL en campos de identificador de carga de trabajo. A medida que aumenta el uso del proceso sin servidor y agrega más cargas de trabajo, la proporción de estos costos compartidos en la factura disminuirá a medida que se compartan en más cargas de trabajo.

Para obtener más información sobre la supervisión de los costos de proceso sin servidor, consulte Supervisión del costo del proceso sin servidor.

El campo sourceIpAddress de los registros de auditoría ya no incluirá un número de puerto

Debido a un error, determinados registros de auditoría de autorización y autenticación incluyen un número de puerto además de la dirección IP en el campo sourceIPAddress (por ejemplo, "sourceIPAddress":"10.2.91.100:0"). El número de puerto, que se registra como 0, no proporciona ningún valor real y es incoherente con el resto de los registros de auditoría de Databricks. Para mejorar la coherencia de los registros de auditoría, Databricks planea cambiar el formato de la dirección IP para estos eventos de registro de auditoría. Este cambio se implementará gradualmente a partir de principios de agosto de 2024.

Si el registro de auditoría contiene un sourceIpAddress de 0.0.0.0, Databricks podría dejar de registrarlo.

Integración de Git heredada es EOL el 31 de enero

Después del 31 de enero de 2024, Databricks quitará las integraciones heredadas de Git de cuadernos. Esta característica ha estado en estado heredado durante más de dos años y se ha estado mostrando un aviso de desuso en la interfaz de usuario del producto desde noviembre de 2023.

Para más información sobre la migración a carpetas de Git de Databricks (anteriormente Repos), consulte Cambio a Databricks Repos desde la integración de Git heredada. Si esta eliminación le afecta y necesita una extensión, póngase en contacto con el equipo de la cuenta de Databricks.

No habrá compatibilidad con JDK 8 y JDK 11

Azure Databricks planea quitar la compatibilidad con JDK 8 en la siguiente versión principal de Databricks Runtime, cuando se lance Spark 4.0. Azure Databricks planifica quitar la compatibilidad con JDK 11 con la siguiente versión LTS de Databricks Runtime 14.x.

Habilitación automática de Unity Catalog para nuevas áreas de trabajo

Databricks pronto comenzará a habilitar Unity Catalog automáticamente para nuevas áreas de trabajo. Esto elimina la necesidad de que los administradores de cuentas deban configurar Unity Catalog después de crear un área de trabajo. El lanzamiento se realiza gradualmente en todas las cuentas.

actualización de sqlite-jdbc

Databricks Runtime planea actualizar la versión sqlite-jdbc de 3.8.11.2 a 3.42.0.0 en todas las versiones de mantenimiento de Databricks Runtime. Las API de la versión 3.42.0.0 no son totalmente compatibles con 3.8.11.2. Confirme los métodos y el tipo de valor devuelto usen la versión 3.42.0.0.

Si usa sqlite-jdbc en el código, compruebe el informe de compatibilidad sqlite-jdbc.