Octubre de 2023
Estas características y mejoras de la plataforma de Azure Databricks se publicaron en octubre de 2023.
Nota:
Las versiones se publican por fases. Es posible que su área de trabajo de Azure Databricks no se actualice hasta una semana o más después de la fecha de lanzamiento inicial.
Conectividad segura sin servidor para Databricks SQL sin servidor (versión preliminar pública)
31 de octubre de 2023
Las nuevas herramientas de conectividad segura sin servidor ayudan a controlar el acceso a la red entre almacenes SQL sin servidor y sus orígenes de datos de Azure Storage. Puede elegir un firewall de almacenamiento mediante identificadores de subred o habilitar la conectividad privada con Azure Private Link. Para unirse a la versión preliminar pública, póngase en contacto con el equipo de cuentas de Azure Databricks. Consulte Redes de plano de proceso sin servidor.
Si tiene firewalls de almacenamiento configurados mediante identificadores de subred enumerados en la documentación de Azure Databricks anterior al 31 de octubre de 2023, Databricks recomienda actualizar las configuraciones de firewall de cada una de las regiones del área de trabajo mediante una de las nuevas herramientas. Esta medida puede ayudarle a aplicar una implementación coherente en todas las áreas de trabajo. Aunque decida no actualizar las configuraciones existentes, las áreas de trabajo seguirán funcionando.
Visualización del origen de YAML para un trabajo de Azure Databricks
30 de octubre de 2023
Ahora puede ver y copiar el origen de YAML para un trabajo haciendo clic 
en la página de detalles del trabajo y seleccionando Ver YAML/JSON. Puede usar el origen de YAML para crear flujos de trabajo de CI/CD con Conjuntos de recursos de Databricks. Consulte ¿Qué son las agrupaciones de recursos de Databricks?
Adición de lógica condicional a los flujos de trabajo de Azure Databricks
30 de octubre de 2023
Ahora puede usar la tarea If/else condition para ejecutar tareas condicionalmente en un trabajo de Azure Databricks en función de los resultados de una expresión booleana. Consulte Agregar lógica de bifurcación a un trabajo con la tarea If/else.
Configuración de parámetros en un trabajo de Azure Databricks al que pueden hacer referencia todas las tareas de trabajo
30 de octubre de 2023
Ahora puede agregar parámetros a los trabajos de Azure Databricks que se pasan automáticamente a todas las tareas de trabajo que aceptan pares clave-valor. Consulte Configuración de parámetros del trabajo. Además, ahora puede usar un conjunto ampliado de referencias de valor para pasar el contexto y el estado entre las tareas de trabajo. Consulte ¿Qué es una referencia de valores dinámicos?
Habilitación automática de vectores de eliminación
30 de octubre de 2023
Ahora puede habilitar vectores de eliminación en todas las nuevas tablas Delta de Databricks Runtime 14.0 y versiones posteriores con la configuración de administración del área de trabajo Habilitar automáticamente vectores de eliminación. Actualmente, este comportamiento está activado, pero cambiará a desactivado en el futuro. Databricks recomienda configurar manualmente una opción para esta configuración. Vea Habilitación automática de vectores de eliminación.
La compatibilidad con Unity Catalog para UNDROP TABLE está disponible de forma general
25 de octubre de 2023
Puede anular la eliminación de una tabla administrada o externa eliminada en un esquema existente en los siete días siguientes a su eliminación. Requiere Databricks Runtime 12.1 o posterior. Consulte UNDROP TABLE y SHOW TABLES DROPPED.
Partner Connect admite Dataiku
25 de octubre de 2023
Ahora puede conectar el área de trabajo de Azure Databricks a Dataiku mediante Partner Connect. Consulte Conexión a Dataiku.
Los cuadernos generados por AutoML de mosaico ahora se guardan como artefactos de MLflow
24 de octubre de 2023
Los cuadernos generados por AutoML de mosaico ahora se guardan como artefactos de MLflow en todas las versiones de Databricks Runtime para Machine Learning.
Nueva región: Centro de Catar
23 de octubre de 2023
Azure Databricks ya está disponible en Centro de Catar. Consultar Regiones de Azure Databricks.
Volúmenes de Unity Catalog compatibles con Azure Firewall y Private Link
23 de octubre de 2023
Ahora puede usar volúmenes de Catálogo de Unity junto con las cuentas de almacenamiento de Azure configuradas con Azure Firewall o Private Link. Esto quita una limitación anterior.
Optimización predictiva (versión preliminar pública)
24 de octubre de 2023
La optimización predictiva elimina la necesidad de administrar manualmente las operaciones de mantenimiento de las tablas Delta. Las operaciones de mantenimiento solo se ejecutan si es necesario, lo que elimina tanto las ejecuciones innecesarias de las operaciones de mantenimiento como la carga asociada al seguimiento y la solución de problemas de rendimiento. Consulte Optimización predictiva para tablas administradas de Unity Catalog.
Las tablas del sistema de precios de proceso ya están disponibles (versión preliminar pública)
23 de octubre de 2023
El esquema de system.compute contiene dos tablas nuevas que puede usar para supervisar los recursos de proceso de la cuenta: clusters y node_types.
Tabla de dimensión variable lenta que contiene el historial completo de configuraciones de clúster a lo largo del tiempo para cualquier clúster. La tabla de tipos de nodo captura los tipos de nodo disponibles actualmente con su información básica de hardware. Si no tiene acceso a estas tablas del sistema, asegúrese de haber habilitado el esquema de cálculo en su cuenta (consulte Habilitar esquemas de tablas del sistema).
Para obtener más información sobre las tablas del sistema de proceso, consulte Referencia de tablas del sistema de proceso.
El cálculo de características a petición presenta disponibilidad general
19 de octubre de 2023
Las características de aprendizaje automático ahora se pueden calcular a petición en el momento de la inferencia. Esto permite a los modelos calcular características mediante entradas que solo están disponibles en el momento de la inferencia, como una ubicación actual del usuario’, o para usar características que son prohibitivas de costo para precalcular, almacenar y actualizar. El código de entrenamiento del modelo puede definir un gráfico arbitrario de búsquedas de características y cálculos que se ejecutan durante el entrenamiento y la inferencia del modelo.
La lógica de cálculo de las características, los modelos y los datos están regidos por Unity Catalog. Para obtener más información, consulte Procesamiento de características a petición usando funciones de Python definidas por el usuario.
Ingeniería de características en Unity Catalog presenta disponibilidad general
19 de octubre de 2023
Con la ingeniería de características en Unity Catalog, Unity Catalog se convierte en su almacén de características. Puede usar cualquier tabla Delta con una clave principal como tabla de características para el entrenamiento o la inferencia del modelo. Unity Catalog proporciona detección y gobernanza de características.
Comentarios de tabla generados por IA (versión preliminar pública)
18 de octubre de 2023
Como parte de la iniciativa para usar la inteligencia artificial para ayudarle a trabajar con Azure Databricks, Azure Databricks presenta comentarios de columnas y tablas generados por inteligencia artificial a la versión preliminar pública. En Catalog Explorer, puede ver, editar y agregar un comentario generado por IA para cualquier tabla o columna de tabla administrada por el catálogo de Unity. Los comentarios generados por IA pueden usar modelos de asociados externos para proporcionar respuestas. Los datos enviados a estos servicios no se usan para el entrenamiento de modelos.
Consulte Adición de comentarios generados por IA a objetos de catálogo de Unity.
Los modelos de Unity Catalog son de disponibilidad general
17 de octubre de 2023
Los modelos de ML del catálogo de Unity ya están disponibles con carácter general. El Catálogo de Unity proporciona control de acceso centralizado, auditoría, linaje, uso compartido de modelos entre áreas de trabajo y mejores flujos de trabajo de implementación de MLOps. Azure Databricks recomienda usar modelos en el catálogo de Unity en lugar del Registro de modelos del área de trabajo. Para más información, consulte Administración del ciclo de vida del modelo en el Catálogo de Unity.
Las bibliotecas ya son compatibles con las directivas de cálculo (Versión preliminar pública)
17 de octubre de 2023
Los administradores del área de trabajo ahora pueden agregar bibliotecas a las directivas de proceso. El proceso que use la directiva instalará automáticamente la biblioteca. Los usuarios no pueden instalar ni desinstalar bibliotecas con ámbito de proceso en el proceso que use la directiva. Las bibliotecas instaladas anteriormente se desinstalarán.
Databricks recomienda migrar todas las bibliotecas instaladas con scripts de inicialización para usar directivas de proceso. Consulte Agregar bibliotecas a una directiva.
Partner Connect admite Monte Carlo
16 de octubre de 2023
Ahora puede conectar el área de trabajo de Azure Databricks a Monte Carlo mediante Partner Connect. Para más información, vea Conexión de Azure Databricks a Monte Carlo.
Búsqueda semántica (versión preliminar pública)
16 de octubre de 2023
Ahora puede usar lenguaje natural para buscar tablas de Unity Catalog en el cuadro de diálogo Búsqueda avanzada. Consulte Búsqueda semántica.
Habilitar Databricks Assistant en el nivel de área de trabajo
11 de octubre de 2023
Un administrador del área de trabajo ahora puede habilitar o deshabilitar Databricks Assistant para un área de trabajo individual si el administrador de la cuenta lo ha permitido. Para obtener más información, consulte ¿Cómo se habilita Databricks Assistant?.
Nuevos valores predeterminados de Photon
11 de octubre de 2023
Al crear un nuevo clúster a través de la interfaz de usuario, el motor predeterminado de Databricks Runtime es Photon habilitado. Esto se aplica a las agrupaciones polivalentes y de empleo.
Los nuevos clústeres creados con una directiva de clúster compatible con Photon tienen Photon habilitado de forma predeterminada. Una política de clúster es compatible con Photon si Databricks Runtime la admite, el tipo de nodo es compatible y el runtime_engine no está configurado explícitamente como STANDARD.
Databricks Runtime 14.1 está disponible de forma general
11 de octubre de 2023
Databricks Runtime 14.1 y Databricks Runtime 14.1 ML ahora están disponibles con carácter general.
Consulte Databricks Runtime 14.1 y Databricks Runtime 14.1 para Machine Learning.
Las notas de la versión de las herramientas para desarrolladores se han trasladado
10 de octubre de 2023
Las notas de la versión de las herramientas de desarrollo de Azure Databricks después del 10 de octubre de 2023 ahora se publican en las notas de la versión de herramientas de desarrollo y los SDK de Azure Databricks en lugar de las notas de la versión de la plataforma Azure Databricks.
La extensión de Databricks para Visual Studio Code se actualizó a la versión 1.1.5
9 de octubre de 2023
La extensión Databricks para Visual Studio Code versión 1.1.5 agrega algunas correcciones secundarias. Para obtener información más detallada, consulte los registros de cambios para la versión 1.1.5.
La E/S predictiva para las actualizaciones está disponible con disponibilidad general
9 de octubre de 2023
La E/S predictiva para las actualizaciones ahora está disponible con carácter general en Databricks Runtime 14.0 y versiones posteriores. Consulte ¿Qué es la E/S predictiva?.
Los vectores de eliminación son de disponibilidad general
9 de octubre de 2023
Los vectores de eliminación ahora están disponibles con carácter general en Databricks Runtime 14.0 y versiones posteriores. Consulte ¿Qué son los vectores de eliminación?.
Partner Connect admite RudderStack
5 de octubre de 2023
Ahora puede usar Partner Connect para conectar su área de trabajo de Azure Databricks a RudderStack. Para obtener más información, consulte Conexión a RudderStack.
CLI de Databricks actualizada a la versión 0.207.0 (versión preliminar pública)
4 de octubre de 2023
La Interfaz de la línea de comandos de Databricks (CLI de Databricks) se ha actualizado a la versión 0.207.0. Esta versión contiene actualizaciones de características y correcciones para los conjuntos de recursos de Databricks, realiza adiciones y cambios en varios grupos de comandos y comandos, etc. Para obtener información más detallada, consulte los registros de cambios para la versión 0.207.0.
Ejecución de celdas seleccionadas en un cuaderno
4 de octubre de 2023
Ahora solo puede ejecutar las celdas seleccionadas en un cuaderno. Consulte Ejecución de celdas seleccionadas.
Uso del enlace del catálogo del área de trabajo para conceder acceso de solo lectura a un catálogo
4 de octubre de 2023
Cuando use el enlace del catálogo del área de trabajo para limitar el acceso de catálogo a áreas de trabajo específicas de la cuenta, ese acceso ahora podrá ser de solo lectura. El enlace del catálogo del área de trabajo de solo lectura resulta útil en escenarios como el de conceder a los usuarios acceso de solo lectura a los datos de producción desde un área de trabajo de desarrollador para habilitar el desarrollo y las pruebas.
Esta actualización también pone en desuso el punto de conexión de la API /api/2.1/unity-catalog/workspace-bindings/ y lo reemplaza por /api/2.1/unity-catalog/bindings/.
Consulte Limitación del acceso de catálogo a áreas de trabajo específicas.
La extensión de Databricks para Visual Studio Code se actualizó a la versión 1.1.4
2 de octubre de 2023
La extensión de Databricks para Visual Studio Code, versión 1.1.4, agrega compatibilidad con direcciones URL de área de trabajo personalizadas de Azure Databricks, etc. Para obtener información más detallada, consulte los registros de cambios para la versión 1.1.4.
SDK de Databricks para Python actualizado a la versión 0.10.0 (beta)
3 de octubre de 2023
El SDK de Databricks para Python versión 0.10.0 presenta 7 cambios importantes, agrega 10 clases de datos, agrega 6 campos y agrega un servicio. Para obtener información más detallada, consulte los registros de cambios para la versión 0.10.0.
SDK de Databricks para Go actualizado a la versión 0.22.0 (beta)
3 de octubre de 2023
El SDK de Databricks para Go versión 0.22.0 presenta un cambio importante en la API y agrega una API. Para obtener información más detallada, consulte los registros de cambios para la versión 0.22.0.
Volúmenes de Unity Catalog están ahora en versión preliminar pública para Azure China
2 de octubre de 2023
Los volúmenes del Unity Catalog ahora están disponibles como una característica de versión preliminar pública en las regiones de Azure China. Consulte ¿Qué son los volúmenes de Unity Catalog?.