Mayo de 2024

Estas características y mejoras de la plataforma de Azure Databricks se publicaron en mayo de 2024.

Nota:

Las versiones se publican por fases. Es posible que su cuenta de Azure Databricks no se actualice hasta una semana o más después de la fecha de lanzamiento inicial.

La configuración del firewall sin servidor ahora admite más tipos de proceso

31 de mayo de 2024

Azure Databricks ahora admite la configuración de firewalls para trabajos sin servidor, cuadernos, canalizaciones de Delta Live Tables y modelos que sirven a los puntos de conexión de CPU mediante configuraciones de conectividad de red (NCC). Los administradores de cuentas pueden crear NCC y adjuntarlos a áreas de trabajo para garantizar el acceso seguro y controlado a través de subredes estables.

Consulte Configuración de un firewall para el acceso a procesos sin servidor.

Finaliza la compatibilidad con la serie Databricks Runtime 15.0

31 de mayo de 2024

La compatibilidad con Databricks Runtime 15.0 y Databricks Runtime 15.0 para Machine Learning finalizó el 31 de mayo. Consulte Ciclo de vida del soporte técnico de Databricks.

Databricks Runtime 15.3 (Beta)

30 de mayo de 2024

Databricks Runtime 15.3 y Databricks Runtime 15.3 ML ya están disponibles como versiones beta.

Consulte Databricks Runtime 15.3 (EoS) y Databricks Runtime 15.2 para Aprendizaje Automático (EoS).

La interfaz de usuario de métricas de proceso ya está disponible en todas las versiones de Databricks Runtime

30 de mayo de 2024

La interfaz de usuario de métricas de proceso se ha implementado en todas las versiones de Databricks Runtime. Anteriormente, estas métricas solo estaban disponibles en los recursos de proceso que se ejecutan en Databricks Runtime 13.3 y versiones posteriores. Consulte Visualización de métricas de proceso.

Búsqueda y filtrado mejorados en cuadernos y tablas de resultados del editor de SQL

28 de mayo de 2024

Ahora puede buscar fácilmente columnas y seleccionar valores de filtro en una lista desplegable de valores existentes en las tablas de resultados dentro de cuadernos y el editor de SQL.

El nuevo panel ayuda a los proveedores de Marketplace de Databricks a supervisar el uso de la lista

28 de mayo de 2024

El nuevo panel de Análisis de proveedores permite a los proveedores de Marketplace de Databricks supervisar las aplicaciones, las solicitudes y las instalaciones de la aplicación. El panel extrae datos de las tablas del sistema de Marketplace. Consulte Supervisión de la enumeración de métricas de uso mediante paneles.

Visualización de consultas federadas generadas por el sistema en Query Profile

24 de mayo de 2024

La federación de Lakehouse ahora admite la visualización de consultas federadas generadas por el sistema y sus métricas en el perfil de consulta. Haga clic en el nodo de examen de federación en la vista de gráfico para mostrar la consulta insertada en el origen de datos. Consulte Visualización de consultas federadas generadas por el sistema.

Las direcciones IP de salida del plano de proceso se deben agregar a una lista de direcciones IP permitidas del área de trabajo

24 de mayo de 2024

Si usa la conectividad segura de clústeres y la lista de acceso de direcciones IP en su área de trabajo, debe agregar todas las direcciones IP públicas que usa el plano de proceso para acceder el plano de control a una lista de permitidos o configurar Private Link de back-end. Este cambio afectará a todas las áreas de trabajo nuevas a partir del 29 de julio de 2024 y a las áreas de trabajo existentes a partir del 26 de agosto de 2024. Para obtener más información, consulte laPublicación Comunidad de Databricks.

Por ejemplo, si habilita la conectividad segura del clúster en un área de trabajo que usa la inserción de red virtual, Databricks recomienda que el área de trabajo tenga una dirección IP pública de salida estable. Esa dirección IP pública y cualquier otra debe estar presente en una lista de permitidos. Consulte Direcciones IP de salida al usar la conectividad de clúster segura. Como alternativa, si usa una red virtual administrada por Azure Databricks y configura la puerta de enlace NAT administrada para acceder a direcciones IP públicas, esas direcciones IP deben estar presentes en una lista de permitidos.

Consulte Configurar listas de acceso IP para áreas de trabajo.

OAuth se admite en Lakehouse Federation para Snowflake

24 de mayo de 2024

Unity Catalog ahora le permite crear conexiones de Snowflake mediante OAuth. Consulte Ejecución de consultas federadas en Snowflake.

Mover y eliminar objetos del área de trabajo en masa desde el explorador del área de trabajo

24 de mayo de 2024

Ahora puede seleccionar varios elementos en el área de trabajo para moverlos o eliminarlos. Al seleccionar varios objetos, aparece una barra de acciones con opciones y tiene opciones para mover elementos o eliminarlos. Además, puede usar el mouse para seleccionar varios elementos y arrastrarlos a una nueva ubicación. Los permisos existentes en los objetos siguen vigentes durante las operaciones de movimiento y eliminación en bloque.

Los objetos de Unity Catalog están disponibles en recientes y favoritos

23 de mayo de 2024

Ahora puede encontrar objetos de Unity Catalog como catálogos y esquemas en la lista de recientes. También puede seleccionar objetos de Unity Catalog favoritos en el Explorador de catálogos y el Explorador de esquemas y buscar objetos favoritos en la página principal del área de trabajo.

El nuevo conector dbt-databricks 1.8.0 adopta la arquitectura dbt desacoplada

23 de mayo de 2024

El conector DBT-Databricks 1.8.0 es la primera versión en adoptar la nueva arquitectura dbt desacoplada. En lugar de depender de dbt-core para que los clientes no tengan que especificar versiones para ambas bibliotecas, ahora el conector depende de una capa de abstracción compartida entre el adaptador y dbt-core. Como resultado, el conector ya no necesita coincidir con la versión de la característica de Databricks con la de dbt-core y es libre de adoptar el versionamiento semántico. Esto significa que los desarrolladores de conectores ya no necesitan liberar características significativas, como compute-per-model como revisiones.

En esta versión también incluye lo siguiente:

• Mejoras en la declaración y el funcionamiento de las vistas materializadas y tablas de streaming, incluida la capacidad de programar actualizaciones automáticas.
• Compatibilidad con las etiquetas de objeto protegible de Unity Catalog. Para distinguirlas de las etiquetas dbt, que son metadatos que a menudo se usan para seleccionar modelos en una operación dbt, estas etiquetas se denominan databricks_tags en la configuración del modelo.
• Varias mejoras en el rendimiento del procesamiento de metadatos.

Nuevas API de configuración de seguridad y cumplimiento (versión preliminar pública)

23 de mayo de 2024

Databricks ha introducido nuevas API para el perfil de seguridad de cumplimiento, la supervisión de seguridad mejorada y la configuración de actualización automática de clústeres en áreas de trabajo. Vea:

• API de perfil de seguridad de cumplimiento
• API de supervisión de seguridad mejorada
• API de actualización automática del clúster

Databricks Runtime 15.2 está disponible con carácter general

22 de mayo de 2024

Databricks Runtime 15.2 y Databricks Runtime 15.2 ML ahora están disponibles con carácter general.

Consulta Databricks Runtime 15.2 (EoS) y Databricks Runtime 15.2 para Machine Learning (EoS).

Nuevo conector de Tableau para Delta Sharing

22 de mayo de 2024

El nuevo conector de Tableau para Delta Sharing simplifica el acceso de Tableau Desktop a los datos que se han compartido con el usuario mediante el protocolo de uso compartido abierto Delta Sharing. Consulte Tableau: leer datos compartidos.

Nuevos ejemplos de modelos de recomendación de aprendizaje profundo

22 de mayo de 2024

Databricks ha publicado dos nuevos ejemplos que ilustran modelos de recomendación de aprendizaje profundo modernos, incluidos el modelo de dos torres y DLRM de Meta. Para obtener más información sobre los modelos de recomendación de aprendizaje profundo, consulte Entrenamiento de modelos recomendados.

Enlace de credenciales de almacenamiento y ubicaciones externas a áreas de trabajo específicas (versión preliminar pública)

22 de mayo de 2024

Ahora puedes enlazar credenciales de almacenamiento y ubicaciones externas a áreas de trabajo específicas, lo que impide el acceso a esos objetos desde otras áreas de trabajo. Esta característica es especialmente útil si usa áreas de trabajo para aislar el acceso a datos de usuario, por ejemplo, si tiene áreas de trabajo de producción y desarrollo independientes, o bien un área de trabajo dedicada para controlar datos confidenciales.

Para obtener más información, consulta (opcional) Asignación de un catálogo a áreas de trabajo específicas y (opcional) Asignación de una ubicación externa a áreas de trabajo específicas.

Las carpetas de Git están disponibles con carácter general

22 de mayo de 2024

Las carpetas de Git ahora están disponibles con carácter general. Consulte integración de Git con carpetas de Git de Databricks. Si es un usuario de la característica anterior “Repos”, consulte ¿Qué ha ocurrido con los repositorios de Databricks?.

Modelos entrenados previamente en Unity Catalog (versión preliminar pública)

21 de mayo de 2024

Databricks ahora incluye una selección de modelos GenAI entrenados previamente de alta calidad en Unity Catalog. Estos modelos entrenados previamente le permiten acceder a las funcionalidades de IA de última generación para sus flujos de trabajo de inferencia, lo que le ahorra tiempo y gastos de creación de sus propios modelos personalizados. Consulte Modelos entrenados previamente en Unity Catalog y Marketplace.

El vector de búsqueda de IA en mosaico es GA

21 de mayo de 2024

Los vectores de búsqueda de IA de mosaico ahora está disponible con carácter general. Consulte Vector de búsqueda de Mosaic AI.

Autocompletar de Databricks Assistant (versión preliminar pública)

20 de mayo de 2024

Autocompletar de Databricks Assistant proporciona sugerencias basadas en IA en tiempo real mientras escribe cuadernos, consultas y archivos. Para habilitarlo, vaya a Configuración>Desarrollador>Características experimentales y active Autocompletar de Databricks Assistant. Para más información, consulte Autocompletar basado en IA.

Compatibilidad con Meta Llama 3 en Entrenamiento de modelos de base

20 de mayo de 2024

Entrenamiento de modelos de base ahora admite Meta Llama 3. Consulte Ajuste preciso de Foundation Model.

Nuevos cambios en la interfaz de usuario de la carpeta Git

17 de mayo de 2024

Es posible que observe algunos cambios en la interfaz de usuario para las interacciones de carpetas de Git. Hemos agregado lo siguiente:

• Al compartir una carpeta de Git, verá una nueva alerta en un banner que le pide que Copie el vínculo para crear una carpeta de Git. Al hacer clic en el botón, se copia una dirección URL en el Portapapeles local, que puede enviar a otro usuario. Cuando ese usuario destinatario carga esa dirección URL en un explorador, el usuario se lleva al área de trabajo donde puede crear su propia carpeta Git clonada desde el mismo repositorio de Git remoto. Cuando el destinatario accede a la dirección URL, verá un cuadro de diálogo Crear carpeta Git en la interfaz de usuario rellenada previamente con los valores tomados de la carpeta Git.

  

• Del mismo modo, aparece un botón nuevo, Crear carpeta Git, en un nuevo banner de alerta al ver una carpeta de Git creada por otro usuario. Haga clic en este botón para crear su propia carpeta Git para el mismo repositorio de Git, en función de los valores rellenados previamente en el cuadro de diálogo Crear carpeta Git.

  

Entrenamiento de Foundation Model (versión preliminar pública)

13 de mayo de 2024

Databricks ahora admite el entrenamiento de Foundation Model. Con el entrenamiento de Foundation Model, se usan sus propios datos para personalizar un modelo de base para optimizar su rendimiento para su aplicación específica. Mediante el ajuste o el entrenamiento continuo de un modelo de base, puede entrenar su propio modelo con muchos menos datos, tiempo y recursos de proceso que entrenar un modelo desde cero. Los datos de entrenamiento, los puntos de control y el modelo optimizado residen en la plataforma de Databricks y se integran con sus herramientas de gobernanza y productividad.

Para obtener más información, consulte Ajuste fino de Foundation Model.

Permitir que los usuarios copien datos en el Portapapeles desde la tabla de resultados

9 de mayo de 2024

Los administradores ahora pueden habilitar o deshabilitar la posibilidad de que los usuarios copien datos en su Portapapeles desde las tablas de resultados. Anteriormente, esta característica se limitaba a los cuadernos. Ahora, esta configuración se aplica a las interfaces siguientes:

• Cuaderno
• Paneles
• Espacios de Genie
• Explorador de catálogo
• Editor de archivos
• Editor SQL

Los valores de las etiquetas de atributos para objetos del catálogo de Unity ya pueden tener 1000 caracteres de longitud (versión preliminar pública)

8 de mayo de 2024

Los valores de las etiquetas de atributos en el catálogo de Unity ya pueden tener hasta 1000 caracteres de longitud. El límite de caracteres para las claves de etiquetas sigue siendo 255. Vea Aplicar etiquetas a objetos protegibles de Unity Catalog.

Nueva página Versiones preliminares

8 de mayo de 2024

Habilite y administre el acceso a las versiones preliminares de Databricks en la nueva página Versiones preliminares. Consulte Administración de las versiones preliminares de Azure Databricks.

Nuevas funcionalidades para los vectores de búsqueda de IA de mosaico

8 de mayo de 2024

Entre las nuevas funcionalidades se incluyen las siguientes:

• Ya se admiten las Listas de acceso de IP.
• Las claves administradas por el cliente (CMK) ahora se admiten en los puntos de conexión creados el 8 de mayo de 2024 o después. La compatibilidad con el vector de búsqueda para CMK está en versión preliminar pública.
• Registros de auditoría mejorados y seguimiento de atribución de costes. Consulte Referencia del registro de diagnóstico.
• Ya es posible guardar incrustaciones generadas como tablas Delta. Consulte Creación de índices de vector de búsqueda.

Consulte Vector de búsqueda de Mosaic AI.

Los controles de acceso a la tabla de metadatos de Hive y desuso de credenciales están en desuso

7 de mayo de 2024

La Transferencia de credenciales y los Controles de acceso de tabla del metastore de Hive están en desuso en Databricks Runtime 15.0 y la compatibilidad se quitará en una próxima versión de DBR.

Actualice Unity Catalog para simplificar la seguridad y gobernanza de los datos proporcionando un lugar central para administrar y auditar el acceso a datos en varias áreas de trabajo de la cuenta. Consulte ¿Qué es Unity Catalog?

Controlador JDBC de Databricks 2.6.38

6 de mayo de 2024

Hemos publicado la versión 2.6.38 del controlador JDBC de Databricks (descargar). Esta versión agrega las siguientes características y mejoras nuevas:

• Compatibilidad con consultas parametrizadas nativas si el servidor usa SPARK_CLI_SERVICE_PROTOCOL_V8. El límite del número de parámetros de una consulta es 256 en el modo de consulta nativa.
• Ingesta de datos mediante una compatibilidad con volúmenes de Unity Catalog. Obtenga más información sobre los volúmenes de Unity Catalog en Conectarse al almacenamiento de objetos en la nube mediante el catálogo de Unity. Para usarlo, establezca UseNativeQuery en 1.
• La interfaz QueryProfile agregada a IHadoopStatement permite a las aplicaciones recuperar una consulta query id. query id se puede usar para capturar los metadatos de la consulta mediante la API de REST de Databricks.
• Las operaciones asincrónicas para las llamadas Thrift de metadatos si el servidor usa SPARK_CLI_SERVICE_PROTOCOL_V9. Para usar esta característica, establezca la propiedad EnableAsyncModeForMetadataOperation en 1.
• Compatibilidad con aserciones de JWT. El conector ahora admite la aserción de JWT OAuth mediante credenciales de cliente. Para ello, establezca la propiedad UseJWTAssertion en 1.

En esta versión se resuelven también los siguientes problemas:

• Actualizaciones de bibliotecas de Jackson. El conector ahora usa las siguientes bibliotecas para el analizador JSON de Jackson: jackson-annotations 2.16.0 (anteriormente 2.15.2), jackson-core 2.16.0 (anteriormente 2.15.2), jackson-databind-2.16.0 (anteriormente 2.15.2)
• El conector contiene archivos de clase sin formato en el directorio META-INF.

Compatibilidad del firewall con la cuenta de almacenamiento del área de trabajo disponible con carácter general

6 de mayo de 2024

Al crear un área de trabajo de Azure Databricks, se crea una cuenta de Azure Storage en un grupo de recursos administrado, conocido como cuenta de almacenamiento del área de trabajo. Ahora puede habilitar un firewall limitar el acceso a la cuenta de almacenamiento del área de trabajo solo desde recursos y redes autorizados mediante una plantilla de ARM. Consulte Habilitación de la compatibilidad con el firewall para la cuenta de almacenamiento del área de trabajo.

Databricks Runtime 15.2 (versión beta)

2 de mayo de 2024

Databricks Runtime 15.2 y Databricks Runtime 15.2 ML ahora están disponibles como versiones Beta.

Consulta Databricks Runtime 15.2 (EoS) y Databricks Runtime 15.2 para Machine Learning (EoS).

Notebooks ahora detecta y completa automáticamente nombres de columna para DataFrames de Spark Connect

1 de mayo de 2024

Los cuadernos de Databricks ahora detectan y muestran automáticamente los nombres de columna en DataFrames de Spark Connect y le permiten usar la opción de completar automáticamente para seleccionar columnas.