Compartir a través de

Agosto de 2024

  • Artículo

Estas características y las mejoras de la plataforma Azure Databricks se publicaron en agosto de 2024.

Nota:

Las versiones se publican por fases. Es posible que su cuenta de Azure Databricks no se actualice hasta una semana o más después de la fecha de lanzamiento inicial.

Supervisión del uso de objetos de Unity Catalog con cuotas mediante las nuevas API de cuotas de recursos

30 de agosto de 2024

Las nuevas API de cuotas de recursos permiten supervisar el uso de objetos protegibles de Unity Catalog en comparación con las cuotas de recursos. Pronto, también podrá recibir notificaciones por correo electrónico al acercarse a los límites de cuota. Vea Supervisión del uso de cuotas de recursos de Unity Catalog y la Referencia de API de cuotas de recursos.

Retirada de los modelos MPT 7B Instruct y MPT 30B Instruct

30 de agosto de 2024

Los modelos MPT 7B Instruct y MPT 30B Instruct ya se han retirado. Vea Modelos retirados para ver los modelos sustitutos recomendados.

AskSupport reemplazado por el asistente de Azure Databricks

29 de agosto de 2024

AskSupport, el canal de soporte técnico basado en Slack de Databricks, se ha reemplazado por Databricks Assistant, que está disponible en el área de trabajo de Databricks. Use Databricks Assistant para buscar documentación técnica, crear vales y obtener asistencia compatible con el contexto.

Para usar AI Assistant, debe estar habilitado en la consola de la cuenta.

Panel de administración de costos importable agregado a la consola de la cuenta (versión preliminar pública)

28 de agosto de 2024

Ahora los administradores de cuentas pueden importar un panel de administración de costos personalizable desde la consola de la cuenta en cualquier área de trabajo de Unity Catalog de su cuenta. Hay dos versiones del panel: una que supervisa el uso de toda la cuenta y otra para el uso de una única área de trabajo.

Las tablas del sistema de Lakeflow se extienden con columnas adicionales

23 de agosto de 2024

Las tablas del esquema system.lakeflow se extienden con columnas adicionales. Se han realizado los cambios siguientes:

  • jobs se extiende con la columna description.
  • job_run_timeline se extiende con las columnas run_type, run_name, compute_ids, termination_code y job_parameters.
  • job_task_run_timeline se extiende con las columnas job_run_id, parent_run_id, y termination_code.

El cambio de esquema no es importante y no interrumpirá los flujos de trabajo existentes. Las nuevas columnas no se rellenarán para las filas ya emitidas. Para más información, consulta Referencia de tabla del sistema de trabajos.

Resaltado del error de formato de código de Python

23 de agosto de 2024

El código de Python en cuadernos y editores de archivos puede resaltar errores de formato y advertencias como sangría inesperada, longitud de línea larga y mucho más. Vea Resaltado del formato de Python.

Delta Sharing: ahora hay más características de Delta Lake compatibles con los conectores de Python y Power BI

21 de agosto de 2024

A partir de ahora, los conectores Python 1.1.0+ y Power BI v2.132.908.0+ de Delta Sharing admiten:

  • modo de nombre de asignación de columnas
  • Vectores de eliminación
  • Formato uniforme

Estas características de Delta Lake ya se admiten en Databricks Runtime 14.1+ y en el conector Apache Spark 3.1+ de código abierto.

Consulte Matriz de compatibilidad de características de Delta Lake.

Delta Sharing agrega compatibilidad con TimestampNTZ

21 de agosto de 2024

Delta Sharing agrega compatibilidad con TimestampNTZ en Databricks Runtime 14.1 y versiones posteriores, y con el conector de código abierto Apache Spark 3.3 de Delta Sharing y versiones posteriores.

Consulte Matriz de compatibilidad de características de Delta Lake.

La tarea Trabajos For each de Azure Databricks está disponible con disponibilidad general

21 de agosto de 2024

La tarea For each ahora está disponible con carácter general. Puede usar la tarea For each para ejecutar otra tarea en bucle, pasando un conjunto diferente de parámetros a cada iteración de la tarea. La tarea For each puede iterar en cualquiera de las tareas de trabajo estándar, como un cuaderno, un archivo JAR, una secuencia de comandos de Python o una tarea SQL. Consulta Ejecución de una tarea parametrizada de trabajo de Azure Databricks en bucle.

Permiso RBAC de Azure para administradores del área de trabajo

20 de agosto de 2024

Anteriormente, el rol de colaborador o propietario integrado de Azure RBAC (control de acceso basado en roles) era necesario para conceder a un usuario el rol de administrador del área de trabajo de Azure Databricks desde Azure. Ahora puedes crear un rol RBAC de Azure personalizado que tenga permiso Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action para conceder a un usuario el rol de administrador del área de trabajo de Azure Databricks. Estos usuarios pueden administrar tu servicio Azure Databricks y configurar el registro de diagnóstico. Para más información, consulte los permisos de administrador de Azure necesarios.

Databricks Runtime 15.4 LTS está disponible de forma general

19 de agosto de 2024

Databricks Runtime 15.4 LTS y Databricks Runtime 15.4 LTS ML ahora están disponibles con carácter general.

Consulta Databricks Runtime 15.4 LTS y Databricks Runtime 15.4 LTS para Machine Learning.

Autocompletado de cuadernos personalizado

19 de agosto de 2024

El autocompletado de cuadernos ahora prioriza las sugerencias en función de los metadatos y el uso individuales del catálogo de Unity, lo que proporciona clasificaciones de sugerencias personalizadas para cada usuario. Consulta Autocompletado personalizado

Configuración del modo de acceso predeterminado del área de trabajo para el proceso de trabajos

16 de agosto de 2024

Los administradores del área de trabajo ahora pueden configurar el modo de acceso predeterminado para el proceso de trabajos en su área de trabajo. Este modo de acceso predeterminado se aplica a los recursos de proceso sin un modo de acceso definido. Para obtener más información, consulte Modo de acceso predeterminado para el proceso de trabajos.

Nuevos comandos de barra diagonal para Databricks Assistant

14 de agosto de 2024

Databricks Assistant ha agregado los siguientes comandos de barra diagonal como accesos directos para tareas comunes:

  • /findTables: busca tablas pertinentes basadas en los metadatos de Unity Catalog.
  • /findQueries: busca consultas pertinentes basadas en metadatos de Unity Catalog.
  • /prettify: da formato al código para facilitar la lectura.
  • /rename: sugiere nombres actualizados para las celdas del cuaderno y otros elementos, en función del contexto.
  • /settings: ajusta la configuración del cuaderno directamente desde el Asistente.

Para obtener más información, consulte Uso de comandos de barra oblicua para las consultas.

La búsqueda del área de trabajo ahora admite volúmenes

14 de agosto de 2024

Los volúmenes ahora se incluyen en los resultados de la búsqueda. Consulte Búsqueda de objetos del área de trabajo.

Modelos meta llama 3.1 405B compatibles con foundation Model Fine-tuning

14 de agosto de 2024

Los modelos Meta Llama 3.1 405B ahora se admiten en Foundation Model Fine-tuning. Consulte Modelos admitidos.

Controlador JDBC de Databricks 2.6.40

13 de agosto de 2024

La versión 2.6.40 del controlador JDBC de Databricks ya está disponible en la descarga de controladores JDBC. Esta versión quita los mensajes de registro redundantes WARNING para aumentar la facilidad de uso y la seguridad del registro.

Esta versión incluye las siguientes mejoras y características nuevas:

  • Compatibilidad con puntos de conexión de detección de OIDC. El controlador ahora puede establecer un punto de conexión de detección de OIDC para capturar un token y recuperar un punto de conexión de autorización.
  • Se ha actualizado la compatibilidad con Arrow. El controlador ahora usa la versión 14.0.2 de Apache Arrow. Las versiones anteriores del controlador usaban la versión 9.0.0 de Apache Arrow.
  • Compatibilidad con ProxyIgnoreList. El controlador ahora admite la propiedad ProxyIgnoreList cuando UseProxy se establece en 1.
  • Compatibilidad con tokens de actualización. El controlador ahora admite un token de actualización opcional. Guarda el token de acceso y lo reutiliza para las nuevas conexiones siempre que sea válida. Si el controlador no puede renovar el token de acceso mediante el token de actualización, iniciará sesión de nuevo.
  • Se ha actualizado la compatibilidad con la autenticación. El controlador ahora admite la autenticación basada en explorador (U2M) y credenciales de cliente (M2M) en Google Cloud.
  • Se agregaron opciones de OAuth predeterminadas unificadas.
  • Ahora puede configurar el puerto de redirección de OAuth. Para ello, establezca la propiedad OAuth2RedirectUrlPort en el puerto.

Para obtener información completa sobre la configuración, consulte la Guía del controlador JDBC de Databricks instalada con el paquete de descarga de controladores.

Los tokens de acceso personal de Databricks se revocan si no se usan después de 90 días

13 de agosto de 2024

Databricks ahora revoca automáticamente los tokens de acceso personal (PAT) que no se han usado en 90 días o más. Para más información, consulte Supervisión y revocación de tokens de acceso personal.

La API de clústeres ahora admite actualizaciones de configuración parciales

13 de agosto de 2024

Una nueva llamada API le permite actualizar parcialmente una configuración de clúster, lo que requiere especificar solo los atributos que desea actualizar. Consulte Actualización de la configuración del clúster (parcial) en la referencia de la API de REST.

Ajuste de líneas en celdas del cuaderno

12 de agosto de 2024

Ahora puede habilitar o deshabilitar el ajuste de líneas en celdas del cuaderno, lo que permite que el texto se ajuste a varias líneas o permanezca en una sola línea con desplazamiento horizontal. Consulte Ajuste de líneas.

12 de agosto de 2024

Ahora puede especificar un subconjunto de columnas de una tabla que se usará en un índice de búsqueda vectorial. La columna de clave principal y la columna de inserción siempre se sincronizan. Consulte Procedimiento para crear y consultar un índice de vector de búsqueda.

Los archivos ya no pueden tener nombres idénticos en carpetas del área de trabajo

9 de agosto de 2024

Databricks ahora impide crear o cambiar el nombre de los recursos en las carpetas del área de trabajo cuando el nombre de un recurso coincide exactamente con el nombre de otro archivo, teniendo en cuenta la extensión de archivo del recurso. Por ejemplo, ya no puede crear un archivo denominado test.py si ya hay un cuaderno con un nombre base de test con una extensión de .py en la misma carpeta del área de trabajo.

Para obtener más información, consulte Nomenclatura de recursos en carpetas del área de trabajo.

Aplicación de directivas de proceso ahora disponible

8 de agosto de 2024

La aplicación de cumplimiento de directivas permite a los administradores del área de trabajo actualizar los recursos de proceso de su área de trabajo para cumplir con la versión más reciente de una directiva. Esta característica se puede usar en la interfaz de usuario o a través de la API de directivas de clúster.

Consulte Aplicación del cumplimiento de directivas o API de directivas de clúster.

Pago por token de API de Foundation Model ahora disponibles con carácter general

7 de agosto de 2024

Las API de Foundation Model de pago por token ahora están disponibles con carácter general. Vea API de modelos de base de pago por token.

Colaborar en proyectos de datos de forma segura y privada mediante Databricks Clean Rooms (versión preliminar pública)

6 de agosto de 2024

Databricks Clean Rooms usa Delta Sharing y proceso sin servidor para proporcionar un entorno seguro y de protección de la privacidad en el que varias partes pueden compartir datos empresariales confidenciales y colaborar sin acceso directo entre sí.

Con Clean Rooms, los usuarios de otras cuentas de Databricks pueden colaborar para generar información única sobre proyectos compartidos, como campañas publicitarias, decisiones de inversión o investigación y desarrollo, sin mover ni exponer datos confidenciales. Ejecute cargas de trabajo complejas en un entorno efímero mediante cualquier lenguaje compatible con cuadernos de Databricks, incluido Python, que proporciona compatibilidad nativa con cargas de trabajo de aprendizaje automático.

Para probarlo, póngase en contacto con su representante de Azure Databricks.

Consulte ¿Qué es Azure Databricks Clean Rooms?

Los vectores de búsqueda de Mosaic AI ahora cumplen con la ley HIPAA

6 de agosto de 2024

Los vectores de búsqueda de Mosaic AI ahora cumplen con la ley HIPAA en todas las regiones.

Aplicación de formato a columnas en tablas de resultados de cuadernos y consultas

6 de agosto de 2024

Personalice las tablas de resultados para que sean más legibles con opciones de formato de columna como Moneda, Porcentaje, Dirección URL, control sobre posiciones decimales, etc. Vea Aplicación de formato a columnas.

Ahora, los filtros de fila y las máscaras de columna están disponibles con carácter general y mejoras

6 de agosto de 2024

La capacidad de aplicar filtros de fila y máscaras de columna a tablas ahora está disponible con carácter general en Databricks Runtime 12.2 y versiones posteriores. Los filtros de filas y las máscaras de columna impiden el acceso de determinados usuarios a datos confidenciales. Estos filtros y máscaras se implementan como funciones definidas por el usuario (UDF) de SQL. La GA ofrece compatibilidad con la siguiente funcionalidad que no estaba disponible en la versión preliminar pública:

  • Expresiones constantes en parámetros de directiva (cadenas, números, intervalos, booleanos, valores nulos).

  • Vistas materializadas y tablas de streaming (versión preliminar pública).

  • Instrucciones MERGE.

  • Muestreo de tabla.

La versión independiente de compatibilidad con el control de acceso específico en un solo proceso de usuario también expande las opciones de proceso para trabajar en tablas con filtros de fila y máscaras de columna aplicadas.

Consulte Filtrado de datos de tabla confidenciales mediante filtros de fila y máscaras de columna.

La federación de Lakehouse está disponible con carácter general (GA)

1 de agosto de 2024

En Azure Databricks Runtime 15.2 y versiones posteriores y Databricks SQL versión 2024.30 y posteriores, los conectores de Federación de almacén de lago en los siguientes tipos de base de datos están disponibles con carácter general (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Esta versión también presenta las siguientes mejoras:

  • Compatibilidad con la autenticación de inicio de sesión único (SSO) en los conectores de Snowflake y Microsoft SQL Server.

  • Compatibilidad con Azure Private Link para el conector de SQL Server desde entornos de proceso sin servidor. Consulte Paso 3: Creación de reglas de punto de conexión privado.

  • Compatibilidad con inserciones adicionales (cadenas, matemáticas y funciones varias).

  • Se ha mejorado la tasa de éxito de la aplicación en diferentes formas de consulta.

  • Funcionalidades adicionales de depuración de instrucciones:

    • La salida EXPLAIN FORMATTED muestra el texto de consulta insertado.
    • La interfaz de usuario del perfil de consulta muestra el texto de consulta insertado, los identificadores de nodo federado y los tiempos de ejecución de consultas JDBC (en modo detallado). Consulte Visualización de consultas federadas generadas por el sistema.