Notas de la versión de actualización de las características de Conjuntos de recursos de Databricks
En este artículo se incluyen detalles sobre las versiones principales nuevas y futuras de Las características y los cambios en los Conjuntos de recursos de Databricks. Las características de agrupación se publican con la CLI de Databricks. Para obtener una lista completa de las actualizaciones, consulte las notas de la versión del repositorio de GitHub de la CLI de Databricks.
Cambios en el comportamiento
Los siguientes cambios de comportamiento de Databricks Asset Bundles se publicaron en una versión de la CLI de Databricks.
Advertencia para agrupaciones implementadas en Compartido con permisos en conflicto
23 de octubre de 2024
Este cambio se publicó con la CLI de Databricks 0.231.0.
Ahora se produce una advertencia cuando se implementa una agrupación en la carpeta, a la /Workspace/Shared que todos los usuarios pueden acceder, pero el nivel permissions superior definido para la agrupación entra en conflicto con esto. Modifique los permisos definidos para la agrupación o mueva el lote fuera de la /Workspace/Shared carpeta.
Para modificar los permisos de una agrupación, consulte permisos.
Para mover la agrupación fuera de la /Workspace/Shared carpeta, cambie en workspace.root_path la configuración del lote para que apunte a una nueva ubicación y, a continuación, vuelva a implementar la agrupación. Quite la carpeta de agrupación antigua mediante la interfaz de usuario o mediante la ejecución databricks fs rmde .
Las rutas de acceso del área de trabajo ahora tienen el prefijo automáticamente
9 de octubre de 2024
Este cambio se publicó con la CLI de Databricks 0.230.0.
Las rutas de acceso del área de trabajo ahora tienen el prefijo automáticamente ./Workspace Además, todos los usos de cadenas de ruta de acceso, como /Workspace/${workspace.root_path}/... en la configuración de agrupación, se reemplazan automáticamente por ${workspace.root_path}/... y generarán una advertencia como parte de bundle validate.
Si ha especificado un workspace.root_path, workspace.artifact_path o workspace.file_path personalizado, Conjunto de recursos Databricks lo prefijará automáticamente con /Workspace, pero si usa cualquiera de estos elementos como variables (por ejemplo, my_config_path: /Workspace/${workspace.file_path}/config), deberá actualizar esas entradas para quitar el prefijo /Workspace para evitar la advertencia.
Si usa uno de estos elementos como variables y las prefija en el código, deberá actualizar el código para evitarlo.
Este cambio es necesario porque originalmente cuando el sistema de archivos del área de trabajo se basaba en / y los directorios principales estaban en /Users, para acceder a las rutas de acceso del área de trabajo a través de la API de REST de Databricks, se usaban estas rutas de acceso directamente. Para acceder a las rutas de acceso del área de trabajo desde el código, podría utilizar la ruta de acceso del archivo /Workspace y los directorios principales también estaban disponibles en /Workspace/Users. Para evitar esta dualidad de las rutas de acceso del área de trabajo, así como la ambigüedad entre las rutas de acceso del área de trabajo y las rutas de acceso del catálogo /Volumes de Unity, todas las rutas de acceso del área de trabajo tienen el prefijo /Workspace.
Nuevas características
Las siguientes características y actualizaciones de Conjuntos de recursos de Databricks se publicaron en una versión de la CLI de Databricks.
Compatibilidad con paneles
30 de octubre de 2024
Esta característica se publicó con la CLI de Databricks 0.232.0.
Los paneles de IA/BI ahora se pueden administrar en la configuración de agrupación mediante el nuevo tipo de recurso de panel. Puede generar la configuración del panel mediante bundle generate dashboard y mantener la versión local y remota de un panel sincronizado con las --force opciones y --watch . Consulte dashboard (Panel) y Generate a bundle configuration file (Generar un archivo de configuración de agrupación).
Para obtener información sobre los paneles de IA/BI, consulte Paneles.
Nuevo comando de resumen de lote
23 de octubre de 2024
Esta característica se publicó con la CLI de Databricks 0.231.0.
Se ha agregado un nuevo bundle summary comando. Este comando genera un resumen de la identidad y los recursos de un lote, incluidos los vínculos profundos de los recursos para que pueda navegar fácilmente al recurso en el área de trabajo de Databricks. Consulte Salida de un resumen de agrupación.
Compatibilidad con la creación de clústeres de uso completo
1 de octubre de 2024
Esta característica se publicó con la CLI de Databricks 0.229.0.
Ahora puede crear clústeres de uso completo en la configuración de agrupación mediante el nuevo tipo de recurso de clúster. Consulte el clúster.
Nueva solicitud de recreación de canalizaciones de Delta Live Tables y marca de aprobación automática
5 de septiembre de 2024
Esta característica se publicó con la CLI de Databricks 0.228.0.
Ahora aparecerá una consulta si hay cambios de configuración de agrupación que podrían dar lugar a una recreación de una canalización de Delta Live Tables. Puede omitir el mensaje si se especifica la marca --auto-approve.
Se ha agregado compatibilidad con el recurso de esquema del catálogo de Unity.
31 de julio de 2024
Esta característica se publicó con la CLI de Databricks 0.225.0.
Ahora, los esquemas del catálogo de Unity se pueden definir en la configuración de la agrupación. Vea esquema.
Comandos de agrupación en el terminal web
4 de julio de 2024
Esta característica se publicó con la CLI de Databricks 0.223.0.
Ahora puede interactuar con agrupaciones mediante la CLI de Databricks desde el terminal web. Para obtener información sobre el uso del terminal web, consulte Ejecución de comandos de shell en el terminal web de Azure Databricks.
Se ha agregado compatibilidad con variables complejas.
26 de junio de 2024
Esta característica se publicó con la CLI de Databricks 0.222.0.
Ahora, Conjuntos de recursos de Databricks es compatible con variables complejas. Consulte Definición de una variable compleja.
Los conjuntos de recursos de Databricks están disponibles con carácter general
23 de abril de 2024
Con la versión 0.218.0 de Databricks, Conjuntos de recursos de Databricks están disponibles con carácter general.