Reinicio del proceso de Python en Azure Databricks

Puede reiniciar mediante programación el proceso de Python en Azure Databricks para asegurarse de que las bibliotecas instaladas o actualizadas localmente funcionan correctamente en el kernel de Python para la SparkSession actual.

Al reiniciar el proceso de Python, se pierde la información de estado de Python. Databricks recomienda instalar todas las bibliotecas con ámbito de sesión al principio de un cuaderno y ejecutar dbutils.library.restartPython() para limpiar el proceso de Python antes de continuar.

Puede usar este proceso en cuadernos interactivos o para tareas de Python programadas con trabajos.

¿Qué es dbutils.library.restartPython?

La función de auxiliar de dbutils.library.restartPython() es la manera recomendada de reiniciar el proceso de Python en un cuaderno de Databricks.

Nota:

La mayoría de las funciones del submódulo de dbutils.library están en desuso. Databricks recomienda encarecidamente usar %pip para administrar todas las instalaciones de biblioteca con ámbito de cuaderno. Consulte Bibliotecas de Python cuyo ámbito es Notebook.

¿Cuándo debe reiniciar el proceso de Python?

Es recomendable reiniciar el proceso de Python cada vez que realice una instalación local que incluya cualquiera de las siguientes opciones:

• Especificar una versión de un paquete incluido en Databricks Runtime.
• Instalación de una versión personalizada de un paquete incluido en Databricks Runtime.
• Actualizar explícitamente una biblioteca a la versión más reciente mediante %pip install <library-name> --upgrade.
• Configuración de un entorno personalizado desde un archivo de requirements.txt local.
• Instalación de una biblioteca que requiere cambiar las versiones de las bibliotecas dependientes que se incluyen en Databricks Runtime.