Procedimientos recomendados para el proceso sin servidor
En este artículo se presentan las recomendaciones de procedimientos recomendados para usar el proceso sin servidor en los cuadernos y trabajos.
Siguiendo estas recomendaciones, mejorará la productividad, la rentabilidad y la confiabilidad de las cargas de trabajo en Azure Databricks.
Migración de cargas de trabajo a proceso sin servidor
Para proteger el aislamiento del código de usuario, el proceso sin servidor utiliza el modo de acceso compartido seguro de Azure Databricks. Por este motivo, algunas cargas de trabajo requerirán cambios de código para seguir trabajando en el proceso sin servidor. Para obtener una lista de características no admitidas, consulte Limitaciones de proceso sin servidor.
Algunas cargas de trabajo son más fáciles de migrar que otras. Las cargas de trabajo que cumplen los siguientes requisitos serán las más fáciles de migrar:
- Los datos a los que se accede deben almacenarse en el catálogo de Unity.
- La carga de trabajo debe ser compatible con el proceso del modo de acceso compartido.
- La carga de trabajo debe ser compatible con Databricks Runtime 14.3 o superior.
Para probar si una carga de trabajo funcionará en un proceso sin servidor, ejecútelo en un recurso de proceso sin servidor con modo de acceso compartido y un entorno de ejecución de Databricks de 14.3 o superior. Si la ejecución se ejecuta correctamente, la carga de trabajo está lista para la migración.
Debido a la importancia de este cambio y la lista actual de limitaciones, muchas cargas de trabajo no se migrarán sin problemas. En lugar de recodificar todo, Azure Databricks recomienda priorizar la compatibilidad de proceso sin servidor a medida que se crean nuevas cargas de trabajo.
Ingesta de datos de sistemas externos
Dado que el proceso sin servidor no admite la instalación de archivos JAR, no puede usar un controlador JDBC o ODBC para ingerir datos de un origen de datos externo.
Entre las estrategias alternativas que puede usar para la ingesta se incluyen:
Bloques de creación basados en SQL, como COPY INTO y tablas de streaming.
Auto Loader para procesar de forma incremental y eficaz nuevos archivos de datos a medida que llegan al almacenamiento en la nube. Consulte ¿Qué es Auto Loader?.
Soluciones de asociados de ingesta de datos. Consulte Conectarse a asociados de ingesta mediante Partner Connect.
La interfaz de usuario de agregar datos para cargar archivos directamente. Vea Cargar archivos a Azure Databricks.
Alternativas de ingesta
Al usar el proceso sin servidor, también puede usar las siguientes características para consultar los datos sin moverlos.
- Si desea limitar la duplicación de datos o garantizar que está consultando los datos más recientes posibles, Databricks recomienda usar Delta Sharing. Consulte ¿Qué es Delta Sharing?
- Si desea realizar informes ad hoc y trabajos de prueba de concepto, Databricks recomienda probar la opción adecuada, que podría ser Lakehouse Federation. Lakehouse Federation permite sincronizar bases de datos enteras con Azure Databricks desde sistemas externos y se rige por Unity Catalog. Consulte ¿Qué es la Federación Lakehouse?
Pruebe una o ambas características y compruebe si cumplen los requisitos de rendimiento de las consultas.
Supervisión del costo del proceso sin servidor
Hay varias características que puede usar para ayudarle a supervisar el coste del proceso sin servidor:
Use tablas del sistema para crear paneles, configurar alertas y realizar consultas ad hoc. Vea Supervisión del coste del proceso sin servidor.
Configure alertas de presupuesto en su cuenta. Vea Uso de presupuestos para supervisar los gastos en la cuenta.
Importe un panel de uso preconfigurado. Vea Importación de un panel de uso.