Uso de Synapse Studio para supervisar sus aplicaciones de Apache Spark
Con Azure Synapse Analytics, puede usar Apache Spark para ejecutar cuadernos, trabajos y otros tipos de aplicaciones en los grupos de Apache Spark en su área de trabajo.
En este artículo se explica cómo supervisar las aplicaciones de Apache Spark, lo que le permite vigilar el estado más reciente, los problemas y el progreso.
Visualización de aplicaciones de Apache Spark
Puede ver todas las aplicaciones de Apache Spark en Supervisión ->Apache Spark applications (Aplicaciones de Apache Spark).
Visualización de aplicaciones Apache Spark completadas
Abra Supervisar y, a continuación, seleccione la opción Apache Spark applications (Aplicaciones de Apache Spark). Para ver los detalles de las aplicaciones Apache Spark completadas, seleccione la aplicación Apache Spark.
Compruebe los valores de Tareas completadas, Estado y Duración total.
Actualice el trabajo.
Haga clic en Compare applications (Comparar aplicaciones) para usar la característica de comparación. Para más información sobre esta característica, consulte Comparación de aplicaciones de Apache Spark.
Haga clic en Servidor de historial de Spark para abrir la página Servidor de historial.
Compruebe la información de Resumen.
Compruebe los diagnósticos de la pestaña Diagnostic (Diagnóstico).
Compruebe los Registros. Puede ver el registro completo de los registros de LivyPrelaunch y Driver mediante la selección de diferentes opciones en la lista desplegable. Y puede recuperar directamente la información de registro necesaria mediante la búsqueda de palabras clave. Haga clic en Descargar registro para descargar la información de registro en el entorno local y active la casilla Filter errors and warnings (Filtrar errores y advertencias) para filtrar los errores y advertencias que necesita.
Puede ver la información general del trabajo en el gráfico generado. De forma predeterminada, el gráfico muestra todos los trabajos. Puede filtrar esta vista por Id. de trabajo.
De forma predeterminada, está seleccionada la opción para mostrar Progreso. Puede comprobar el flujo de datos seleccionando Progress/Read/Written/Duration (Progreso > Leídos > Escritos > Duración) en la lista desplegable View (Ver).
Para reproducir el trabajo, haga clic en el botón Playback (Reproducir). Puede hacer clic en el botón Stop (Detener) en cualquier momento para detener la operación.
Use la barra de desplazamiento para acercar y alejar el grafo de trabajos; puede seleccionar Zoom to Fit (Zoom para ajustar) para ajustarlo a la pantalla.
El nodo de gráfico de trabajo muestra la siguiente información de cada fase:
Id. del trabajo
Número de tarea
Tiempo de duración
Recuento de filas
Datos leídos: suma del tamaño de entrada y el tamaño de lectura aleatorio
Datos escritos: suma del tamaño de salida y el tamaño de escrituras aleatorio.
Número de fase
Mantenga el mouse sobre un trabajo y los detalles del trabajo se mostrarán en la información sobre herramientas:
Icono del estado del trabajo: si el estado del trabajo es correcto, aparecerá "√" en verde. Si el trabajo detecta un problema, aparecerá un signo "!" en amarillo.
Id. del trabajo
Elemento general:
- Progreso
- Tiempo de duración
- Número total de tareas
Elemento de datos:
- Número total de filas
- Tamaño de lectura
- Tamaño de escritura
Elemento de distorsión
- Asimetría de datos
- Desfase horario
Número de fase
Haga clic en Número de fase para expandir todas las fases contenidas en el trabajo. Haga clic en Contraer junto al identificador de trabajo para contraer todas las fases del trabajo.
Haga clic en Ver detalles en un grafo de fase y se mostrarán los detalles de la fase.
Supervisión del progreso de aplicaciones Apache Spark
Abra Supervisar y, a continuación, seleccione la opción Apache Spark applications (Aplicaciones de Apache Spark). Para ver los detalles sobre las aplicaciones Apache Spark en ejecución, seleccione la aplicación Apache Spark enviada. Si la aplicación de Apache Spark todavía está en ejecución, puede supervisar el progreso.
Compruebe los valores de Tareas completadas, Estado y Duración total.
Haga clic en Cancel (Cancelar) para cancelar la aplicación de Apache Spark.
Actualice el trabajo.
Haga clic en el botón Spark UI (IU de Spark) para ir a la página del trabajo de Spark.
Para Grafo de trabajo, Resumen, Diagnóstico, Registros. Puede ver la información general del trabajo en el gráfico generado. Consulte los pasos del 5 al 15 de Visualización de aplicaciones Apache Spark completadas.
Visualización de aplicaciones de Apache Spark canceladas
Abra Supervisar y, a continuación, seleccione la opción Apache Spark applications (Aplicaciones de Apache Spark). Para ver los detalles de las aplicaciones Apache Spark canceladas, seleccione la aplicación Apache Spark.
Compruebe los valores de Tareas completadas, Estado y Duración total.
Actualice el trabajo.
Haga clic en Compare applications (Comparar aplicaciones) para usar la característica de comparación. Para más información sobre esta característica, consulte Comparación de aplicaciones de Apache Spark.
Haga clic en Haga clic en Servidor de historial de Spark para abrir el vínculo del servidor de historial de Apache.
Vea el gráfico. Puede ver la información general del trabajo en el gráfico generado. Consulte los pasos del 5 al 15 de Visualización de aplicaciones Apache Spark completadas.
Depuración de la aplicación de Apache Spark con errores
Abra Supervisar y, a continuación, seleccione la opción Apache Spark applications (Aplicaciones de Apache Spark). Para ver los detalles de las aplicaciones Apache Spark con errores, seleccione la aplicación Apache Spark.
Compruebe los valores de Tareas completadas, Estado y Duración total.
Actualice el trabajo.
Haga clic en Compare applications (Comparar aplicaciones) para usar la característica de comparación. Para más información sobre esta característica, consulte Comparación de aplicaciones de Apache Spark.
Haga clic en Haga clic en Servidor de historial de Spark para abrir el vínculo del servidor de historial de Apache.
Vea el gráfico. Puede ver la información general del trabajo en el gráfico generado. Consulte los pasos del 5 al 15 de Visualización de aplicaciones Apache Spark completadas.
Visualización de los datos de entrada o de salida
Seleccione una aplicación Apache Spark y haga clic en la pestaña Datos de entrada/Datos de salida para ver las fechas de entrada y salida de la aplicación Apache Spark. Esta función puede ayudarle a depurar el trabajo de Spark. Y el origen de datos admite tres métodos de almacenamiento: gen1, gen2 y blob.
Pestaña Datos de entrada
Haga clic en el botón Copiar entrada para pegar el archivo de entrada en el entorno local.
Haga clic en el botón Exportar a CSV para exportar el archivo de entrada en formato CSV.
Puede buscar archivos por palabras clave de entrada en el cuadro de búsqueda (las palabras clave incluyen el nombre de archivo, el formato de lectura y la ruta de acceso).
Puede ordenar los archivos de entrada haciendo clic en Nombre, Formato de lectura y ruta de acceso.
Mantenga el puntero sobre un archivo de entrada y aparecerá el icono del botón Descargar/Copiar ruta de acceso/Más.
Haga clic en el botón Más. Aparecerá Copiar ruta de acceso/Mostrar en explorador/Propiedades en el menú contextual.
Copiar ruta de acceso: puede copiar Ruta de acceso completa y Ruta de acceso relativa.
Mostrar en el explorador: puede saltar a la cuenta de almacenamiento vinculada (Datos->Vinculada).
Propiedades: muestra las propiedades básicas del archivo (nombre de archivo, ruta de acceso de archivo, formato de lectura, tamaño y fecha de modificación).
Pestaña Datos de salida
Se muestran las mismas características que para la pestaña de entrada.
Comparación de aplicaciones de Apache Spark
Hay dos maneras de comparar las aplicaciones. Puede compararlas eligiendo Comparar aplicación o haciendo clic en el botón Comparar en cuaderno para verla en el cuaderno.
Comparación por aplicación
Haga clic en el botón Comparar aplicaciones y elija una aplicación para comparar el rendimiento. Puede ver la diferencia entre las dos aplicaciones.
Mantenga el puntero del mouse sobre una aplicación y se mostrará el icono Comparar aplicaciones.
Haga clic en el icono Compare applications (Comparar aplicaciones); aparecerá la página con el mismo nombre.
Haga clic en el botón Choose application (Elegir aplicación) para abrir la página Choose comparison application (Elegir aplicación de comparación).
Al elegir la aplicación de comparación, debe escribir la dirección URL de la aplicación o elegir una en la lista periódica. Luego, haga clic en el botón OK (Aceptar).
El resultado de la comparación se mostrará en la página de comparación de aplicaciones.
Comparación en cuaderno
Haga clic en el botón Compare in Notebook (Comparar en el cuaderno) de la página Compare applications (Comparar aplicaciones) para abrir el cuaderno. El nombre predeterminado del archivo .ipynb es Recurrent Application Analytics (Análisis de la aplicación recurrente).
En el archivo Notebook: Recurrent Application Analytics (Cuaderno: Análisis de la aplicación recurrente), puede ejecutarlo directamente después de establecer el grupo de Spark y el idioma.
Pasos siguientes
Para más información sobre la supervisión de ejecuciones de canalización, consulte el artículo Supervisión de ejecuciones de canalización en Synapse Studio.