Azure Synapse Analytics 中的 Apache Spark 诊断日志
若要排查与 Azure Synapse Analytics 工作区中的 Apache Spark 池相关的问题,Microsoft 支持部门和 Azure Synapse Analytics 工程团队可以查看和下载与 Apache Spark 池关联的诊断日志。 Microsoft可以访问或临时复制日志数据,以帮助解决支持事件。
收集用于故障排除的日志
下表列出了将收集用于排查支持事件的日志数据。 此外,可能要求你使用 Synapse Studio 提供 Apache Spark 池中的相同类型数据。
类型 | 描述 |
---|---|
Apache Spark 驱动程序日志 | Spark 驱动程序程序是一个关键过程,用于与群集管理器协商资源并计划作业执行。 驱动程序日志包含有关作业的运行方式以及所用资源的详细信息。 此信息对于对 Spark 应用程序进行故障排除至关重要。 |
Apache Spark 执行程序日志 | Spark 执行器是与工作器节点相关的进程,负责在给定的 Spark 作业中运行单个任务。 它们从 Spark 应用程序的开头开始,通常在应用程序的整个生存期内运行。 Spark 执行程序运行任务后,会将结果发送到驱动程序应用程序。 执行程序日志包含有关应用程序的各个任务执行方式的详细信息,以及这些任务是否失败。 |
Apache Spark 事件日志 | Spark 事件日志包含所有执行程序的执行相关和性能相关指标。 它们还包含计划程序阶段和任务的列表,以及执行环境信息。 |
联系我们寻求帮助
如果你有任何疑问或需要帮助,请创建支持请求或联系 Azure 社区支持。 你还可以将产品反馈提交到 Azure 反馈社区。