비정상적인 되풀이 작업 문제 해결
중요합니다
Azure Data Lake Analytics는 2024년 2월 29일에 사용 중지되었습니다. 에 대해 더 알고 싶다면 이 공지을 확인하세요.
데이터 분석을 위해 조직은 Azure Synapse Analytics 또는 Microsoft Fabric을 사용할 수 있습니다.
이 문서에서는 Azure Data Lake Tools for Visual Studio 사용하여 되풀이 작업 문제를 해결하는 방법을 보여 줍니다. Azure Data Lake 및 Azure HDInsight 블로그파이프라인 및 되풀이 작업에 대해 자세히 알아봅니다.
되풀이 작업은 일반적으로 동일한 쿼리 논리 및 유사한 입력 데이터를 공유합니다. 예를 들어 매주 월요일 오전 8시에 실행되어 지난 주 주간 활성 사용자 수를 계산하는 되풀이 작업이 있다고 가정해 보겠습니다. 이러한 작업에 대한 스크립트는 쿼리 논리를 포함하는 하나의 스크립트 템플릿을 공유합니다. 이러한 작업에 대한 입력은 지난 주의 사용량 현황 데이터입니다. 동일한 쿼리 논리와 유사한 입력을 공유하는 것은 일반적으로 이러한 작업의 성능이 비슷하고 안정적이라는 것을 의미합니다. 되풀이 작업 중 하나가 갑자기 비정상적으로 수행되거나, 실패하거나, 속도가 많이 느려지는 경우 다음을 수행할 수 있습니다.
- 되풀이 작업의 이전 실행에 대한 통계 보고서를 참조하여 발생한 작업을 확인합니다.
- 비정상적인 작업을 일반 작업과 비교하여 변경된 내용을 파악합니다.
Azure Data Lake Tools for Visual Studio의 관련 작업 보기 두 경우 모두 문제 해결 진행률을 가속화할 수 있습니다.
1단계: 되풀이 작업 찾기 및 관련 작업 보기 열기
관련 작업 보기를 사용하여 되풀이 작업 문제를 해결하려면 먼저 Visual Studio에서 되풀이 작업을 찾은 다음 관련 작업 보기를 열어야 합니다.
사례 1: 되풀이 작업에 대한 URL이 있습니다.
Tools>Data Lake>작업 보기통해 작업 URL을 붙여넣어 Visual Studio에서 작업 보기를 열 수 있습니다. 관련 작업 보기을 선택하여 관련 작업 보기를 엽니다.
사례 2: 되풀이 작업에 대한 파이프라인이 있지만 URL은 없습니다.
Visual Studio에서 Azure Data Lake Analytics 계정 >Pipelines> 서버 탐색기를 통해 파이프라인 브라우저를 열 수 있습니다. (서버 탐색기에서 이 노드를 찾을 수 없는 경우 최신 플러그인을 다운로드할 수 있습니다.)
선택
파이프라인 브라우저에서 Data Lake Analytics 계정에 대한 모든 파이프라인이 왼쪽에 나열됩니다. 파이프라인을 확장하여 모든 되풀이 작업을 찾은 다음 문제가 있는 작업을 선택할 수 있습니다. 관련 작업 보기가 오른쪽에 열립니다.
2단계: 통계 보고서 분석
요약 및 통계 보고서는 관련 작업 보기 맨 위에 표시됩니다. 이 경우 문제의 잠재적 근본 원인을 찾을 수 있습니다.
- 보고서에서 X축은 작업 제출 시간을 표시합니다. 이 도구를 사용하여 비정상적인 작업을 찾습니다.
- 다음 다이어그램의 프로세스를 사용하여 통계를 확인하고 문제 및 가능한 해결 방법에 대한 인사이트를 얻을 수 있습니다.
통계프로세스 다이어그램
3단계: 비정상적인 작업과 일반 작업 비교
관련 작업 보기의 맨 아래에 있는 작업 목록을 통해 제출된 모든 되풀이 작업을 찾을 수 있습니다. 더 많은 인사이트 및 잠재적 솔루션을 찾으려면 비정상적인 작업을 마우스 오른쪽 단추로 클릭합니다. 작업 차이 보기를 사용하여 비정상적인 작업을 이전 일반 작업과 비교합니다.
작업바로 가기 메뉴
이 두 작업의 차이점에 주의하세요. 이러한 차이로 인해 성능 문제가 발생할 수 있습니다. 자세히 확인하려면 다음 다이어그램의 단계를 사용합니다.
작업프로세스 다이어그램
다음 단계
- 데이터 불균형 문제 해결
- 실패한 U-SQL 작업에 대한 사용자 정의 C# 코드 디버그