Azure Data Explorer 수집에 대한 일반적인 질문

일괄 처리 관리자는 수집 일괄 처리 정책의 수집 설정에 따라 수신 데이터를 버퍼링하고 일괄 처리합니다. 수집 일괄 처리 정책은 일괄 처리 생성 이후 경과된 시간, 누적된 항목 수(Blob) 또는 총 일괄 처리 크기의 세 가지 제한 요소에 따라 일괄 처리 제한을 설정합니다. 기본 일괄 처리 설정은 5분/1GB/1,000개의 Blob입니다. 즉, 수집을 위해 샘플 데이터를 큐에 대기할 때 최소 5분 지연이 발생합니다.

대기 중인 수집은 높은 수집 처리량에 최적화되어 있으며 가장 선호되고 가장 성능이 뛰어난 수집 유형입니다. 반면 스트리밍 수집은 낮은 수집 대기 시간에 최적화되어 있습니다. 대기 중인 수집과 스트리밍 수집에 대해 자세히 알아봅니다.

수집 일괄 처리 정책에 대한 기본 설정이 요구 사항에 맞지 않는 경우 일괄 처리 정책을 time낮출 수 있습니다. 처리량 최적화를 참조하세요. 또한 수집을 확장할 때 설정을 업데이트해야 합니다. 일괄 처리 정책 설정을 변경하는 경우 적용하는 데 최대 5분이 걸릴 수 있습니다.

수집 대기 시간은 수집 일괄 처리 정책 설정 또는 데이터 백로그 빌드로 인해 발생할 수 있습니다. 이 문제를 해결하려면 일괄 처리 정책 설정을 조정합니다. 수집 프로세스의 일부인 대기 시간을 모니터링할 수 있습니다.

대기 중인 수집 대기 시간 메트릭을 보려면 모니터링 수집 대기 시간을 참조 하세요. 메트릭 및 Stage Latency Discovery Latency 수집 프로세스의 대기 시간을 표시하고 긴 대기 시간이 있는지 확인합니다.

데이터 백로그, 비효율적인 일괄 처리, 많은 양의 압축되지 않은 데이터 일괄 처리 또는 매우 적은 양의 데이터 수집과 같은 대기 시간을 유발하는 문제를 해결하기 위한 일괄 처리 정책에서 대기 시간에 대해 알아보고 설정을 조정할 수 있습니다.

일괄 처리 정책 데이터 크기는 압축되지 않은 데이터에 대해 설정됩니다. 압축된 데이터를 수집할 때 압축되지 않은 데이터 크기는 압축된 파일 크기에 대한 매개 변수, ZIP 파일 메타데이터 또는 팩터를 수집하여 계산 됩니다.

메트릭을 사용하여 수집을 모니터링하고, 자세한 테이블 수준 모니터링을 위해 수집 진단 로그를 설정 및 사용하고, 자세한 수집 오류 코드 보기 등을 수행할 수 있습니다. 추적할 특정 메트릭을 선택하고, 결과를 집계하는 방법을 선택하고, 대시보드에서 볼 메트릭 차트를 만들 수 있습니다. 스트리밍 메트릭 및 대기 중인 수집을 모니터링하는 방법에 대한 자세한 내용을 참조하세요.

포털의 Azure Monitor Insights 를 사용하여 Azure Data Explorer의 성능 및 사용 방법을 이해할 수 있습니다. 인사이트 보기는 Log Analytics 작업 영역으로 스트리밍할 수 있는 메트릭 및 진단 로그를 기반으로 합니다. .dup-next-ingest 명령을 사용하여 다음 수집을 스토리지 컨테이너에 복제하고 수집의 세부 정보 및 메타데이터를 검토합니다.

수집 메트릭과 진단 로그를 사용하여 전체 수집 프로세스를 모니터링할 수 있습니다. 수집 실패는 메트릭 또는 FailedIngestion 진단 로그를 IngestionResult 사용하여 모니터링할 수 있습니다. 이 .show ingestion failures 명령은 데이터 수집 관리 명령과 관련된 수집 실패를 표시하며 오류를 모니터링하는 데 권장되지 않습니다. 이 .dup-next-failed-ingest 명령은 수집 파일 및 메타데이터를 스토리지 컨테이너에 업로드하여 다음으로 실패한 수집에 대한 정보를 제공합니다. 이 기능은 수집 흐름을 확인하는 데 유용할 수 있지만 안정적인 모니터링은 권장되지 않습니다.

메트릭 상태를 여러 번 포함하는 RetryAttemptsExceeded 메트릭은 반복적인 일시적인 오류에 따라 수집이 재시도 제한 또는 시간 범위 제한을 초과했음을 나타냅니다. 이 오류가 진단 로그 에 오류 코드 General_RetryAttemptsExceeded 와 세부 정보 "스토리지에 액세스하지 못하고 Blob에 대한 정보를 가져오는 데 실패했습니다."가 표시되는 경우 이는 높은 부하 스토리지 액세스 문제를 나타냅니다. Event Grid를 수집하는 동안 Azure Data Explorer는 스토리지 계정에서 Blob 세부 정보를 요청합니다. 스토리지 계정에서 부하가 너무 높으면 스토리지 액세스가 실패할 수 있으며 수집에 필요한 정보를 검색할 수 없습니다. 시도가 정의된 최대 재시도 횟수만큼 통과하면 Azure Data Explorer는 실패한 Blob 수집을 중지합니다. 부하 문제를 방지하려면 Premium Storage 계정을 사용하거나 수집된 데이터를 더 많은 스토리지 계정으로 나눕니다. 관련 오류를 검색하려면 진단 로그에서 FailedIngestion 오류 코드 및 실패한 Blob의 경로를 확인합니다.

많은 양의 기록 데이터를 효율적으로 수집하려면 LightIngest를 사용합니다. 자세한 내용은 기록 데이터 수집을 참조 하세요. 많은 작은 파일의 성능을 향상시키려면 일괄 처리 정책을 조정하고 일괄 처리 조건을 변경하고 대기 시간을 해결 합니다. 매우 큰 데이터 파일을 수집할 때 수집 성능을 향상시키려면 클라우드 기반 데이터 통합 서비스인 ADF(Azure Data Factory)를 사용합니다.

형식이 잘못된 데이터(분리할 수 없거나 너무 크거나 스키마를 준수하지 않음)가 제대로 수집되지 않을 수 있습니다. 자세한 내용은 잘못된 데이터 수집을 참조 하세요.

SDK를 통해 수집할 때 수집 일괄 처리 정책 설정을 사용하여 성능을 향상시킬 수 있습니다. 테이블 또는 데이터베이스 일괄 처리 정책에서 수집된 데이터의 크기를 250MB로 증분적으로 줄이십시오. 개선 사항이 있는지 확인합니다.

Kafka 싱크 사용자는 일괄 처리 시간, 크기 및 항목 번호를 튜닝하여 수집 일괄 처리 정책과 함께 작동하도록 커넥터를 조정해야 합니다.