Stream Analytics 코드리스 편집기를 사용하여 Azure Cosmos DB에서 데이터 구체화

이 문서에서는 코드리스 편집기를 사용하여 Stream Analytics 작업을 쉽게 만드는 방법을 설명합니다. 작업은 Event Hubs에서 지속적으로 읽고 개수, 합계, 평균 등의 집계를 수행합니다. 시간 범위에 걸쳐 그룹화할 필드를 선택하면 작업은 결과를 Azure Cosmos DB에 지속적으로 씁니다.

필수 조건

• Azure Event Hubs 및 Azure Cosmos DB 리소스는 공개적으로 액세스할 수 있어야 하며 방화벽 뒤에 있거나 Azure Virtual Network에서 보호될 수 없습니다.
• Event Hubs의 데이터는 JSON, CSV 또는 Avro 형식으로 직렬화되어야 합니다.

Stream Analytics 작업 개발

다음 단계에서 Stream Analytics 작업을 개발하여 Azure Cosmos DB에서 데이터를 구체화합니다.

1. Azure Portal에서 Azure Event Hubs 인스턴스를 찾고 선택합니다.
2. 기능에서 데이터 처리를 선택합니다. 그런 다음 Azure Cosmos DB에서 데이터 구체화 카드에서 시작을 선택합니다.
   
3. 작업의 이름을 입력하고 만들기를 선택합니다.
4. 이벤트 허브에서 데이터의 Serialization 형식 및 작업이 Event Hubs에 연결하는 데 사용할 인증 방법을 지정합니다. 그런 다음 연결을 선택합니다.
5. 연결에 성공하고 Event Hubs 인스턴스로 이동하는 데이터 스트림이 있는 경우 다음 두 항목이 즉시 표시됩니다.
   • 입력 페이로드에 있는 필드입니다. 필요에 따라 필드 옆에 있는 세 개의 점 기호를 선택하여 필드의 데이터 형식을 제거하거나, 이름을 바꾸거나, 변경합니다.
     
   • 자동으로 새로 고쳐지는 데이터 미리 보기에서 아래쪽 창에 있는 입력 데이터의 샘플입니다. 샘플 입력 데이터의 정적 뷰를 사용하려는 경우 스트리밍 미리 보기 일시 중지를 선택할 수 있습니다.
     
6. 다음 단계에서는 계산할 필드와 집계(예: 평균 및 개수)를 지정합니다. 시간 범위와 함께 그룹화할 필드를 지정할 수도 있습니다. 그런 다음, 데이터 미리 보기 섹션에서 단계 결과의 유효성을 검사할 수 있습니다.
   
7. 결과를 쓰려는 Cosmos DB 데이터베이스 및 컨테이너를 선택합니다.
8. 시작을 선택하여 Stream Analytics 작업을 시작합니다.
   
   작업을 시작하려면 다음을 지정해야 합니다.
   • 작업 실행에 사용되는 SU(스트리밍 단위) 수. SU는 작업에 할당된 컴퓨팅 및 메모리의 양을 나타냅니다. 세 개로 시작한 다음, 필요에 따라 조정하는 것이 좋습니다.
   • 출력 데이터 오류 처리 – 데이터 오류로 인해 대상에 대한 작업 출력이 실패할 때 원하는 동작을 지정할 수 있습니다. 기본적으로 작업은 쓰기 작업이 성공할 때까지 다시 시도합니다. 출력 이벤트를 삭제하도록 선택할 수도 있습니다.
9. 시작을 선택한 후 작업은 2분 내에 실행을 시작합니다. Stream Analytics 작업 탭의 데이터 처리 섹션에서 작업을 봅니다. 작업 메트릭을 탐색하고 필요에 따라 중지하고 다시 시작할 수 있습니다.

Event Hubs 지역 복제 기능을 사용할 때 고려 사항

Azure Event Hubs는 최근 공개 미리 보기에서 지역에서 복제 기능을 시작했습니다. 이 기능은 Azure Event Hubs의 지역 재해 복구 기능과 다릅니다.

장애 조치(failover) 유형이 강제 이고 복제 일관성이 비동기인 경우 Stream Analytics 작업은 Azure Event Hubs 출력에 대한 출력을 정확히 한 번 보장하지 않습니다.

Azure Stream Analytics는 이벤트 허브의 출력을 사용하는 생산자로서 기본 및 보조 간의 복제 지연이 구성된 최대 지연 시간에 도달할 경우 장애 조치(failover) 기간 동안 및 Event Hubs에 의해 제한되는 동안 작업에 워터마크 지연을 관찰할 수 있습니다.

Azure Stream Analytics는 Event Hubs를 입력으로 사용하는 소비자로서 장애 조치 기간 동안 작업의 워터마크 지연을 관찰할 수 있으며 장애 조치(failover)가 완료된 후 데이터를 건너뛰거나 중복 데이터를 찾을 수 있습니다.

이러한 주의 사항으로 인해 Event Hubs 장애 조치(failover)가 완료된 직후 적절한 시작 시간으로 Stream Analytics 작업을 다시 시작하는 것이 좋습니다. 또한 Event Hubs 지역 복제 기능은 공개 미리 보기 상태이므로 이 시점에서 프로덕션 Stream Analytics 작업에 이 패턴을 사용하지 않는 것이 좋습니다. Event Hubs 지역 복제 기능을 일반적으로 사용할 수 있고 Stream Analytics 프로덕션 작업에서 사용할 수 있기 전에 현재 Stream Analytics 동작이 개선됩니다.

다음 단계

이제 Stream Analytics 코드 편집기를 사용하여 Event Hubs에서 읽고 개수, 평균 등의 집계를 계산하고 Azure Cosmos DB 리소스에 쓰는 작업을 개발하는 방법을 알아봅니다.

• Azure Stream Analytics 소개
• Azure Portal로 Stream Analytics 작업 모니터링