빠른 시작: Azure Event Hubs를 통해 스트리밍하는 이벤트 캡처 사용

아티클
12/13/2024

이 빠른 시작에서는 Azure Portal을 사용하여 Azure Storage 또는 Azure Data Lake Store에 이벤트를 캡처하는 방법을 알아봅니다.

Azure Event Hubs 캡처를 사용하면 Event Hubs의 스트리밍 데이터를 선택한 Azure Blob Storage 또는 Azure Data Lake Storage Gen 2 계정에 자동으로 전달할 수 있습니다. 이벤트 허브를 만들 때 또는 기존 이벤트 허브에 대해 Azure Portal을 사용하여 캡처 설정을 구성할 수 있습니다. 이 기능에 대한 개념 정보는 Event Hubs 캡처 개요를 참조하세요.

필수 구성 요소

Azure 구독 구독이 없으면 시작하기 전에 무료 계정을 만드세요.
Azure Event Hubs를 접하는 경우 Event Hubs 개요 및 Event Hubs 기능을 읽어 보세요.

Important

Event Hubs는 블록 Blob을 지원하는 Premium Storage 계정만 지원합니다.

이벤트 허브를 만들 때 캡처 사용

사용할 Event Hubs 네임스페이스가 없는 경우 Event Hubs 네임스페이스 만들기 문서의 단계에 따라 네임스페이스를 만듭니다. 표준 이상 가격 책정 계층을 선택해야 합니다. 기본 계층은 캡처 기능을 지원하지 않습니다.

네임스페이스 내에서 이벤트 허브를 만들려면 다음 단계를 수행합니다.

네임스페이스의 개요 페이지에 있는 명령 모음에서 + 이벤트 허브를 선택합니다.
이벤트 허브 만들기 페이지에서 이벤트 허브의 이름을 입력한 다음, 페이지 아래쪽에서 다음: 캡처를 선택합니다.
캡처 탭에서 캡처에 대해 켜기를 선택합니다.
슬라이더를 끌어 기간을 분 단위로 설정합니다. 기본 시간은 5분입니다. 최솟값은 1이고 최댓값은 15입니다.
슬라이더를 끌어 기간 크기(MB)를 설정합니다. 기본값은 300MB입니다. 최솟값은 10MB이고 최댓값은 500MB입니다.
캡처 기간 동안 이벤트가 발생하지 않을 때 Event Hubs가 빈 파일을 내보내도록 할지 여부를 지정합니다.

캡처된 파일을 저장하는 데 사용할 스토리지 유형에 따라 다음 섹션 중 하나를 참조하세요.

Important

Azure Data Lake Storage Gen1은 더 이상 사용되지 않으므로 이벤트 데이터를 캡처하는 데 사용하지 마세요. 자세한 내용은 공식 공지를 참조하세요. Azure Data Lake Storage Gen1을 사용하는 경우 Azure Data Lake Storage Gen2로 마이그레이션합니다. 자세한 내용은 Azure Data Lake Storage 마이그레이션 지침 및 패턴을 참조하세요.

Azure Storage에 데이터 캡처

캡처 공급자에 대해 Azure Storage 계정(기본값)을 선택합니다.
Azure Storage 컨테이너의 경우 컨테이너 선택 링크를 선택합니다.
스토리지 계정 페이지에서 데이터를 캡처하는 데 사용할 스토리지 계정을 선택합니다.
컨테이너 페이지에서 캡처된 파일을 저장할 컨테이너를 선택한 다음 선택을 선택합니다.

Event Hubs 캡처는 스토리지에서 서비스 간 인증을 사용하므로 스토리지 연결 문자열을 지정할 필요가 없습니다. 리소스 선택기가 스토리지 계정에 대한 리소스 URI를 자동으로 선택합니다. Azure Resource Manager를 사용하는 경우 이 URI를 문자열로 명백히 제공해야 합니다.
이제 이벤트 허브 만들기 페이지에서 선택한 컨테이너가 표시되는지 확인합니다.
캡처 파일 이름 형식에 대해 캡처된 파일 이름의 형식을 지정합니다.
페이지 아래쪽에서 검토 + 만들기를 선택합니다.
검토 + 만들기 페이지에서 설정을 검토하고, 만들기를 선택하여 event hub를 만듭니다.

참고 항목

스토리지 계정에서 공용 액세스를 사용하지 않도록 설정한 경우 Azure Event Hubs를 포함한 신뢰할 수 있는 서비스가 스토리지 계정에 액세스하도록 허용합니다. 자세한 내용 및 단계별 지침은 이 문서를 참조하세요.

Azure Data Lake Storage Gen 2에 데이터 캡처

스토리지 계정 만들기 문서를 따라 Azure Storage 계정을 만듭니다. 고급 탭에서 계층 구조 네임스페이스를 사용으로 설정하여 Azure Data Lake Storage Gen 2 계정으로 만듭니다. Azure Storage 계정은 이벤트 허브와 동일한 구독에 있어야 합니다.

Azure Storage를 캡처 공급자로 선택합니다. Azure Data Lake Storage Gen2를 사용하려면 Azure Storage를 선택합니다.
Azure Storage 컨테이너의 경우 컨테이너 선택 링크를 선택합니다.
목록에서 Azure Data Lake Storage Gen 2 계정을 선택합니다.
컨테이너(Data Lake Storage Gen 2의 파일 시스템)를 선택한 다음 페이지 아래쪽에서 선택을 선택합니다.
캡처 파일 이름 형식에 대해 캡처된 파일 이름의 형식을 지정합니다.
페이지 아래쪽에서 검토 + 만들기를 선택합니다.
검토 + 만들기 페이지에서 설정을 검토하고, 만들기를 선택하여 event hub를 만듭니다.

참고 항목

이 UI(사용자 인터페이스)를 사용하여 Azure Data Lake Storage Gen 2에서 만든 컨테이너는 Storage Explorer의 파일 시스템 아래에 표시됩니다. 마찬가지로, Data Lake Storage Gen 2 계정으로 만든 파일 시스템은 이 UI에 컨테이너로 표시됩니다.

기존 이벤트 허브에 대한 캡처 구성

Event Hubs 네임스페이스에 있는 기존 이벤트 허브에 캡처를 구성할 수 있습니다. 기존 이벤트 허브에서 캡처를 사용하도록 설정하거나 캡처 설정을 변경하려면 다음 단계를 수행합니다.

네임스페이스에 대한 홈페이지의 왼쪽 메뉴에서 엔터티 아래에 있는 Event Hubs를 선택합니다.
캡처 기능을 구성할 이벤트 허브를 선택합니다.
Event Hubs 인스턴스 페이지의 왼쪽 메뉴에서 캡처를 선택합니다.
캡처 페이지에서 출력 이벤트 직렬화 형식으로 Avro를 선택합니다. Parquet 형식은 Azure Stream Analytics 통합을 통해서만 지원됩니다. 자세한 내용은 parquet 형식으로 Event Hubs 데이터를 캡처하고 Azure Synapse Analytics를 사용하여 분석을 참조하세요.
캡처에 대해 켜기를 선택합니다.
다른 설정을 구성하려면 다음 섹션을 참조하세요.
- Azure Storage에 데이터 캡처
- Azure Data Lake Storage Gen 2에 데이터 캡처