Azure Data Explorer에 대한 Event Grid 데이터 연결 만들기

아티클
09/03/2024

이 문서에서는 Event Grid 데이터 연결을 사용하여 스토리지 계정의 Blob을 Azure Data Explorer로 수집하는 방법을 알아봅니다. Azure Event Grid 구독을 설정하는 Event Grid 데이터 연결을 만듭니다. Event Grid 구독은 Azure Event Hubs를 통해 스토리지 계정에서 Azure Data Explorer로 이벤트를 라우팅합니다.

참고 항목

수집 가능한 최대 파일 크기는 6GB입니다. 100MB에서 1GB 사이의 파일을 수집하는 것이 좋습니다.

Kusto SDK를 사용하여 연결을 만드는 방법을 알아보려면 SDK를 사용하여 Event Grid 데이터 연결 만들기를 참조 하세요.

Event Grid에서 Azure Data Explorer에 수집하는 방법에 대한 일반적인 내용은 Event Grid에 연결을 참조하세요.

참고 항목

Event Grid 연결을 사용하여 최상의 성능을 얻으려면 Blob 메타데이터를 rawSizeBytes 통해 수집 속성을 설정합니다. 자세한 내용은 수집 속성을 참조 하세요.

필수 구성 요소

Azure 구독 평가판 Azure 계정을 만듭니다.
Azure Data Explorer 클러스터 및 데이터베이스. 클러스터 및 데이터베이스를 만듭니다.
대상 테이블입니다. 테이블을 만들거나 기존 테이블을 사용합니다.
테이블에 대한 수집 매핑입니다.
스토리지 계정입니다. Event Grid 알림 구독은 또는 Data Lake Storage Gen2에 대한 BlobStorageStorageV2Azure Storage 계정에서 설정할 수 있습니다.
Event Grid 리소스 공급자를 등록합니다.

Event Grid 데이터 연결 만들기

이 섹션에서는 Event Grid와 Azure Data Explorer 테이블 간에 연결을 설정합니다.

Azure Portal에서 Azure Data Explorer 클러스터로 이동합니다.
데이터에서 Databases TestDatabase를>선택합니다.
설정에서 데이터 연결을 선택한 다음, 데이터 연결>추가 Event Grid(Blob Storage)를 선택합니다.

다음 정보를 사용하여 Event Grid 데이터 연결 양식을 작성합니다.

설정	제안 값	필드 설명
데이터 연결 이름	test-grid-connection	Azure Data Explorer에서 만들 연결의 이름입니다. 데이터 연결 이름은 영숫자, 대시 및 점 문자만 포함할 수 있으며 길이는 최대 40자입니다.
스토리지 계정 구독	구독 ID	스토리지 계정이 있는 구독 ID입니다.
이벤트 유형	Blob이 만들어짐 또는 Blob 이름이 바뀜	수집을 트리거하는 이벤트 유형입니다. Blob 이름이 바뀜은 ADLSv2 스토리지에만 지원됩니다. Blob의 이름을 바꾸려면 Azure Portal에서 Blob으로 이동하고 Blob을 마우스 오른쪽 단추로 클릭하고 이름 바꾸기를 선택합니다. 지원되는 유형은 Microsoft.Storage.BlobCreated 또는 Microsoft.Storage.BlobRenamed입니다.
스토리지 계정	gridteststorage1	이전에 만든 스토리지 계정의 이름입니다.
리소스 만들기	자동	자동 리소스 생성을 켜면 Azure Data Explorer에서 Event Grid 구독, Event Hubs 네임스페이스 및 Event Hubs를 만듭니다. 그렇지 않으면 데이터 연결을 만들기 위해 이러한 리소스를 수동으로 만들어야 합니다. Event Grid 수집을 위한 수동으로 리소스 만들기 참조

필요에 따라 특정 Event Grid 주체를 추적할 수 있습니다. 알림에 대한 필터를 다음과 같이 설정합니다.
- 접두사 필드는 제목의 리터럴 접두사입니다. 적용된 패턴이 시작되면 여러 컨테이너, 폴더 또는 Blob에 걸쳐 확장할 수 있습니다. 와일드카드는 허용되지 않습니다.
  - Blob 컨테이너에서 필터를 정의하려면 필드를 반드시 다음과 같이 설정해야 합니다. /blobServices/default/containers/[container prefix].
  - Blob 접두사(또는 Azure Data Lake Gen2의 폴더)에 대한 필터를 정의하려면 필드를 반드시 다음과 같이 설정해야 합니다. /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- 접미사 필드는 Blob의 리터럴 접미사입니다. 와일드카드는 허용되지 않습니다.
- 대/소문자 구분 필드는 접두사 및 접미사 필터가 대/소문자를 구분하는지 여부를 나타냅니다.
이벤트 필터링에 대한 자세한 내용은 Blob Storage 이벤트를 참조 하세요.

필요에 따라 다음 정보에 따라 데이터 라우팅 설정을 지정할 수 있습니다. 모든 데이터 라우팅 설정을 지정할 필요는 없습니다. 부분 설정도 허용됩니다.

설정	제안 값	필드 설명
다른 데이터베이스로 데이터 라우팅 허용(다중 데이터베이스 데이터 연결)	허용 안 함	데이터 연결과 연결된 기본 대상 데이터베이스를 재정의하려면 이 옵션을 설정/해제합니다. 데이터베이스 라우팅에 대한 자세한 내용은 이벤트 라우팅을 참조하세요.
테이블 이름	TestTable	TestDatabase에 만든 테이블입니다.
데이터 형식	JSON	지원되는 형식은 APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT 및 W3CLOG입니다. 지원되는 압축 옵션은 zip 및 gzip입니다.
매핑 이름	TestTable_mapping	들어오는 데이터를TestTable의 열 이름 및 데이터 형식에 매핑하는 TestDatabase에서 만든 매핑입니다. 지정 하지 않으면 테이블의 스키마에서 파생된 ID 데이터 매핑 이 자동으로 생성됩니다.
형식 오류 무시	무시	JSON 데이터 형식에 대한 형식 오류를 무시하려면 이 옵션을 전환합니다.

참고 항목

테이블 및 매핑 이름은 대/소문자를 구분합니다.

필요에 따라 고급 설정에서 데이터 연결에서 사용되는 관리 ID 유형을 지정할 수 있습니다. 기본적으로 시스템 할당 이 선택됩니다.

사용자 할당을 선택하는 경우 관리 ID를 수동으로 할당해야 합니다. 클러스터에 아직 할당되지 않은 사용자를 선택하면 자동으로 할당됩니다. 자세한 내용은 Azure Data Explorer 클러스터에 대한 관리 ID 구성을 참조하세요.

없음을 선택하면 스토리지 계정 및 이벤트 허브가 연결 문자열 통해 인증됩니다. 이 메서드는 권장되지 않습니다.

만들기를 선택합니다.

Azure Portal에서 스토리지 계정으로 이동합니다.
이벤트를 선택합니다.
시작 탭에서 Azure Data Explorer 탭을 선택합니다.
연속 데이터 수집 타일 만들기에서 만들기를 선택합니다.

이벤트를 라우팅할 대상 선택

데이터를 수집할 클러스터를 선택합니다.
대상 데이터베이스를 선택합니다.
선택을 선택합니다.

데이터 연결 만들기

다음 정보로 양식을 작성합니다.

설정	제안 값	필드 설명
데이터 연결 이름	test-grid-connection	Azure Data Explorer에서 만들 연결의 이름입니다.
스토리지 계정 구독	구독 ID	스토리지 계정이 있는 구독 ID입니다.
이벤트 유형	Blob이 만들어짐 또는 Blob 이름이 바뀜	수집을 트리거하는 이벤트 유형입니다. Blob 이름이 바뀜은 ADLSv2 스토리지에만 지원됩니다. Blob의 이름을 바꾸려면 Azure Portal에서 Blob으로 이동하고 Blob을 마우스 오른쪽 단추로 클릭하고 이름 바꾸기를 선택합니다. 지원되는 유형은 Microsoft.Storage.BlobCreated 또는 Microsoft.Storage.BlobRenamed입니다.
스토리지 계정	gridteststorage1	이 마법사에 액세스한 스토리지 계정이 자동으로 채워집니다.
리소스 만들기	자동	자동 리소스 생성을 켜면 Azure Data Explorer에서 Event Grid 구독, Event Hubs 네임스페이스 및 Event Hubs를 만듭니다. 그렇지 않으면 데이터 연결을 만들기 위해 이러한 리소스를 수동으로 만들어야 합니다. Event Grid 수집을 위한 수동으로 리소스 만들기 참조

필요에 따라 특정 Event Grid 주체를 추적할 수 있습니다. 알림에 대한 필터를 다음과 같이 설정합니다.
- 접두사 필드는 제목의 리터럴 접두사입니다. 적용된 패턴이 시작되면 여러 컨테이너, 폴더 또는 Blob에 걸쳐 확장할 수 있습니다. 와일드카드는 허용되지 않습니다.
  - Blob 컨테이너에서 필터를 정의하려면 필드를 반드시 다음과 같이 설정해야 합니다. /blobServices/default/containers/[container prefix].
  - Blob 접두사(또는 Azure Data Lake Gen2의 폴더)에 대한 필터를 정의하려면 필드를 반드시 다음과 같이 설정해야 합니다. /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- 접미사 필드는 Blob의 리터럴 접미사입니다. 와일드카드는 허용되지 않습니다.
- 대/소문자 구분 필드는 접두사 및 접미사 필터가 대/소문자를 구분하는지 여부를 나타냅니다.
이벤트 필터링에 대한 자세한 내용은 Blob Storage 이벤트를 참조 하세요.

설정	제안 값	필드 설명
다른 데이터베이스로 데이터 라우팅 허용(다중 데이터베이스 데이터 연결)	허용 안 함	데이터 연결과 연결된 기본 대상 데이터베이스를 재정의하려면 이 옵션을 설정/해제합니다. 데이터베이스 라우팅에 대한 자세한 내용은 이벤트 라우팅을 참조하세요.
테이블 이름	TestTable	TestDatabase에 만든 테이블입니다.
데이터 형식	JSON	지원되는 형식은 APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT 및 W3CLOG입니다. 지원되는 압축 옵션은 zip 및 gzip입니다.
매핑 이름	TestTable_mapping	들어오는 데이터를TestTable의 열 이름 및 데이터 형식에 매핑하는 TestDatabase에서 만든 매핑입니다. 지정 하지 않으면 테이블의 스키마에서 파생된 ID 데이터 매핑 이 자동으로 생성됩니다.
형식 오류 무시	무시	JSON 데이터 형식에 대한 형식 오류를 무시하려면 이 옵션을 전환합니다.

참고 항목

테이블 및 매핑 이름은 대/소문자를 구분합니다.

필요에 따라 고급 설정에서 데이터 연결에서 사용되는 관리 ID 유형을 지정할 수 있습니다. 기본적으로 시스템 할당 이 선택됩니다.

사용자 할당을 선택하는 경우 관리 ID를 수동으로 할당해야 합니다. 클러스터에 아직 할당되지 않은 사용자를 선택하면 자동으로 할당됩니다. 자세한 내용은 Azure Data Explorer 클러스터에 대한 관리 ID 구성을 참조하세요.

없음을 선택하면 스토리지 계정 및 이벤트 허브가 연결 문자열 통해 인증됩니다. 이 메서드는 권장되지 않습니다.

만들기를 실행합니다.

다음 예에서는 Event Grid 데이터 연결을 추가하기 위한 Azure Resource Manager 템플릿을 보여 줍니다. 양식을 사용하여 Azure Portal에서 템플릿을 편집 및 배포할 수 있습니다.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Event Grid 데이터 연결 사용

이 섹션에서는 Blob 만들기 또는 Blob 이름 바꾸기 후 Azure Blob Storage 또는 Azure Data Lake Gen 2에서 클러스터로 수집을 트리거하는 방법을 보여 줍니다.

Blob을 업로드하는 데 사용되는 스토리지 SDK 유형에 따라 관련 탭을 선택합니다.

Azure Blob Storage
Azure 데이터 레이크

다음 코드 샘플에서는 Azure Blob Storage SDK를 사용하여 Azure Blob Storage에 파일을 업로드합니다. 업로드는 Event Grid 데이터 연결을 트리거하여 데이터를 Azure Data Explorer로 수집합니다.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

참고 항목

Azure Data Explorer는 수집 후 Blob을 삭제하지 않습니다. Azure Blob Storage 수명 주기를 통해 Blob 삭제를 관리하여 3~5일 동안 Blob을 보관합니다.

다음 코드 샘플에서는 Azure Data Lake SDK를 사용하여 Data Lake Storage Gen2에 파일을 업로드합니다. 업로드는 Event Grid 데이터 연결을 트리거하여 데이터를 Azure Data Explorer로 수집합니다.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

참고 항목

Azure Data Lake SDK를 사용하여 파일을 업로드할 때 초기 파일 생성 이벤트의 크기는 0이며 데이터 수집 중에 Azure Data Explorer에서 무시됩니다. 적절한 수집을 보장하려면 매개 변수true를 Close .로 설정합니다. 이 매개 변수를 사용하면 업로드 메서드가 FlushAndClose 이벤트를 트리거하여 최종 업데이트가 수행되고 파일 스트림이 닫혔음을 나타냅니다.
Event Grid에서 들어오는 트래픽을 줄이고 Azure Data Explorer로 이벤트 수집을 최적화하려면 data.api 키를 필터링하여 CreateFile 이벤트를 제외하는 것이 좋습니다. 이렇게 하면 크기가 0인 파일 만들기 이벤트가 필터링되어 빈 파일의 수집 오류를 방지할 수 있습니다. 플러시에 대한 자세한 내용은 Azure Data Lake 플러시 방법을 참조하세요.

Blob 이름 바꾸기

ADLSv2에서는 디렉터리의 이름을 바꿀 수 있습니다. 그러나 디렉터리 이름을 바꾸면 Blob 이름이 바뀐 이벤트를 트리거하거나 디렉터리에 포함된 Blob의 수집을 시작하지는 않습니다. 디렉터리 이름을 바꾼 후 Blob을 수집하려면 디렉터리 내의 개별 Blob 이름을 직접 바꿔야 합니다.

다음 코드 샘플에서는 ADLSv2 스토리지 계정에서 Blob의 이름을 바꾸는 방법을 보여 줍니다.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);

참고 항목

데이터 연결을 만들거나 Event Grid 리소스를 수동으로 만드는 동안 특정 주제를 추적하도록 필터를 정의한 경우 이러한 필터는 대상 파일 경로에 적용됩니다.

참고 항목

작업 후 CopyBlob 수집 트리거는 계층 구조 네임스페이스 기능을 사용하도록 설정된 스토리지 계정에 대해서는 지원되지 않습니다.

Important

사용자 지정 코드에서 스토리지 이벤트를 생성하고 Event Hubs로 보내는 것은 매우 권장되지 않습니다. 이렇게 하려면 생성된 이벤트가 적절한 스토리지 이벤트 스키마 및 JSON 형식 사양을 엄격하게 준수하는지 확인합니다.

Event Grid 데이터 연결 제거

Azure Portal에서 Event Grid 연결을 제거하려면 다음 단계를 수행합니다.

클러스터로 이동합니다. 왼쪽 메뉴에서 데이터베이스를 선택합니다. 그런 다음 대상 테이블이 포함된 데이터베이스를 선택합니다.
왼쪽 메뉴에서 데이터 연결을 선택합니다. 그런 다음 관련 Event Grid 데이터 연결 옆에 있는 확인란을 선택합니다.
위쪽 메뉴 모음에서 삭제를 선택합니다.

Azure Stream Analytics를 사용하여 이벤트 허브에서 데이터 처리

다음을 통해 공유

Azure Data Explorer에 대한 Event Grid 데이터 연결 만들기

필수 구성 요소

Event Grid 데이터 연결 만들기

이벤트를 라우팅할 대상 선택

데이터 연결 만들기

Event Grid 데이터 연결 사용

Blob 이름 바꾸기

Event Grid 데이터 연결 제거

피드백

추가 리소스

다음을 통해 공유

Azure Data Explorer에 대한 Event Grid 데이터 연결 만들기

필수 구성 요소

Event Grid 데이터 연결 만들기

Event Grid 데이터 연결 사용

Event Grid 데이터 연결 제거

관련 콘텐츠

피드백

추가 리소스