Azure Data Explorer에 대한 데이터 흐름 엔드포인트 구성

아티클
11/20/2024

Important

이 페이지에는 미리 보기 상태인 Kubernetes 배포 매니페스트를 사용하여 Azure IoT Operations 구성 요소를 관리하기 위한 지침이 포함되어 있습니다. 이 기능은 몇 가지 제한 사항을 제공하며 프로덕션 워크로드에 사용하면 안 됩니다.

베타, 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 약관은 Microsoft Azure 미리 보기에 대한 추가 사용 약관을 참조하세요.

Azure IoT Operations에서 Azure Data Explorer로 데이터를 보내려면 데이터 흐름 엔드포인트를 구성할 수 있습니다. 이 구성을 사용하면 대상 엔드포인트, 인증 방법, 테이블 및 기타 설정을 지정할 수 있습니다.

필수 조건

Azure IoT Operations의 인스턴스
Azure Data Explorer 클러스터. 빠른 시작: Azure Data Explorer 클러스터 및 데이터베이스 만들기의 전체 클러스터 단계를 따릅니다. 이 시나리오에서는 무료 클러스터 옵션이 작동하지 않습니다.

Azure Data Explorer 데이터베이스 만들기

Azure Portal에서 Azure Data Explorer 전체 클러스터에 데이터베이스를 만듭니다.
데이터베이스에서 데이터에 대한 테이블을 만듭니다. Azure Portal을 사용하여 열을 수동으로 만들거나 쿼리 탭에서 KQL을 사용할 수 있습니다. 예를 들어 샘플 자동 온도 조절기 데이터에 대한 테이블을 만들려면 다음 명령을 실행합니다.
```
.create table thermostat (
    externalAssetId: string,
    assetName: string,
    CurrentTemperature: real,
    Pressure: real,
    MqttTopic: string,
    Timestamp: datetime
)
```
테이블 및 데이터베이스에서 스트리밍 수집을 사용하도록 설정합니다. 쿼리 탭에서 다음 명령을 실행하여 데이터베이스 이름으로 <DATABASE_NAME>을(를) 대체합니다.
```
.alter database ['<DATABASE_NAME>'] policy streamingingestion enable
```
또는 전체 클러스터에서 스트리밍 수집을 사용하도록 설정합니다. 기존 클러스터에서 스트리밍 수집 사용을 참조 하세요.

관리 ID에 권한 할당

Azure Data Explorer에 대한 데이터 흐름 엔드포인트를 구성하려면 사용자 할당 또는 시스템 할당 관리 ID를 사용하는 것이 좋습니다. 이 방법은 안전하며 자격 증명을 수동으로 관리할 필요가 없습니다.

Azure Data Explorer 데이터베이스를 만든 후에는 데이터베이스에 쓸 수 있는 권한을 부여하는 Azure IoT Operations 관리 ID에 역할을 할당해야 합니다.

시스템 할당 관리 ID를 사용하는 경우 Azure Portal에서 Azure IoT Operations 인스턴스로 이동하여 개요를 선택합니다. Azure IoT Operations Arc 확장 후에 나열된 확장의 이름을 복사합니다. 예를 들어 azure-iot-operations-xxxx7입니다. 시스템 할당 관리 ID는 Azure IoT Operations Arc 확장의 동일한 이름을 사용하여 찾을 수 있습니다.

클러스터가 아닌 Azure Data Explorer 데이터베이스의 개요에서 사용 권한 추가를>선택한 다음, 역할로 수집기를 선택합니다. 이렇게 하면 관리 ID에 Azure Data Explorer 데이터베이스에 쓰는 데 필요한 권한이 부여됩니다. 자세한 내용은 역할 기반 액세스 제어를 참조하세요.
클라우드 연결 또는 시스템 할당 관리 ID에 대해 설정된 사용자 할당 관리 ID의 이름을 검색합니다. 예를 들어 azure-iot-operations-xxxx7입니다.
그런 다음, 선택을 선택합니다.

Azure Data Explorer에 대한 데이터 흐름 엔드포인트 만들기

작업 환경에서 데이터 흐름 엔드포인트 탭을 선택합니다.
새 데이터 흐름 엔드포인트 만들기에서 Azure Data Explorer 새로 만들기를>선택합니다.

엔드포인트에 대해 다음 설정을 입력합니다.

설정	Description
이름	데이터 흐름 엔드포인트의 이름입니다.
호스트	형식의 Azure Data Explorer 엔드포인트의 `<cluster>.<region>.kusto.windows.net`호스트 이름입니다.
인증 방법	인증에 사용되는 방법입니다. 시스템 할당 관리 ID 또는 사용자 할당 관리 ID를 선택합니다.
클라이언트 ID	사용자 할당 관리 ID의 클라이언트 ID입니다. 사용자 할당 관리 ID를 사용하는 경우 필요합니다.
테넌트 ID	사용자 할당 관리 ID의 테넌트 ID입니다. 사용자 할당 관리 ID를 사용하는 경우 필요합니다.

적용을 선택하여 엔드포인트를 프로비전합니다.

다음 콘텐츠를 사용하여 Bicep .bicep 파일을 만듭니다.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param hostName string = 'https://<CLUSTER>.<region>.kusto.windows.net'
param databaseName string = '<DATABASE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adxEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataExplorer'
    dataExplorerSettings: {
      host: hostName
      database: databaseName
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

그런 다음, Azure CLI를 통해 배포합니다.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

다음 콘텐츠를 사용하여 Kubernetes 매니페스트 .yaml 파일을 만듭니다.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataExplorer
  dataExplorerSettings:
    host: 'https://<CLUSTER>.<region>.kusto.windows.net'
    database: <DATABASE_NAME>
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

그런 다음, 매니페스트 파일을 Kubernetes 클러스터에 적용합니다.

kubectl apply -f <FILE>.yaml

사용 가능한 인증 방법

Azure Data Explorer 엔드포인트에 사용할 수 있는 인증 방법은 다음과 같습니다.

시스템 할당 관리 ID

데이터 흐름 엔드포인트를 구성하기 전에 Azure Data Explorer 데이터베이스에 쓸 수 있는 권한을 부여하는 Azure IoT Operations 관리 ID에 역할을 할당합니다.

Azure Portal에서 Azure IoT Operations 인스턴스로 이동하여 개요를 선택합니다.
Azure IoT Operations Arc 확장 후에 나열된 확장의 이름을 복사합니다. 예를 들어 azure-iot-operations-xxxx7입니다.
클러스터가 아닌 Azure Data Explorer 데이터베이스로 이동하여 개요에서 사용 권한 추가를>선택한 다음, 적절한 역할을 선택합니다.
시스템 할당 관리 ID의 이름을 검색합니다. 예를 들어 azure-iot-operations-xxxx7입니다.
선택을 선택합니다.

그런 다음 시스템 할당 관리 ID 설정을 사용하여 데이터 흐름 엔드포인트를 구성합니다.

작업 환경 데이터 흐름 엔드포인트 설정 페이지에서 기본 탭을 선택한 다음 인증 방법>시스템 할당 관리 ID를 선택합니다.

dataExplorerSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

dataExplorerSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

시스템 할당 관리 ID 대상 그룹을 재정의해야 하는 경우 설정을 지정할 audience 수 있습니다.

대부분의 경우 다른 설정을 지정할 필요가 없습니다. 이 구성은 기본 대상 https://api.kusto.windows.net그룹을 사용하여 관리 ID를 만듭니다.

dataExplorerSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<AUDIENCE_URL>'    
    }
  }
}

dataExplorerSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<AUDIENCE_URL>

사용자 할당 관리 ID

인증에 사용자 할당 관리 ID를 사용하려면 먼저 보안 설정을 사용하도록 설정된 Azure IoT 작업을 배포해야 합니다. 그런 다음 클라우드 연결에 대한 사용자 할당 관리 ID를 설정해야 합니다. 자세한 내용은 Azure IoT Operations 배포에서 보안 설정 사용을 참조하세요.

데이터 흐름 엔드포인트를 구성하기 전에 Azure Data Explorer 데이터베이스에 쓸 수 있는 권한을 부여하는 사용자 할당 관리 ID에 역할을 할당합니다.

Azure Portal에서 클러스터가 아닌 Azure Data Explorer 데이터베이스로 이동하고 개요에서 사용 권한 추가를>선택한 다음, 적절한 역할을 선택합니다.
사용자 할당 관리 ID의 이름을 검색합니다.
선택을 선택합니다.

그런 다음 사용자 할당 관리 ID 설정을 사용하여 데이터 흐름 엔드포인트를 구성합니다.

작업 환경 데이터 흐름 엔드포인트 설정 페이지에서 기본 탭을 선택한 다음, 인증 방법>사용자 할당 관리 ID를 선택합니다.

적절한 필드에 사용자 할당 관리 ID 클라이언트 ID 및 테넌트 ID를 입력합니다.

dataExplorerSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://api.kusto.windows.net/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

dataExplorerSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://api.kusto.windows.net/.default'
      # scope: https://<SCOPE_URL>

여기서 범위는 선택 사항이며 기본값은 .입니다 https://api.kusto.windows.net/.default. 기본 범위를 재정의해야 하는 경우 Bicep 또는 Kubernetes를 scope 통해 설정을 지정합니다.

고급 설정

일괄 처리 대기 시간 및 메시지 수와 같은 Azure Data Explorer 엔드포인트에 대한 고급 설정을 설정할 수 있습니다.

batching 설정을 사용하여 메시지를 대상으로 보내기 전에 최대 메시지 수와 최대 대기 시간을 구성할 수 있습니다. 이 설정은 네트워크 대역폭을 최적화하고 대상에 대한 요청 수를 줄이려는 경우에 유용합니다.

필드	설명	필수
`latencySeconds`	메시지를 대상으로 보내기 전에 대기할 최대 시간(초)입니다. 기본값은 60초입니다.	아니요
`maxMessages`	대상에 보낼 최대 메시지 수입니다. 기본값은 100000개 메시지입니다.	아니요

예를 들어 최대 메시지 수를 1000으로 구성하고 최대 대기 시간을 100초로 구성하려면 다음 설정을 사용합니다.

작업 환경에서 데이터 흐름 엔드포인트에 대한 고급 탭을 선택합니다.

작업 환경을 사용하여 Azure Data Explorer 고급 설정을 설정하는 스크린샷

dataExplorerSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

dataExplorerSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

다음 단계

데이터 흐름에 대한 자세한 내용은 데이터 흐름 만들기를 참조 하세요.

다음을 통해 공유