클라우드 수집 Edge 볼륨 구성

아티클
10/17/2024

이 문서에서는 클라우드 수집 에지 볼륨(로컬 제거를 통한 Blob 업로드)에 대한 구성을 설명합니다.

클라우드 수집 에지 볼륨이란?

클라우드 수집 에지 볼륨은 ADLSgen2를 포함하여 에지에서 Blob까지 무제한 데이터 수집을 용이하게 합니다. 이 스토리지 유형에 기록된 파일은 Blob Storage로 원활하게 전송되고 업로드된 것으로 확인되면 로컬에서 제거됩니다. 이렇게 제거하면 새 데이터에 사용할 수 있는 공간이 확보됩니다. 더욱이 이 스토리지 옵션은 연결이 끊긴 환경에서도 데이터 무결성을 지원하여, 네트워크에 다시 연결되면 로컬 저장과 동기화가 가능합니다.

예를 들어, 클라우드 수집 PVC에 파일을 쓰고 프로세스가 1분마다 새 파일이 있는지 확인하기 위해 검사를 실행할 수 있습니다. 파일이 식별되면, 해당 파일은 지정된 Blob 대상으로 업로드됩니다. 업로드가 성공적으로 완료되었음을 확인한 후, 클라우드 수집 에지 볼륨은 5분간 기다린 후 파일의 로컬 버전을 삭제합니다.

필수 조건

여기에 나와 있는 지침에 따라 스토리지 계정을 만듭니다.

참고 항목

스토리지 계정을 만들 때 Kubernetes 클러스터와 동일한 리소스 그룹 및 지역/위치에 만드는 것이 좋습니다.
이전에 만든 스토리지 계정에 컨테이너를 만들려면 여기의 지침을 따릅니다.

확장 ID 구성

에지 볼륨을 사용하면 시스템에서 할당한 확장 ID를 사용하여 Blob Storage에 액세스할 수 있습니다. 이 섹션에서는 시스템에서 할당한 확장 ID를 사용하여 스토리지 계정에 대한 액세스 권한을 부여하고 이러한 스토리지 시스템에 클라우드 수집 볼륨을 업로드하는 방법을 설명합니다.

확장 ID를 사용하는 것이 좋습니다. 최종 대상이 Blob Storage나 ADLSgen2인 경우 다음 지침을 참조하세요. 최종 대상이 OneLake인 경우 확장 ID에 대한 OneLake 구성의 지침을 따릅니다.

권장하지는 않지만 키 기반 인증을 사용하려면 키 기반 인증의 지침을 따릅니다.

Azure Portal

Arc에 연결된 클러스터로 이동합니다.
확장을 섡택합니다.
Azure Arc 확장을 통해 사용하도록 설정된 Azure 컨테이너 스토리지를 선택합니다.
클러스터 확장 세부 정보에서 주체 ID를 확인합니다.

Azure CLI

Azure CLI에서 내보내기 값(CLUSTER_NAME, RESOURCE_GROUP)을 입력하고 다음 명령을 실행합니다.

export CLUSTER_NAME = <your-cluster-name-here>
export RESOURCE_GROUP = <your-resource-group-here>
export EXTENSION_TYPE=${1:-"microsoft.arc.containerstorage"}
az k8s-extension list --cluster-name ${CLUSTER_NAME} --resource-group ${RESOURCE_GROUP} --cluster-type connectedClusters | jq --arg extType ${EXTENSION_TYPE} 'map(select(.extensionType == $extType)) | .[] | .identity.principalId' -r

확장 ID에 대한 Blob Storage 계정 구성

스토리지 계정에 확장 ID 권한 추가

Azure Portal에서 스토리지 계정으로 이동합니다.
액세스 제어(IAM)를 선택합니다.
추가+ -> 역할 할당 추가를 선택합니다.
Storage Blob 데이터 소유자를 선택한 다음 다음을 선택합니다.
+ 멤버 선택을 선택합니다.
선택한 멤버 목록에 주체 ID를 추가하려면 ID를 붙여넣고 ID 옆에 있는 +을 선택합니다.
선택을 클릭합니다.
권한을 검토하고 할당하려면 다음을 선택한 다음 검토 + 할당을 선택합니다.

클라우드 수집 PVC(영구 볼륨 클레임) 만들기

다음 내용이 포함된 cloudIngestPVC.yaml라는 파일을 만듭니다. metadata.name 줄을 편집하고 영구 볼륨 클레임에 대한 이름을 만듭니다. 이 이름은 다음 단계의 deploymentExample.yaml의 마지막 줄에서 참조됩니다. 또한, 의도한 소비 Pod로 metadata.namespace 값을 업데이트합니다. 소비할 Pod가 없으면 metadata.namespace 값은 default입니다. spec.resources.requests.storage 매개 변수는 영구 볼륨의 크기를 결정합니다. 이 예제에서는 2GB이지만 필요에 맞게 수정할 수 있습니다.

참고 항목

소문자와 숫자만 사용할 수 있습니다. 자세한 내용은 Kubernetes 개체 명명 설명서를 참조하세요.
```
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  ### Create a name for your PVC ###
  name: <create-persistent-volume-claim-name-here>
  ### Use a namespace that matched your intended consuming pod, or "default" ###
  namespace: <intended-consuming-pod-or-default-here>
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 2Gi
  storageClassName: cloud-backed-sc
```
cloudIngestPVC.yaml을 적용하려면 다음을 실행합니다.
```
kubectl apply -f "cloudIngestPVC.yaml"
```

에지 볼륨에 하위 볼륨 첨부

확장 ID를 사용하여 스토리지 계정 컨테이너에 연결하는 하위 볼륨을 만들려면 다음 프로세스를 따릅니다.

다음 명령을 사용하여 수집 Edge 볼륨의 이름을 가져옵니다.
```
kubectl get edgevolumes
```
edgeSubvolume.yaml이라는 이름의 파일을 만들고 다음 콘텐츠를 복사합니다. 다음 변수는 사용자의 정보로 업데이트되어야 합니다.

참고 항목

소문자와 숫자만 사용할 수 있습니다. 자세한 내용은 Kubernetes 개체 명명 설명서를 참조하세요.
- metadata.name: 하위 볼륨의 이름을 만듭니다.
- spec.edgevolume: 이 이름은 kubectl get edgevolumes를 사용하여 이전 단계에서 검색되었습니다.
- spec.path: 탑재 경로 아래에 사용자 고유의 하위 디렉터리 이름을 만듭니다. 다음 예제에는 이미 예제 이름(exampleSubDir)이 포함되어 있습니다. 이 경로 이름을 변경하면 deploymentExample.yaml의 33번째 줄을 새 경로 이름으로 업데이트해야 합니다. 경로 이름을 바꾸려면 앞에 슬래시를 사용하지 마세요.
- spec.container: 스토리지 계정의 컨테이너 이름입니다.
- spec.storageaccountendpoint: Azure Portal의 스토리지 계정으로 이동합니다. 개요 페이지에서 화면 오른쪽 상단에 있는 JSON 보기를 선택합니다. storageaccountendpoint 링크는 properties.primaryEndpoints.blob에서 찾을 수 있습니다. 전체 링크를 복사합니다(예: https://mytest.blob.core.windows.net/).
```
apiVersion: "arccontainerstorage.azure.net/v1"
kind: EdgeSubvolume
metadata:
  name: <create-a-subvolume-name-here>
spec:
  edgevolume: <your-edge-volume-name-here>
  path: exampleSubDir # If you change this path, line 33 in deploymentExample.yaml must be updated. Don't use a preceding slash.
  auth:
    authType: MANAGED_IDENTITY
  storageaccountendpoint: "https://<STORAGE ACCOUNT NAME>.blob.core.windows.net/"
  container: <your-blob-storage-account-container-name>
  ingestPolicy: edgeingestpolicy-default # Optional: See the following instructions if you want to update the ingestPolicy with your own configuration
```
edgeSubvolume.yaml을 적용하려면 다음을 실행합니다.
```
kubectl apply -f "edgeSubvolume.yaml"
```

선택 사항: 기본값에서 `ingestPolicy`를 수정합니다.

기본값 edgeingestpolicy-default에서 ingestPolicy를 변경하려면 다음 콘텐츠를 담은 myedgeingest-policy.yaml이라는 파일을 만듭니다. 다음 변수는 사용자의 기본 설정에 따라 업데이트되어야 합니다.

참고 항목

소문자와 숫자만 사용할 수 있습니다. 자세한 내용은 Kubernetes 개체 명명 설명서를 참조하세요.
- metadata.name: ingestPolicy의 이름을 만듭니다. 이 이름은 edgeSubvolume.yaml의 spec.ingestPolicy 섹션에서 업데이트되고 참조되어야 합니다.
- spec.ingest.order: 더티 파일이 업로드되는 순서입니다. 이는 최선의 활동이며 보장은 아닙니다(기본값은 가장 오래된 것부터). 정렬 옵션은 가장 오래된 것부터 또는 가장 최근 것부터입니다.
- spec.ingest.minDelaySec: 더티 파일이 수집되기 전까지의 최소 시간(초)입니다(기본값은 60). 이 숫자의 범위는 0~31536000입니다.
- spec.eviction.order: 파일이 제거되는 방법입니다(기본값은 정렬되지 않음). 제거 명령에 대한 옵션은 unordered 또는 never입니다.
- spec.eviction.minDelaySec: 정리된 파일이 제거될 때까지의 시간(초)입니다(기본값은 300). 이 숫자의 범위는 0~31536000입니다.
```
apiVersion: arccontainerstorage.azure.net/v1
kind: EdgeIngestPolicy
metadata:
  name: <create-a-policy-name-here> # This must be updated and referenced in the spec.ingestPolicy section of the edgeSubvolume.yaml
spec:
  ingest:
    order: <your-ingest-order>
    minDelaySec: <your-min-delay-sec>
  eviction:
    order: <your-eviction-order>
    minDelaySec: <your-min-delay-sec>
```
이러한 사양에 대한 자세한 내용은 수집 정책 설정을 참조하세요.
myedgeingest-policy.yaml을 적용하려면 다음을 실행합니다.
```
kubectl apply -f "myedgeingest-policy.yaml"
```

앱(Kubernetes 네이티브 애플리케이션)을 첨부합니다

PVC(영구 볼륨 클레임)에 대해 제네릭 단일 Pod(Kubernetes 네이티브 애플리케이션)를 구성하려면 다음 내용이 포함된 deploymentExample.yaml이라는 파일을 만듭니다. containers.name 및 volumes.persistentVolumeClaim.claimName 값을 수정합니다. edgeSubvolume.yaml에서 경로 이름을 업데이트한 경우 33번째 줄의 exampleSubDir을 새 경로 이름으로 업데이트해야 합니다. spec.replicas 매개 변수는 만들 복제본 Pod 수를 결정합니다. 이 예제에서는 2이지만 필요에 맞게 수정할 수 있습니다.

참고 항목

소문자와 숫자만 사용할 수 있습니다. 자세한 내용은 Kubernetes 개체 명명 설명서를 참조하세요.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: cloudingestedgevol-deployment ### This must be unique for each deployment you choose to create.
spec:
  replicas: 2
  selector:
    matchLabels:
      name: wyvern-testclientdeployment
  template:
    metadata:
      name: wyvern-testclientdeployment
      labels:
        name: wyvern-testclientdeployment
    spec:
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: app
                operator: In
                values:
                - wyvern-testclientdeployment
            topologyKey: kubernetes.io/hostname
      containers:
        ### Specify the container in which to launch the busy box. ###
        - name: <create-a-container-name-here>
          image: mcr.microsoft.com/azure-cli:2.57.0@sha256:c7c8a97f2dec87539983f9ded34cd40397986dcbed23ddbb5964a18edae9cd09
          command:
            - "/bin/sh"
            - "-c"
            - "dd if=/dev/urandom of=/data/exampleSubDir/acsaingesttestfile count=16 bs=1M && while true; do ls /data &>/dev/null || break; sleep 1; done"
          volumeMounts:
            ### This name must match the volumes.name attribute below ###
            - name: wyvern-volume
              ### This mountPath is where the PVC is attached to the pod's filesystem ###
              mountPath: "/data"
      volumes:
         ### User-defined 'name' that's used to link the volumeMounts. This name must match volumeMounts.name as previously specified. ###
        - name: wyvern-volume
          persistentVolumeClaim:
            ### This claimName must refer to your PVC metadata.name (Line 5)
            claimName: <your-pvc-metadata-name-from-line-5-of-pvc-yaml>

deploymentExample.yaml을 적용하려면 다음을 실행합니다.
```
kubectl apply -f "deploymentExample.yaml"
```
Pod의 이름을 확인하려면 kubectl get pods를 사용합니다. 다음 단계에서 사용하려면 이 이름을 복사합니다.

참고 항목

deploymentExample.yaml의 spec.replicas가 2로 지정되었으므로 kubectl get pods를 사용하여 두 개의 Pod가 나타납니다. 다음 단계에서는 두 가지 Pod 이름을 모두 선택할 수 있습니다.
다음 명령을 실행하고 POD_NAME_HERE를 마지막 단계에서 복사한 값으로 바꿉니다.
```
kubectl exec -it POD_NAME_HERE -- sh
```
deploymentExample.yaml에 지정된 대로 디렉터리를 /data 탑재 경로로 변경합니다.
에지 볼륨에 하위 볼륨 연결 섹션의 2단계에서 path로 지정한 이름을 가진 디렉터리가 표시되어야 합니다. 디렉터리를 /YOUR_PATH_NAME_HERE로 변경하고 YOUR_PATH_NAME_HERE 값을 사용자의 세부 정보로 바꿉니다.
예를 들어, file1.txt라는 이름의 파일을 만들고 echo "Hello World" > file1.txt를 사용하여 이 파일에 씁니다.
Azure Portal에서 스토리지 계정으로 이동하여 에지 볼륨에 하위 볼륨 연결의 2단계에서 지정된 컨테이너를 찾습니다. 컨테이너를 선택하면 컨테이너 내에 file1.txt가 채워진 것을 확인할 수 있습니다. 파일이 아직 나타나지 않았다면, 약 1분 정도 기다립니다. 에지 볼륨은 업로드하기 전에 1분간 기다립니다.

다음 단계

이러한 단계를 완료한 후에는 Azure Monitor와 Kubernetes 모니터링을 사용하여 배포 모니터링을 시작하거나 Prometheus와 Grafana를 사용하여 타사 모니터링을 시작할 수 있습니다.

배포 모니터링

다음을 통해 공유

클라우드 수집 Edge 볼륨 구성

클라우드 수집 에지 볼륨이란?

필수 조건

확장 ID 구성

확장 ID 가져오기

Azure Portal

Azure CLI

확장 ID에 대한 Blob Storage 계정 구성

스토리지 계정에 확장 ID 권한 추가

클라우드 수집 PVC(영구 볼륨 클레임) 만들기

에지 볼륨에 하위 볼륨 첨부

선택 사항: 기본값에서 `ingestPolicy`를 수정합니다.

앱(Kubernetes 네이티브 애플리케이션)을 첨부합니다

다음 단계

피드백

추가 리소스

다음을 통해 공유

클라우드 수집 Edge 볼륨 구성

클라우드 수집 에지 볼륨이란?

필수 조건

확장 ID 구성

확장 ID 가져오기

Azure Portal

확장 ID에 대한 Blob Storage 계정 구성

스토리지 계정에 확장 ID 권한 추가

클라우드 수집 PVC(영구 볼륨 클레임) 만들기

에지 볼륨에 하위 볼륨 첨부

선택 사항: 기본값에서 ingestPolicy를 수정합니다.

앱(Kubernetes 네이티브 애플리케이션)을 첨부합니다

다음 단계

피드백

추가 리소스

선택 사항: 기본값에서 `ingestPolicy`를 수정합니다.