Configurar pontos de extremidade de fluxo de dados para armazenamento local

Artigo
11/20/2024

Importante

Esta página inclui instruções para gerenciar componentes do Azure IoT Operations usando manifestos de implantação do Kubernetes, que está em visualização. Esse recurso é fornecido com várias limitações e não deve ser usado para cargas de trabalho de produção.

Veja Termos de Utilização Complementares da Pré-visualizações do Microsoft Azure para obter os termos legais que se aplicam às funcionalidades do Azure que estão na versão beta, na pré-visualização ou que ainda não foram lançadas para disponibilidade geral.

Para enviar dados para o armazenamento local no Azure IoT Operations, você pode configurar um ponto de extremidade de fluxo de dados. Essa configuração permite especificar o ponto de extremidade, autenticação, tabela e outras configurações.

Pré-requisitos

Uma instância do Azure IoT Operations
Um PersistentVolumeClaim (PVC)

Criar um ponto de extremidade de fluxo de dados de armazenamento local

Use a opção de armazenamento local para enviar dados para um volume persistente disponível localmente, por meio do qual você pode carregar dados por meio do Armazenamento de Contêiner do Azure habilitado pelos volumes de borda do Azure Arc.

Na experiência de operações, selecione a guia Pontos de extremidade de fluxo de dados.
Em Criar novo ponto de extremidade de fluxo de dados, selecione Armazenamento>Local Novo.

Insira as seguintes configurações para o ponto de extremidade:

Definição	Description
Name	O nome do ponto de extremidade do fluxo de dados.
Nome da declaração de volume persistente	O nome do PersistentVolumeClaim (PVC) a ser usado para armazenamento local.

Selecione Aplicar para provisionar o ponto de extremidade.

Crie um arquivo Bicep .bicep com o seguinte conteúdo.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param persistentVCName string = '<PERSISTENT_VC_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource localStorageDataflowEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'LocalStorage'
    localStorageSettings: {
      persistentVolumeClaimRef: persistentVCName
    }
  }
}

Em seguida, implante por meio da CLI do Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Crie um arquivo de manifesto .yaml do Kubernetes com o seguinte conteúdo.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: LocalStorage
  localStorageSettings:
    persistentVolumeClaimRef: <PVC_NAME>

Em seguida, aplique o arquivo de manifesto ao cluster do Kubernetes.

kubectl apply -f <FILE>.yaml

O PersistentVolumeClaim (PVC) deve estar no mesmo namespace que o DataflowEndpoint.

Formatos de serialização suportados

O único formato de serialização suportado é Parquet.

Usar o Armazenamento de Contêiner do Azure habilitado pelo Azure Arc (ACSA)

Você pode usar o ponto de extremidade de fluxo de dados de armazenamento local junto com o Armazenamento de Contêiner do Azure habilitado pelo Azure Arc para armazenar dados localmente ou enviar dados para um destino de nuvem.

Volume compartilhado local

Para gravar em um volume compartilhado local, primeiro crie um PersistentVolumeClaim (PVC) de acordo com as instruções dos Volumes de Borda Compartilhados Locais.

Em seguida, ao configurar o ponto de extremidade de fluxo de dados de armazenamento local, insira o nome PVC em persistentVolumeClaimRef.

Ingestão de nuvens

Para gravar seus dados na nuvem, siga as instruções na configuração Cloud Ingest Edge Volumes para criar um PVC e anexar um subvolume para o destino de nuvem desejado.

Importante

Não se esqueça de criar o subvolume depois de criar o PVC, caso contrário, o fluxo de dados não é iniciado e os logs mostram um erro "sistema de arquivos somente leitura".

Em seguida, ao configurar o ponto de extremidade de fluxo de dados de armazenamento local, insira o nome PVC em persistentVolumeClaimRef.

Finalmente, quando você cria o fluxo de dados, o parâmetro de destino de dados deve corresponder ao parâmetro criado para o subvolume durante a spec.path configuração.

Próximos passos

Para saber mais sobre fluxos de dados, consulte Criar um fluxo de dados.

Partilhar via