Configurar pontos de extremidade de fluxo de dados para armazenamento local

Artigo
11/21/2024

Importante

Esta página inclui instruções para gerenciar componentes do serviço Operações do Azure IoT usando manifestos de implantação do Kubernetes, que estão em versão prévia. Esse recurso é fornecido com várias limitações e não deve ser usado para cargas de trabalho de produção.

Veja os Termos de Uso Complementares para Versões Prévias do Microsoft Azure para obter termos legais que se aplicam aos recursos do Azure que estão em versão beta, versão prévia ou que, de outra forma, ainda não foram lançados em disponibilidade geral.

Para enviar dados para o armazenamento local nas Operações do Azure IoT, você pode configurar um ponto de extremidade de fluxo de dados. Essa configuração permite que você especifique o ponto de extremidade, a autenticação, a tabela e outras configurações.

Pré-requisitos

Uma instância das Operações do Azure IoT
Um PersistentVolumeClaim (PVC)

Criar um ponto de extremidade de fluxo de dados de armazenamento local

Use a opção de armazenamento local para enviar dados para um volume persistente disponível localmente, por meio do qual você pode carregar dados por meio do Armazenamento de Contêiner do Azure habilitado pelos volumes de borda do Azure Arc.

Na experiência de operações, selecione a guia Pontos de extremidade do fluxo de dados.
Em Criar ponto de extremidade de fluxo de dados, selecione Armazenamento Local>Novo.

Insira as configurações a seguir para o ponto de extremidade:

Configuração	Descrição
Nome	O nome do ponto de extremidade do fluxo de dados.
Nome da declaração de volume persistente	O nome do PersistentVolumeClaim (PVC) a ser usado para armazenamento local.

Selecione Aplicar para provisionar o ponto de extremidade.

Crie um arquivo Bicep .bicep com o seguinte conteúdo.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param persistentVCName string = '<PERSISTENT_VC_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource localStorageDataflowEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'LocalStorage'
    localStorageSettings: {
      persistentVolumeClaimRef: persistentVCName
    }
  }
}

Em seguida, implante via CLI do Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Crie um arquivo manifesto do Kubernetes .yaml com o seguinte conteúdo.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: LocalStorage
  localStorageSettings:
    persistentVolumeClaimRef: <PVC_NAME>

Em seguida, aplique o arquivo manifesto ao cluster do Kubernetes.

kubectl apply -f <FILE>.yaml

O PersistentVolumeClaim (PVC) deve estar no mesmo namespace que o DataflowEndpoint.

Formatos de serialização com suporte

O único formato de serialização com suporte é Parquet.

Armazenamento de contêineres do Azure habilitado pelo Azure Arc (ACSA)

Você pode usar o ponto de extremidade de fluxo de dados de armazenamento local junto com o Armazenamento de Contêineres do Azure habilitado pelo Azure Arc para armazenar dados localmente ou enviar dados para um destino de nuvem.

Volume compartilhado local

Para gravar em um volume compartilhado local, primeiro crie um PVC (PersistentVolumeClaim) de acordo com as instruções de Volumes de Borda Compartilhados Locais.

Em seguida, ao configurar o ponto de extremidade do fluxo de dados de armazenamento local, insira o nome do PVC em persistentVolumeClaimRef.

Ingestão de nuvem

Para gravar seus dados na nuvem, siga as instruções em Configuração de Volumes de Borda de Ingestão de Nuvem para criar um PVC e anexar um subvolume para o destino de nuvem desejado.

Importante

Não se esqueça de criar o subvolume depois de criar o PVC ou, em seguida, o fluxo de dados falha ao iniciar e os logs mostram um erro "sistema de arquivos somente leitura".

Em seguida, ao configurar o ponto de extremidade do fluxo de dados de armazenamento local, insira o nome do PVC em persistentVolumeClaimRef.

Por fim, quando você cria o fluxo de dados, o parâmetro destino de dados precisa corresponder ao parâmetro spec.path que você criou para seu subvolume durante a configuração.

Próximas etapas

Para saber mais sobre fluxos de dados, confira Criar um fluxo de dados.

Compartilhar via