Compartilhar via

Obter dados do Amazon S3

  • Artigo

Neste artigo, você aprenderá a obter dados do Amazon S3 em uma tabela nova ou existente. O Amazon S3 é um serviço de armazenamento de objetos criado para armazenar e recuperar dados.

Para obter mais informações sobre o Amazon S3, consulte O que é o Amazon S3?.

Pré-requisitos

  • Um workspace com uma capacidade habilitada pelo Microsoft Fabric
  • Um banco de dados KQL com permissões de edição
  • Um bucket do Amazon S3 com dados

Fonte

  1. Na faixa de opções inferior do banco de dados KQL, selecione Obter Dados.

    Na janela Obter dados, a guia Origem será selecionada.

  2. Selecione a fonte de dados na lista disponível. Neste exemplo, você está ingerindo dados de Amazon S3.

    Captura de tela da janela Obter dados com a guia origem selecionada.

Configurar

  1. Selecione uma tabela de destino. Se você quiser ingerir dados em uma nova tabela, selecione +Nova tabela e insira um nome de tabela.

    Nota

    Os nomes de tabela podem ter até 1.024 caracteres, incluindo espaços, alfanuméricos, hifens e sublinhados. Não há suporte para caracteres especiais.

  2. No campo URI, cole a cadeia de conexão de um único bucket ou um objeto individual no formato a seguir.

    Bucket: https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKey

    Opcionalmente, você pode aplicar filtros de bucket para filtrar dados de acordo com uma extensão de arquivo específica.

    Captura de tela da guia Configurar com a nova tabela inserida e uma cadeia de conexão do Amazon S3 colada.

  3. Selecione Avançar.

Inspecionar

A guia Inspecionar será aberta com uma visualização dos dados.

Para concluir o processo de ingestão, selecione Concluir.

Captura de tela da guia inspecionar.

Opcionalmente:

Editar colunas

Nota

  • Para formatos de tabela (CSV, TSV,VP), não é possível mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
  • Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, poderá acabar com colunas vazias.

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

  • O tipo de tabela é novo ou existente
  • O tipo de mapeamento é novo ou existente
Tipo de tabela Tipo de mapeamento Ajustes disponíveis
Nova tabela Novo mapeamento Renomear coluna, alterar tipo de dados, alterar fonte de dados, transformação de mapeamento, adicionar coluna, excluir coluna
Tabela existente Novo mapeamento Adicionar coluna (na qual você pode alterar o tipo de dados, renomear e atualizar)
Tabela existente Mapeamento existente none

Captura de tela das colunas abertas para edição.

Transformações de mapeamento

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) dão suporte a transformações simples de tempo de ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas.

As transformações de mapeamento podem ser executadas em uma coluna do tipo string ou datetime, com a origem possuindo o tipo de dados int ou long. As transformações de mapeamento com suporte são:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Opções avançadas com base no tipo de dados

Tabular (CSV, TSV, PSV):

  • Se você estiver ingerindo formatos tabulares em uma tabela existente, poderá selecionar Avançado>Manter esquema de tabela. Os dados tabulares não incluem necessariamente os nomes de coluna usados para mapear dados de origem para as colunas existentes. Quando essa opção é verificada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para dados de entrada, independentemente da estrutura de dados.

  • Para usar a primeira linha como nomes de coluna, selecione Avançado>A primeira linha é o cabeçalho da coluna.

    Captura de tela das opções avançadas de CSV.

JSON:

  • Para determinar a divisão de coluna dos dados JSON, selecione Avançado>Níveis aninhados, de 1 a 100.

  • Se você selecionar Avançado>Ignorar linhas JSON com erros, os dados serão ingeridos no formato JSON. Se você deixar essa caixa de seleção não selecionada, os dados serão ingeridos no formato multijson.

    Captura de tela das opções de JSON avançadas.

Resumo

Na janela de preparação de dados, todas as três etapas são marcadas com marcas de verificação verdes quando a ingestão de dados é concluída com sucesso. Você pode selecionar um cartão para consultar, remover os dados ingeridos ou ver um painel do resumo da ingestão.

Captura de tela da página de resumo com ingestão concluída com sucesso.

Conteúdo relacionado