Início rápido: criar uma nova base de dados Lake com modelos de bases de dados
Este início rápido fornece um cenário de exemplo completo sobre como você pode aplicar modelos de banco de dados para criar um banco de dados lake, alinhar dados ao seu novo modelo e usar a experiência integrada para analisar os dados.
Pré-requisitos
- Pelo menos as permissões de função de usuário Synapse são necessárias para explorar um modelo de banco de dados lake da Galeria.
- As permissões de Administrador Synapse ou Colaborador Synapse são necessárias no espaço de trabalho Synapse do Azure para criar um banco de dados lake.
- As permissões de Colaborador de Dados de Blob de Armazenamento são necessárias no data lake ao usar a opção create table From data lake .
Criar um banco de dados lago a partir de modelos de banco de dados
Use a nova funcionalidade de modelos de banco de dados para criar um banco de dados lago que você pode usar para configurar seu modelo de dados para o banco de dados.
Para o nosso cenário, usaremos o Retail modelo de banco de dados e selecionaremos as seguintes entidades:
- RetailProduct - Um produto é qualquer coisa que pode ser oferecida a um mercado que possa satisfazer uma necessidade de potenciais clientes. Esse produto é a soma de todos os atributos físicos, psicológicos, simbólicos e de serviço associados a ele.
- Transação - O nível mais baixo de trabalho executável ou atividade do cliente. Uma transação consiste em um ou mais eventos discretos.
- TransactionLineItem - Os componentes de uma Transação divididos por Produto e Quantidade, um por item de linha.
- Parte - Uma parte é um indivíduo, organização, entidade jurídica, organização social ou unidade de negócios de interesse para o negócio.
- Cliente - Um cliente é uma pessoa física ou jurídica que adquiriu ou adquiriu um produto ou serviço.
- Canal - Um canal é um meio pelo qual produtos ou serviços são vendidos e/ou distribuídos.
A maneira mais fácil de encontrar entidades é usando a caixa de pesquisa acima das diferentes áreas de negócios que contêm as tabelas.
Configurar banco de dados de lago
Depois de criar o banco de dados, verifique se a conta de armazenamento e o caminho do arquivo estão definidos para um local onde você deseja armazenar os dados. O caminho será padrão para a conta de armazenamento principal no Azure Synapse Analytics, mas pode ser alterado de acordo com suas necessidades.
Para salvar seu layout e disponibilizá-lo no Azure Synapse, publique todas as alterações. Esta etapa conclui a configuração do banco de dados lake e o disponibiliza para todos os componentes dentro e fora do Azure Synapse Analytics.
Ingerir dados para o banco de dados do lago
Para ingerir dados para o banco de dados lake, você pode executar pipelines com mapeamentos de fluxo de dados sem código, que têm um conector de banco de dados de espaço de trabalho para carregar dados diretamente na tabela de banco de dados. Você também pode usar os blocos de anotações interativos do Spark para ingerir dados nas tabelas do banco de dados do lago:
%%sql
INSERT INTO `retail_mil`.`customer` VALUES (1,date('2021-02-18'),1022,557,101,'Tailspin Toys (Head Office)','Waldemar Fisar',90410,466);
Consultar os dados
Depois que o banco de dados lake é criado, há diferentes maneiras de consultar os dados. Atualmente, os bancos de dados SQL em pools SQL sem servidor são suportados e compreendem automaticamente o formato de banco de dados lago recém-criado.
SELECT TOP (100) [ProductId]
,[ProductName]
,[ProductDescription]
,[ProductInternalName]
,[ItemSku]
,[PrimaryBrandId]
FROM [Retail_mil].[dbo].[RetailProduct]
A outra maneira de acessar os dados no Azure Synapse é abrir um novo bloco de anotações do Spark e usar a experiência integrada lá:
df = spark.sql("SELECT * FROM `Retail_mil`.`RetailProduct`")
df.show(10)
Preparar modelos de machine learning
Você pode usar o banco de dados lake para treinar seus modelos de aprendizado de máquina e pontuar os dados. Para mais detalhes Treinar modelos de aprendizado de máquina
Próximos passos
Continue a explorar os recursos do designer de banco de dados usando os links abaixo.