Banco de dados Lake
O banco de dados Lake no Azure Synapse Analytics permite que os clientes combinem o design do banco de dados, as informações meta sobre os dados armazenados e a possibilidade de descrever como e onde os dados devem ser armazenados. O banco de dados Lake resolve o desafio de se entender atualmente como os dados de um data lake são estruturados.
Designer de banco de dados
O novo designer de banco de dados no Synapse Studio oferece a possibilidade de criar um modelo de dados para o seu banco de dados Lake e adicionar informações a ele. Cada entidade e atributo podem ser descritos para fornecer mais informações sobre o modelo, que contém não apenas entidades, mas também relações. Em particular, a incapacidade de modelar relações tem sido um desafio para a interação no data lake. Esse desafio agora é trabalhado com um designer integrado que oferece possibilidades já disponíveis em bancos de dados, mas não no Lake. Além disso, a capacidade de adicionar descrições e possíveis valores de demonstração ao modelo permite que as pessoas que estão interagindo com ele no futuro tenham as informações onde precisam delas para entender melhor os dados.
Observação
O tamanho máximo dos metadados em um banco de dados do Lake é de 10 GB. A tentativa de publicar ou atualizar um modelo que excede 10 GB de tamanho falhará. Para resolver esse problema, reduza o tamanho do modelo removendo tabelas e colunas. Considere dividir modelos grandes em vários bancos de dados do Lake para evitar esse limite.
Armazenamento de dados
Os bancos de dados Lake usam um data lake na conta de Armazenamento do Azure para armazenar os dados do banco. Os dados podem ser armazenados em formato Parquet, Delta ou CSV; outras configurações podem ser usadas para otimizar o armazenamento. Todo banco de dados Lake usa um serviço vinculado para definir o local da pasta de dados raiz. Para cada entidade, as pastas separadas são criadas por padrão nessa pasta de bancos de dados no data lake. Por padrão, todas as tabelas em um banco de dados Lake usam o mesmo formato, mas os formatos e o local dos dados podem ser alterados por entidade, caso solicitado.
Observação
A publicação de um banco de dados lake não cria nenhuma das estruturas ou esquemas subjacentes necessários para consultar os dados no Spark ou no SQL. Após a publicação, carregue dados no banco de dados lake usando pipelines para começar a consultá-los.
Atualmente, não há suporte para o suporte de formato Delta para bancos de dados lake no Synapse Studio.
A sincronização de objetos de banco de dados do Lake entre o armazenamento e o Synapse é unidirecional. Certifique-se de executar qualquer modificação de criação ou esquema de objetos de banco de dados do Lake usando o designer de banco de dados no Synapse Studio. Se você fizer essas alterações do Spark ou diretamente no armazenamento, as definições dos bancos de dados do Lake ficarão fora de sincronia. Se isso acontecer, você poderá ver definições antigas do banco de dados do Lake no designer de banco de dados. Você precisará replicar e publicar essas alterações no designer de banco de dados para sincronizar seus bancos de dados do Lake novamente.
Computação de bancos de dados
O banco de dados Lake é exposto no pool de SQL sem servidor do Synapse SQL e no Apache Spark para fornecer aos usuários a capacidade de dissociar o armazenamento da computação. Os metadados associados ao banco de dados Lake facilitam que diferentes mecanismos de computação não apenas forneçam uma experiência integrada, mas também usem informações adicionais (por exemplo, relações) que não tinham suporte originalmente no data lake.
Conteúdo relacionado
Continue explorando os recursos do designer de banco de dados usando os links abaixo.