Opções para obter dados no Fabric Lakehouse
A experiência de obtenção de dados abrange todos os cenários do usuário para trazer dados para o lakehouse, como:
- Conectar-se a um SQL Server existente e copiar dados para a tabela Delta no lakehouse.
- Carregar arquivos do computador.
- Copiar e mesclar várias tabelas de outros lakehouses em uma nova tabela Delta.
- Conectar-se a uma fonte de streaming para obter dados em um lakehouse.
- Referenciar dados sem copiá-los de outros lakehouses internas ou fontes externas.
Diferentes maneiras de carregar dados em um lakehouse
No Microsoft Fabric, há algumas maneiras de obter dados em um lakehouse:
- Upload de arquivo do computador local
- Executar uma ferramenta de cópia em pipelines
- Configurar um fluxo de dados
- Bibliotecas do Apache Spark no código do notebook
Upload de arquivo local
Você também pode carregar dados armazenados em seu computador local. Você pode fazer isso diretamente no Lakehouse Explorer.
Copiar ferramenta em pipelines
A ferramenta Copiar é uma solução de Integração de Dados altamente escalonável que permite que você se conecte a diferentes fontes de dados e carregue os dados no formato original ou converta-os em uma tabela Delta. A ferramenta Copiar faz parte das atividades de pipelines que você pode modificar de várias maneiras, como agendamento ou gatilho com base em um evento. Para obter mais informações, consulte Como copiar dados usando a atividade de cópia.
Fluxos de dados
Para usuários familiarizados com fluxos de dados do Power BI, a mesma ferramenta está disponível para carregar dados em seu lakehouse. Você pode acessá-lo rapidamente na opção "Obter dados" do Lakehouse Explorer e obter dados de mais de 200 conectores. Para obter mais informações, consulte Início rápido: Crie seu primeiro fluxo de dados para obter e transformar dados.
Código do notebook
Você pode usar bibliotecas do Spark disponíveis para se conectar diretamente a uma fonte de dados, carregar dados em um quadro de dados e salvá-los em um lakehouse. Esse método é a maneira mais aberta de carregar dados no lakehouse que o código do usuário está gerenciando totalmente.
Observação
Tabelas Delta externas criadas com código Spark não ficarão visíveis para o ponto de extremidade de análise do SQL. Use atalhos no Espaço de tabela para tornar as tabelas Delta externas visíveis para o ponto de extremidade de análise do SQL.
Considerações ao escolher a abordagem para carregar dados
| Caso de uso | Recomendação |
|---|---|
| Carregamento de arquivo pequeno do computador local | Usar carregamento de arquivo local |
| Dados pequenos ou conector específico | Usar Fluxos de dados |
| Fonte de dados grande | Usar a ferramenta Copiar em pipelines |
| Transformações de dados complexos | Usar código do Notebook |