Opções para obter dados no Fabric Lakehouse
A experiência get data abrange todos os cenários de usuário para trazer dados para a lakehouse, como:
- Conectando-se ao SQL Server existente e copiando dados para a tabela Delta no lakehouse.
- Carregar ficheiros a partir do seu computador.
- Copiando e mesclando várias tabelas de outras casas do lago em uma nova tabela Delta.
- Conectando-se a uma fonte de streaming para pousar dados em uma casa de lago.
- Referenciar dados sem copiá-los de outras fontes internas ou externas.
Diferentes maneiras de carregar dados em uma casa de lago
No Microsoft Fabric, há algumas maneiras de obter dados em uma casa de lago:
- Upload de arquivos do computador local
- Executar uma ferramenta de cópia em pipelines
- Configurar um fluxo de dados
- Bibliotecas do Apache Spark no código do notebook
- Transmita eventos em tempo real com o Eventstream
- Obter dados da Eventhouse
Upload de arquivo local
Também pode carregar dados armazenados na sua máquina local. Você pode fazê-lo diretamente no explorador Lakehouse.
Ferramenta de cópia em pipelines
A ferramenta Copiar é uma solução de integração de dados altamente escalável que permite que você se conecte a diferentes fontes de dados e carregue os dados no formato original ou converta-os em uma tabela Delta. A ferramenta de cópia é uma parte das atividades de pipelines que você pode modificar de várias maneiras, como agendamento ou acionamento com base em um evento. Para obter mais informações, consulte Como copiar dados usando a atividade de cópia.
Fluxos de Dados
Para usuários que estão familiarizados com os fluxos de dados do Power BI, a mesma ferramenta está disponível para carregar dados em sua casa do lago. Você pode acessá-lo rapidamente a partir da opção "Obter dados" do Lakehouse explorer e carregar dados de mais de 200 conectores. Para obter mais informações, consulte Guia de início rápido: criar seu primeiro fluxo de dados para obter e transformar dados.
Código do bloco de notas
Você pode usar as bibliotecas do Spark disponíveis para se conectar diretamente a uma fonte de dados, carregar dados em um quadro de dados e salvá-los em uma casa de lago. Esse método é a maneira mais aberta de carregar dados na casa do lago que o código do usuário está gerenciando completamente.
Nota
As tabelas Delta externas criadas com o código Spark não serão visíveis para um ponto de extremidade de análise SQL. Use atalhos no espaço Tabela para tornar as tabelas Delta externas visíveis para um ponto de extremidade de análise SQL. Para saber como criar um atalho, consulte Criar um atalho para ficheiros ou tabelas.
Transmita eventos em tempo real com o Eventstream
Com o Eventstream, você pode obter, processar e rotear eventos em tempo real de grandes volumes a partir de uma ampla variedade de fontes.
Para ver como adicionar lakehouse como destino para o Eventstream, consulte Obter dados do Eventstream em uma lakehouse.
Para um desempenho de streaming ideal, você pode transmitir dados do Eventstream para uma Eventhouse e, em seguida, habilitar a disponibilidade do OneLake.
Obter dados da Eventhouse
Quando você habilita a disponibilidade do OneLake em dados em uma Eventhouse, uma tabela Delta é criada no OneLake. Esta tabela Delta pode ser acessada por uma casa do lago usando um atalho. Para obter mais informações, consulte Atalhos do OneLake. Para obter mais informações, consulte Disponibilidade do Eventhouse OneLake.
Considerações ao escolher a abordagem para carregar dados
| Cenário de teste | Recomendação |
|---|---|
| Carregamento de pequenos ficheiros a partir da máquina local | Usar o upload de arquivo local |
| Dados pequenos ou conector específico | Usar fluxos de dados |
| Fonte de dados grande | Usar a ferramenta Copiar em pipelines |
| Transformações de dados complexas | Usar o código do bloco de anotações |
| Transmissão em fluxo de dados | Use o Eventstream para transmitir dados para o Eventhouse; habilitar a disponibilidade do OneLake e criar um atalho a partir do Lakehouse |
| Dados de séries cronológicas | Obter dados da Eventhouse |
Conteúdos relacionados
- Explore os dados em sua casa do lago com um bloco de anotações
- Guia de início rápido: crie seu primeiro pipeline para copiar dados
- Como copiar dados usando a atividade de cópia
- Mover dados do Banco de Dados SQL do Azure para o Lakehouse por meio do assistente de cópia
- Adicionar um destino lakehouse a um fluxo de eventos
- Disponibilidade do Eventhouse OneLake