Este artigo fornece respostas para perguntas frequentes sobre o Data Factory no Microsoft Fabric.
Data Factory na malha
Qual é a diferença entre a guia data factory e a guia engenharia de dados no Fabric?
O Data Factory ajuda você a resolver cenários complexos de integração de dados e ETL com serviços de movimentação e transformação de dados em escala de nuvem, enquanto a engenharia de dados ajuda você a criar lake house, usar o Apache Spark para transformar e preparar seus dados. As diferenças entre cada uma das terminologias/experiências do Fabric estão disponíveis na terminologia do Microsoft Fabric.
Como faço para rastrear e monitorar a capacidade do Fabric usado com os pipelines?
Os administradores de capacidade do Microsoft Fabric podem usar o aplicativo Microsoft Fabric Capacity Metrics , também conhecido como aplicativo de métricas, para obter visibilidade dos recursos de capacidade. Este aplicativo permite que os administradores vejam quanto de utilização da CPU, tempo de processamento e memória são utilizados por pipelines de dados, fluxos de dados e outros itens em seus espaços de trabalho habilitados para capacidade de malha. Obtenha visibilidade sobre as causas da sobrecarga, os horários de pico de demanda, o consumo de recursos e muito mais e identifique facilmente os itens mais exigentes ou mais populares.
Qual abordagem é recomendada para atribuir funções no Data Factory in Fabric?
Você pode separar as diferentes cargas de trabalho entre espaços de trabalho e usar as funções como membro e visualizador para ter um espaço de trabalho para engenharia de dados que prepara dados para um espaço de trabalho usado para treinamento de relatório ou IA. Com a função de visualizador, você pode consumir dados do espaço de trabalho de engenharia de dados.
É possível conectar-se a recursos habilitados para Private Endpoint (PE) existentes no Fabric Data Factory?
Atualmente, o gateway de rede virtual oferece um método injetivo para integração perfeita à sua rede virtual, fornecendo uma via robusta para o uso de pontos de extremidade privados para estabelecer conexões seguras com seus armazenamentos de dados. É importante observar que o gateway de rede virtual acomoda apenas fluxos de dados de malha no momento. No entanto, nossas próximas iniciativas abrangem a expansão de seus recursos para abranger pipelines de malha.
Como posso me conectar a fontes de dados locais no Fabric Data Factory?
Ao usar o gateway de dados local, agora você pode se conectar a fontes de dados locais usando fluxos de dados e pipelines de dados (visualização) com o Data Factory no Microsoft Fabric. Para saber mais, consulte Como acessar fontes de dados locais no Data Factory.
Atualizações de lançamento e preços
Onde posso encontrar atualizações mensais disponíveis no Fabric?
As atualizações mensais do Fabric estão disponíveis no Blog do Microsoft Fabric.
O que é o modelo de preço/faturamento do Fabric Data Factory?
Os preços do Data Factory no Microsoft Fabric fornecem um guia abrangente sobre como os custos são calculados para pipelines de dados e Dataflow Gen2. Ele inclui vários cenários de exemplos de preços para ajudá-lo a entender melhor o modelo de preços.
Onde posso encontrar mais informações sobre os próximos recursos planejados para o Data Factory no Microsoft Fabric?
O que há de novo e planejado para o Data Factory no Microsoft Fabric fornece informações sobre os próximos recursos e seus cronogramas de lançamento estimados para os próximos meses.
Pipelines de dados
Com que rapidez posso ingerir dados no Fabric Data Pipelines?
O Fabric Data Factory permite desenvolver pipelines que maximizam a taxa de transferência de movimentação de dados para seu ambiente. Esses pipelines utilizam totalmente os seguintes recursos:
- Largura de banda de rede entre os armazenamentos de dados de origem e destino
- Operações de entrada/saída de armazenamento de dados de origem ou destino por segundo (IOPS) e largura de banda Essa utilização total significa que você pode estimar a taxa de transferência geral medindo a taxa de transferência mínima disponível com os seguintes recursos:
- Source data store
- Arquivo de dados de destino
- Largura de banda de rede entre os armazenamentos de dados de origem e de destino Enquanto isso, trabalhamos continuamente em inovações para aumentar a taxa de transferência possível que você pode alcançar. Hoje, o serviço pode mover o conjunto de dados TPC-DI de 1 TB (arquivos parquet) para a tabela Fabric Lakehouse e o Data Warehouse em 5 minutos - movendo linhas 1B em menos de 1 min; Observe que esse desempenho é apenas uma referência executando o conjunto de dados de teste acima. A taxa de transferência real ainda depende dos fatores listados anteriormente. Além disso, você sempre pode multiplicar sua taxa de transferência executando várias atividades de cópia em paralelo. Por exemplo, usando o loop ForEach.
O recurso CDC estará disponível no Data Factory in Fabric?
Nosso foco atual envolve o desenvolvimento ativo da capacidade CDC dentro do Data Factory In Fabric. Esse recurso futuro permite que você mova dados entre várias fontes de dados combinando diferentes padrões de cópia, incluindo padrão de cópia em massa/lote, padrão de cópia incremental/contínua (CDC) e padrão de cópia em tempo real em uma experiência 5x5.
Fluxos de dados Gen2
O Fabric Dataflow Gen2 é semelhante ao Power Query incorporado no Azure Data Factory?
A atividade do Power Query no ADF partilha semelhanças com o Dataflow Gen2, mas tem funcionalidades adicionais que permitem ações como escrever em destinos de dados específicos, etc. Essa comparação se alinha de forma mais justa com o Dataflow Gen1 (fluxos de dados do Power BI ou fluxos de dados do Power Apps). Dê uma olhada aqui para mais detalhes: Diferenças entre Dataflow Gen1 e Dataflow Gen2.
No Fabric DataFlow Gen2, ocasionalmente encontro recursos como DataflowsStaginglakehouse / DataflowsStagingwarehouse. Quais são essas características?
Em determinadas experiências do usuário, você pode encontrar artefatos do sistema não destinados à interação. É melhor desconsiderar esses artefatos, pois eles acabarão sendo removidos das experiências Get Data no futuro.
Minha atualização falhou com a mensagem de erro "A atualização do fluxo de dados falhou devido a permissões insuficientes para acessar artefatos de preparação". O que devo fazer?
Essa mensagem de erro ocorre quando o usuário que criou o primeiro fluxo de dados no espaço de trabalho não efetuou login no Fabric por mais de 90 dias ou deixou a organização. Para resolvê-lo, o usuário mencionado na mensagem de erro deve fazer login no Fabric. Se o usuário deixou a organização, abra um tíquete de suporte.
Suporte a pipelines ADF/Synapse e caminho de migração
Qual é o futuro do Azure Data Factory (ADF) e do Synapse Pipelines?
Os pipelines do Azure Data Factory (ADF) e do Azure Synapse mantêm roteiros separados de Plataforma como Serviço (PaaS). Estas duas soluções continuam a coexistir com o Fabric Data Factory, que serve como oferta de Software as a Service (SaaS). Os pipelines ADF e Synapse permanecem totalmente suportados e não há planos para depreciação. É importante destacar que, para quaisquer projetos futuros, nossa sugestão é iniciá-los usando o Fabric Data Factory. Além disso, temos estratégias em vigor para facilitar a transição dos pipelines ADF e Synapse para o Fabric Data Factory, permitindo que eles aproveitem as novas funcionalidades do Fabric. Você pode saber mais sobre isso aqui.
Dadas as lacunas de funcionalidade no Data Factory for Fabric, quais são as razões para escolhê-lo em vez de pipelines ADF / Synapse?
À medida que nos esforçamos para preencher lacunas de funcionalidade e incorporar os recursos robustos de orquestração e fluxo de trabalho do pipeline de dados encontrados nos pipelines do ADF / Azure Synapse no Fabric Data Factory, reconhecemos que certos recursos presentes nos pipelines do ADF / Synapse podem ser essenciais para suas necessidades. Embora você seja incentivado a continuar utilizando pipelines ADF / Synapse se esses recursos forem necessários, recomendamos que você explore primeiro suas novas possibilidades de integração de dados no Fabric. Seu feedback sobre quais recursos são fundamentais para o seu sucesso é inestimável. Para facilitar isso, estamos trabalhando ativamente na introdução de um novo recurso, permitindo a migração de suas fábricas de dados existentes do Azure para espaços de trabalho do Fabric também.
Os novos recursos do Fabric Data Factory também estão disponíveis no ADF/Synapse?
Não fazemos backport de novos recursos de pipelines de malha para pipelines ADF / Synapse. Mantemos dois roteiros separados para Fabric Data Factory e ADF/Synapse. Avaliamos as solicitações de backport em resposta aos comentários recebidos.
Os pipelines de dados do Fabric são iguais aos pipelines do Azure Synapse?
A função principal do pipeline de malha é semelhante ao pipeline do Azure Synapse, mas usando o pipeline de malha, os usuários podem aplicar todos os recursos de análise de dados na plataforma de malha. Diferenças notáveis e mapeamentos de recursos entre o pipeline de malha e o pipeline do Azure Synapse podem ser encontrados aqui: Diferenças entre o Data Factory no Fabric e o Azure.
Como faço para migrar pipelines existentes do Azure Data Factory (ou) espaço de trabalho do Azure Synapse para o Fabric Data Factory?
Para facilitar a transição dos clientes do Azure Data Factory (ADF) para o Microsoft Fabric, oferecemos uma variedade de recursos essenciais e mecanismos de suporte. Em primeiro lugar, fornecemos suporte abrangente para a maioria das atividades usadas no ADF dentro do Fabric, juntamente com a adição de novas atividades personalizadas para notificações, como funcionalidades do Teams e do Outlook. Os clientes podem acessar uma lista detalhada das atividades disponíveis no Data Factory dentro do Fabric. Além disso, introduzimos os conectores Fabric Lakehouse/Warehouse no Azure Data Factory, permitindo a integração perfeita de dados no ambiente OneLake do Fabric para clientes do ADF. Também fornecemos um guia para clientes ADF que ajuda a mapear suas transformações de fluxo de dados de mapeamento existentes para novas transformações Dataflow Gen2. À medida que olhamos para o futuro, estamos incluindo a capacidade de montar recursos do ADF no Fabric em nosso roteiro, o que permitirá que os clientes mantenham a funcionalidade de seus pipelines ADF existentes no Azure enquanto exploram o Fabric e planejam estratégias abrangentes de atualização. Estamos colaborando estreitamente com os clientes e a comunidade para determinar as maneiras mais eficazes de dar suporte à migração de pipelines de dados do ADF para o Fabric. Como parte desse esforço, forneceremos uma experiência de atualização que permite que você teste seus pipelines de dados atuais no Fabric através do processo de montagem e atualização deles.