Integrar dados no Microsoft Dataverse
O Integrador de Dados (para Administradores) é um serviço de integração ponto a ponto usado para integrar dados ao Dataverse. Ele dá suporte à integração de dados entre aplicativos de finanças e operações e o Dataverse. Também dá suporte à integração de dados nos aplicativos de finanças e operações e no Dynamics 365 Sales. Este serviço está disponível para o público em geral desde julho de 2017.
Nota
Recomendamos que os clientes comecem a usar a gravação dupla, que fornece integração bidirecional rigidamente combinada entre aplicativos de finanças e operações e o Dataverse. Qualquer alteração de dados em aplicativos de finanças e operações causa gravações no Dataverse, e qualquer alteração de dados no Dataverse causa gravações em aplicativos de finanças e operações. Esse fluxo de dados automatizado fornece uma experiência de usuário integrada entre os aplicativos.
Dica
Confira o blog: Atualizações do Integrador de Dados – novos recursos com uma interface do usuário intuitiva que oferecem uma experiência fluente.
Como você pode usar o Integrador de Dados para sua empresa?
O Integrador de Dados (para Administradores) também dá suporte a cenários de integração com base em processos, como o Prospect to Cash, que fornece sincronização direta entre os aplicativos de finanças e operações e o Dynamics 365 Sales. Os modelos do Prospect to Cash que estão disponíveis com o recurso de integração de dados permitem o fluxo de dados para contas, contatos, produtos, cotações de venda, ordens de venda e faturas de venda entre os aplicativos de finanças e operações e o Sales. Enquanto os dados estiverem fluindo entre aplicativos de finanças e operações e o Sales, você poderá realizar atividades de venda e de marketing no Sales, e você poderá lidar com o preenchimento da ordem usando o gerenciamento de estoque em aplicativos de finanças e operações.
A integração do Prospect to Cash permite que os vendedores lidem e monitorem seus processos de venda com o poder do Dynamics 365 Sales, enquanto todos os aspectos de preenchimento e faturamento acontecem usando a funcionalidade avançada em aplicativos de finanças e operações. Com a integração do Prospect to Cash ao Microsoft Dynamics 365, você obtém o poder combinado de ambos os sistemas.
Para obter mais informações sobre a integração do Prospect to Cash, consulte a documentação sobre a solução Prospect to Cash.
Também damos suporte à integração do Field Service e à integração do PSA (Project Service Automation) nos aplicativos de finanças e operações.
Plataforma do Integrador de Dados
O Integrador de Dados (para Administradores) consiste na plataforma de Integração de Dados, modelos prontos para o uso fornecidos pelas nossas equipes de aplicativos (por exemplo, aplicativos de finanças e operações e Dynamics 365 Sales) e modelos personalizados criados por nossos clientes e parceiros. Criamos uma plataforma independente de aplicativo que pode escalar entre várias fontes. Em seu núcleo, você cria conexões (para pontos de extremidade de integração), escolhe um dos modelos personalizáveis com mapeamentos predefinidos (que você pode personalizar ainda mais) e cria e executa o projeto de integração de dados.
Os modelos de integração servem como um blueprint com entidades predefinidas e mapeamentos de campo para habilitar o fluxo de dados da origem ao destino. Ele fornece a capacidade de transformar os dados antes de importá-los. Muitas vezes, o esquema entre os aplicativos de origem e de destino podem ser muito diferentes e um modelo com entidades predefinidas e mapeamentos de campo servem como um ótimo ponto de partida de um projeto de integração.
Como configurar um projeto de integração de dados
Existem três etapas principais:
Criar uma conexão (forneça credenciais para as fontes de dados).
Crie um conjunto de conexões (identifique ambientes para as conexões criadas na etapa anterior).
Crie um projeto de integração de dados usando um modelo (crie ou use mapeamentos predefinidos para uma ou mais entidades).
Depois de criar um projeto de integração, você obterá a opção de executar o projeto manualmente e configurará uma atualização baseada em agenda para o futuro. O restante deste artigo estende essas três etapas.
Observação
A interface do usuário para gerenciamento de projetos do Data Integrator está hospedada em https://dataintegrator.trafficmanager.net. As políticas da organização podem exigir a adição deste site à sua lista de permissões para acessar a interface.
Como criar uma conexão
Antes de poder criar um projeto de integração de dados, será preciso uma conexão para cada sistema com que você pretende trabalhar no portal do Microsoft Power Apps. Pense nessas conexões como seus pontos de integração.
Para criar uma conexão
Vá para Power Apps.
Em Dados, selecione Conexões e então selecione Nova conexão.
Você pode selecionar uma conexão na lista de conexões ou procurar uma.
Depois de selecionar sua conexão, selecione Criar. Em seguida, suas credenciais serão solicitadas.
Depois de fornecer suas credenciais, a conexão será listada em suas conexões.
Observação
Verifique se a conta especificada para cada conexão tem acesso a entidades para os aplicativos correspondentes. Além disso, a conta para cada conexão pode estar em um locatário diferente.
Como criar um conjunto de conexões
Os conjuntos de conexões compreendem duas conexões, ambientes para as conexões, informações de mapeamento de organizações e chaves de integração que podem ser reutilizadas entre os projetos. Você pode começar a usar um conjunto de conexões para desenvolvimento e então trocar para um diferente para a produção. Uma informação armazenada em um conjunto de conexões é composta pelos mapeamentos da unidade organizacional — por exemplo, os mapeamentos entre a entidade legal (ou empresa) de aplicativos de finanças e operações e a organização ou as unidades de negócios do Dynamics 365 Sales. Você pode armazenar vários mapeamentos organizacionais em um conjunto de conexões.
Para criar um conjunto de conexões
Selecione a guia Integração de Dados no painel de navegação esquerdo.
Selecione a guia Conjuntos de Conexões e selecione Nova conexão.
Forneça um nome para seu conjunto de conexões.
Escolha as conexões que você criou anteriormente e selecione o ambiente adequado.
Repita as etapas ao escolher sua próxima conexão (pense nelas como origem e destino sem ordem específica).
Especifica a organização para o mapeamento da unidade de negócios (se estiver integrando entre os sistemas de aplicativos de finanças e operações e do Sales).
Nota
Você pode especificar diversos mapeamentos para cada conjunto de conexões.
Depois de preencher todos os campos, selecione Criar.
Você verá o novo conjunto de conexões que acabou de criar na página de listagem Conjuntos de conexão.
Seu conjunto de conexões está pronto para ser usado em diversos projetos de integração.
Como criar um projeto de integração de dados
Os projetos habilitam o fluxo de dados entre sistemas. Um projeto contém mapeamentos para uma ou mais entidades. Os mapeamentos indicam quais campos são mapeados para quais outros campos.
Para criar um projeto de integração de dados
Selecione a guia Integração de Dados no painel de navegação esquerdo.
Na guia Projetos, selecione Novo Projeto no canto superior direito.
Forneça um nome para seu projeto de integração.
Selecione um dos modelos disponíveis (ou crie seu próprio modelo). Nesse caso, estamos movendo a entidade Produtos de aplicativos de finanças e operações para o Sales.
Selecione Avançar e escolha um conjunto de conexões criado anteriormente (ou crie um novo conjunto de conexões).
Verifique se você escolheu o correto ao confirmar os nomes da conexão e do ambiente.
Selecione Avançar e então escolha a entidade legal para mapeamentos da unidade de negócios.
Revise e aceite o aviso de privacidade e consinta na tela seguinte.
Prossiga para criar o projeto e então o execute-o.
Nesta tela, você perceberá diversas guias — Agendamento e Histórico de execução — junto com alguns botões — Adicionar tarefa, Atualizar entidades e Consulta Avançada — que serão descritas posteriormente neste artigo.
Histórico de execução
O histórico de execução mostra o histórico de todas as execuções de projeto com nome do projeto, carimbo de data/hora de quando o projeto foi executado e o status de execução, além do número de upserts e/ou erros.
Exemplo de histórico de execução do projeto.
Exemplo de execução com êxito, mostrando o status como concluído com # de upserts. (Update Insert é uma lógica para atualizar o registro, se ele já existir, ou para inserir um novo registro).
Para falhas de execução, você poderá detalhar para ver a causa raiz.
Veja um exemplo de uma falha com erros de validação do projeto. Nesse caso, o erro de validação do projeto deve-se a campos de origem ausentes nos mapeamentos da entidade.
Se a execução do projeto estiver no estado 'ERRO', então ele tentará a execução outra vez automaticamente na próxima execução agendada.
Se a execução do projeto estiver no estado 'AVISO', então será necessário corrigir os problemas na origem. Ele tentará a execução novamente na próxima execução agendada.
Em qualquer caso, você também pode optar por 'executar novamente' de forma manual.
Nota
Sempre que você executa um projeto, de forma manual ou agendada, ele gera um log detalhado que mostra o nome do projeto, o último carimbo de data/hora com o status. Você pode exibir isso no histórico de execuções de cada projeto. O histórico de execuções do projeto são mantidos por 45 dias após aos quais elas serão eliminadas.
Como configurar uma atualização baseada em agenda
Nós damos suporte a dois tipos de execuções/gravações hoje:
Gravações manuais (executar e atualizar manualmente o projeto)
Gravações baseadas em agenda (atualização automática)
Depois de criar um projeto de integração, você terá a opção de executá-lo manualmente ou de configurar gravações baseadas em agenda, o que permite a você configurar a atualização automática para seus projetos.
Para configurar gravações baseadas em agendamento
É possível agendar projetos de duas maneiras diferentes.
Selecione o projeto e selecione a guia Agendamento ou inicie o agendador na página de listagem do projeto clicando nas reticências ao lado do nome do projeto.
Selecione Recorrer a cada e assim que você tiver concluído todos os campos, selecione Salvar agenda.
Você pode definir uma frequência de 1 minuto ou criar uma recorrência de determinado número de horas, dias, semanas ou meses. Observe que a próxima atualização não será iniciada até que a tarefa do projeto anterior conclua sua execução.
Observe também que, em Notificações, você pode aceitar notificações de alerta baseadas em email, que alertarão sobre as execuções do trabalho concluídas com avisos e/ou falhas devido a erros. Você pode fornecer vários destinatários, incluindo os grupos separados por vírgulas.
Observação
- Atualmente, damos suporte ao agendamento de 50 projetos de integração em qualquer período por locatário pago. Entretanto, você pode criar mais projetos e executá-los interativamente. Para os locatários de avaliação, temos uma limitação adicional de que um projeto agendado só será executado 50 vezes.
- Embora haja suporte para o agendamento de projetos para execução a cada minuto, tenha em mente que isso poderá gerar uma grande carga em seus aplicativos e assim afetar o desempenho geral. Nós incentivamos os usuários a testarem execuções de projeto sob condições de carga verdadeiras e a otimizarem o desempenho com atualizações menos frequentes. Em ambientes de produção, não é recomendável executar mais de cinco projetos por minuto por locatário.
- Para otimizar o desempenho e não sobrecarregar os aplicativos, no momento limitamos as execuções de projeto a 500 mil linhas por execução por projeto.
- Sempre que você executa um projeto, de forma manual ou agendada, ele gera um log detalhado que mostra o nome do projeto, o último carimbo de data/hora com o status. Você pode exibir isso no histórico de execuções de cada projeto. O histórico de execuções do projeto são mantidos por 45 dias após aos quais elas serão eliminadas.
Personalização de projetos, modelos e mapeamentos
Usar um modelo para criar um projeto de integração de dados. Um modelo mercantiliza o movimento de dados que, por sua vez, ajuda o usuário ou administrador corporativo acelere a integração de dados de origens para o destino e reduz a carga e o custo gerais. Um usuário empresarial ou administrador pode começar com um modelo pronto para uso publicado por Microsoft ou seu parceiro e depois personalizá-lo ainda mais antes de criar um projeto. É possível então salvar o projeto como um modelo e compartilhar com sua organização e/ou criar um novo projeto.
Um modelo fornece uma origem, um destino e uma direção de fluxo de dados. Você precisa manter isso em mente enquanto personaliza e/ou cria seu próprio modelo.
Você pode personalizar projetos e modelos destas formas:
Personalize mapeamentos de campos.
Personalize um modelo adicionando uma entidade à sua escolha.
Como personalizar mapeamentos de campos
Para criar um conjunto de conexões
Selecione o projeto para o qual você deseja personalizar os mapeamentos de campos e então selecione a seta entre os campos de origem e de destino.
Você será levado à tela do mapeamento, onde é possível adicionar um novo mapeamento ao selecionar Adicionar mapeamento no canto superior direito ou Personalizar mapeamentos existentes na lista suspensa.
Depois de personalizar seus mapeamentos de campos, selecione Salvar.
Como criar seu próprio modelo
Para criar seu próprio modelo modificando modelos existentes
Identifique a origem e destino e a direção do fluxo para o novo modelo.
Crie um projeto escolhendo um modelo existente que corresponda à origem e destino e à direção do fluxo.
Crie o projeto depois de escolher a conexão adequada.
Antes de salvar e/ou executar o projeto, no canto superior direito, selecione Adicionar tarefa.
Isto iniciará o diálogo Adicionar tarefa.
Forneça um nome de tarefa significativo e adicione entidades de origem e destino à sua escolha.
A lista suspensa mostra todas as entidades de origem e destino.
Neste caso, uma nova tarefa foi criada para sincronizar a entidade Usuário do SalesForce para a entidade Usuários no Dataverse.
Depois de criar a tarefa, você verá sua nova tarefa listada e poderá excluir a tarefa original.
Você acabou de criar um novo modelo — neste caso, um modelo para efetuar pull dos dados da entidade Usuário do SalesForce para o Dataverse. Selecione Salvar para salvar sua personalização.
Siga as etapas necessárias para personalizar mapeamentos de campos para esse novo modelo. Você pode executar esse projeto e/ou salvar o projeto como um modelo na página Lista de projetos.
Fornecer um nome e uma descrição e/ou compartilhe com outras pessoas em sua organização.
Para criar seu próprio modelo a partir de modelos em branco
Vá para o Centro de administração do Power Apps.
Crie um projeto de integração de dados. Selecione a guia Integração de dados no painel de navegação esquerdo.
Selecione Novo projeto e forneça um nome para o projeto. Por exemplo, "Demo_CreateYourOwnTemplate project".
Na página de listagem Selecionar um modelo, escolha um modelo genérico em branco. Para este exemplo, escolha o modelo Vendas para finanças e operações já que queremos mover dados dos aplicativos de finanças e operações para o Dynamics 365 Sales.
Siga as etapas 6 a 9 aqui para concluir a criação de um projeto de integração de dados. Selecione Salvar.
Você verá a página Tarefas, que está vazia pois é um modelo em branco sem tarefa alguma. Selecione Adicionar tarefa para escolher uma entidade na lista suspensa e adicione uma nova tarefa. Neste caso, para fins de demonstração, vamos criar uma tarefa Atividades Sales para finanças e operações escolhendo a entidade Atividades para aplicativos de finanças e operações e o Dynamics 365 Sales. Selecione Criar.
Você verá uma nova tarefa Activities Sales para finanças e operações adicionada. Selecione Salvar para salvar suas alterações.
O projeto foi criado. Selecione Salvar como modelo na página de listagem Projetos .
Forneça um nome e uma descrição e selecione Salvar. Além disso, selecione Compartilhar com todos em minha organização para compartilhar esse modelo.
Você verá o modelo recém-criado relacionado na página de listagem Modelos .
Além disso, depois de criar um novo projeto de integração quando escolher Selecionar um modelo, você verá seu modelo recém-criado como parte da lista Selecionar um modelo.
Transformação e filtragem avançadas de dados
Com o suporte do Power Query, oferecemos filtragem e transformação de dados avançadas para os dados de origem. O Power Query permite que os usuários remodelem os dados para atender às suas necessidades, com uma experiência do usuário fácil de usar, envolvente e sem código. Você pode habilitar isso projeto por projeto.
Como habilitar a filtragem e consulta avançadas
Para configurar filtragem avançada e transformação de dados
Marque o projeto em que você deseja habilitar a consulta avançada e então selecione Consulta Avançada.
Você receberá um aviso de que habilitar uma consulta avançada é uma operação única e não pode ser desfeita. Selecione OK para prosseguir e então selecione a seta de mapeamento de origem e destino.
Você será apresentado a uma página de mapeamento de entidades familiar com um link para iniciar Consulta Avançada e Filtragem.
Selecione para vincular para iniciar a interface do usuário da Consulta Avançada e Filtragem, o que oferece a você dados do campo de origem em colunas do tipo Microsoft Excel.
No menu superior, você tem diversas opções para transformar dados, como Adicionar outra coluna, Duplicar coluna e Extrair.
Você também pode clicar duas vezes em qualquer coluna para obter mais opções, como Remover colunas, Remover duplicatas e Dividir coluna.
Você também pode filtrar clicando cada coluna e usando filtros do tipo Excel.
As transformações de valor padrão podem ser obtidas usando a coluna condicional. Para fazer isso, na lista suspensa Adicionar Coluna, selecione Adicionar Outra Coluna e insira o nome da nova coluna. Preencha Em seguida e Caso contrário com aquele que deve ser o valor padrão, usando qualquer campo e valor para Se e Igual a.
Observe a cláusula each no editor fx, na parte superior.
Corrija a cláusula each no editor fx e selecione OK.
Sempre que fizer uma alteração, você aplicará uma etapa. Você pode ver as etapas aplicadas no painel à direita (role até a parte inferior para ver a última etapa). Você pode desfazer uma etapa caso seja necessário editar. Além disso, você pode ir para o Editor avançado clicando com o botão direito do mouse em QrySourceData no painel esquerdo, na parte superior, para exibir a linguagem M, que é executada nos bastidores com as mesmas etapas.
Selecione OK para fechar a interface Consulta Avançada e Filtragem e, na página da tarefa de mapeamento, escolha a coluna recém-criada como a origem para criar o mapeamento de forma adequada.
Para obter mais informações sobre o Power Query, consulte Documentação do Power Query.
Observação
Após a habilitação de Consulta e Filtragem Avançadas, não haverá suporte para transformações via Fn e, em vez disso, elas deverão ser definidas usando Consulta e Filtragem Avançadas.
Atualmente, não oferecemos suporte à realização de junções em várias fontes de dados (por meio do botão Obter dados ou da consulta M) em Consulta avançada e Filtragem.
Se você encontrar limites de avaliação do Power Query com o erro:
O trabalho do powerquery falhou com erro: Exception ExceptionType:MashupEvaluationException, ExceptionMessage:EvaluationQuotaReached, EvaluationResponse:{"ResultType":"ErrorCode","Code":"EvaluationQuotaReached"
Revise as orientações sobre Limites do Power Query Online.
Sem suporte para modificar o url diretamente no editor de mashup. Será usado somente o filtro aplicado usando a interface de usuário do editor de mashup ou especificado no campo de edição do filtro de origem na página de mapeamento.
Ajuste de desempenho
Há vários fatores que afetam o desempenho de um cenário de integração. O desempenho é altamente dependente de:
Quais aplicativos você está integrando: aplicativos de finanças e operações e o Dataverse
Quais entidades são usadas: forma, validação e lógica comercial das entidades (padrão e personalizações)
O Integrador de Dados obtêm os dados do aplicativo de origem e os envia por push para o aplicativo de destino. As principais considerações de desempenho são como os aplicativos de origem e destino escalam com as entidades envolvidas. Ele aproveita as melhores tecnologias disponíveis para efetuar pull/push dos dados com um bom desempenho.
Os aplicativos de finanças e operações usam a estrutura de gerenciamento de dados que fornece uma maneira de extrair/enviar dados da maneira mais eficiente. A estrutura do gerenciamento de dados é usada para gerenciar entidades de dados e pacotes da entidade de dados em aplicativos de finanças e operações.
O Dynamics 365 for Dataverse usa APIs OData com paralelismo para maximizar o desempenho.
Você pode usar as configurações a seguir para ajustar o desempenho dos aplicativos de finanças e operações com base na carga, na entidade e nos recursos.
Exportação de dados de aplicativos de finanças e operações:
Exportação direta (ignore Preparação Ativada) Verifique se as entidades usadas para a integração dão suporte à exportação direta (ignore Preparação Ativada). Isso permite que a exportação seja executada em massa e a tabela de prepara seja ignorada. Se você executar com ignorar Preparação Desativada, ele fará fallback para chamadas linha por linha e dados são inseridos na tabela de preparo.
Habilitar o controle de alterações para entidades O controle de alterações permite a exportação incremental de dados de aplicativos de finanças e operações usando o gerenciamento de dados. Em uma exportação incremental, somente os registros alterados são exportados. Para habilitar uma exportação incremental, você deverá habilitar o controle de alterações em entidades. Sem o controle de alterações, você fará exportações completas que poderão afetar o desempenho. Para cenários complexos, use a consulta personalizada para o controle de alterações.
Importar dados para aplicativos de finanças e operações:
Verifique se a entidade tem um bom desempenho. Se possível, crie entidades baseadas em conjuntos.
Se o número de linhas a serem importadas for alto e a entidade não der suporte a operações de conjunto: o gerenciamento de dados pode ser configurado para importar a entidade com tarefas em paralelo. Isso pode ser configurado no gerenciamento de dados (parâmetros) por meio da configuração dos parâmetros de execução da entidade. Essa opção usará a estrutura de lote para criar tarefas em paralelo, que se baseia na disponibilidade de recursos para execução em paralelo.
Desativando validações (opcional): embora o Integrador de Dados não ignore as lógicas de negócios e validações, você poderá desativar opcionalmente aquelas que não são necessárias para melhorar o desempenho.
Considere as dicas a seguir para garantir o desempenho durante a importação ou exportação de dados de ambientes.
Importar/Exportar dados de/para aplicativos do Customer Engagement
- Assegure-se de que os índices sejam definidos para as chaves de integração.