Gerenciar o processo de CDA da SAP
APLICA-SE A:
Azure Data Factory Azure Synapse Analytics
Dica
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!
Depois de criar um fluxo de dados de pipeline e mapeamento no Azure Data Factory usando o conector de CDA da SAP, é importante gerenciar o processo de ETL adequadamente.
Executar um pipeline de replicação de dados da SAP com um agendamento recorrente
Para executar um pipeline de replicação de dados da SAP em um agendamento recorrente com uma frequência especificada:
Crie um gatilho periódico que execute o pipeline de replicação de dados da SAP com frequência. Defina a Simultaneidade máxima como 1.
Para saber mais, confira Como criar um gatilho que execute um pipeline em uma janela em cascata.
Adicione uma autodependência ao gatilho periódico para que uma execução de pipeline subsequente sempre aguarde até que as execuções anteriores do pipeline sejam concluídas com êxito.
Para saber mais, confira Criar uma dependência de gatilho periódico.
Monitorar fluxos de dados do SAP CDC
Para monitorar o status e o progresso de um fluxo de dados SAP CDC em execução, abra a ferramenta Monitoramento e selecione a execução do pipeline. Selecione o ícone Detalhes do fluxo de dados na tabela de atividades na parte inferior da tela.
Isso leva você ao monitor de fluxo de dados. Clicar no ícone de origem no diagrama de fluxo de dados na parte superior abrirá a seção de detalhes do diagnóstico de origem na parte inferior.
O "SAP para preparar o processo do assinante" (não mostrado para cargas completas) ajuda a identificar o processo de CDC do SAP dentro das ferramentas de monitoramento do sistema de origem SAP.
A seção "SAP para preparar", que é atualizada periodicamente enquanto a extração do sistema de origem SAP ainda está em execução, mostra o progresso do processo de extração.
Quando uma execução de fluxo de dados for concluída com êxito, o monitor de fluxo de dados mostrará informações detalhadas sobre o processo de extração do SAP. Além de informações de runtime, como a hora de início e a duração, você também encontra o número de linhas copiadas do SAP na linha Linhas copiadas e o número de linhas passadas da origem para a próxima transformação (nesse caso, a transformação do coletor) nas Linhas calculadas. Observe que as Linhas calculadas podem ser menores do que as Linhas copiadas: depois de extrair os registros de dados alterados do sistema SAP, o fluxo de dados executa uma eliminação de duplicação das linhas alteradas com base na definição de chave. Somente o registro mais recente é passado mais adiante no fluxo de dados.
Monitorar extrações de dados em sistemas SAP
Para monitorar extrações de dados em sistemas SAP:
Na Ferramenta de Logon SAP, em seu sistema de origem SAP, execute o código de transação ODQMON.
Em Assinante, insira o valor da propriedade Nome do assinante do serviço vinculado de CDA da SAP. Na lista suspensa Seleção de Solicitação, selecione Tudo para mostrar todas as extrações de dados que usam o serviço vinculado.
Você pode ver todos os processos de assinante registrados em ODQ (fila delta operacional). Os processos de assinante representam extrações de dados de fluxo de dados de mapeamento do Azure Data Factory que usam seu serviço vinculado de CDA da SAP. Para cada assinatura do ODQ, você pode examinar os detalhes para ver todas as extrações completas e delta. Em cada extração, é possível ver pacotes de dados individuais que foram consumidos.
Quando os fluxos de dados de mapeamento do Data Factory que extraem dados SAP não forem mais necessários, você deverá excluir as assinaturas de ODQ delas. Quando você exclui assinaturas do ODQ, os sistemas SAP deixam de rastrear os estados delas e remove os pacotes de dados não consumidos do ODQ. Para excluir uma assinatura do ODQ, selecione a assinatura e selecione o ícone Excluir.
Solucionar problemas de alterações delta
O conector de CDA da SAP no Data Factory lê alterações delta da estrutura da SAP ODP. Os deltas são registrados em tabelas do ODQ.
Em cenários nos quais a movimentação de dados funciona (fluxo de dados de mapeamento concluídos sem erros), mas os dados não são entregues corretamente (nenhum dado ou talvez apenas um subconjunto dos dados esperados), você precisa verificar primeiro no ODQMON se o número de registros fornecidos no lado da SAP corresponde ao número de linhas transferidas pelo Data Factory. Se corresponder, o problema não estará relacionado ao Data Factory, mas provavelmente à configuração incorreta ou ausente no lado da SAP.
Solucionar problemas em SAP usando o ODQMON
Para analisar quais dados o sistema SAP forneceu para seu cenário, inicie a transação ODQMON no seu sistema de back-end da SAP. Se você estiver usando o SAP Landscape Transformation Replication Server (SLT) com um servidor autônomo, inicie a transação nesse local.
Para encontrar os ODQs que correspondem ao seu fluxo de dados de mapeamento, use as opções de filtro. Em Fila, você pode usar caracteres curinga para restringir a pesquisa. Por exemplo, você pode pesquisar pelo nome da tabela EKKO.
Marque a caixa de seleção Calcular Volume de Dados para ver detalhes sobre o número de linhas e o volume de dados (em bytes) contidos nos ODQs.
Para exibir as assinaturas do ODQ, clique duas vezes na fila. Um ODQ pode ter vários assinantes, portanto, verifique o nome do assinante que você inseriu no serviço vinculado do Data Factory. Escolha a assinatura com um carimbo de data/hora que se aproxime mais do tempo de execução de seu fluxo de dados de mapeamento. Para assinaturas delta, a primeira execução do fluxo de dados de mapeamento da assinatura será registrada no lado da SAP.
Na assinatura, uma lista de solicitações corresponde às execuções de fluxo de dados de mapeamento no Data Factory. Na captura de tela abaixo, você verá o resultado de quatro execuções de fluxo de dados de mapeamento:
Com base no carimbo de data/hora na primeira linha, localize a linha correspondente à execução do fluxo de dados de mapeamento que você quer analisar. Se o número de linhas mostradas for igual ao número de linhas lidas pelo fluxo de dados de mapeamento, você confirmou que o Data Factory leu e transferiu os dados conforme fornecidos pelo sistema SAP. Nesse cenário, recomendamos que você confira a equipe responsável pelo seu sistema SAP.
Conteúdo relacionado
Saiba mais sobre conectores SAP.