Replikace více objektů ze SAP přes SAP CDC
PLATÍ PRO: 
Azure Data Factory Azure Synapse Analytics
Tip
Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.
Tento článek popisuje šablonu řešení, kterou můžete použít k replikaci více objektů ODP ze SAP prostřednictvím konektoru SAP CDC do Azure Data Lake Gen2 ve formátu Delta s klíčovým oddílem.
O této šabloně řešení
Tato šablona čte externí řídicí soubor ve formátu JSON ve vašem úložišti úložiště, který obsahuje kontexty SAP ODP, objekty SAP ODP a klíčové sloupce ze zdrojového systému SAP a také kontejnery, složky a oddíly z cílového úložiště Azure Data Lake Gen2. Potom zkopíruje každý objekt SAP ODP ze systému SAP do Azure Data Lake Gen2 ve formátu Delta.
Šablona obsahuje tři aktivity:
- Vyhledávání načte seznam objektů SAP ODP, který se má načíst, a cestu k cílovému úložišti z externího řídicího souboru ve vašem úložišti Azure Data Lake Gen2.
- ForEach získá seznam objektů SAP ODP z aktivity Vyhledávání a iteruje každý objekt na aktivitu mapování toku dat.
- Mapování toku dat replikuje každý objekt SAP ODP ze systému SAP do Azure Data Lake Gen2 ve formátu Delta. Provede počáteční úplné načtení při prvním spuštění a pak provede přírůstkové načtení v následných spuštěních automaticky. Sloučí změny azure Data Lake Gen2 ve formátu Delta.
V této šabloně se vyžaduje externí řídicí soubor ve formátu JSON. Schéma řídicího souboru je následující.
- checkPointKey je váš vlastní klíč pro správu kontrolního bodu změny zachytávání dat v ADF. Tady najdete další podrobnosti.
- sapContext je kontext SAP ODP ze zdrojového systému SAP. Tady najdete další podrobnosti.
- sapObjectName je název objektu SAP ODP, který se má načíst ze systému SAP. Tady najdete další podrobnosti.
- sapRunMode je určení, jak chcete načíst objekt SAP. Může to být fullLoad, incrementalLoad nebo fullAndIncrementalLoad.
- sapKeyColumns jsou názvy klíčových sloupců z objektů SAP ODP, které slouží k odstranění dudupe v mapování toku dat.
- sapPartitions jsou seznam podmínek oddílů, které vedou k oddělení procesů extrakce v připojeném systému SAP.
- deltaContainer je název kontejneru v Azure Data Lake Gen2 jako cílové úložiště.
- deltaFolder je název vaší složky v Azure Data Lake Gen2 jako cílové úložiště.
- deltaKeyColumns jsou sloupce, které slouží k určení, jestli řádek ze zdroje odpovídá řádku z jímky, když chcete aktualizovat nebo odstranit řádek.
- deltaPartition je váš sloupec, který slouží k vytvoření oddílů pro každou jedinečnou hodnotu v tomto sloupci pro zápis dat do formátu Delta ve službě Azure Data Lake Gen2 prostřednictvím clusteru Spark používaného mapováním toku dat. Další podrobnosti najdete tady.
Ukázkový řídicí soubor je následující:
[
{
"checkPointKey":"CheckPointFor_ZPERFCDPOS$F",
"sapContext": "ABAP_CDS",
"sapObjectName": "ZPERFCDPOS$F",
"sapRunMode": "fullAndIncrementalLoad",
"sapKeyColumns": [
"TABKEY"
],
"sapPartitions": [
[{
"fieldName": "TEXTCASE",
"sign": "I",
"option": "EQ",
"low": "1"
},
{
"fieldName": "TEXTCASE",
"sign": "I",
"option": "EQ",
"low": "X"
}]
],
"deltaContainer":"delta",
"deltaFolder":"ZPERFCDPOS",
"deltaKeyColumns":["TABKEY"],
"deltaPartition":"TEXTCASE",
"stagingStorageFolder":"stagingcontainer/stagingfolder"
},
{
"checkPointKey":"CheckPointFor_Z0131",
"sapContext": "SAPI",
"sapObjectName": "Z0131",
"sapRunMode": "incrementalLoad",
"sapKeyColumns": [
"ID"
],
"sapPartitions": [],
"deltaContainer":"delta",
"deltaFolder":"Z0131",
"deltaKeyColumns":["ID"],
"deltaPartition":"COMPANY",
"stagingStorageFolder":"stagingcontainer/stagingfolder"
}
]
Jak používat tuto šablonu řešení
Vytvořte a nahrajte řídicí soubor do formátu JSON do azure Data Lake Gen2 jako cílové úložiště. Výchozí kontejner pro uložení řídicího souboru je ukázka a výchozí název souboru ovládacího prvku je SapToDeltaParameters.json.
V šabloně formátu Delta přejděte na replikování více tabulek ze SAP ODP do Azure Data Lake Storage Gen2 a klikněte na ni.
Klikněte na Pokračovat a zadejte propojenou službu připojenou k systému SAP jako zdroj a propojená služba připojená k Azure Data Lake Gen2 jako cíl. Další podrobnosti o propojené službě SAP CDC najdete tady. Mějte na paměti, že váš externí řídicí soubor by se měl nahrát do stejného účtu Azure Data Lake Gen2.
Klikněte na Použít tuto šablonu a uvidíte, že kanál je připravený k použití.
