Kopírování dat ze SAP Business Warehouse pomocí služby Azure Data Factory nebo Synapse Analytics

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Tento článek ukazuje, jak pomocí kanálů Azure Data Factory nebo Synapse Analytics kopírovat data ze SAP Business Warehouse (BW) přes Open Hub do Azure Data Lake Storage Gen2. Podobný proces můžete použít ke kopírování dat do jiných podporovaných úložišť dat jímky.

Tip

Obecné informace o kopírování dat ze SAP BW, včetně integrace SAP BW Open Hubu a toku rozdílové extrakce, najdete v tématu Kopírování dat ze SAP Business Warehouse přes Open Hub pomocí Azure Data Factory.

Požadavky

• Pracovní prostor Azure Data Factory nebo Synapse: Pokud ho nemáte, postupujte podle pokynů k vytvoření datové továrny nebo vytvoření pracovního prostoru Synapse.

• SAP BW Open Hub Destination (OHD) s cílovým typem "Tabulka databáze": Pokud chcete vytvořit OHD nebo zkontrolovat, jestli je ohd správně nakonfigurovaný pro integraci se službou, přečtěte si část Konfigurace cíle open hubu SAP BW tohoto článku.

• Uživatel SAP BW potřebuje následující oprávnění:

  • Autorizace pro vzdálená volání funkcí (RFC) a SAP BW
  • Oprávnění k aktivitě Execute objektu S_SDSAUTH autorizace.

• Místní prostředí Integration Runtime (IR) s konektorem SAP .NET 3.0. Postupujte podle těchto kroků nastavení:

  1. Nainstalujte a zaregistrujte místní prostředí Integration Runtime verze 3.13 nebo novější. (Tento proces je popsán dále v tomto článku.)

  2. Stáhněte 64bitový konektor SAP pro Microsoft .NET 3.0 z webu SAP a nainstalujte ho na stejný počítač jako místní prostředí IR. Během instalace se ujistěte, že jste v dialogovém okně Volitelné kroky instalace vybrali možnost Instalovat sestavení do GAC, jak je znázorněno na následujícím obrázku:

     

Proveďte úplnou kopii ze SAP BW Open Hubu

Na webu Azure Portal přejděte do své služby. Na dlaždici Otevřít Azure Data Factory Studio nebo Otevření dlaždice Synapse Studio otevřete uživatelské rozhraní služby na samostatné kartě.

1. Na domovské stránce vyberte Ingest a otevřete nástroj Pro kopírování dat.

2. Na stránce Vlastnosti zvolte předdefinovaný úkol kopírování v části Typ úlohy a zvolte Spustit jednou pod pořadím úkolů nebo plánem úkolu a pak vyberte Další.

3. Na stránce Zdrojové úložiště dat vyberte + Nové připojení. V galerii konektorů vyberte SAP BW Open Hub a pak vyberte Pokračovat. Pokud chcete filtrovat konektory, můžete do vyhledávacího pole zadat SAP .

4. Na stránce Nové připojení (SAP BW Open Hub) vytvořte nové připojení pomocí těchto kroků.

   1. V seznamu Připojit přes prostředí Integration Runtime vyberte existující místní prostředí IR. Pokud ho ještě nemáte, vyberte si ho.

      Pokud chcete vytvořit nové místní prostředí IR, vyberte +Nový a pak vyberte Místní prostředí. Zadejte název a pak vyberte Další. Chcete-li nainstalovat na aktuální počítač, vyberte expresní instalaci nebo postupujte podle uvedených kroků ruční instalace .

      Jak je uvedeno v požadavcích, ujistěte se, že máte konektor SAP pro Microsoft .NET 3.0 nainstalovaný na stejném počítači, na kterém je spuštěné místní prostředí IR.

   2. Vyplňte název serveru SAP BW, číslo systému, ID klienta, jazyk (pokud je jiný než EN), uživatelské jméno a heslo.

   3. Výběrem možnosti Test připojení ověřte nastavení a pak vyberte Vytvořit.

   

   4. Na stránce Zdrojové úložiště dat vyberte nově vytvořené připojení v bloku připojení.

   5. V části výběru cílů Open Hubu procházejte cíle Open Hubu, které jsou dostupné ve vašem SAP BW. Náhled dat v každém cíli můžete zobrazit tak, že na konci každého řádku vyberete tlačítko náhledu. Vyberte OHD, ze které chcete kopírovat data, a pak vyberte Další.

   

5. Pokud ho potřebujete, zadejte filtr. Pokud vaše OHD obsahuje pouze data z jednoho spuštění procesu přenosu dat (DTP) s jedním ID požadavku, nebo jste si jisti, že je vaše DTP hotová a chcete zkopírovat data, zrušte zaškrtnutí políčka Vyloučit poslední požadavek v části Upřesnit . Náhled dat můžete zobrazit výběrem tlačítka Náhled dat .

   Další informace o těchtonastaveních Pak vyberte Další.

   

6. Na stránce Cílové úložiště dat vyberte + Nové připojení>Azure Data Lake Storage Gen2>Pokračovat.

7. Na stránce Nové připojení (Azure Data Lake Storage Gen2) vytvořte připojení pomocí těchto kroků.

   1. V rozevíracím seznamu Název vyberte svůj účet podporující Data Lake Storage Gen2.
   2. Výběrem Vytvořit vytvoříte propojení.

   

8. Na stránce Cílové úložiště dat vyberte nově vytvořené připojení v části Připojení a jako název výstupní složky zadejte copyfromopenhub. Pak vyberte Další.

   

9. Na stránce Nastavení formátu souboru vyberte Další, pokud chcete použít výchozí nastavení.

   

10. Na stránce Nastavení zadejte název úkolu a rozbalte položku Upřesnit. Zadejte hodnotu pro stupeň paralelismu kopírování, například 5 pro paralelní načtení ze SAP BW. Pak vyberte Další.

    

11. Na stránce Souhrn zkontrolujte nastavení. Pak vyberte Další.

    

12. Na stránce Nasazení vyberte Monitorování, abyste mohli kanál monitorovat.

13. Všimněte si, že je automaticky vybrána karta Monitorování na levé straně stránky. Pomocí odkazů pod sloupcem Název kanálu na stránce Spuštění kanálu můžete zobrazit podrobnosti o aktivitě a znovu spustit kanál.

14. Pokud chcete zobrazit spuštění aktivit přidružená ke spuštění kanálu, vyberte odkazy ve sloupci Název kanálu. Kanál obsahuje pouze jednu aktivitu (aktivita kopírování), takže se zobrazí pouze jedna položka. Pokud chcete přepnout zpět do zobrazení spuštění kanálu, vyberte v horní části odkaz Všechna spuštění kanálu. Seznam můžete aktualizovat kliknutím na Aktualizovat.

    

15. Pokud chcete monitorovat podrobnosti o spuštění jednotlivých aktivit kopírování, vyberte odkaz Podrobnosti , což je ikona brýle ve stejném řádku každé aktivity kopírování v zobrazení monitorování aktivit. Mezi dostupné podrobnosti patří objem dat zkopírovaný ze zdroje do jímky, propustnosti dat, kroky provádění a doba trvání a použité konfigurace.

    

16. Pokud chcete zobrazit maximální ID požadavku každé aktivity kopírování, vraťte se do zobrazení monitorování aktivit a vyberte Výstup ve stejném řádku každé aktivity kopírování.

    

    

Přírůstkové kopírování ze SAP BW Open Hubu

Tip

Informace o tom, jak konektor SAP BW Open Hub kopíruje přírůstková data ze SAP BW, najdete v článku o rozdílové extrakci konektoru OPEN Hubu SAP BW. Tento článek vám také pomůže pochopit základní konfiguraci konektoru.

Teď budeme pokračovat v konfiguraci přírůstkové kopie ze SAP BW Open Hubu.

Přírůstková kopie používá mechanismus "horní meze", který je založený na ID požadavku. Toto ID se automaticky vygeneruje v cíli open hubu SAP BW pomocí DTP. Následující diagram znázorňuje tento pracovní postup:

Na domovské stránce vyberte šablony kanálů v části Zjistit další, pokud chcete použít předdefinované šablony.

1. Vyhledejte SAP BW , abyste našli a vybrali přírůstkovou kopii ze SAP BW do šablony Azure Data Lake Storage Gen2 . Tato šablona kopíruje data do Azure Data Lake Storage Gen2. Podobný pracovní postup můžete použít ke kopírování do jiných typů jímky.

2. Na hlavní stránce šablony vyberte nebo vytvořte následující tři připojení a pak v pravém dolním rohu okna vyberte Použít tuto šablonu .

   • Azure Blob Storage: V tomto názorném postupu používáme Úložiště objektů blob v Azure k uložení horní meze, což je maximální zkopírované ID požadavku.
   • SAP BW Open Hub: Toto je zdroj pro kopírování dat z. Podrobné informace o konfiguraci najdete v předchozím návodu k úplnému kopírování.
   • Azure Data Lake Storage Gen2: Jedná se o jímku pro kopírování dat do. Podrobné informace o konfiguraci najdete v předchozím návodu k úplnému kopírování.

   

3. Tato šablona vygeneruje kanál s následujícími třemi aktivitami a zřetězí je zřetězeným způsobem: vyhledávání, kopírování dat a webu.

   Přejděte na kartu Parametry kanálu. Zobrazí se všechny konfigurace, které potřebujete poskytnout.

   

   • SAPOpenHubDestinationName: Zadejte název tabulky Open Hubu, ze které chcete kopírovat data.

   • Data_Destination_Container: Zadejte cílový kontejner Azure Data Lake Storage Gen2 pro kopírování dat do. Pokud kontejner neexistuje, aktivita kopírování ho vytvoří během provádění.

   • Data_Destination_Directory: Zadejte cestu ke složce v kontejneru Azure Data Lake Storage Gen2, do které chcete kopírovat data. Pokud cesta neexistuje, aktivita kopírování během provádění vytvoří cestu.

   • HighWatermarkBlobContainer: Zadejte kontejner pro uložení hodnoty horní meze.

   • HighWatermarkBlobDirectory: Zadejte cestu ke složce v kontejneru pro uložení hodnoty horní meze.

   • HighWatermarkBlobName: Zadejte název objektu blob pro uložení hodnoty horní meze, například requestIdCache.txt. V úložišti objektů blob přejděte na odpovídající cestu HighWatermarkBlobContainer+HighWatermarkBlobDirectory+HighWatermarkBlobName, například kontejner/cesta/requestIdCache.txt. Vytvořte objekt blob s obsahem 0.

     

   • LogicAppURL: V této šabloně používáme WebActivity k volání Azure Logic Apps k nastavení hodnoty horní meze v úložišti objektů blob. Nebo ji můžete použít k uložení azure SQL Database. K aktualizaci hodnoty použijte aktivitu uložené procedury.

     Nejdřív musíte vytvořit aplikaci logiky, jak ukazuje následující obrázek. Pak vložte adresu URL HTTP POST.

     

     1. Přejděte na Azure Portal. Vyberte novou službu Logic Apps . Výběrem +Prázdná aplikace logiky přejděte do Návrháře pro Logic Apps.

     2. Vytvořte trigger Při přijetí požadavku HTTP. Text požadavku HTTP zadejte následujícím způsobem:

        {
           "properties": {
              "sapOpenHubMaxRequestId": {
                 "type": "string"
              }
           },
           "type": "object"
        }
        

     3. Přidejte akci Vytvořit objekt blob . Pro cestu ke složce a název objektu blob použijte stejné hodnoty, které jste nakonfigurovali dříve v HighWatermarkBlobContainer+HighWatermarkBlobDirectory a HighWatermarkBlobName.

     4. Zvolte Uložit. Potom zkopírujte hodnotu adresy URL HTTP POST, kterou chcete použít v kanálu.

4. Po zadání parametrů kanálu vyberte Dokončit ladění>a vyvoláte spuštění pro ověření konfigurace. Nebo vyberte Publikovat a publikujte všechny změny a pak vyberte Přidat aktivační událost , aby se spustilo spuštění.

Konfigurace sap BW Open Hub Destination

Tato část představuje konfiguraci strany SAP BW pro kopírování dat pomocí konektoru SAP BW Open Hub.

Konfigurace rozdílové extrakce v SAP BW

Pokud potřebujete historickou i přírůstkovou kopii nebo jenom přírůstkovou kopii, nakonfigurujte v SAP BW rozdílovou extrakci.

1. Vytvořte cíl Open Hubu. OhD můžete vytvořit v SAP Transaction RSA1, který automaticky vytvoří požadovaný proces transformace a přenosu dat. Použijte následující nastavení:

   • ObjectType: Můžete použít libovolný typ objektu. Tady jako příklad používáme InfoCube .
   • Cílový typ: Vyberte tabulku databáze.
   • Klíč tabulky: Vyberte technický klíč.
   • Extrakce: Vyberte Zachovat data a vložit záznamy do tabulky.

   

   

   Můžete zvýšit počet paralelních spuštěných pracovních procesů SAP pro DTP:

   

2. Naplánujte DTP v řetězcích procesů.

   Rozdílový DTP pro datovou krychli funguje jenom v případě, že nebyly zkomprimované potřebné řádky. Ujistěte se, že komprese datové krychle BW není spuštěná před DTP do tabulky Open Hub. Nejjednodušším způsobem, jak to udělat, je integrovat DTP do stávajících řetězů procesů. V následujícím příkladu se DTP (do OHD) vloží do řetězu procesů mezi kroky Upravit (agregační souhrn) a Sbalit (komprese datové krychle).

   

Konfigurace úplné extrakce v SAP BW

Kromě rozdílové extrakce můžete chtít úplnou extrakci stejného poskytovatele informací SAP BW. To se obvykle týká, pokud chcete provést úplné kopírování, ale ne přírůstkové, nebo chcete znovu synchronizovat rozdílovou extrakci.

Pro stejnou OHD nemůžete mít více než jeden DTP. Proto musíte před delta extrakcí vytvořit další OHD.

Pro úplné zatížení OHD zvolte jiné možnosti než pro rozdílovou extrakci:

• V ohd: Nastavte možnost extrakce pro odstranění dat a vložení záznamů. V opačném případě budou data extrahována mnohokrát při opakování DTP v řetězci procesu BW.

• V režimu DTP: Nastavte režim extrakce na plný. Automaticky vytvořené heslo DTP je nutné změnit z hodnoty Delta na Úplné hned po vytvoření OHD, jak ukazuje tento obrázek:

  

• V konektoru BW Open Hub: Vypněte možnost Vyloučit poslední požadavek. Jinak se nic neextrahuje.

Úplné heslo DTP obvykle spouštíte ručně. Nebo můžete vytvořit řetěz procesů pro úplné DTP. Obvykle se jedná o samostatný řetězec, který je nezávislý na existujících řetězech procesů. V obou případech se ujistěte, že je DTP dokončen před zahájením extrakce pomocí kopírování. V opačném případě se zkopírují pouze částečná data.

První spuštění rozdílové extrakce

První rozdílová extrakce je technicky úplná extrakce. Ve výchozím nastavení konektor OPEN Hub SAP BW vylučuje poslední požadavek při kopírování dat. Při první rozdílové extrakci se žádná data extrahují aktivitou kopírování, dokud následný DTP negeneruje rozdílová data v tabulce s samostatným ID požadavku. Existují dva způsoby, jak se vyhnout tomuto scénáři:

• Vypněte možnost Vyloučit poslední požadavek pro první rozdílovou extrakci. Před prvním spuštěním extrakce rozdílu se ujistěte, že první rozdílové heslo je dokončené.
• Použijte postup pro opětovnou synchronizaci rozdílové extrakce, jak je popsáno v další části.

Resynchronizace rozdílové extrakce

Následující scénáře mění data v datových krychlích SAP BW, ale rozdílové DTP se nepovažují:

• Selektivní odstranění SAP BW (řádků pomocí jakékoli podmínky filtru)
• Odstranění požadavku SAP BW (chybných požadavků)

Cílem SAP Open Hubu není cíl dat řízený datovým tržištěm (ve všech balíčcích podpory SAP BW od roku 2015). Takže můžete odstranit data z datové krychle beze změny dat v OHD. Potom je nutné znovu synchronizovat data datové krychle se službou:

1. Spusťte úplnou extrakci ve službě (pomocí úplného DTP v SAP).
2. Odstraňte všechny řádky v tabulce Open Hub pro delta DTP.
3. Nastavte stav rozdílového DTP na Načteno.

Potom všechny následné rozdílové DTPs a rozdílové extrakce fungují podle očekávání.

Pokud chcete nastavit stav rozdílového DTP na načtený, můžete ručně spustit rozdílový DTP pomocí následující možnosti:

Žádný přenos dat; Stav delta ve zdroji: Načteno

Související obsah

Přečtěte si o podpoře konektoru OPEN Hub SAP BW:

Konektor SAP Business Warehouse Open Hub