Volba správné konfigurace prostředí Integration Runtime pro váš scénář

Prostředí Integration Runtime je důležitou součástí infrastruktury pro řešení integrace dat poskytované službou Azure Data Factory. To vyžaduje, abyste plně zvážili, jak se přizpůsobit stávající struktuře sítě a zdroji dat na začátku návrhu řešení a zvážit výkon, zabezpečení a náklady.

Porovnání různých typů prostředí Integration Runtime

Ve službě Azure Data Factory máme tři druhy prostředí Integration Runtime: Prostředí Azure Integration Runtime, místní prostředí Integration Runtime a prostředí Azure-SSIS Integration Runtime. Pro prostředí Azure Integration Runtime můžete také povolit spravovanou virtuální síť, která její architekturu liší od globálního prostředí Azure Integration Runtime.

Tato tabulka uvádí rozdíly v některých aspektech všech prostředí Integration Runtime. Můžete si vybrat vhodný podle vašich skutečných potřeb. Další informace o prostředí Azure-SSIS Integration Runtime najdete v článku Vytvoření prostředí Azure-SSIS Integration Runtime.

Funkce	Prostředí Azure Integration Runtime	Prostředí Azure Integration Runtime se spravovanou virtuální sítí	Modul runtime integrace v místním prostředí
Spravované výpočetní prostředky	Y	Y	N
Automatické škálování	Y	Y*	N
Tok dat	Y	Y	N
Přístup k místním datům	N	Y**	Y
Private Link / privátní koncový bod	N	Y***	Y
Vlastní komponenta nebo ovladač	N	N	Y

* Pokud je povolená hodnota TTL (Time to Live), je velikost výpočetního prostředí Integration Runtime vyhrazena podle konfigurace a nedá se automaticky škálovat.

** Místní prostředí musí být připojená k Azure přes ExpressRoute nebo VPN. Vlastní komponenty a ovladače se nepodporují.

Privátní koncové body spravuje služba Azure Data Factory.

Je důležité zvolit vhodný typ prostředí Integration Runtime. Nejen, že je vhodný pro vaši stávající architekturu a požadavky na integraci dat, ale musíte také zvážit, jak dále vyhovět rostoucím obchodním potřebám a jakémukoli budoucímu nárůstu zatížení. Neexistuje ale žádný přístup, který by vyhovoval všem velikostem. Následující aspekty vám můžou pomoct při rozhodování:

1. Jaké jsou umístění prostředí Integration Runtime a úložiště dat?
   Umístění prostředí Integration Runtime definuje umístění back-endového výpočetního prostředí a místo, kde se provádí přesun dat, odesílání aktivit a transformace dat. Aby bylo možné dosáhnout vyšší efektivity výkonu a přenosu, musí být prostředí Integration Runtime blíže ke zdroji dat nebo jímce.

   • Prostředí Azure Integration Runtime automaticky zjistí nejvhodnější umístění na základě některých pravidel (označovaných také jako autoresolve). Podrobnosti najdete tady: Umístění prostředí Azure IR.
   • Prostředí Azure Integration Runtime se spravovanou virtuální sítí má stejnou oblast jako vaše datová továrna. Nejde ho automaticky vyřešit, jako je prostředí Azure Integration Runtime.
   • Místní prostředí Integration Runtime se nachází v oblasti místních počítačů nebo virtuálních počítačů Azure.

2. Je úložiště dat veřejně přístupné?
   Pokud je úložiště dat veřejně přístupné, rozdíl mezi různými typy prostředí Integration Runtime není velký. Pokud je úložiště za bránou firewall nebo v privátní síti, jako je místní nebo virtuální síť, jsou lepšími možnostmi prostředí Azure Integration Runtime se spravovanou virtuální sítí nebo místním prostředím Integration Runtime.

   • Při použití prostředí Azure Integration Runtime se spravovanou virtuální sítí pro přístup k úložišti dat za bránou firewall nebo v privátní síti je potřeba provést další nastavení, jako je služba Private Link a Load Balancer. Příklad najdete v tomto kurzu Přístup k místnímu SQL Serveru ze spravované virtuální sítě služby Data Factory pomocí privátního koncového bodu . Pokud je úložiště dat v místním prostředí, musí být místní připojení k Azure přes Express Route nebo S2S VPN.
   • Místní prostředí Integration Runtime je flexibilnější a nevyžaduje další nastavení, ExpressRoute ani VPN. Ale musíte stroj poskytnout a udržovat sami.
   • Veřejné IP adresy prostředí Azure Integration Runtime můžete také přidat do seznamu povolených bran firewall a povolit mu přístup k úložišti dat, ale není to žádoucí řešení v vysoce zabezpečených produkčních prostředích.

3. Jakou úroveň zabezpečení potřebujete při přenosu dat?
   Pokud potřebujete zpracovávat vysoce důvěrná data, chcete se bránit například útokům man-in-the-middle během přenosu dat. Pak se můžete rozhodnout použít privátní koncový bod a službu Private Link, abyste zajistili zabezpečení dat.

   • Spravované privátní koncové body můžete vytvořit do úložišť dat při použití prostředí Azure Integration Runtime se spravovanou virtuální sítí. Privátní koncové body spravuje služba Azure Data Factory ve spravované virtuální síti.
   • Můžete také vytvořit privátní koncové body ve vaší virtuální síti a místní prostředí Integration Runtime je může použít pro přístup k úložištům dat.
   • Prostředí Azure Integration Runtime nepodporuje privátní koncový bod a Private Link.

4. Jakou úroveň údržby můžete poskytnout?
   Údržba infrastruktury, serverů a vybavení je jedním z důležitých úkolů IT oddělení podniku. Obvykle to trvá hodně času a úsilí.

   • Nemusíte se starat o údržbu, jako je aktualizace, oprava a verze prostředí Azure Integration Runtime a prostředí Azure Integration Runtime se spravovanou virtuální sítí. Služba Azure Data Factory se postará o veškeré úsilí o údržbu.
   • Vzhledem k tomu, že je na počítačích zákazníků nainstalovaný místní prostředí Integration Runtime, musí se o údržbu postarat koncoví uživatelé. Automatické aktualizace ale můžete povolit, abyste automaticky získali nejnovější verzi místního prostředí Integration Runtime při každé aktualizaci. Informace o povolení automatického aktualizace a správě správy verzí místního prostředí Integration Runtime najdete v článku Automatické aktualizace prostředí Integration Runtime v místním prostředí a oznámení o vypršení platnosti. Poskytujeme také diagnostický nástroj pro místní prostředí Integration Runtime pro kontrolu stavu některých běžných problémů. Další informace o diagnostickém nástroji najdete v článku Diagnostický nástroj prostředí Integration Runtime v místním prostředí. Kromě toho doporučujeme používat Azure Monitor a Azure Log Analytics, konkrétně ke shromažďování těchto dat a povolení jediného podokna monitorování skla pro místní prostředí Integration Runtime. Další informace o konfiguraci tohoto postupu najdete v článku Konfigurace místního prostředí Integration Runtime pro shromažďování log Analytics s pokyny.

5. Jaké požadavky na souběžnost máte?
   Při zpracování rozsáhlých dat, jako je migrace velkých objemů dat, doufáme, že zvýšíme efektivitu a rychlost zpracování co nejvíce. Souběžnost je často hlavním požadavkem pro integraci dat.

   • Prostředí Azure Integration Runtime má nejvyšší podporu souběžnosti mezi všemi typy prostředí Integration Runtime. Jednotka integrace dat (DIU) je jednotka schopností spouštět ve službě Azure Data Factory. Můžete například vybrat požadovaný počet jednotek JEDNOTEK (DIU), aktivita Copy. V rámci oboru DIU můžete současně spouštět více aktivit. Pro různé skupiny oblastí budeme mít různá horní omezení. Další informace o těchto omezeních najdete v článku Omezení služby Data Factory.
   • Prostředí Azure Integration Runtime se spravovanou virtuální sítí má podobný mechanismus jako prostředí Azure Integration Runtime, ale kvůli určitým omezením architektury může souběžnost, kterou může podporovat, je menší než prostředí Azure Integration Runtime.
   • Souběžné aktivity, které může místní prostředí Integration Runtime spustit, závisí na velikosti počítače a velikosti clusteru. Pokud potřebujete větší souběžnost, můžete v clusteru zvolit větší počítač nebo použít více uzlů integrace v místním prostředí.

6. Vyžadujete nějaké konkrétní funkce?
   Mezi typy prostředí Integration Runtime existují některé funkční rozdíly.

   • Tok dat je podporovaný prostředím Azure Integration Runtime a prostředím Azure Integration Runtime se spravovanou virtuální sítí. Tok dat ale nejde spustit pomocí místního prostředí Integration Runtime.
   • Pokud potřebujete nainstalovat vlastní komponenty, jako jsou ovladače ODBC, JVM nebo certifikát SQL Serveru, je jedinou možností místní prostředí Integration Runtime. Vlastní komponenty nejsou podporovány prostředím Azure Integration Runtime ani prostředím Azure Integration Runtime se spravovanou virtuální sítí.

Architektura prostředí Integration Runtime

Na základě charakteristik jednotlivých prostředí Integration Runtime se k zajištění obchodních potřeb integrace dat vyžadují různé architektury. Následuje několik typických architektur, které je možné použít jako referenci.

Prostředí Azure Integration Runtime

Prostředí Azure Integration Runtime je plně spravované výpočetní prostředí s automatickým škálováním, které můžete použít k přesunu dat z Azure nebo ze zdrojů dat mimo Azure.

1. Provoz z prostředí Azure Integration Runtime do úložišť dat je prostřednictvím veřejné sítě.
2. Poskytujeme rozsah statických veřejných IP adres pro prostředí Azure Integration Runtime a tyto IP adresy je možné přidat do seznamu povolených bran firewall cílového úložiště dat. Další informace o tom, jak získat veřejné IP adresy prostředí Azure Integration Runtime, najdete v článku o IP adresách prostředí Azure Integration Runtime.
3. Prostředí Azure Integration Runtime je možné automaticky vyřešit v závislosti na oblasti zdroje dat a jímky dat. Nebo můžete zvolit konkrétní oblast. Doporučujeme zvolit oblast, která je nejblíže zdroji dat nebo jímce, což může zajistit lepší výkon provádění. Další informace o aspektech výkonu najdete v článku Řešení potíží s aktivitou kopírování v Prostředí Azure IR.

Prostředí Azure Integration Runtime se spravovanou virtuální sítí

Při použití prostředí Azure Integration Runtime se spravovanou virtuální sítí byste měli ke zdrojům dat použít spravované privátní koncové body, abyste zajistili zabezpečení dat během přenosu. S některými dalšími nastaveními, jako je služba Private Link a Load Balancer, je možné použít také spravované privátní koncové body pro přístup k místním zdrojům dat.

1. Spravovaný privátní koncový bod nejde znovu použít v různých prostředích. Pro každé prostředí musíte vytvořit sadu spravovaných privátních koncových bodů. Informace o všech zdrojích dat podporovaných spravovanými privátními koncovými body najdete v článku Podporované zdroje dat a služby.
2. Spravované privátní koncové body můžete použít také pro připojení k externím výpočetním prostředkům, které chcete orchestrovat, jako jsou Azure Databricks a Azure Functions. Úplný seznam podporovaných externích výpočetních prostředků najdete v článku Podporované zdroje dat a služby.
3. Spravovanou virtuální síť spravuje služba Azure Data Factory. Partnerský vztah virtuálních sítí se nepodporuje mezi spravovanou virtuální sítí a virtuální sítí zákazníka.
4. Zákazníci nemůžou přímo měnit konfigurace, jako je pravidlo NSG ve spravované virtuální síti.
5. Pokud se některá vlastnost spravovaného privátního koncového bodu mezi prostředími liší, můžete ji přepsat parametrizací této vlastnosti a poskytnutím příslušné hodnoty během nasazování. Podrobnosti najdete v článku Osvědčené postupy pro CI/CD.

Modul runtime integrace v místním prostředí

Abychom zabránili vzájemnému narušení dat v různých prostředích a zajistili zabezpečení produkčního prostředí, musíme pro každé prostředí vytvořit odpovídající místní prostředí Integration Runtime. Tím se zajistí dostatečná izolace mezi různými prostředími.

Vzhledem k tomu, že místní prostředí Integration Runtime běží na počítači spravovaném zákazníkem, abychom co nejvíce snížili náklady, údržbu a upgrade, mohli bychom využít sdílené funkce místního prostředí Integration Runtime pro různé projekty ve stejném prostředí. Podrobnosti o sdílení místního prostředí Integration Runtime najdete v článku Vytvoření sdíleného místního prostředí Integration Runtime ve službě Azure Data Factory. Abychom současně zajistili větší zabezpečení dat během přenosu, můžeme použít privátní propojení pro připojení zdrojů dat a trezoru klíčů a propojit komunikaci mezi místním prostředím Integration Runtime a službou Azure Data Factory.

1. Express Route není povinný. Bez ExpressRoute se data nedostanou k jímce prostřednictvím privátních sítí, jako je virtuální síť nebo privátní propojení, ale prostřednictvím veřejné sítě.
2. Pokud je místní síť připojená k virtuální síti Azure přes Express Route nebo VPN, je možné místní prostředí Integration Runtime nainstalovat na virtuální počítače ve virtuální síti centra.
3. Hvězdicová architektura virtuální sítě se dá použít nejen pro různé projekty, ale také pro různá prostředí (Prod, QA a Dev).
4. Místní prostředí Integration Runtime je možné sdílet s několika datovými továrnami. Primární datová továrna na ni odkazuje jako na sdílený místní prostředí Integration Runtime a ostatní na ni odkazují jako na propojený místní prostředí Integration Runtime. Fyzický místní prostředí Integration Runtime může mít v clusteru více uzlů. Komunikace probíhá pouze mezi primárním místním prostředím Integration Runtime a primárním uzlem, přičemž práce se distribuuje do sekundárních uzlů z primárního uzlu.
5. Přihlašovací údaje místních úložišť dat je možné uložit buď v místním počítači, nebo ve službě Azure Key Vault. Služba Azure Key Vault se důrazně doporučuje.
6. Komunikace mezi místním prostředím Integration Runtime a datovou továrnou může procházet privátním propojením. V současné době ale interaktivní vytváření prostřednictvím služby Azure Relay a automatické aktualizace na nejnovější verzi z webu Download Center nepodporuje privátní propojení. Provoz prochází bránou firewall místního prostředí. Další informace najdete v článku Azure Private Link pro Azure Data Factory.
7. Privátní propojení je vyžadováno pouze pro primární objekt pro vytváření dat. Veškerý provoz prochází primární datová továrnou a pak do jiných datových továren.
8. Očekává se stejný název místního prostředí Integration Runtime ve všech fázích CI/CD. Můžete zvážit použití ternární továrny pouze k zahrnutí sdílených místního prostředí Integration Runtime a použití propojeného místního prostředí Integration Runtime v různých produkčních fázích. Další informace najdete v článku Kontinuální integrace a doručování.
9. Pomocí konfigurací místní sítě a ExpressRoute můžete řídit, jak provoz směřuje do centra pro stahování a Azure Relay, a to prostřednictvím místního proxy serveru nebo virtuální sítě centra. Ujistěte se, že provoz povoluje pravidla proxy serveru nebo skupiny zabezpečení sítě.
10. Pokud chcete zabezpečit komunikaci mezi uzly místního prostředí Integration Runtime, můžete povolit vzdálený přístup z intranetu pomocí certifikátu TLS/SSL. Další informace najdete v článku Povolení vzdáleného přístupu z intranetu pomocí certifikátu TLS/SSL (Advanced).