Datové aplikace (zdrojově zarovnané)

Pokud se rozhodnete neimplementovat datově agnostický stroj pro jednorázový příjem dat z provozních zdrojů, nebo pokud složitá připojení nejsou v datově agnostickém stroji usnadněna, měli byste vytvořit datovou aplikaci zarovnanou se zdrojem. Měl by při ingestování dat z externích zdrojů dat dodržovat stejný tok jako modul nezávislý na datech.

Přehled

Vaše skupina prostředků aplikace zodpovídá za příjem a rozšiřování dat pouze z externích zdrojů, jako jsou telemetrie, finance nebo CRM. Tato vrstva může pracovat v reálném čase, batch a micro-batch.

Tato část vysvětluje infrastrukturu nasazenou pro každou zdrojově zarovnanou skupinu prostředků uvnitř vaší cílové datové zóny.

Spropitné

U datových sítí můžete nasadit jednu z těchto možností na zdroj nebo jednu na doménu. Zásady standardizace dat, kvality dat a rodokmenu dat musí být stále dodrženy. Týmy pro provoz datové platformy mohou vyvíjet úryvky standardního kódu a využívat je, aby dosáhly cíle.

Pro každou datovou aplikaci (zdrojově sladěnou) skupinu prostředků v cílové zóně dat byste měli vytvořit:

• An Azure Key Vault
• Azure Data Factory pro provoz inženýrských datových potrubí, která transformují data z nezpracovaných na obohacená.
• Instanční objekt používaný datovou aplikací (v souladu se zdrojem) pro nasazení úloh ingestování do Azure Databricks (pouze pokud používáte Azure Databricks)

Můžete také vytvářet instance jiných služeb, jako jsou Azure Event Hubs, Azure IoT Hub, Azure Stream Analytics a Azure Machine Learning.

Azure Key Vault

Funkce služby Azure Key Vault slouží k ukládání tajných kódů v Azure, kdykoli je to možné.

Každá datová aplikace (zarovnaná podle zdrojů) nebo datová doména (v případě datové sítě) má službu Azure Key Vault, která:

• Zajišťuje, že šifrovací klíč, tajný klíč a odvození certifikátu splňují požadavky vašeho prostředí.
• Umožňuje lepší oddělení správních povinností.
• Snižuje riziko kombinování klíčů, integrací a tajných kódů různých klasifikací.

Všechny klíče související s vaší datovou aplikací (v souladu se zdrojem) by měly být obsažené ve službě Azure Key Vault.

Důležitý

Trezory klíčů aplikace dat (v souladu se zdrojem) by měly dodržovat model s nejnižšími oprávněními a měly by se vyhnout limitům škálování transakcí a sdílení tajných kódů napříč prostředími.

Azure Data Factory

Nasaďte Službu Azure Data Factory, která umožňuje kanálům napsaným týmem datových aplikací přijímat data z nezpracovaných dat až po rozšířené pomocí vyvinutých kanálů. K transformacím použijte mapování toků dat a pro komplexní transformace použijte Azure Databricks, Azure Synapse Spark nebo Microsoft Fabric.

Měli byste připojit Azure Data Factory ke zdrojově sladěnému repozitáři instance DevOps vaší datové aplikace. Toto připojení umožňuje nasazení CI/CD.

Event Hubs

Pokud má vaše datová aplikace (zarovnaná se zdrojem) požadavek na streamování dat, můžete nasadit následné služby Event Hubs ve skupině prostředků vaší datové aplikace (zarovnané se zdrojem).

Další kroky

referenční vzory datových aplikací