Aplikacje danych (dostosowane do źródła)

Jeśli zdecydujesz się nie implementować agnostycznego silnika danych do pozyskiwania danych raz ze źródeł operacyjnych lub jeśli złożone połączenia nie są ułatwione w twoim agnostycznym silniku danych, powinieneś stworzyć aplikację danych zgodną ze źródłem. Powinno to przebiegać tym samym tokiem, co w przypadku silnika niezależnego od danych podczas pozyskiwania danych z zewnętrznych źródeł.

Przegląd

Grupa zasobów aplikacji jest odpowiedzialna za pozyskiwanie danych i wzbogacanie tylko ze źródeł zewnętrznych, takich jak telemetria, finanse lub CRM. Ta warstwa może działać w czasie rzeczywistym, wsadowo i mikrowsadowo.

W tej sekcji opisano infrastrukturę wdrożoną dla każdej grupy zasobów aplikacji danych (dostosowanej do źródła) wewnątrz strefy docelowej danych.

Napiwek

W przypadku siatki danych można wybrać wdrożenie jednego z tych źródeł lub jednego na domenę. Należy nadal przestrzegać zasad standaryzacji danych, jakości danych i pochodzenia danych. Zespoły ds. operacji platformy danych mogą opracowywać fragmenty kodu standardowego i wywoływać je w celu osiągnięcia tego celu.

Dla każdej grupy zasobów aplikacji danych (dopasowanej do źródła) w strefie docelowej danych należy utworzyć:

• Usługa Azure Key Vault
• Usługa Azure Data Factory do uruchamiania opracowanych potoków inżynieryjnych, które przekształcają dane nieprzetworzone na wzbogacone
• Jednostka usługi używana przez aplikację danych (wyrównana do źródła) do wdrażania zadań pozyskiwania w usłudze Azure Databricks (tylko w przypadku korzystania z usługi Azure Databricks)

Możesz również tworzyć wystąpienia innych usług, takich jak Azure Event Hubs, Azure IoT Hub, Azure Stream Analytics i Azure Machine Learning.

Azure Key Vault

Używaj funkcjonalności Azure Key Vault do przechowywania tajnych danych na platformie Azure, kiedy to tylko możliwe.

Każda aplikacja danych (wyrównana do źródła), grupa zasobów lub domena danych (w przypadku użycia siatki) ma usługę Azure Key Vault, która:

• Gwarantuje, że klucz szyfrowania, tajemnica oraz generowanie certyfikatu spełniają wymagania twojego środowiska.
• Umożliwia lepsze rozdzielenie obowiązków administracyjnych
• Zmniejsza ryzyko mieszania kluczy, integracji i sekretów różnych klasyfikacji

Wszystkie klucze związane z aplikacją danych (powiązane ze źródłem) powinny być przechowywane w usłudze Azure Key Vault.

Ważny

Magazyny kluczy aplikacji danych (zgodne ze źródłem) powinny przestrzegać modelu najmniejszych uprawnień i unikać zarówno limitów skalowania transakcji, jak i dzielenia się sekretami między środowiskami.

Azure Data Factory

Wdróż usługę Azure Data Factory, aby umożliwić potokom napisanym przez zespół aplikacji danych zbieranie danych z nieprzetworzonych do wzbogaconych przy użyciu opracowanych potoków. Używaj przepływów danych mapowania do przekształceń, a w przypadku złożonych przekształceń przełącz się na użycie Azure Databricks, Azure Synapse Spark lub Microsoft Fabric.

Należy połączyć usługę Azure Data Factory z instancją DevOps repozytorium aplikacji danych z wyrównaniem do źródła. To połączenie umożliwia wdrożenia CI/CD.

Event Hubs

Jeśli aplikacja danych (wyrównana do źródła) wymaga strumieniowego przesyłania danych, możesz wdrożyć podrzędne usługi Event Hubs w grupie zasobów aplikacji danych (wyrównanej do źródła).

Następne kroki

wzorce referencyjne aplikacji danych