Pierwsze kroki z listą kontrolną dotyczącą siatki danych
Podczas podróży z danymi z analityką w skali chmury, dowiesz się, że istnieje wiele etapów w procesie wdrażania. Ta sekcja zawiera listę kontrolną szybkiego rozpoczynania pracy, która ułatwia wdrażanie scenariusza na etapach. Te etapy to:
- Etap 1. Pierwsza strefa docelowa
- Etap 2. Dodatkowe domeny danych
- Etap 3. Zwiększanie gotowości do zużycia
- Etap 4. Krytyczne składniki ładu
Etap 1 — pierwsza strefa docelowa
- Definiowanie pierwszych przypadków użycia
- Wdrażanie pierwszej strefy docelowej zarządzania danymi
- Wdrażanie pierwszej strefy docelowej danych
- Zdefiniuj pierwszy wzorzec pozyskiwania (na przykład batch parquet)
- Opracuj swój pierwszy produkt danych (dane pozyskane w stanie surowym, przekształcone w produkt)
- Ustalanie '''optymalnego''' nadzoru
- Definiowanie wymagań dotyczących metadanych (informacje o aplikacji, metadane schematu)
- Rejestrowanie pierwszego konsumenta danych (proces ręczny)
Etap 2 — dodatkowe domeny danych
- Uściślij architekturę docelową
- Wdrażanie większej liczby stref docelowych danych
- Rozszerzanie przy użyciu drugiego, trzeciego i czwartego produktu danych
- Zrealizuj repozytorium metadanych produktu opartego na danych (baza danych lub Excel)
- Implementowanie pierwszego zestawu kontrolek (jakość danych, weryfikacja schematu)
- Zrealizuj swój pipeline przetwarzania (przyjmowanie danych wejściowych jako danych wyjściowych)
- Ustanawianie własności danych
Etap 3 — zwiększanie gotowości do zużycia
- Implementowanie rejestracji samoobsługowej i pozyskiwania metadanych
- Oferowanie innych wzorców transformacji (struktura transformacji, narzędzia ETL itp.)
- Wzbogacenie kontrol po stronie dostawcy (słownik, linia, połączenie)
- Implementowanie procesu przetwarzania danych: zatwierdzenia, metadane dotyczące przypadków użycia, ręczne wdrażanie bezpiecznych widoków
- Utwórz zarząd ds. zarządzania danymi
Etap 4 — krytyczne składniki ładu
- Stosowanie automatyzacji (automatyczna konfiguracja bezpiecznego widoku)
- Wdróż silne zarządzanie danymi, skonfiguruj organ do rozstrzygania sporów
- Finalizowanie wytycznych dotyczących produktów danych
- Definiowanie dodatkowego standardu współdziałania
- Opracuj proces samoobsługowego korzystania z danych
- Opracowywanie zapytań dotyczących danych, samoobsługi, katalogu, możliwości pochodzenia itp.
- Opracowywanie większej liczby możliwości platformy handlowej danych
Streszczenie
Te cztery etapy rozwoju umożliwiają skonfigurowanie minimalnej wersji produktu na etapie pierwszym, a następnie naukę i iterację na etapie drugim. W miarę realizacji podejścia etapowego stopniowo rośniesz w dojrzałość potrzebną do tworzenia platformy samoobsługowej, skalowalnej i zarządzanej.