Doskonałość operacyjna dla data lakehouse
Zasady architektury filaru doskonałości operacyjnej obejmują wszystkie procesy operacyjne, które zapewniają funkcjonowanie lakehouse. Doskonałość operacyjna odnosi się do zdolności wydajnego działania lakehouse i omawia sposób działania, zarządzania i monitorowania lakehouse w celu zapewnienia wartości biznesowej.
Zasady doskonałości operacyjnej
Optimize procesów kompilacji i wydawania
Korzystaj z najlepszych rozwiązań w zakresie inżynierii oprogramowania w całym środowisku lakehouse. Kompilowanie i wdrożenie przy użyciu kanałów ciągłej integracji i ciągłego dostarczania dla metodyki DevOps i MLOps.
Automatyzowanie wdrożeń i obciążeń
Automatyzacja wdrożeń i obciążeń dla lakehouse pomaga w standaryzacji tych procesów, eliminacji błędów ludzkich, poprawie produktywności i zapewnieniu większej powtarzalności. Obejmuje to użycie "konfiguracji jako kodu", aby uniknąć dryfu konfiguracji i "infrastruktury jako kodu", aby zautomatyzować aprowizację wszystkich wymaganych usług lakehouse i w chmurze.
W szczególności w przypadku uczenia maszynowego procesy powinny napędzać automatyzację: nie każdy krok procesu może lub powinien być zautomatyzowany. Ludzie nadal określają pytania biznesowe, a niektóre modele zawsze będą potrzebować nadzoru ludzkiego przed wdrożeniem. W związku z tym proces programowania jest podstawowy, a każdy moduł w procesie powinien być zautomatyzowany zgodnie z potrzebami. Umożliwia to stopniowe tworzenie automatyzacji i dostosowywania.
Set monitorowanie, alarmowanie i rejestrowanie
Obciążenia w usłudze lakehouse zwykle integrują usługi platformy Databricks i zewnętrzne usługi chmurowe, na przykład jako źródła danych lub cele. Udane wykonanie może dojść tylko wtedy, gdy każda usługa w łańcuchu realizacji działa prawidłowo. Jeśli tak nie jest, monitorowanie, alerty i rejestrowanie są ważne w celu wykrywania i śledzenia problemów oraz zrozumienia zachowania systemu.
Zarządzanie pojemnością i limitami przydziału
W przypadku każdej usługi uruchamianej w chmurze należy wziąć pod uwagę limity, na przykład limity szybkości dostępu, liczbę wystąpień, liczbę użytkowników i wymagania dotyczące pamięci. Przed zaprojektowaniem rozwiązania należy zrozumieć te limity.
Dalej: Najlepsze rozwiązania dotyczące doskonałości operacyjnej
Zobacz Najlepsze rozwiązania dotyczące doskonałości operacyjnej.