Ściągawka dotycząca tworzenia zasobów obliczeniowych
Ten artykuł ma na celu przedstawienie jasnych i opinii wskazówek dotyczących tworzenia zasobów obliczeniowych. Korzystając z właściwych typów obliczeniowych dla przepływu pracy, możesz zwiększyć wydajność i zaoszczędzić na kosztach.
| Najlepsze rozwiązanie | Wpływ | Dokumenty |
|---|---|---|
| Jeśli dopiero zaczynasz korzystać z usługi Azure Databricks, zacznij od używania typów wystąpień ogólnego przeznaczenia | Wybranie odpowiedniego typu wystąpienia dla obciążenia powoduje zwiększenie wydajności. | - Tworzenie klastra |
| Użyj trybu dostępu współdzielonego, chyba że wymagana funkcja nie jest obsługiwana | Obliczenia z trybem dostępu współdzielonego mogą być używane przez wielu użytkowników z izolacją danych wśród użytkowników. | - Tryby dostępu |
| Użyj typów wystąpień najnowszej generacji, jeśli jest wystarczająca dostępność | Najnowsza generacja typów wystąpień zapewnia najlepszą wydajność i najnowsze funkcje. | - Typy wystąpień platformy Azure |
| Ustawianie równoważenia obciążenia na żądanie i wystąpienia typu spot na podstawie tego, jak szybko potrzebne jest uruchomienie obciążenia | Wystąpienia typu spot oszczędzają na kosztach, ale mogą wpływać na ogólny czas wykonywania operacji, jeśli wystąpienia typu spot zostaną odzyskane. | - Zalecenia dotyczące konfiguracji obliczeniowej |
| Wybierz rozmiar węzłów i liczbę procesów roboczych na podstawie typów operacji wykonywanych przez obciążenie | Jeśli na przykład spodziewasz się dużej liczby przetasowania, użycie dużego pojedynczego węzła zamiast wielu mniejszych węzłów może być bardziej wydajne. | - Zagadnienia dotyczące ustalania rozmiaru zasobów obliczeniowych |
| Uruchamianie opróżniania w klastrze z zestawem automatycznego skalowania dla procesów roboczych 1–4, gdzie każdy proces roboczy ma 8 rdzeni. Wybierz sterownik z zakresu od 8 do 32 rdzeni. Zwiększ rozmiar sterownika, jeśli wystąpią błędy braku pamięci (OOM). |
Instrukcje próżniowe występują w dwóch fazach, z których drugi jest ciężki dla kierowcy. Jeśli nie używasz klastra o odpowiednim rozmiarze, operacja może spowodować spowolnienie i może się nie powieść. | - Jakiego rozmiaru potrzebuje klaster próżniowy? - Najlepsze rozwiązania dotyczące próżni |
| Ocena, czy przepływ pracy wsadowego będzie korzystać z aplikacji Photon | Aplikacja Photon zapewnia szybsze zapytania i zmniejsza całkowity koszt obciążenia. | - Zalety aplikacji Photon |