Zarządzanie obciążeniami
Dotyczy:✅ punkt końcowy analizy SQL i magazyn w usłudze Microsoft Fabric
W tym artykule opisano architekturę i zarządzanie obciążeniami za magazynowaniem danych w usłudze Microsoft Fabric.
Przetwarzanie danych
Punkt końcowy magazynu i analizy SQL współużytkuje tę samą podstawową architekturę przetwarzania. W miarę pobierania lub pozyskiwania danych wykorzystuje aparat rozproszony utworzony zarówno dla małych, jak i dużych funkcji danych i obliczeń.
System przetwarzania jest bezserwerowy w tej pojemności obliczeniowej zaplecza skalowany w górę i w dół w celu spełnienia wymagań dotyczących obciążeń.
Po przesłaniu zapytania fronton SQL (FE) wykonuje optymalizację zapytań w celu określenia najlepszego planu na podstawie rozmiaru i złożoności danych. Po wygenerowaniu planu jest on przydzielany aparatowi przetwarzania zapytań rozproszonych (DQP). DQP organizuje rozproszone wykonywanie zapytania, dzieląc je na mniejsze zapytania wykonywane w węzłach obliczeniowych zaplecza. Każde małe zapytanie jest nazywane zadaniem i reprezentuje rozproszoną jednostkę wykonywania. Odczytuje pliki z usługi OneLake, łączy wyniki z innych zadań, grup lub zamówień danych pobranych z innych zadań. W przypadku zadań pozyskiwania zapisuje również dane w odpowiednich tabelach docelowych.
Po przetworzeniu danych wyniki są zwracane do frontonu SQL w celu przywrócenia obsługi do użytkownika lub aplikacji wywołującej.
Elastyczność i odporność
Pojemność obliczeniowa zaplecza korzysta z architektury szybkiej aprowizacji. Mimo że nie ma umowy SLA przy przypisywaniu zasobów, zazwyczaj nowe węzły są uzyskiwane w ciągu kilku sekund. W miarę wzrostu zapotrzebowania na zasoby nowe obciążenia korzystają ze skalowanej pojemności w poziomie. Skalowanie to operacja online, a przetwarzanie zapytań odbywa się nieprzerwanie.
System jest odporny na uszkodzenia i jeśli węzeł stanie się w złej kondycji, operacje wykonywane w węźle są dystrybuowane do węzłów w dobrej kondycji w celu ukończenia.
Punkt końcowy usługi Warehouse i analizy SQL zapewniają możliwość zwiększenia wydajności , która umożliwia obciążeniom wykorzystanie większej ilości zasobów w celu uzyskania lepszej wydajności, a także korzystanie z funkcji smoothing w celu zapewnienia pomocy klientom, którzy tworzą nagłe skoki w godzinach szczytu, podczas gdy mają dużo bezczynnej pojemności, która jest nieużywane. Smoothing upraszcza zarządzanie pojemnością, rozkładając ocenę zasobów obliczeniowych, aby zapewnić bezproblemowe i wydajne uruchamianie zadań klientów.
Planowanie i zasoby
Harmonogram przetwarzania zapytań rozproszonych działa na poziomie zadania . Zapytania są reprezentowane w harmonogramie jako skierowany graf acykliczny (DAG) zadań. Ta koncepcja jest znana użytkownikom platformy Spark. Grupa DAG umożliwia równoległość i współbieżność, ponieważ zadania, które nie zależą od siebie, mogą być wykonywane jednocześnie lub poza kolejnością.
Po nadejściu zapytań ich zadania są zaplanowane zgodnie z zasadami fiFO (first-in-first-out). Jeśli pojemność jest bezczynna, harmonogram może użyć "najlepszego dopasowania", aby zoptymalizować współbieżność.
Gdy harmonogram identyfikuje ciśnienie magazynu, wywołuje operację skalowania. Skalowanie jest zarządzane autonomicznie, a topologia zaplecza rośnie wraz ze wzrostem współbieżności. Ponieważ uzyskanie węzłów trwa kilka sekund, system nie jest zoptymalizowany pod kątem spójnej wydajności podsekund zapytań, które wymagają rozproszonego przetwarzania.
Gdy ciśnienie ustąpi, topologia zaplecza skaluje się z powrotem w dół i zwalnia zasób z powrotem do regionu.
Izolacja pozyskiwania
Dotyczy:✅ Magazyn w usłudze Microsoft Fabric
W puli obliczeniowej zaplecza magazynu w usłudze Microsoft Fabric działania ładowania zapewniają izolację zasobów od obciążeń analitycznych. Zwiększa to wydajność i niezawodność, ponieważ zadania pozyskiwania mogą być uruchamiane na dedykowanych węzłach zoptymalizowanych pod kątem etL i nie konkurują z innymi zapytaniami ani aplikacjami dla zasobów.
Sesje
Punkt końcowy magazynu i analizy SQL ma limit sesji użytkownika 724 na obszar roboczy. Po osiągnięciu tego limitu zostanie zwrócony błąd: The user session limit for the workspace is 724 and has been reached.
Uwaga
Ponieważ usługa Microsoft Fabric jest platformą SaaS, istnieje wiele połączeń systemowych, które są uruchamiane w celu ciągłego optymalizowania środowiska. Dynamiczne widoki zarządzania pokazują sesje systemowe i sesje użytkowników. Aby uzyskać więcej informacji, zobacz Monitorowanie przy użyciu widoków DMV.
Najlepsze rozwiązania
Obszar roboczy usługi Microsoft Fabric zapewnia naturalną granicę izolacji rozproszonego systemu obliczeniowego. Obciążenia mogą korzystać z tej granicy, aby zarządzać kosztami i wydajnością.
Skróty OneLake mogą służyć do tworzenia replik tabel tylko do odczytu w innych obszarach roboczych w celu dystrybucji obciążenia między wieloma aparatami SQL, tworząc granicę izolacji. Może to skutecznie zwiększyć maksymalną liczbę sesji wykonujących zapytania tylko do odczytu.
