Kiedy należy używać usługi HDInsight
Największą siłą usługi HDInsight jest zakres różnych konfiguracji oferowanych przez usługę. Umożliwia obsługę wielu różnych obciążeń. Te obciążenia mogą być przetwarzaniem wsadowym danych, pracą z danymi przesyłanymi strumieniowo lub zarządzaniem magazynami danych i/lub obciążeniami nauki o danych. Ta funkcja sprawia, że usługa HDInsight jest atrakcyjnym wyborem, zwłaszcza jeśli proces biznesowy zawiera wiele obciążeń.
Jeśli na przykład organizacja tworzy tylko magazyn danych do prezentowania raportów historycznych za pośrednictwem usługi Power BI, może to być pragmatyczne użycie usługi Azure SQL Data Warehouse z usługą Power BI. Podobnie organizacja powinna wykonywać zaawansowane analizy za pomocą rozwiązania do nauki o danych i nic więcej, wówczas może być odpowiednie tylko użycie usługi Azure Databricks.
Jeśli jednak obciążenia organizacji obejmują pozyskiwanie danych na potrzeby raportowania historycznego i zaawansowanych analiz, a dane przesyłane strumieniowo wymagają analizy, usługa HDInsight jest pragmatycznym wyborem. Wszystkie dane można pozyskać w jednej lokalizacji usługi Data Lake. Następnie można użyć prawidłowej konfiguracji usługi HDInsight do zarządzania przetwarzaniem, Magazyn danych, operacjami Nauka o danych i obciążeniami przesyłania strumieniowego. Ponieważ istnieje separacja między obliczeniami a magazynem, można to zrobić bezproblemowo na podstawie tych samych danych. Ponadto można zminimalizować koszt magazynu, ponieważ operacje są wykonywane w jednym magazynie, a nie w wielu magazynach danych.
Różnice w usłudze HDInsight
Oprócz scenariuszy opisanych powyżej. Poniżej przedstawiono kluczowe różnice, które sprawiają, że usługa HDInsight jest idealna dla obciążeń danych big data:
- Niezależne skalowanie zasobów obliczeniowych i magazynu
- Skalowanie automatyczne węzłów roboczych na podstawie obciążenia lub harmonogramu
- Elastyczność i odporność na uszkodzenia węzłów głównych
- Zabezpieczenia przedsiębiorstwa
- SDK
Rozdzielenie zasobów obliczeniowych i magazynu wraz z automatycznym skalowaniem klastra w zależności od obciążenia lub harmonogramu może prowadzić do znacznych optymalizacji kosztów. Węzły główne usługi HDInsight są odporne na awarie. Węzły główne są wspierane przez odporne na błędy maszyny wirtualne prowadzące do usługi o wysokiej dostępności z umową SLA na poziomie 99,9%. Integracja firmy Microsoft Entra ma możliwości zabezpieczeń przedsiębiorstwa dotyczące uwierzytelniania i autoryzacji. Te funkcje wraz z obsługą szyfrowania i sieci wirtualnej zapewniają szczegółową kontrolę nad osobami, które mogą uzyskiwać dostęp do danych. Usługa HDInsight jest wspierana przez różne zestawy SDK, które umożliwiają tworzenie i programowanie klastrów w wielu językach w różnych środowiskach IDE.