Szybki start: wdrażanie zarządzanego klastra Apache Spark za pomocą usługi Azure Databricks

Wystąpienie zarządzane platformy Azure dla systemu Apache Cassandra udostępnia zautomatyzowane operacje wdrażania i skalowania dla zarządzanych centrów danych Apache Cassandra typu open source. Ta funkcja przyspiesza scenariusze hybrydowe i zmniejsza ciągłą konserwację.

W tym przewodniku Szybki start pokazano, jak za pomocą witryny Azure Portal utworzyć w pełni zarządzany klaster Apache Spark w sieci wirtualnej platformy Azure wystąpienia zarządzanego platformy Azure dla klastra Apache Cassandra. Klaster Spark jest tworzony w usłudze Azure Databricks. Później możesz tworzyć lub dołączać notesy do klastra, odczytywać dane z różnych źródeł danych i analizować szczegółowe informacje.

Aby dowiedzieć się więcej, zapoznaj się ze szczegółowymi instrukcjami dotyczącymi wdrażania usługi Azure Databricks w usłudze Azure Virtual Network (iniekcja sieci wirtualnej).

Wymagania wstępne

Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto.

Tworzenie klastra usługi Azure Databricks

Wykonaj następujące kroki, aby utworzyć klaster usługi Azure Databricks w sieci wirtualnej z wystąpieniem zarządzanym platformy Azure dla usługi Apache Cassandra:

1. Zaloguj się w witrynie Azure Portal.

2. W okienku nawigacji po lewej stronie znajdź pozycję Grupy zasobów. Przejdź do grupy zasobów zawierającej sieć wirtualną, w której wdrożono wystąpienie zarządzane.

3. Otwórz zasób sieci wirtualnej i zanotuj przestrzeń adresową:

   

4. W grupie zasobów wybierz pozycję Dodaj i wyszukaj ciąg Azure Databricks w polu wyszukiwania:

   

5. Wybierz pozycję Utwórz , aby utworzyć konto usługi Azure Databricks:

   

6. Wprowadź następujące wartości:

   • Nazwa obszaru roboczego Podaj nazwę obszaru roboczego usługi Databricks.
   • Region upewnij się, że wybrano ten sam region co sieć wirtualna.
   • Warstwa cenowa Wybierz między warstwą Standardowa, Premium lub Wersją próbną. Aby uzyskać więcej informacji o tych warstwach, zobacz stronę usługi Databricks.

   

7. Następnie wybierz kartę Sieć i wprowadź następujące szczegóły:

   • Wdróż obszar roboczy usługi Azure Databricks w sieci wirtualnej wybierz pozycję Tak.
   • Sieć wirtualna Z listy rozwijanej wybierz sieć wirtualną, w której istnieje wystąpienie zarządzane.
   • Nazwa podsieci publicznej wprowadź nazwę podsieci publicznej.
   • Zakres CIDR podsieci publicznej wprowadź zakres adresów IP dla podsieci publicznej.
   • Nazwa podsieci prywatnej wprowadź nazwę podsieci prywatnej.
   • Zakres CIDR podsieci prywatnej wprowadź zakres adresów IP dla podsieci prywatnej.

   Aby uniknąć kolizji zakresu, upewnij się, że wybrano wyższe zakresy. W razie potrzeby użyj kalkulatora podsieci wizualizacji, aby podzielić zakresy:

   

   Poniższy zrzut ekranu przedstawia przykładowe szczegóły w okienku sieci:

   

8. Wybierz pozycję Przejrzyj i utwórz, a następnie pozycję Utwórz, aby wdrożyć obszar roboczy.

9. Uruchom obszar roboczy po jego utworzeniu.

10. Nastąpi przekierowanie do portalu usługi Azure Databricks. W portalu wybierz pozycję Nowy klaster.

11. W okienku Nowy klaster zaakceptuj wartości domyślne dla wszystkich pól innych niż następujące pola:

    • Nazwa klastra wprowadź nazwę klastra.
    • Wersja środowiska uruchomieniowego usługi Databricks Zalecamy wybranie środowiska uruchomieniowego usługi Databricks w wersji 7.5 lub nowszej dla obsługi platformy Spark 3.x.

    

12. Rozwiń pozycję Opcje zaawansowane i dodaj następującą konfigurację. Pamiętaj, aby zastąpić adresy IP i poświadczenia węzła:

    spark.cassandra.connection.host <node1 IP>,<node 2 IP>, <node IP>
    spark.cassandra.auth.password cassandra
    spark.cassandra.connection.port 9042
    spark.cassandra.auth.username cassandra
    spark.cassandra.connection.ssl.enabled true
    

13. Dodaj bibliotekę łącznika Apache Spark Cassandra do klastra, aby nawiązać połączenie z punktami końcowymi natywnymi i punktami końcowymi cassandra usługi Azure Cosmos DB. W klastrze wybierz pozycję Biblioteki>Zainstaluj nowe>narzędzie Maven, a następnie dodaj com.datastax.spark:spark-cassandra-connector-assembly_2.12:3.0.0 współrzędne narzędzia Maven.

Czyszczenie zasobów

Jeśli nie zamierzasz nadal używać tego klastra wystąpień zarządzanych, usuń go, wykonując następujące czynności:

1. W menu po lewej stronie witryny Azure Portal wybierz pozycję Grupy zasobów.
2. Z listy wybierz grupę zasobów utworzoną na potrzeby tego przewodnika Szybki start.
3. W okienku Przegląd grupy zasobów wybierz pozycję Usuń grupę zasobów.
4. W następnym oknie wprowadź nazwę grupy zasobów do usunięcia, a następnie wybierz pozycję Usuń.

Następne kroki

W tym przewodniku Szybki start przedstawiono sposób tworzenia w pełni zarządzanego klastra Apache Spark w sieci wirtualnej wystąpienia zarządzanego platformy Azure dla klastra Apache Cassandra. Następnie możesz dowiedzieć się, jak zarządzać zasobami klastra i centrum danych:

Zarządzanie wystąpieniem zarządzanym platformy Azure dla zasobów apache Cassandra przy użyciu interfejsu wiersza polecenia platformy Azure