使用 Azure HDInsight 中的 Apache Spark 和 Kafka，執行進階串流資料轉換

  • 模組
  • 11 單位
中級
資料工程師
資料科學家
Azure HDInsight

在本課程模組中，您會了解如何使用 Azure HDInsight 並搭配 Apache Kafka 和 Apache Spark，在雲端上建立即時串流資料分析管線和應用程式。

學習目標

在本課程模組結束時，您會了解：

  • 何時可將 Apache Spark 與 Kafka 和 HDInsight 搭配使用。
  • Spark 結構化串流。
  • Kafka 與 Spark 解決方案的結構。
  • 如何佈建 HDInsight、建立 Kafka 生產者，以及將 Kafka 資料串流至 Jupyter 筆記本。
  • 如何將資料複寫至次要叢集。

必要條件

必須完成下列先決條件：

  • 成功登入 Azure 入口網站。
  • 了解 Azure 儲存體選項。
  • 了解 Azure 計算選項。
  • 在 Azure 入口網站中建立和設定 HDInsight 叢集。