はじめに
Apache Spark は、大規模なデータ処理と分析のためのオープンソースの並列処理フレームワークです。 Spark は、"ビッグ データ" 処理のシナリオで人気が高まっており、Azure HDInsight、Azure Synapse Analytics、Microsoft Fabric など、複数のプラットフォーム実装で利用できます。
このモジュールでは、Microsoft Fabric で Spark を使用してレイクハウスからデータを取り込み、処理し、分析する方法について説明します。 このモジュールで説明する核心となる手法とコードはすべての Spark 実装に共通していますが、Microsoft Fabric の他のデータ サービスと同じ環境で Spark を操作するための統合ツールと機能を使用すると、Spark ベースのデータ処理をデータ分析ソリューション全体に組み込みやすくなります。