簡介
Apache Spark 提供強大的平台,可在大量資料上執行資料清理和轉換工作。 藉由使用 Spark dataframe 物件,您可以輕鬆地從資料湖中的檔案載入資料,並執行複雜的修改。 您可以接著將轉換的資料儲存回資料湖,以進行下游處理或擷取至資料倉儲。
Azure Synapse Analytics 提供 Apache Spark 集區,可讓您用來執行 Spark 工作負載,以在資料擷取和準備工作負載中轉換資料。 您可以使用原生支援的筆記本,在 Spark 集區上撰寫和執行程式碼,為分析準備資料。 您可以接著使用 SQL 集區等其他 Azure Synapse Analytics 功能來處理轉換的資料。