管理 Apache Spark 設定

發行項
10/31/2024

在本教學課程中，您將瞭解如何建立 Synapse Studio 的 Apache Spark 組態。建立的 Apache Spark 組態可以標準化的方式管理，當您建立 Notebook 或 Apache spark 作業定義時，可以選取您想要搭配 Apache Spark 集區使用的 Apache Spark 組態。當您選取時，會顯示組態的詳細資料。

建立 Apache Spark 組態

您可以從不同的進入點建立自定義組態，例如從現有Spark集區的Apache Spark組態頁面。

在 Apache Spark 組態中建立自定義組態

請遵循下列步驟，在 Synapse Studio 中建立 Apache Spark 組態。

選取 [管理] > [Apache Spark 組態]。
按一下 [新增] 按鈕以建立新的 Apache Spark 設定，或按一下 [匯入] 將本機 .json 檔案匯入工作區。
按一下 [新增] 按鈕之後，[新增 Apache Spark 設定] 頁面隨即開啟。
針對 [名稱]，您可以輸入慣用的有效名稱。
針對 [描述]，您可以在其中輸入一些描述。
針對 [註釋]，您可以按一下 [新增] 按鈕來新增註釋，也可以選取並按一下 [刪除] 按鈕來刪除現有的註釋。
針對 [設定屬性]，按一下 [新增] 按鈕以新增屬性來自訂設定。如果您未新增屬性，Azure Synapse 將會在適用時使用預設值。
按兩下 [ 繼續] 按鈕。
當驗證成功時，按兩下 [ 建立 ] 按鈕。
全部發佈

注意

已移除上傳 Apache Spark 設定 功能，但 Synapse Studio 會保留您先前上傳的組態。

在現有的 Apache Spark 集區中建立 Apache Spark 組態

請遵循下列步驟，在現有的 Apache Spark 集區中建立 Apache Spark 組態。

選取現有的 Apache Spark 集區，然後按兩下動作 “...”按鈕。
選取 內容清單中的 Apache Spark 組態 。
針對 Apache Spark 組態，您可以從下拉式清單中選取已建立的組態，或按兩下 [ +新增 ] 以建立新的組態。
- 如果您按兩下 [+新增]，[Apache Spark 組態] 頁面隨即開啟，您可以遵循在Apache Spark 設定中建立自定義設定中的步驟來建立新的組態。
- 如果您選取現有的組態，則設定詳細資料會顯示在頁面底部，您也可以按兩下 [編輯 ] 按鈕來編輯現有的組態。
按兩下 [ 檢視組 態] 以開啟 [ 選取組態 ] 頁面。所有設定都會在此頁面上顯示。您可以選取您想要在此 Apache Spark 集區中使用的組態。
按兩下 [ 套用] 按鈕以儲存您的動作。

在 Notebook 的設定會話中建立 Apache Spark 組態

如果您需要在建立 Notebook 時使用自訂 Apache Spark 組態，您可以遵循下列步驟，在 設定會話 中建立和設定它。

建立新的/開啟現有的筆記本。
開啟此筆記本的屬性。
按兩下 [設定 工作階段 ] 以開啟 [設定工作階段] 頁面。
向下卷動 [設定會話] 頁面，針對 Apache Spark 設定展開下拉功能表，您可以按兩下 [新增] 按鈕來建立新的設定。或者選取現有的組態，如果您選取現有的組態，請按兩下 [編輯] 圖示以移至 [編輯 Apache Spark 組態] 頁面以編輯組態。
按兩下 [ 檢視組 態] 以開啟 [ 選取組態 ] 頁面。所有設定都會在此頁面上顯示。您可以選取要使用的組態。

在 Apache Spark 作業定義中建立 Apache Spark 組態

當您建立 Spark 作業定義時，必須使用 Apache Spark 組態，其可遵循下列步驟來建立：

建立新的/開啟現有的 Apache Spark 作業定義。
針對 Apache Spark 設定，您可以按兩下 [新增] 按鈕來建立新的設定。或選取下拉功能表中的現有組態，如果您選取現有的組態，請按兩下 [編輯] 圖示以移至 [編輯 Apache Spark 組態] 頁面以編輯組態。
按兩下 [ 檢視組 態] 以開啟 [ 選取組態 ] 頁面。所有設定都會在此頁面上顯示。您可以選取要使用的組態。

注意

如果 Notebook 和 Apache Spark 作業定義中的 Apache Spark 組態不會執行任何特殊動作，則執行作業時會使用預設組態。

匯入和導出 Apache Spark 組態

您可以匯入.txt/.conf/.json三種格式的組態，然後將它轉換成成品並加以發佈。也可以匯出為這三種格式的其中一種。

從本機匯入.txt/.conf/.json組態。
將.txt/.conf/.json組態導出至本機。

如需.txt組態檔和 .conf 組態檔，您可以參考下列範例：


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

針對.json組態檔，您可以參考下列範例：

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}

注意

Synapse Studio 將繼續支援以 terraform 或 bicep 為基礎的組態檔。

共用方式為