管理 Apache Spark 設定

在本文中，您將瞭解如何為 synapse Studio 建立 Apache Spark 組態。 建立的 Apache Spark 組態可以標準化的方式管理，當您建立 Notebook 或 Apache spark 作業定義時，可以選取您想要搭配 Apache Spark 集區使用的 Apache Spark 組態。 當您選取時，會顯示組態的詳細資料。

建立 Apache Spark 組態

您可以從不同的進入點建立自定義組態，例如從現有Spark集區的Apache Spark組態頁面。

在 Apache Spark 組態中建立自定義組態

請遵循下列步驟，在 Synapse Studio 中建立 Apache Spark 組態。

1. 選取 [管理] > [Apache Spark 組態]。

2. 選取 [新增 ] 按鈕以建立新的 Apache Spark 組態，或選取 [ 將本機.json檔案匯 入工作區。

3. 選取 [新增] 按鈕之後，將會開啟新的 Apache Spark 組態頁面。

4. 針對 [名稱]，您可以輸入慣用的有效名稱。

5. 針對 [描述]，您可以在其中輸入一些描述。

6. 針對 [註釋]，您可以按一下 [新增] 按鈕來新增註釋，也可以選取並按一下 [刪除] 按鈕來刪除現有的註釋。

7. 針對 [設定屬性]，按一下 [新增] 按鈕以新增屬性來自訂設定。 如果您未新增屬性，Azure Synapse 會在適用時使用預設值。

   

8. 選取 [ 繼續] 按鈕。

9. 當驗證成功時，請選取 [建立 ] 按鈕。

10. 全部發佈。

注意

已移除上傳 Apache Spark 組態 功能。

必須使用上傳的組態來更新集區。 選取現有的組態或在集區的 Apache Spark 組態功能表中建立新組態，以更新集區的組態。 如果未選取新的組態，這些集區的作業將會使用Spark系統設定中的預設組態來執行。

在現有的 Apache Spark 集區中建立 Apache Spark 組態

請遵循下列步驟，在現有的 Apache Spark 集區中建立 Apache Spark 組態。

1. 選取現有的 Apache Spark 集區，然後選取動作 “...”按鈕。

2. 選取 內容清單中的 Apache Spark 組態 。

   

3. 針對 Apache Spark 組態，您可以從下拉式清單中選取已建立的組態，或選取 [+新增 ] 以建立新的組態。

   • 如果您選取 [+新增]，[Apache Spark 組態] 頁面隨即開啟，您可以遵循在 Apache Spark 設定中建立自定義組態中的 步驟來建立新的組態。

   • 如果您選取現有的組態，則設定詳細資料會顯示在頁面底部，您也可以選取 [編輯 ] 按鈕來編輯現有的組態。

     

4. 選取 [檢視組態 ] 以開啟 [ 選取組態 ] 頁面。 所有設定都會在此頁面上顯示。 您可以選取您想要在此 Apache Spark 集區中使用的組態。

   

5. 選取 [ 套用] 按鈕以儲存您的動作。

在 Notebook 的設定會話中建立 Apache Spark 組態

如果您需要在建立 Notebook 時使用自訂 Apache Spark 組態，您可以遵循下列步驟，在 設定會話 中建立和設定它。

1. 建立新的/開啟現有的筆記本。

2. 開啟此筆記本的屬性。

3. 選取 [ 設定會話 ] 以開啟 [設定會話] 頁面。

4. 向下卷動 [設定會話] 頁面，針對 [Apache Spark 設定]，展開下拉功能表，您可以選取 [新增] 按鈕以 建立新的設定。 或者選取現有的組態，如果您選取現有的組態，請選取 [編輯] 圖示以移至 [編輯 Apache Spark 組態] 頁面以編輯組態。

5. 選取 [檢視組態 ] 以開啟 [ 選取組態 ] 頁面。 所有設定都會在此頁面上顯示。 您可以選取要使用的組態。

   

在 Apache Spark 作業定義中建立 Apache Spark 組態

當您建立 Spark 作業定義時，必須使用 Apache Spark 組態，其可遵循下列步驟來建立：

1. 建立新的/開啟現有的 Apache Spark 作業定義。

2. 針對 Apache Spark 組態，您可以選取 [ 新增 ] 按鈕來 建立新的組態。 或選取下拉功能表中的現有組態，如果您選取現有的組態，請選取 [編輯] 圖示以移至 [編輯 Apache Spark 組態] 頁面以編輯組態。

3. 選取 [檢視組態 ] 以開啟 [ 選取組態 ] 頁面。 所有設定都會在此頁面上顯示。 您可以選取要使用的組態。

   

注意

如果 Notebook 和 Apache Spark 作業定義中的 Apache Spark 組態不會執行任何特殊動作，則執行作業時會使用預設組態。

匯入和導出 Apache Spark 組態

您可以匯入.txt/.conf/.json三種格式的組態，然後將它轉換成成品並加以發佈。 也可以匯出為這三種格式的其中一種。

• 從本機匯入.txt/.conf/.json組態。

  

• 將.txt/.conf/.json組態導出至本機。

  

如需.txt組態檔和 .conf 組態檔，您可以參考下列範例：

spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

針對.json組態檔，您可以參考下列範例：

{
"configs": {
   "spark.synapse.key1": "hello world",
"spark.synapse.key2": "true"
},
"annotations": [
   "Sample"
]
}

注意

Synapse Studio 將繼續支援以 terraform 或 bicep 為基礎的組態檔。

相關內容

• 在 Synapse Studio 中使用無伺服器 Apache Spark 集區。
• 在筆記本中執行 Spark 應用程式。
• 使用 Azure 儲存體帳戶收集 Apache Spark 應用程式記錄和計量。