Apache Spark 構成を管理する

この記事では、Synapse Studio 用の Apache Spark 構成を作成する方法について説明します。 作成された Apache Spark 構成は標準化された方法で管理でき、Notebook または Apache Spark ジョブ定義を作成するときに、Apache Spark プールで使用する Apache Spark 構成を選択できます。 選択すると、構成の詳細が表示されます。

Apache Spark 構成を作成する

カスタム構成は、既存の Spark プールの Apache Spark 構成ページなどのさまざまなエントリ ポイントから作成できます。

Apache Spark 構成でカスタム構成を作成する

Synapse Studio で Apache Spark 構成を作成するには、次の手順に従います。

1. [管理]>[Apache Spark 構成] を選択します。

2. [新規] ボタンを選択して新しい Apache Spark 構成を作成するか、[ローカル .json ファイルをワークスペースにインポートする] を選択します。

3. [新規] ボタンを選択すると、[新しい Apache Spark 構成] ページが開きます。

4. [名前] には、任意の有効な名前を入力できます。

5. [説明] には、説明を入力できます。

6. [注釈] には、[新規] ボタンをクリックして注釈を追加したり、[削除] ボタンを選択しクリックして既存の注釈を削除することもできます。

7. [構成プロパティ] で、[追加] ボタンをクリックしてプロパティを追加し、構成をカスタマイズします。 プロパティを追加しない場合、Azure Synapse では必要に応じて既定値を使用します。

   

8. [続行] ボタンを選択します。

9. 検証が成功したら、[作成] ボタンを選択します。

10. すべて発行。

Note

Apache Spark 構成のアップロード機能が削除されました。

アップロードされた構成を使用するプールを更新する必要があります。 プールの [Apache Spark 構成] メニューで既存の構成を選択するか、新しい構成を作成して、プールの構成を更新します。 新しい構成が選択されていない場合、これらのプールのジョブは、Spark システム設定の既定の構成を使用して実行されます。

既存の Apache Spark プールに Apache Spark 構成を作成する

既存の Apache Spark プールに Apache Spark 構成を作成するには、次の手順に従います。

1. 既存の Apache Spark プールを選択し、アクション [...] ボタンを選択します。

2. コンテンツの一覧で [Apache Spark 構成] を選択します。

   

3. Apache Spark 構成について、ドロップダウン リストから既に作成されている構成を選択するか、[+新規] を選択して新しい構成を作成できます。

   • [+新規] を選択すると、[Apache Spark 構成] ページが開き、「Apache Spark 構成でカスタム構成を作成する」の手順に従って新しい構成を作成できます。

   • 既存の構成を選択すると、構成の詳細がページの下部に表示され、[編集] ボタンを選択して既存の構成を編集することもできます。

     

4. [構成の表示] を選択して、[構成の選択] ページを開きます。 このページには、すべての構成が表示されます。 この Apache Spark プールで使用する構成を選択できます。

   

5. [適用] ボタンを選択して、アクションを保存します。

Notebook の構成セッションで Apache Spark 構成を作成する

Notebook の作成時にカスタム Apache Spark 構成を使用する必要がある場合は、次の手順に従って [セッションの構成] で作成および構成できます。

1. 新しい Notebook を作成するか、既存の Notebook を開きます。

2. このノートブックの [プロパティ] を開きます。

3. [セッションの構成] を選択して、[セッションの構成] ページを開きます。

4. Apache Spark 構成の [セッションの構成] ページを下にスクロールし、ドロップダウン メニューを展開し、[新規] ボタンを選択して新しい構成を作成できます。 または、既存の構成を選択します。既存の構成を選択した場合は、[編集] アイコンを選択して [Apache Spark 構成の編集] ページに移動して構成を編集します。

5. [構成の表示] を選択して、[構成の選択] ページを開きます。 このページには、すべての構成が表示されます。 使用する構成を選択できます。

   

Apache Spark ジョブ定義で Apache Spark 構成を作成する

Spark ジョブ定義を作成するときは、Apache Spark 構成を使用する必要があります。この構成は、次の手順に従って作成できます。

1. 新しい Apache Spark ジョブ定義を作成、または既存の Apache Spark ジョブ定義を開きます。

2. [Apache Spark 構成] では、[新規] ボタンを選択して、新しい構成を作成できます。 または、ドロップダウン メニューで既存の構成を選択します。既存の構成を選択した場合は、[編集] アイコンを選択し、 [Apache Spark 構成の編集] ページに移動して構成を編集します。

3. [構成の表示] を選択して、[構成の選択] ページを開きます。 このページには、すべての構成が表示されます。 使用する構成を選択できます。

   

注意

Notebook および Apache Spark ジョブ定義の Apache Spark 構成で特に処理が行われなかった場合は、ジョブの実行時に既定の構成が使用されます。

Apache Spark 構成のインポートとエクスポート

.txt/.conf/.json 構成を 3 つの形式でインポートし、成果物に変換して公開できます。 また、これらの 3 つの形式のいずれかにエクスポートすることもできます。

• ローカルから .txt/.conf/.json 構成をインポートします。

  

• .txt/.conf/.json 構成をローカルにエクスポートします。

  

.txt 構成ファイルと .conf 構成ファイルについては、次の例を参照してください。

spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

.json 構成ファイルについては、次の例を参照してください。

{
"configs": {
   "spark.synapse.key1": "hello world",
"spark.synapse.key2": "true"
},
"annotations": [
   "Sample"
]
}

Note

Synapse Studio は、terraform または bicep ベースの構成ファイルを引き続きサポートします。

関連するコンテンツ

• Synapse Studio でサーバーレス Apache Spark プールを使用する。
• ノートブックで Spark アプリケーションを実行する。
• Azure Storage アカウントを使用して Apache Spark アプリケーションのログとメトリックを収集する。