ワークスペース ライブラリと Spark プロパティを既定の環境に移行する
Microsoft Fabric 環境では、Spark ジョブを実行するための柔軟な構成が提供されます。 環境では、別の Spark ランタイムを選択したり、コンピューティング リソースを構成したり、パブリック リポジトリからライブラリをインストールしたり、ローカルのカスタムビルド ライブラリをアップロードしたりできます。 ノートブックと Spark ジョブ定義に環境を簡単にアタッチできます。
Data Engineering と Data Science のワークスペース設定は、Fabric 環境を含むようにアップグレードされます。 このアップグレードの一環として、Fabric ではワークスペース設定に新しいライブラリと Spark プロパティを追加することがサポートされなくなりました。 代わりに、Fabric 環境を作成し、その中にライブラリとプロパティを構成し、ワークスペースの既定の環境としてこれをアタッチすることができます。 環境を作成し、それをデフォルトとして設定した後、既存のライブラリと Spark プロパティをその既定の環境に移行できます。
このチュートリアルでは、既存のワークスペース ライブラリと Spark プロパティを環境に移行する方法について説明します。
重要
- ワークスペースの設定は管理者に制限されます。
- 既存のワークスペース設定は、環境がアタッチされていない場合、ノートブックまたは Spark ジョブ定義で引き続き有効です。 ただし、これらの設定をさらに変更することはできません。 既存の設定を環境に移行することを強くお勧めします。
- 移行プロセスには、既存の構成をすべて完全に削除する手順が含まれます。 以下の手順に慎重に従ってください。 誤って削除されたファイルを元に戻す方法はありません。
移行用のファイルを準備する
ワークスペース設定で、既存の構成を確認します。
現在のランタイムのバージョンをメモします。
[すべてのファイルをダウンロードする] を選んで、既存の構成をダウンロードします。
コンテンツは別々のファイルとしてダウンロードされます。 Sparkproperties.yml には、すべての Spark プロパティのキーと値のペアが含まれています。 Publiclibrary.yml ファイルには、すべてのパブリック ライブラリ定義が含まれています。 自分または組織によってアップロードされたカスタム パッケージは、ファイルとして 1 つずつダウンロードされます。
ファイルがダウンロードされたら、移行できます。
環境を作成して構成する
ワークスペースの一覧/作成ハブに環境を作成します。 新しい環境を作成すると、[環境] ページが表示されます。
環境の [ホーム] タブで、ランタイム バージョンが既存のワークスペース ランタイムと同じであることを確認します。
ワークスペース設定にパブリック ライブラリがない場合は、この手順をスキップします。 [パブリック ライブラリ] セクションに移動し、リボンの [.yml から追加する] を選びます。 既存のワークスペース設定からダウンロードした Publiclibrary.yml をアップロードします。
ワークスペース設定にカスタム ライブラリがない場合は、この手順をスキップします。 [カスタム ライブラリ] セクションに移動し、リボンの [アップロード] を選びます。 既存のワークスペース設定からダウンロードしたカスタム ライブラリ ファイルをアップロードします。
ワークスペース設定に Spark プロパティがない場合は、この手順をスキップします。 [Spark プロパティ] セクションに移動し、リボンの [アップロード] を選びます。 既存のワークスペース設定からダウンロードした Sparkproperties.yml ファイルをアップロードします。
[発行] を選び、変更をもう一度慎重に確認します。 すべてが正しい場合は、変更を発行します。 発行が終了するまで数分かかります。
発行が完了すると、環境は正常に構成されました。
ワークスペース設定で既定の環境を有効にして選択する
重要
[環境を有効にする] を選ぶと、既存の構成はすべて破棄されます。 続行する前に、既存の構成をすべてダウンロードし、環境に正常にインストールしていることを確認してください。
[ワークスペース設定] ->[Data Engineering/Science] ->[環境] に移動し、[環境を有効にする] を選びます。 このアクションにより、既存の構成が削除され、ワークスペースレベルの環境エクスペリエンスが開始されます。
既存の構成が正常に削除されると、次の画面が表示されます。
[環境のカスタマイズ] トグルを [オン] の位置に移動します。 このオプションを使うと、環境をワークスペースの既定としてアタッチできます。
前の手順で構成した環境をワークスペースの既定として選び、[保存] を選びます。
[Spark 設定] ページの [ワークスペースの既定の環境] に新しい環境が表示されていることを確認します。