次の方法で共有

Fabric Runtime 1.1 (EOSA)

  • [アーティクル]

Microsoft Fabric Runtime は、Apache Spark に基づく Azure 統合プラットフォームであり、Fabric でのデータ エンジニアリングとデータ サイエンスのエクスペリエンスの実行と管理を可能にします。 このドキュメントでは、Fabric Runtime 1.1 のコンポーネントとバージョンについて説明します。

警告

Runtime 1.1 のサポート終了日は、2024 年 7 月 12 日と発表されました。 Apache Spark 3.3 に基づくRuntime 1.1 は、2025 年 3 月 31 日の時点で非推奨および無効になります。 ワークスペース と環境をRuntime 1.2 またはRuntime 1.3 にアップグレードしてください。 Fabric の Apache Spark ランタイムの完全なライフサイクルとサポート ポリシーについては、「Fabric の Apache Spark ランタイムのライフサイクル」を参照してください。

Microsoft Fabric Runtime 1.1 は Microsoft Fabric プラットフォーム内で提供されているランタイムの 1 つです。 Runtime 1.1 の主要コンポーネントは次のとおりです。

  • Apache Spark 3.3
  • オペレーティング システム: Ubuntu 18.04
  • Java: 1.8.0_282
  • Scala: 2.12.15
  • Python: 3.10
  • Delta Lake: 2.2
  • R: 4.2.2

ヒント

運用環境のワークロードには常に最新の GA ランタイム バージョンを使用します。現在は Runtime 1.3 です。

Microsoft Fabric Runtime 1.1 には、完全な Anaconda インストールや Java/Scala、Python、R でよく使用されるライブラリなど、デフォルトレベル パッケージのコレクションが付属しています。これらのライブラリは、Microsoft Fabric プラットフォームでNotebookまたはジョブを使用する場合に自動的に含まれます。 ライブラリの完全な一覧については、ドキュメントを参照してください。

Microsoft Fabric では、Runtime 1.1 のメンテナンス更新プログラムを定期的にリリースして、バグ修正、パフォーマンスの向上、セキュリティ パッチを提供しています。 これらの更新プログラムで常に最新の状態を確保すると、データ処理タスクの最適なパフォーマンスと信頼性が保証されます。 現在ランタイム 1.1 を使用している場合は、ワークスペース設定 > データ エンジニアing/Science > Spark 設定>環境に移動して、Runtime 1.3 または Runtime 1.2 にアップグレードできます。

ランタイム バージョンを選択する場所を示すスクリーンショット。

新機能と機能強化 - Apache Spark 3.3.1

Apache Spark の特定のバージョンに関するリリース ノートの完全なバージョンについては、Spark 3.3.0 と Spark 3.3.1 をご覧ください。

新機能と機能強化 - Delta Lake 2.2

Delta Lake 2.2.0 のソースと完全なリリース ノートを確認します。

Java/Scala のデフォルトレベル パッケージ

Java、Scala、Python、およびそれぞれのバージョンのすべてのデフォルトのレベル パッケージの一覧については、「リリース ノート」を参照してください。

異なる Apache Spark バージョン間の移行

以前のバージョンの Apache Spark から Fabric Runtime 1.1 (Apache Spark 3.3) へのワークロードの移行では、移行をスムーズに行うために一連の手順が必要です。 このガイドでは、移行を効率的かつ効果的に実施するために必要な手順について説明します。

  1. 新規機能、機能強化を理解するには、ランタイムに含まれるコンポーネントやデフォルトレベルのパッケージの確認など、Fabric Runtime 1.1 のリリース ノートを確認してください。

  2. 現在のセットアップと、依存関係や統合を含むすべての関連ライブラリとの互換性を確認します。 以下の移行ガイドを確認して、破壊的変更の可能性を特定します。

  3. ワークロードを Fabric に移動し、前のバージョンに戻す必要がある場合に備えて、データファイルと構成ファイルのバックアップがあることを確認します。

  4. 新規バージョンの Apache Spark または他の Fabric Runtime 1.1 関連コンポーネントが影響を与える可能性のある依存関係 (サードパーティのライブラリやコネクタなど) を更新します。 運用環境にデプロイする前に、更新された依存関係をステージング環境で必ずテストしてください。

  5. 構成設定の更新、メモリ割り当ての調整、非推奨の構成の変更など、ワークロードの Apache Spark 構成を更新します。

  6. Apache Spark アプリケーション (Notebookと Apache Spark ジョブ定義) を変更して、Fabric Runtime 1.1 と Apache Spark 3.3 で導入された新規 API と機能を使用するようにします。 非推奨または削除された API に対応するためにコードを更新し、パフォーマンスの向上や新規機能を活用するためにアプリケーションをリファクタリングする必要がある場合があります。

  7. Apache Spark 3.3 との互換性と安定性を確保するために、更新されたアプリケーションをステージング環境で徹底的にテストします。 パフォーマンス テスト、機能テスト、回帰テストを実行して、移行プロセス中に発生する可能性のある問題を特定して解決します。

  8. アプリケーションをステージング環境で検証した後、更新されたアプリケーションを運用環境にデプロイします。 移行後のアプリケーションのパフォーマンスと安定性を監視して、対処する必要がある問題を特定します。

  9. Fabric Runtime 1.1 で導入された変更を反映するように、内部ドキュメントとトレーニング資料を更新します。 移行の利点を最大限に引き出すために、チーム メンバーが必ず新機能と改良点に精通しているようにしましょう。

関連するコンテンツ