次の方法で共有


データ レイクハウスのオペレーショナル エクセレンス

オペレーショナル エクセレンス 柱のアーキテクチャ原則は、レイクハウスを稼働させ続けるすべての運用プロセスをカバーしています。 オペレーショナル エクセレンスは、レイクハウスを効率的に運用する能力に対処し、レイクハウスを運用、管理、監視してビジネス価値を提供する方法について説明します。

Databricks のオペレーショナル エクセレンスレイクハウス アーキテクチャ図。

オペレーショナル エクセレンスの原則

  1. ビルドプロセスとリリース プロセスの最適化

    レイクハウス環境全体でソフトウェア エンジニアリングのベスト プラクティスを使用します。 DevOps と MLOps の両方の継続的インテグレーションと継続的デリバリー パイプラインを使用してビルドとリリースを行います。

  2. デプロイとワークロードの を自動化する

    Lakehouse のデプロイとワークロードを自動化することで、これらのプロセスを標準化し、人為的ミスをなくし、生産性を向上させ、再現性を高めることができます。 これには、構成のずれを回避するための "コードとしての構成" と、必要なすべての Lakehouse およびクラウド サービスのプロビジョニングを自動化するための "コードとしてのインフラストラクチャ" の使用が含まれます。

    特に ML の場合、プロセスは自動化を推進する必要があります。プロセスのすべてのステップを自動化できる、または自動化する必要はありません。 ビジネス上の質問は引き続き決定されます。一部のモデルでは、デプロイ前に常に人間による監視が必要になります。 そのため、開発プロセスはプライマリであり、プロセス内の各モジュールは必要に応じて自動化する必要があります。 これにより、自動化とカスタマイズの段階的なビルドアウトが可能になります。

  3. 監視、アラート、ログ記録の を設定する

    Lakehouse のワークロードは、通常、Databricks プラットフォーム サービスと外部クラウド サービス (データ ソースやターゲットなど) を統合します。 正常な実行は、実行チェーン内の各サービスが正常に機能している場合にのみ発生します。 そうでない場合は、問題を検出して追跡し、システムの動作を理解するために、監視、アラート、ログ記録が重要です。

  4. 容量とクォータの管理

    クラウドで起動されるサービスの場合は、アクセス レートの制限、インスタンス数、ユーザー数、メモリ要件などの制限を考慮します。 ソリューションを設計する前に、これらの制限を理解する必要があります。

次へ: オペレーショナル エクセレンスのベスト プラクティス

オペレーショナルエクセレンスのベストプラクティス を参照してください。