データ レイクハウスのオペレーショナル エクセレンス

オペレーショナル エクセレンスの主要なアーキテクチャ原則は、レイクハウスを稼働させ続けるすべての運用プロセスに対応しています。 オペレーショナル エクセレンスは、レイクハウスを効率的に運用する能力に対処し、レイクハウスを運用、管理、監視してビジネス価値を提供する方法について説明します。

オペレーショナル エクセレンスの原則

1. ビルド プロセスとリリース プロセスを最適化する

   レイクハウス環境全体でソフトウェア エンジニアリングのベスト プラクティスを使用します。 DevOps と MLOps の両方の継続的インテグレーションと継続的デリバリー パイプラインを使用してビルドとリリースを行います。

2. デプロイとワークロードを自動化する

   レイクハウスのデプロイとワークロードを自動化することで、これらのプロセスを標準化し、人為的ミスをなくし、生産性を向上させ、再現性を高めることができます。 これには、構成のずれを回避するための "コードとしての構成" と、必要なすべてのレイクハウスおよびクラウド サービスのプロビジョニングを自動化するための "コードとしてのインフラストラクチャ" の使用が含まれます。

   特に ML の場合、プロセスによって自動化を進める必要があります。プロセスのすべてのステップを自動化できるわけではなく、また自動化するべきではありません。 ビジネス上の課題は引き続き人によって決定されます。一部のモデルでは、デプロイ前に常に人による監視が必要になります。 そのため、開発プロセスがプライマリであり、必要に応じてプロセス内の各モジュールが自動化される必要があります。 これにより、自動化とカスタマイズの段階的なビルドアウトが可能になります。

3. 監視、アラート、ログを設定する

   レイクハウスのワークロードは、通常、Databricks プラットフォーム サービスと外部クラウド サービス (例えばデータ ソースやターゲットとして) を統合します。 正常な実行は、実行チェーン内の各サービスが正常に機能している場合にのみ発生します。 そうでない場合は、問題を検出して追跡し、システムの動作を理解するために、監視、アラート、ログ記録が重要です。

4. 容量とクォータを管理する

   クラウドで起動されるサービスの場合は、アクセス レートの制限、インスタンス数、ユーザー数、メモリ要件などの制限を考慮します。 ソリューションを設計する前に、これらの制限を理解する必要があります。

次へ: オペレーショナル エクセレンスのベスト プラクティス

「オペレーショナル エクセレンスのベスト プラクティス」を参照してください。