まとめ

このモジュールでは、Azure API Management と共に Azure OpenAI を使用する方法について説明しました。これらのサービスを組み合わせることで、AI モデルへのアクセスを管理し、セキュリティで保護することができます。

まず、負荷分散の問題と、Azure API Management を使用してトラフィックを管理し、バックエンド間で負荷が均等に分散されるようにする方法について説明しました。また、サーキットブレーカーの詳細と、それを使用して異常なバックエンドからトラフィックを誘導する方法についても説明しました。

次に、トークンベースのレート制限と、それを使用して API へのアクセスを制御する方法について説明しました。トークンの消費に制限を設定することで、過剰消費、いわゆる "ノイジーネイバー"を回避することを学習することが重要でした。

最後に、Azure OpenAI 生成トークンメトリックポリシーを使用してトークンの使用パターンを監視および分析する方法について説明しました。包括的なメトリックを提供することで、リソースの割り当てを最適化し、意思決定を改善し、パフォーマンスの監視を強化できます。

次のステップ

推奨される次の手順を次に示します。