Azure AI マルチサービスリソースを Azure AI Search のスキルセットにアタッチする

[アーティクル]
11/19/2024

Azure AI 検索でオプションの AI エンリッチメントパイプラインを構成すると、インデックスごとに 1 日あたり 20 トランザクションを上限として、少数のドキュメントを無料でエンリッチできます。大規模で頻繁なワークロードの場合は、請求可能なAzure AI マルチサービスリソースをアタッチする必要があります。

マルチサービスアカウントは、個々のサービスではなく、Azure AI サービスのコレクションを提供します。 Azure AI 検索スキルセットでアカウントを指定すると、Microsoft はこれらのサービスの利用料金を請求できます。

画像分析、光学式文字認識 (OCR)、マルチモーダルテキストと画像の埋め込みのための Azure AI Vision。
言語検出、エンティティ認識、感情分析、およびキーフレーズ抽出のためのAzure AI 言語
音声テキスト変換およびテキスト読み上げのAzure AI 音声
マシンテキスト翻訳のための Azure AI 翻訳

Azure AI マルチリソースへの接続情報を、スキルセット内で指定する必要があります。 Azure AI 検索では、スキルセットワークロードの接続を使用しませんが、リソースの課金メーターへのアクセスにはこの接続を使用します。そのため、ユーザーの Azure AI サービスアカウントは、課金には使用されますが、スキル処理には使用されません。 Azure AI 検索では、スキル処理に個別の専用リソースが使用されます。

接続には、キーを使用するか、キーレスアプローチ (現在プレビュー段階) を実行します。

ヒント

Azure には、課金と予算を監視するためのインフラストラクチャが用意されています。 Azure AI サービスの監視の詳細については、「 Azure AI サービスのコストを計画および管理する」を参照してください。

前提条件

パブリックエンドポイント経由の接続 (利用中の検索サービスが Azure AI マルチサービスアカウントへのプライベート接続の作成日、レベル、リージョンの要件を満たしていない場合)。

Note

Azure AI リソースがプライベートエンドポイントを使用するように構成されている場合に、この検索サービスが 2024 年 4 月 3 日より後にされ、より大容量のコンピューティング能力を備えたリージョン内に存在しており、サポート対象のレベルにある場合は、Azure AI 検索には共有プライベートリンクを使用して接続できます。詳細については、共有プライベートリンク使用の要件を確認してください。

キーレス接続での課金

Note

現在、この機能はパブリックプレビュー段階にあります。このプレビュー版はサービスレベルアグリーメントなしで提供されています。運用環境のワークロードに使用することはお勧めできません。特定の機能はサポート対象ではなく、機能が制限されることがあります。詳しくは、Microsoft Azure プレビューの追加使用条件に関するページをご覧ください。

Azure portal、または最近のプレビュー REST API やベータ版の SDK パッケージを使用すると、マネージド ID とアクセス許可を使用して Azure AI マルチサービスリソースをアタッチできます。この方法には、課金がキーレスで行われるだけではなくリージョンに依存しないという利点があります。

マネージド ID を使用するように Azure AI 検索を構成する.
Azure AI マルチサービスリソースで、Cognitive Services ユーザー ロールを ID に割り当てます。
Azure portal、Skillset 2024-11-01-preview REST API、または構文が用意されている Azure SDK ベータ版パッケージを使用して、ID を使用するようにスキルセットを構成します。
- 接続で使用されているマネージド ID は、検索サービスに属しています。
- この ID は、システムマネージドでもユーザー割り当てでもかまいません。
- ID には、Azure AI リソースでの Cognitive Services ユーザー アクセス許可が必要です。
- @odata.type は常に #Microsoft.Azure.Search.AIServicesByIdentity です。
- subdomainUrl は、Azure AI マルチサービスリソースのエンドポイントです。これは、Azure AI 検索と Azure AI サービスの共同でサポートされているどのリージョンにも配置できます。

キーと同様に、Azure AI サービスリソースについて提供した詳細は、接続ではなく、課金に使用されます。組み込みのスキル処理のために Azure AI 検索によって Azure AI サービスに対して行われたすべての API 要求は、Microsoft で引き続き内部的に管理されます。

例: システム割り当てマネージド ID

ID は null に設定されます。

POST https://[service-name].search.windows.net/skillsets/[skillset-name]?api-version=2024-11-01-Preview  

{  
    "name": "my skillset name",  
    "skills":   
    [  
      // skills definition goes here 
    ],  
    "cognitiveServices": {  
        "@odata.type": "#Microsoft.Azure.Search.AIServicesByIdentity",  
        "description": "",  
        "subdomainUrl": “https://[subdomain-name].cognitiveservices.azure.com",  
        "identity": null 
    }  
}

例: ユーザー割り当てマネージド ID

ID は、ユーザー割り当てマネージド ID のリソース ID に設定されます。既存のユーザー割り当てマネージド ID を見つけるには、「ユーザー割り当てマネージド ID の管理」を参照してください。

ユーザー割り当てマネージド ID の場合は、@odata.type プロパティと userAssignedIdentity プロパティを設定します。

POST https://[service-name].search.windows.net/skillsets/[skillset-name]?api-version=2024-11-01-Preview  

{  
    "name": "my skillset name",  
    "skills":   
    [  
      // skills definition goes here 
    ],  
    "cognitiveServices": {  
        "@odata.type": "#Microsoft.Azure.Search.AIServicesByIdentity",  
        "description": "",  
        "subdomainUrl": “https://[subdomain-name].cognitiveservices.azure.com",  
        "identity": {   
            "@odata.type":  "#Microsoft.Azure.Search.DataUserAssignedIdentity",   
            "userAssignedIdentity": ""/subscriptions/{subscription-ID}/resourceGroups/{resource-group-name}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{user-assigned-managed-identity-name}"" 
        }
    } 
}

リソースキー経由での課金

Azure AI 検索では、Azure AI マルチサービスリソースキーを使用したトランザクションにも料金がかかることがあります。この方法が既定であり、一般的に利用できます。 Azure portal、REST API、または Azure SDK を使用して、スキルセットにキーを追加できます。

サポートされているキーの種類には、リージョンのエンドポイントを呼び出す #Microsoft.Azure.Search.CognitiveServicesByKey と、サブドメインを呼び出す "#Microsoft.Azure.Search.AIServicesByKey の 2 種類があります。共有プライベートリンクのサポートと、検索サービスに関連するリージョン要件のない機能には、AIServicesByKey を使うことをお勧めします。

cognitiveServices プロパティを指定しないままにすると、検索サービスによって、お使いのインデクサーで 1 日単位で利用できる無料のエンリッチメントの使用が試みられます。課金対象のスキルの実行は、インデクサーの呼び出しごとに 20 トランザクションで停止し、インデクサーの実行履歴に "タイムアウト" のメッセージが表示されます。

Azure portal にサインインします。
検索サービスと同じリージョンで Azure AI マルチサービスリソースを作成します。
[リソース]>[キーとエンドポイント] ページからリソースキーを取得します。
スキルセット定義にキーを追加します。
- データインポートウィザードを使用する場合は、Azure AI アカウントを作成または選択します。ウィザードによって、スキルセット定義にリソースキーが追加されます。
- 新規または既存のスキルセットの場合は、スキルセット定義でキーを指定します。

Note

現在、Azure portal は種類が #Microsoft.Azure.Search.CognitiveServicesByKey のキーを自動的にアタッチします。

スキルセットの作成または更新 API を使用し、要求本文で cognitiveServices セクションを指定します。

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2024-11-01-Preview
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.AIServicesByKey",
        "description": "mycogsvcs",
        "subdomainUrl": “https://[subdomain-name].cognitiveservices.azure.com",
        "key": "<your key goes here>"
    }
}

次のコードスニペットは azure-search-dotnet-samples から抜粋した簡略版です。

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

キーを削除します

エンリッチメントは課金対象の操作です。 Azure AI サービスを呼び出す必要がなくなった場合は、次の手順に従ってマルチサービスキーを削除し、外部リソースを使用できないようにします。キーがないと、スキルセットは、インデクサーごとに 1 日あたり 20 個の無料トランザクションの既定の割り当てに戻ります。課金対象のスキルの実行は、20 トランザクションで停止し、割り当てを使い切るとインデクサーの実行履歴に "タイムアウト" のメッセージが表示されます。

Azure Portal
REST

Azure portal にサインインします。
[検索管理] > [スキルセット] で、一覧からスキルセットを選択します。
"cognitiveServices" を含むファイル内のセクションまでスクロールします。
JSON からキー値を削除し、スキルセットを保存します。

スキルセットを取得して、完全な定義を得ます。
Update Skillset 要求を作成し、スキルセットの JSON 定義を提供します。

定義の本文でキーを削除し、要求を送信します:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2024-07-01
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": ""
    }
}

または、"cognitiveServices" を null 値に設定することもできます:

"cognitiveServices": null,

キーの使用方法

課金は、Azure AI サービスリソースへの API 呼び出しがインデクサー 1 つにつき 1 日あたり 20 件を超えると発生します。インデクサーをリセットして API 数をリセットできます。

キーレス接続とキーベース接続が課金に使用されますが、エンリッチメント操作の接続には使用されません。接続については、検索サービスは、同じ物理リージョンに配置されている Azure AI サービスリソースに内部ネットワーク経由で接続します。 Azure AI Search を提供するほとんどのリージョンでは、言語などの他の Azure AI サービスも提供されています。両方のサービスがないリージョンで AI エンリッチメントを試行した場合、"Provided key is not a valid CognitiveServices type key for the region of your search service (指定されたキーは、検索サービスのリージョンに対して有効な CognitiveServices タイプのキーではありません)" というメッセージが表示されます。

インデクサーは、独自の検索サービスの検索ノードのみを使用した専用処理を目的にプライベート実行環境で実行するように構成できます。プライベート実行環境を使用している場合であっても、Azure AI 検索では引き続き、内部プロビジョニング済みの Azure AI マルチサービスリソースを使用して、すべてのスキルエンリッチメントが実行されます。

Note

一部の組み込みスキルは、非リージョンの Azure AI サービス (テキスト翻訳スキルなど) をベースとしています。リージョン以外のスキルを使用すると、Azure AI Search リージョン以外のリージョンで要求が処理される可能性があります。リージョン以外のサービスの詳細については、「リージョン別の Azure AI サービス製品」ページを参照してください。

パブリック接続の要件

検索サービスが作成された時期、レベル、リージョンによっては、組み込みのスキルの課金に、Azure AI 検索から Azure AI マルチサービスへの接続が必要となることがあります。パブリックネットワークアクセスを無効にすると、一部のシナリオで課金ができなくなります。共有プライベートリンク経由の接続の要件を確認して、利用中の検索サービスでパブリック接続が必要かどうかを確認します。

パブリックネットワークを使用できない場合は、プライベートエンドポイントをサポートしており、同じ VNET への Azure AI サービスリソースが追加されている Azure 関数を使用して実行したカスタム Web API スキルを構成できます。この方法では、プライベートエンドポイントを使用して、カスタムスキルから直接 Azure AI サービスリソースを呼び出すことができます。

重要な要件の特別なケース

カスタムエンティティ検索は、Azure AI サービスではなく Azure AI Search によって測定されますが、インデクサーあたりで 1 日あたり 20 を超えるトランザクションのロックを解除するには、Azure AI マルチサービスリソースキーが必要です。このスキルの場合のみ、リソースキーによってトランザクション数のブロックが解除されますが、課金とは無関係です。

無料エンリッチメント

AI エンリッチメントでは、課金対象のエンリッチメントを少量無料で処理できるため、Azure AI マルチサービスリソースをアタッチしなくても短い演習を完了できます。無料のエンリッチメントは、インデクサーごとに 1 日あたり 20 ドキュメントです。演習を繰り返す場合は、インデクサーをリセットすることで、カウンターをリセットできます。

一部のエンリッチメントは常に無料です。

Azure AI サービスを呼び出さないユーティリティスキル (つまり、条件付き、ドキュメント抽出、 Shaper、テキストマージ、およびテキスト分割スキル) は課金されません。
PDF ドキュメントやその他のアプリケーションファイルからのテキスト抽出は、課金対象外です。テキスト抽出はドキュメント解析中に発生します。テキスト抽出は AI エンリッチメントではありませんが、AI エンリッチメント中に発生するため、ここに記載します。

課金対象のエンリッチメント

AI エンリッチメント中、Azure AI Search は、Azure AI Vision、Translator、Azure AI Language に基づく組み込みのスキルのために Azure AI サービス API を呼び出します。

Azure AI サービスへのバックエンド呼び出しを行う課金対象の組み込みスキルには、エンティティリンク、エンティティ認識、画像分析、キーフレーズ抽出、言語検出、OCR、個人を特定できる情報 (PII) 検出、センチメント、テキスト翻訳があります。

画像抽出は、エンリッチメントの前にドキュメントが解読されたときに発生する Azure AI Search 操作です。画像抽出は、Free レベルでの 1 日 20 回の無料抽出を除き、すべてのレベルで課金対象です。画像抽出コストは、BLOB 内の画像ファイル、他のファイル (PDF および他のアプリファイル) に埋め込まれた画像、およびドキュメント抽出を使用して抽出された画像に適用されます。画像抽出の価格については、Azure AI Search の価格に関するページを参照してください。

ヒント

スキルセット処理のコストを削減するには、インクリメンタルエンリッチメントを有効にして、スキルセットに加えた変更の影響を受けないエンリッチメントをキャッシュして再利用します。キャッシュには Azure Storage が必要です (価格を参照してください)。ただし、既存のエンリッチメントを再利用できる場合は、スキルセットの実行の累積コストが低くなります (特に画像の抽出と分析を使用するスキルセットの場合)。

例: コストの見積もり

Azure AI Search のインデックス作成に関連するコストを見積もるために、いくつかの数値を実行できるように、平均ドキュメントがどのように表示されるかを考え始めます。たとえば、次のように概算することができます。

1000 PDF。
それぞれ 6 ページ。
1 ページに 1 画像 (6000 画像)。
1 ページあたり 3,000 文字。

各 PDF のドキュメント解析、画像とテキストの抽出、画像の光学式文字認識 (OCR)、組織のエンティティ認識からなるパイプラインを想定します。

この記事に示されている価格は仮定上のものです。これらは、見積もりプロセスを説明するために使用されています。お客様のコストはこれより低い可能性があります。トランザクションの実際の価格については、「Azure AI サービス価格」をご覧ください。

テキストと画像のコンテンツを含むドキュメント解読の場合、現在、テキスト抽出は無料です。 6,000 個の画像の場合、1,000 個の画像が抽出されるごとに 1 ドルと想定します。このステップの場合、6.00 ドルのコストになります。
6,000 画像の英語での OCR については、OCR コグニティブスキルでは最適なアルゴリズム (DescribeText) が使用されます。 1,000 個のイメージを分析するたびに $2.50 かかるとすると、この手順に対して $15.00 が課金されることになります。
エンティティの抽出では、1 ページごとに合計 3 個のテキストレコードがあります。各レコードは 1,000 文字です。 1 ページあたり 3 個のテキストレコードに 6,000 ページを掛けると、18,000 個のテキストレコードになります。 1,000 個のテキストレコードごとに $2.00 かかるとすると、この手順のコストは $36.00 になります。

まとめると、示されたスキルセットでこの種類の PDF ドキュメントを 1,000 個取り込むには、約 $57.00 を支払うことなります。

次の方法で共有

Azure AI マルチサービスリソースを Azure AI Search のスキルセットにアタッチする

前提条件

キーレス接続での課金

例: システム割り当てマネージド ID

例: ユーザー割り当てマネージド ID

リソースキー経由での課金

キーを削除します

キーの使用方法

パブリック接続の要件

重要な要件の特別なケース

無料エンリッチメント

課金対象のエンリッチメント

例: コストの見積もり

次のステップ

フィードバック

その他のリソース

次の方法で共有

Azure AI マルチサービス リソースを Azure AI Search のスキルセットにアタッチする

前提条件

キーレス接続での課金

例: システム割り当てマネージド ID

例: ユーザー割り当てマネージド ID

リソース キー経由での課金

キーを削除します

キーの使用方法

パブリック接続の要件

重要な要件の特別なケース

無料エンリッチメント

課金対象のエンリッチメント

例: コストの見積もり

次のステップ

フィードバック

その他のリソース

Azure AI マルチサービスリソースを Azure AI Search のスキルセットにアタッチする

リソースキー経由での課金