Verwenden von Einbettungsmodellen aus dem Azure KI Foundry-Modellkatalog für integrierte Vektorisierung

Artikel
12/19/2024

Wichtig

Dieses Feature befindet sich in der Public Preview-Phase und unterliegt zusätzlichen Nutzungsbedingungen. Die 2024-05-01-Preview REST API unterstützt diese Funktion.

In diesem Artikel erfahren Sie, wie Sie auf die Einbettungsmodelle im Azure KI Foundry-Modellkatalog für Vektorkonvertierungen während der Indizierung und in Abfragen in der Azure KI-Suche zugreifen.

Der Bereitstellungsworkflow umfasst Schritte für die Modellimplementierung. Der Modellkatalog umfasst Einbettungsmodelle von Microsoft und anderen Unternehmen. Die Bereitstellung eines Modells wird entsprechend der Abrechnungsstruktur des jeweiligen Anbieters in Rechnung gestellt.

Nachdem das Modell bereitgestellt wurde, können Sie es für die integrierte Vektorisierung während der Indizierung oder mit der Azure KI Foundry-Vektorisierung für Abfragen verwenden.

Tipp

Verwenden Sie den Assistenten zum Importieren und Vektorisieren von Daten, um ein Skillset zu generieren, das ein AML-Skill für bereitgestellte Einbettungsmodelle in Azure KI Foundry enthält. Die AML-Skill-Definition für Eingaben, Ausgaben und Zuordnungen wird vom Assistenten generiert, wodurch Sie ein Modell einfach testen können, bevor Sie Code schreiben.

Voraussetzungen

Azure KI-Suche, alle Regionen und Ebenen.
Azure KI Foundry und ein Azure KI Foundry-Projekt.

Unterstützte Einbettungsmodelle

Integrierte Vektorisierung und der Assistent zum Importieren und Vektorisieren von Daten unterstützen die folgenden Einbettungsmodelle im Modellkatalog:

Für Texteinbettungen:

Cohere-embed-v3-english
Cohere-embed-v3-multilingual

Für Bildeinbettungen:

Facebook-DinoV2-Image-Embeddings-ViT-Base
Facebook-DinoV2-Image-Embeddings-ViT-Giant

Bereitstellen eines Einbettungsmodells aus dem Azure KI Foundry-Modellkatalog

Öffnen Sie den Azure KI Foundry-Modellkatalog. Erstellen Sie ein Projekt, wenn Sie noch kein Projekt haben.
Wenden Sie einen Filter an, um nur die Einbettungsmodelle anzuzeigen. Wählen Sie unter Rückschlussaufgaben die Option Einbettungen aus:
Wählen Sie ein unterstütztes Modell und dann Bereitstellen aus.
Übernehmen Sie die Standardwerte, oder ändern Sie sie nach Bedarf, und wählen Sie dann Bereitstellen aus. Die Bereitstellungsdetails variieren je nach ausgewähltem Modell.
Warten Sie, bis die Bereitstellung des Modells abgeschlossen ist, indem Sie den Bereitstellungsstatus überwachen. Der Status sollte sich von „Wird bereitgestellt“ in „Wird aktualisiert“ und schließlich in „Erfolgreich“ ändern. Möglicherweise müssen Sie nach ein paar Minuten Aktualisieren auswählen, damit der Status aktualisiert wird.
Notieren Sie sich die Ziel-URI, den Schlüssel und den Modellnamen. Sie benötigen diese Werte für die Vektorisierungsdefinition in einem Suchindex und für das Skillset, das die Modellendpunkte während der Indizierung aufruft.

Optional können Sie Ihren Endpunkt so ändern, dass die Tokenauthentifizierung anstelle der Schlüsselauthentifizierung verwendet wird. Wenn Sie die Tokenauthentifizierung aktivieren, müssen Sie nur die URI und die Modell-ID kopieren. Notieren Sie jedoch auch die Region, in der das Modell bereitgestellt wird.
Sie können jetzt einen Suchindex und einen Indexer zum Verwenden des bereitgestellten Modells konfigurieren.
- Informationen dazu, wie Sie das Modell während der Indizierung verwenden, finden Sie in den Schritten zum Aktivieren der integrierten Vektorisierung. Achten Sie darauf, den Azure Machine Learning (AML)-Skill und nicht den AzureOpenAIEmbedding-Skill zu verwenden. Im nächsten Abschnitt wird die Skillkonfiguration beschrieben.
- Informationen dazu, wie Sie das Modell zur Abfragezeit als Vektorisierung verwenden, finden Sie unter Konfigurieren einer Vektorisierung. Für diesen Schritt müssen Sie die Vektorisierung aus dem Azure KI Foundry-Modellkatalog verwenden.

Beispiel für AML-Skillnutzdaten

Wenn Sie Einbettungsmodelle aus dem Azure KI Foundry-Modellkatalog bereitstellen, stellen Sie für Indizierungsworkloads über den AML-Skill in der Azure KI-Suche eine Verbindung mit ihnen her.

In diesem Abschnitt werden die AML-Skilldefinition und Indexzuordnungen beschrieben. Er enthält Beispielnutzdaten, die bereits für die Verwendung mit den entsprechenden bereitgestellten Endpunkten konfiguriert sind. Weitere technische Details zur Funktionsweise dieser Nutzdaten finden Sie unter Skillkontext und Eingabeanmerkungssprache.

Facebook-Einbettungsmodelle
Cohere-Einbettungsmodelle

Diese AML-Skillnutzdaten können mit den folgenden Bildeinbettungsmodellen aus Azure KI Foundry verwendet werden:

Facebook-DinoV2-Image-Embeddings-ViT-Base
Facebook-DinoV2-Image-Embeddings-ViT-Giant

Es wird davon ausgegangen, dass Ihre Bilder aus dem Pfad /document/normalized_images/* stammen, der durch Aktivieren der integrierten Bildextraktion erstellt wird. Wenn Ihre Bilder aus einem anderen Pfad stammen oder als URLs gespeichert sind, aktualisieren Sie alle Verweise auf den Pfad /document/normalized_images/* entsprechend.

Der URI und der Schlüssel werden generiert, wenn Sie das Modell aus dem Katalog bereitstellen. Weitere Informationen zu diesen Werten finden Sie unter So stellen Sie große Sprachmodelle mit Azure KI Foundry bereit.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/normalized_images/*",
  "uri": "https://myproject-1a1a-abcd.eastus.inference.ml.azure.com/score",
  "timeout": "PT1M",
  "key": "bbbbbbbb-1c1c-2d2d-3e3e-444444444444",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[[$(/document/normalized_images/*/data), '']]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "image_features"
    }
  ]
}

Diese AML-Skillnutzdaten können mit den folgenden Texteinbettungsmodellen aus Azure KI Foundry verwendet werden:

Cohere-embed-v3-english
Cohere-embed-v3-multilingual

Es wird davon ausgegangen, dass Sie Ihre Inhalte mithilfe der Text Split-Fähigkeit abteilen und der zu vektorisierende Text daher im /document/pages/* Pfad liegt. Wenn Ihr Text aus einem anderen Pfad stammt, aktualisieren Sie alle Verweise auf den Pfad /document/pages/* entsprechend.

Sie müssen den Pfad /v1/embed am Ende der URL hinzufügen, die Sie aus Ihrer Azure KI Foundry-Bereitstellung kopiert haben. Sie können auch die Werte für die Eingaben input_type, truncate und embedding_types ändern, um Sie an Ihren Anwendungsfall anzupassen. Weitere Informationen zu den verfügbaren Optionen finden Sie in der Referenz zur Cohere Embed-API.

Der URI und der Schlüssel werden generiert, wenn Sie das Modell aus dem Katalog bereitstellen. Weitere Informationen zu diesen Werten finden Sie unter Bereitstellen von Cohere Embed-Modellen mit Azure KI Foundry.

Beachten Sie, dass Bild-URIs derzeit von dieser Integration nicht unterstützt werden.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "https://cohere-embed-v3-multilingual-hin.eastus.models.ai.azure.com/v1/embed",
  "key": "aaaaaaaa-0b0b-1c1c-2d2d-333333333333",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

Darüber hinaus handelt es sich bei der Ausgabe des Cohere-Modells nicht direkt um das Einbettungsarray, sondern um ein JSON-Objekt, das dieses enthält. Sie müssen es entsprechend auswählen, wenn sie es der Indexdefinition über indexProjections oder outputFieldMappings zuordnen. Im Folgenden sehen Sie indexProjections-Beispielnutzdaten, mit denen Sie diese Zuordnung implementieren können.

Wenn Sie in Ihrer Skilldefinition einen anderen Typ für embedding_types ausgewählt haben, müssen Sie float im Pfad source in den Typ ändern, den Sie stattdessen ausgewählt haben.

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "<YOUR_TARGET_INDEX_NAME_HERE>",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}

Beispiel für Azure KI Foundry-Vektorisierungsnutzdaten

Die Azure KI Foundry-Vektorisierung ist im Gegensatz zum AML-Skill nur für die Verwendung mit den Einbettungsmodellen konzipiert, die über den Azure KI Foundry-Modellkatalog bereitgestellt werden können. Der Hauptunterschied besteht darin, dass Sie sich keine Gedanken über die Anforderungs- und Antwortnutzdaten machen müssen. Sie müssen jedoch modelName angeben, was der „Modell-ID“ entspricht, die Sie nach der Bereitstellung des Modells im Azure KI Foundry-Portal kopiert haben.

Die folgenden Beispielnutzdaten zeigen, wie Sie die Vektorisierung in Ihrer Indexdefinition anhand der aus Azure KI Foundry kopierten Eigenschaften konfigurieren würden.

Bei Cohere-Modellen sollten Sie den Pfad /v1/embed NICHT wie beim Skill am Ende Ihrer URL hinzufügen.

"vectorizers": [
    {
        "name": "<YOUR_VECTORIZER_NAME_HERE>",
        "kind": "aml",
        "amlParameters": {
            "uri": "<YOUR_URL_HERE>",
            "key": "<YOUR_PRIMARY_KEY_HERE>",
            "modelName": "<YOUR_MODEL_ID_HERE>"
        },
    }
]

Herstellen einer Verbindung mithilfe der Tokenauthentifizierung

Wenn Sie die schlüsselbasierte Authentifizierung nicht verwenden können, können Sie die Verbindung mit dem AML-Skill und der Azure KI Foundry-Vektorisierung stattdessen für die Tokenauthentifizierung über die rollenbasierte Zugriffssteuerung (Role-Based Access Control, RBAC) in Azure konfigurieren. Der Suchdienst muss über eine systemseitig oder benutzerseitig zugewiesene verwaltete Identität verfügen, und der Identität müssen Berechtigungen vom Typ „Besitzer“ oder „Mitwirkender“ für Ihren AML-Projektarbeitsbereich zugewiesen sein. Anschließend können Sie das Schlüsselfeld aus Ihrer Skill- und Vektorisierungsdefinition entfernen und durch das Feld „resourceId“ ersetzen. Wenn sich Ihr AML-Projekt und der Suchdienst in verschiedenen Regionen befinden, müssen Sie auch das Feld „region“ bereitstellen.

"uri": "<YOUR_URL_HERE>",
"resourceId": "subscriptions/<YOUR_SUBSCRIPTION_ID_HERE>/resourceGroups/<YOUR_RESOURCE_GROUP_NAME_HERE>/providers/Microsoft.MachineLearningServices/workspaces/<YOUR_AML_WORKSPACE_NAME_HERE>/onlineendpoints/<YOUR_AML_ENDPOINT_NAME_HERE>",
"region": "westus", // Only need if AML project lives in different region from search service

Freigeben über