Erkennung bereichsspezifischer Inhalte

Zusätzlich zur Markierung und allgemeinen Kategorisierung unterstützt Azure KI Vision auch die weiter gehende domänenspezifische Analyse. Hierfür werden Modelle verwendet, die anhand spezieller Daten trainiert werden.

Es gibt zwei Möglichkeiten für die Verwendung von domänenspezifischen Modellen: allein (bereichsbezogene Analyse) oder als Erweiterung des Kategorisierungsfeatures.

Bereichsbezogene Analyse

Sie können ein Bild analysieren, indem Sie nur das domänenspezifische Modell nutzen. Rufen Sie hierfür die API Models/<model>/Analyze auf.

Hier ist eine JSON-Beispielantwort angegeben, die von der API models/celebrities/analyze für das jeweilige Bild zurückgegeben wird:

{
  "result": {
    "celebrities": [{
      "faceRectangle": {
        "top": 391,
        "left": 318,
        "width": 184,
        "height": 184
      },
      "name": "Satya Nadella",
      "confidence": 0.99999856948852539
    }]
  },
  "requestId": "8217262a-1a90-4498-a242-68376a4b956b",
  "metadata": {
    "width": 800,
    "height": 1200,
    "format": "Jpeg"
  }
}

Verbesserte Kategorisierungsanalyse

Sie können domänenspezifische Modelle auch verwenden, um die allgemeine Bildanalyse zu erweitern. Dies ist im Rahmen der allgemeinen Kategorisierung möglich, indem domänenspezifische Modelle im Parameter Details des Analyze Image-API-Aufrufs angegeben werden.

In diesem Fall wird zuerst die Klassifizierung der 86-Kategorien-Taxonomie aufgerufen. Wenn erkannte Kategorien über ein passendes domänenspezifisches Modell verfügen, wird das Bild auch über dieses Modell übergeben, und die Ergebnisse werden hinzugefügt.

Mit der folgenden JSON-Antwort wird veranschaulicht, wie die domänenspezifische Analyse als detail-Knoten in eine umfassendere Kategorisierungsanalyse eingebunden werden kann.

"categories":[
  {
    "name":"abstract_",
    "score":0.00390625
  },
  {
    "name":"people_",
    "score":0.83984375,
    "detail":{
      "celebrities":[
        {
          "name":"Satya Nadella",
          "faceRectangle":{
            "left":597,
            "top":162,
            "width":248,
            "height":248
          },
          "confidence":0.999028444
        }
      ],
      "landmarks":[
        {
          "name":"Forbidden City",
          "confidence":0.9978346
        }
      ]
    }
  }
]

Auflisten der domänenspezifischen Modelle

Derzeit unterstützt Azure KI Vision die folgenden domänenspezifischen Modelle:

Name	BESCHREIBUNG
Prominente	Erkennung berühmter Personen, die für Bilder unterstützt wird, die in die Kategorie people_ klassifiziert werden
Wahrzeichen	Erkennung von Wahrzeichen, die für Bilder unterstützt wird, die in die Kategorien outdoor_ oder building_ klassifiziert werden

Durch das Aufrufen der Models-API werden diese Informationen zusammen mit den Kategorien zurückgegeben, für welche die einzelnen Modelle gelten können:

{
  "models":[
    {
      "name":"celebrities",
      "categories":[
        "people_",
        "人_",
        "pessoas_",
        "gente_"
      ]
    },
    {
      "name":"landmarks",
      "categories":[
        "outdoor_",
        "户外_",
        "屋外_",
        "aoarlivre_",
        "alairelibre_",
        "building_",
        "建筑_",
        "建物_",
        "edifício_"
      ]
    }
  ]
}

Verwenden der API

Dieses Feature ist über die Bildanalyse 3.2-API verfügbar. Sie können diese API über ein natives SDK oder REST-Aufrufe aufrufen. Fügen Sie Celebrities oder Landmarks in den Abfrageparameter details ein. Nachdem Sie die vollständige JSON-Antwort erhalten haben, analysieren Sie die Zeichenfolge auf die Inhalte im Abschnitt "details".

• Schnellstart: Vision-REST-API oder Clientbibliotheken