Delen via

Quickstart: Multimodale inhoud analyseren (preview)

  • Artikel

De Multimodale API analyseert materialen die zowel afbeeldingsinhoud als tekstinhoud bevatten om toepassingen en services veiliger te maken tegen schadelijke door de gebruiker gegenereerde of DOOR AI gegenereerde inhoud. Het analyseren van een afbeelding en de bijbehorende tekstinhoud kan context behouden en een uitgebreider begrip van de inhoud bieden.

Zie de conceptpagina Schadecategorieën voor meer informatie over de manier waarop inhoud wordt gefilterd. Zie de sectie Invoervereisten van het overzicht voor API-invoerlimieten.

Belangrijk

Deze functie is alleen beschikbaar in bepaalde Azure-regio's. Zie beschikbaarheid van regio's.

Vereisten

  • Een Azure-abonnement - Een gratis abonnement maken
  • Zodra u uw Azure-abonnement hebt, maakt u een Content Safety-resource in Azure Portal om uw sleutel en eindpunt op te halen. Voer een unieke naam in voor uw resource, selecteer uw abonnement en selecteer een resourcegroep, ondersteunde regio en ondersteunde prijscategorie. Selecteer vervolgens Maken.
    • Het implementeren van de resource duurt enkele minuten. Nadat deze is voltooid, gaat u naar de resource. Selecteer in het linkerdeelvenster onder Resourcebeheer de optie Abonnementssleutel en Eindpunt. Kopieer het eindpunt en een van de sleutelwaarden naar een tijdelijke locatie voor later gebruik.
  • Een van de volgende geïnstalleerd:

Afbeelding analyseren met tekst

In de volgende sectie wordt een voorbeeld van een multimodale beheeraanvraag met cURL beschreven.

Een voorbeeldafbeelding voorbereiden

Kies een voorbeeldafbeelding die u wilt analyseren en download deze naar uw apparaat.

Zie de invoervereisten voor de beperkingen van de installatiekopieën. Als uw indeling is geanimeerd, extraheert de service het eerste frame om de analyse uit te voeren.

U kunt uw afbeelding op een van de volgende twee manieren invoeren: lokale filestream - of blobopslag-URL.

  • Lokale filestream (aanbevolen): Codeer uw installatiekopieën naar base64. U kunt een website zoals codebeautify gebruiken om de codering uit te voeren. Sla vervolgens de gecodeerde tekenreeks op een tijdelijke locatie op.
  • Blob Storage-URL: Upload uw afbeelding naar een Azure Blob Storage-account. Volg de quickstart voor blob-opslag om te leren hoe u dit doet. Open vervolgens Azure Storage Explorer en haal de URL naar uw afbeelding op. Sla deze op een tijdelijke locatie op.

Afbeelding analyseren met tekst

Plak de onderstaande opdracht in een teksteditor en breng de volgende wijzigingen aan.

  1. Vervang door <endpoint> de URL van uw resource-eindpunt.
  2. Vervang <your_subscription_key> door uw sleutel.
  3. Vul het "image" veld in de hoofdtekst in met een "content" veld of een "blobUrl" veld. Bijvoorbeeld: {"image": {"content": "<base_64_string>"} of {"image": {"blobUrl": "<your_storage_url>"}.
  4. Vervang eventueel de waarde van het "text" veld door uw eigen tekst die u wilt analyseren.
curl --location '<endpoint>/contentsafety/imageWithText:analyze?api-version=2024-09-15-preview ' \
--header 'Ocp-Apim-Subscription-Key: <your_subscription_key>' \
--header 'Content-Type: application/json' \
--data '{
  "image": {
      "content": "<base_64_string>"
 },
  "categories": ["Hate","Sexual","Violence","SelfHarm"],
  "enableOcr": true,
  "text": "I want to kill you"
}'

Notitie

Als u een BLOB Storage-URL gebruikt, moet de aanvraagbody er als volgt uitzien:

{
  "image": {
    "blobUrl": "<your_storage_url>"
  }
}

De onderstaande velden moeten worden opgenomen in de URL:

Naam Vereist? Beschrijving Type
API-versie Vereist Dit is de API-versie die moet worden gecontroleerd. Huidige versie is: api-version=2024-09-15. Voorbeeld: <endpoint>/contentsafety/imageWithText:analyze?api-version=2024-09-15 String

De parameters in de aanvraagbody worden gedefinieerd in deze tabel:

Name Omschrijving Type
inhoud of blobUrl (Vereist) De inhoud of blob-URL van de afbeelding. Ik kan base64-gecodeerde bytes of een blob-URL zijn. Als beide worden gegeven, wordt het verzoek geweigerd. De maximaal toegestane grootte van de afbeelding is 7.200 x 7.200 pixels en de maximale bestandsgrootte is 4 MB. De minimale grootte van de afbeelding is 50 pixels x 50 pixels. String
tekst (Optioneel) De tekst die aan de afbeelding is gekoppeld. We ondersteunen maximaal 1000 tekens (Unicode-codepunten) in één tekstaanvraag. String
enableOcr (Vereist) Als deze is ingesteld op true, voert onze service OCR uit en analyseert de gedetecteerde tekst met invoerafbeelding tegelijkertijd. We herkennen maximaal 1000 tekens (Unicode-codepunten) uit de invoerafbeelding. De anderen worden afgekapt. Boole-waarde
Categorieën (Optioneel) Dit wordt verondersteld een matrix met categorienamen te zijn. Zie de handleiding Harm-categorieën voor een lijst met beschikbare categorienamen. Als er geen categorieën zijn opgegeven, worden alle vier de categorieën gebruikt. We gebruiken meerdere categorieën om scores in één aanvraag op te halen. Enum

Open een opdrachtpromptvenster en voer de cURL-opdracht uit.

Uitvoer

Als het goed is, worden de resultaten van de afbeelding en tekstbeheer weergegeven als JSON-gegevens in de console. Voorbeeld:

{
  "categoriesAnalysis": [
    {
      "category": "Hate",
      "severity": 2
    },
    {
      "category": "SelfHarm",
      "severity": 0
    },
    {
      "category": "Sexual",
      "severity": 0
    },
    {
      "category": "Violence",
      "severity": 0
    }
  ]
}

De JSON-velden in de uitvoer worden hier gedefinieerd:

Name Omschrijving Type
categoriesAnalysis Elke uitvoerklasse die de API voorspelt. Classificatie kan meerdere labels hebben. Wanneer een afbeelding bijvoorbeeld wordt geüpload naar het model voor afbeeldingsbeheer, kan deze worden geclassificeerd als seksuele inhoud en geweld. Categorieën schade String
Ernst Het ernstniveau van de vlag in elke schadecategorie. Categorieën schade Geheel getal