Quickstart: Afbeeldingen zoeken met Behulp van Search Explorer in Azure Portal

In deze quickstart ziet u hoe u aan de slag kunt met afbeeldingen zoeken met behulp van de wizard Gegevens importeren en vectoriseren in Azure Portal. U ziet ook hoe u Search Explorer gebruikt om query's op basis van afbeeldingen uit te voeren.

Voorbeeldgegevens bestaan uit afbeeldingsbestanden in de opslagplaats azure-search-sample-data , maar u kunt verschillende afbeeldingen gebruiken en nog steeds de procedure volgen.

Vereisten

• Een Azure-abonnement. Maak gratis een account.

• Een Azure AI Services-account voor meerdere services dat moet worden gebruikt voor beeldvectorisatie en optische tekenherkenning (OCR). Voor afbeeldingsvectorisatie zijn multimodale insluitingen van Azure AI Vision vereist. Raadpleeg de documentatie voor een bijgewerkte lijst met regio's.

• Azure AI Search voor indexering en query's. Deze kan zich in elke laag bevinden, maar moet zich in dezelfde regio bevinden als Azure AI multiservice.

  De servicelaag bepaalt hoeveel blobs u kunt indexeren. We hebben de gratis laag gebruikt om deze walkthrough te maken en de inhoud te beperken tot 10 JPG-bestanden.

• Bekendheid met de wizard. Zie Wizards voor gegevens importeren in Azure Portal voor meer informatie.

• Azure Storage voor het opslaan van afbeeldingsbestanden als blobs. Gebruik Azure Blob Storage of Azure Data Lake Storage Gen2 (een opslagaccount met een hiërarchische naamruimte), een standaardprestatieaccount (v2 voor algemeen gebruik). Toegangslagen kunnen dynamisch, statisch en koud zijn.

Alle voorgaande resources moeten openbare toegang hebben ingeschakeld, zodat de portalknooppunten er toegang toe hebben. Anders mislukt de wizard. Nadat de wizard is uitgevoerd, kunt u firewalls en privé-eindpunten inschakelen op de integratieonderdelen voor beveiliging. Zie Beveiligde verbindingen in de wizards importeren voor meer informatie.

Als privé-eindpunten al aanwezig zijn en u deze niet kunt uitschakelen, kunt u de desbetreffende end-to-end-stroom uitvoeren vanuit een script of programma op een virtuele machine. De virtuele machine moet zich in hetzelfde virtuele netwerk bevinden als het privé-eindpunt. Hier volgt een Python-codevoorbeeld voor geïntegreerde vectorisatie. Dezelfde GitHub-opslagplaats bevat voorbeelden in andere programmeertalen.

Een gratis zoekservice biedt ondersteuning voor op rollen gebaseerd toegangsbeheer voor verbindingen met Azure AI Search, maar biedt geen ondersteuning voor beheerde identiteiten bij uitgaande verbindingen met Azure Storage of Azure AI Vision. Dit ondersteuningsniveau betekent dat u verificatie op basis van sleutels moet gebruiken voor verbindingen tussen een gratis zoekservice en andere Azure-services. Voor verbindingen die veiliger zijn:

• Gebruik de Basic-laag of hoger.
• Configureer een beheerde identiteit en roltoewijzingen om aanvragen van Azure AI Search toe te laten op andere Azure-services.

Controleren of er voldoende ruimte is

Als u begint met de gratis service, bent u beperkt tot drie indexen, drie gegevensbronnen, drie vaardighedensets en drie indexeerfuncties. Zorg ervoor dat er voldoende ruimte is voor extra items voordat u begint. In deze quickstart wordt een van elk object gemaakt.

Voorbeeldgegevens voorbereiden

1. Download de afbeeldingsmap unsplash-signs naar een lokale map of zoek een aantal afbeeldingen van uw eigen map. Houd op een gratis zoekservice de afbeeldingsbestanden onder de 20 om binnen het gratis quotum voor verrijkingsverwerking te blijven.

2. Meld u aan bij Azure Portal met uw Azure-account en ga naar uw Azure Storage-account.

3. Selecteer Containers in het linkerdeelvenster onder Gegevensopslag.

4. Maak een nieuwe container en upload de installatiekopieën.

De wizard starten

Als uw zoekservice en Azure AI-service zich in dezelfde ondersteunde regio en tenant bevinden en als uw Azure Storage-blobcontainer gebruikmaakt van de standaardconfiguratie, kunt u de wizard starten.

1. Meld u aan bij Azure Portal met uw Azure-account en ga naar uw Azure AI-Search-service.

2. Selecteer gegevens importeren en vectoriseren op de pagina Overzicht.

   

Verbinding maken met uw gegevens

De volgende stap bestaat uit het maken van verbinding met een gegevensbron die de afbeeldingen levert.

1. Selecteer Azure Blob Storage op de pagina Uw gegevensverbinding instellen.

2. Geef het Azure-abonnement op.

3. Selecteer voor Azure Storage het account en de container die de gegevens leveren. Gebruik de standaardwaarden voor de resterende vakken.

   

4. Selecteer Volgende.

De tekst vectoriseren

Als onbewerkte inhoud tekst bevat of als de vaardighedenset tekst produceert, roept de wizard een tekst-insluitmodel aan om vectoren voor die inhoud te genereren. In deze oefening wordt tekst geproduceerd uit de OCR-vaardigheid die u in de volgende stap toevoegt.

Azure AI Vision biedt insluitingen voor tekst, dus gebruik die resource voor tekstvectorisatie.

1. Selecteer AI Vision-vectorisatie op de pagina Vectorize van uw tekst. Als deze niet beschikbaar is, moet u ervoor zorgen dat Azure AI Search en uw Azure AI-account voor meerdere services zich in een regio bevinden die ondersteuning biedt voor multimodale AI Vision-API's.

   

2. Selecteer Volgende.

Uw afbeeldingen vectoriseren en verrijken

Gebruik Azure AI Vision om een vectorweergave van de afbeeldingsbestanden te genereren.

In deze stap kunt u AI ook toepassen om tekst uit afbeeldingen te extraheren. De wizard gebruikt OCR van Azure AI-services om tekst in afbeeldingsbestanden te herkennen.

Er worden nog twee uitvoerwaarden weergegeven in de index wanneer OCR wordt toegevoegd aan de werkstroom:

• Het chunk veld wordt gevuld met een door OCR gegenereerde tekenreeks van alle tekst in de afbeelding.
• Het text_vector veld wordt gevuld met een insluiting die de chunk tekenreeks vertegenwoordigt.

Het opnemen van tekst zonder opmaak in het chunk veld is handig als u relevantiefuncties wilt gebruiken die op tekenreeksen werken, zoals semantische classificatie - en scoreprofielen.

1. Schakel op de pagina Vectorize van uw afbeeldingen het selectievakje Vectorize-afbeeldingen in en selecteer vervolgens AI Vision-vectorisatie.

2. Selecteer Dezelfde AI-service gebruiken die is geselecteerd voor tekstvectorisatie.

3. Selecteer in de sectie Verrijking tekst extraheren uit afbeeldingen en gebruik dezelfde AI-service die is geselecteerd voor afbeeldingsvectorisatie.

   

4. Selecteer Volgende.

Nieuwe velden toewijzen

Op de pagina Geavanceerde instellingen kunt u desgewenst nieuwe velden toevoegen. De wizard genereert standaard de volgende velden met deze kenmerken:

Veld	Van toepassing op:	Beschrijving
chunk_id	Tekst- en afbeeldingsvectoren	Gegenereerd tekenreeksveld. Doorzoekbaar, ophaalbaar, sorteerbaar. Dit is de documentsleutel voor de index.
text_parent_id	Afbeeldingsvectoren	Gegenereerd tekenreeksveld. Ophaalbaar, filterbaar. Identificeert het bovenliggende document waaruit het segment afkomstig is.
image_parent_id	Afbeeldingsvectoren	Gegenereerd tekenreeksveld. Ophaalbaar, filterbaar. Identificeert het bovenliggende document waaruit de afbeelding afkomstig is.
chunk	Tekst- en afbeeldingsvectoren	Tekenreeksveld. Door mensen leesbare versie van het gegevenssegment. Doorzoekbaar en ophaalbaar, maar niet filterbaar, facetable of sorteerbaar.
title	Tekst- en afbeeldingsvectoren	Tekenreeksveld. Leesbare documenttitel of paginatitel of paginanummer. Doorzoekbaar en ophaalbaar, maar niet filterbaar, facetable of sorteerbaar.
image_vector	Afbeeldingsvectoren	Collection(Edm.single). Vectorweergave van de afbeelding. Doorzoekbaar en ophaalbaar, maar niet filterbaar, facetable of sorteerbaar.

U kunt de gegenereerde velden of hun kenmerken niet wijzigen, maar u kunt wel nieuwe velden toevoegen als uw gegevensbron deze levert. Azure Blob Storage biedt bijvoorbeeld een verzameling metagegevensvelden.

1. Selecteer Nieuwe toevoegen.

2. Kies een bronveld in de lijst met beschikbare velden, geef een veldnaam op voor de index en accepteer zo nodig het standaardgegevenstype of de onderdrukking.

   Metagegevensvelden zijn doorzoekbaar, maar kunnen niet worden opgehaald, gefilterd, facetable of sorteerbaar.

3. Selecteer Opnieuw instellen als u het schema wilt herstellen naar de oorspronkelijke versie.

Indexering plannen

1. Geef op de pagina Geavanceerde instellingen onder Indexering plannen een uitvoeringsschema op voor de indexeerfunctie. We raden eenmalig aan voor deze oefening. Voor gegevensbronnen waarin de onderliggende gegevens vluchtig zijn, kunt u indexering plannen om de wijzigingen op te halen.

   

2. Selecteer Volgende.

De wizard voltooien

1. Geef op de pagina Uw configuratie controleren een voorvoegsel op voor de objecten die door de wizard worden gemaakt. Een gemeenschappelijk voorvoegsel helpt u georganiseerd te blijven.

   

2. Selecteer Maken.

Wanneer de wizard de configuratie voltooit, worden de volgende objecten gemaakt:

• Een indexeerfunctie die de indexeringspijplijn aanstuurt.

• Een gegevensbronverbinding met Azure Blob Storage.

• Een index met vectorvelden, tekstvelden, vectorizers, vectorprofielen en vectoralgoritmen. U kunt de standaardindex niet wijzigen tijdens de werkstroom van de wizard. Indexen voldoen aan de REST API 2024-05-01-preview, zodat u preview-functies kunt gebruiken.

• Een vaardighedenset met de volgende vijf vaardigheden:

  • De OCR-vaardigheid herkent tekst in afbeeldingsbestanden.
  • De vaardigheid Tekst samenvoegen combineert de verschillende uitvoer van OCR-verwerking.
  • Met de vaardigheid Tekst splitsen worden gegevenssegmentering toegevoegd. Deze vaardigheid is ingebouwd in de werkstroom van de wizard.
  • De vaardigheid multimodale insluitingen van Azure AI Vision wordt gebruikt om tekst te vectoriseren die is gegenereerd op basis van OCR.
  • De vaardigheid multimodale insluitingen van Azure AI Vision wordt opnieuw aangeroepen om afbeeldingen te vectoriseren.

Resultaten controleren

Search Explorer accepteert tekst, vectoren en afbeeldingen als queryinvoer. U kunt een afbeelding naar het zoekgebied slepen of selecteren. Search Explorer vectoriseert uw afbeelding en verzendt de vector als queryinvoer naar de zoekmachine. Bij afbeeldingsvectorisatie wordt ervan uitgegaan dat uw index een vectorizerdefinitie heeft, die gegevens importeert en vectoriseert op basis van de invoer van het insluitmodel.

1. Ga in Azure Portal naar Zoekbeheerindexen> en selecteer vervolgens de index die u hebt gemaakt. Search Explorer is het eerste tabblad.

2. Selecteer de afbeeldingsweergave in het menu Beeld.

   

3. Sleep een afbeelding uit de lokale map die de voorbeeldafbeeldingsbestanden bevat. Of open de bestandsbrowser om een lokaal afbeeldingsbestand te selecteren.

4. Selecteer Zoeken om de query uit te voeren.

   De meest overeenkomende afbeelding moet de afbeelding zijn waarnaar u hebt gezocht. Omdat een vectorzoekopdracht overeenkomt met vergelijkbare vectoren, retourneert de zoekmachine elk document dat voldoende vergelijkbaar is met de queryinvoer, tot het k aantal resultaten. U kunt overschakelen naar de JSON-weergave voor geavanceerdere query's met relevantieafstemming.

   

5. Probeer andere queryopties om zoekresultaten te vergelijken:

   • Verberg vectoren voor meer leesbare resultaten (aanbevolen).
   • Selecteer een vectorveld om een query uit te voeren. De standaardwaarde is tekstvectoren, maar u kunt de afbeeldingsvector opgeven om tekstvectoren uit te sluiten van queryuitvoering.

Opschonen

In deze demo worden factureerbare Azure-resources gebruikt. Als u de resources niet meer nodig hebt, verwijdert u deze uit uw abonnement om kosten te voorkomen.

Volgende stap

In deze quickstart hebt u kennisgemaakt met de wizard Gegevens importeren en vectoriseren waarmee alle benodigde objecten voor het zoeken naar afbeeldingen worden gemaakt. Als u elke stap in detail wilt verkennen, kunt u een geïntegreerd vectorisatievoorbeeld proberen.