Rychlý start: Hledání obrázků pomocí Průzkumníka služby Search na webu Azure Portal

V tomto rychlém startu se dozvíte, jak začít s vyhledáváním obrázků pomocí Průvodce importem a vektorizací dat na webu Azure Portal. Ukazuje také, jak pomocí Průzkumníka služby Search spouštět dotazy založené na imagích.

Ukázková data se skládají ze souborů obrázků v úložišti azure-search-sample-data , ale můžete použít různé obrázky a přesto postupovat podle návodu.

Požadavky

• Předplatné Azure. Vytvořte si ho zdarma.

• Účet služeb Azure AI s více službami, který se používá k vektorizaci obrázků a optickému rozpoznávání znaků (OCR). Vektorizace obrázků vyžaduje multimodální vkládání ve službě Azure AI Vision. V dokumentaci najdete aktualizovaný seznam oblastí.

• Azure AI Search pro indexování a dotazy Může být na libovolné úrovni, ale musí být ve stejné oblasti jako azure AI s více službami.

  Úroveň služby určuje, kolik objektů blob můžete indexovat. K vytvoření tohoto názorného postupu jsme použili úroveň Free a omezili jsme obsah na 10 souborů JPG.

• Znalost průvodce Podrobnosti najdete v průvodcích importem dat na webu Azure Portal.

• Azure Storage pro ukládání souborů obrázků jako objektů blob. Použijte Azure Blob Storage nebo Azure Data Lake Storage Gen2 (účet úložiště s hierarchickým oborem názvů), účet standardního výkonu (pro obecné účely v2). Úrovně přístupu můžou být horké, studené a studené.

Všechny předchozí prostředky musí mít povolený veřejný přístup, aby k nim měly uzly portálu přístup. Jinak průvodce selže. Po spuštění průvodce můžete pro zabezpečení povolit brány firewall a privátní koncové body. Další informace naleznete v tématu Zabezpečené připojení v průvodcích importem.

Pokud už existují privátní koncové body a nemůžete je zakázat, je alternativní možností spuštění příslušného kompletního toku ze skriptu nebo programu na virtuálním počítači. Virtuální počítač musí být ve stejné virtuální síti jako privátní koncový bod. Tady je ukázka kódu Pythonu pro integrovanou vektorizaci. Stejné úložiště GitHub obsahuje ukázky v jiných programovacích jazycích.

Bezplatná vyhledávací služba podporuje řízení přístupu na základě role u připojení ke službě Azure AI Search, ale nepodporuje spravované identity u odchozích připojení ke službě Azure Storage nebo Azure AI Vision. Tato úroveň podpory znamená, že pro připojení mezi bezplatnou vyhledávací službou a dalšími službami Azure musíte použít ověřování založené na klíči. Pro připojení, která jsou bezpečnější:

• Použijte úroveň Basic nebo vyšší.
• Nakonfigurujte spravovanou identitu a přiřazení rolí tak, aby přijímaly žádosti z Azure AI Search v jiných službách Azure.

Kontrola místa

Pokud začínáte s bezplatnou službou, jste omezeni na tři indexy, tři zdroje dat, tři sady dovedností a tři indexery. Než začnete, ujistěte se, že máte místo pro další položky. Tento rychlý start vytvoří jeden z každého objektu.

Příprava ukázkových dat

1. Stáhněte složku obrázku bez lomítka do místní složky nebo vyhledejte vlastní obrázky. V bezplatné vyhledávací službě ponechte soubory obrázků pod 20, aby zůstaly v rámci bezplatné kvóty pro zpracování rozšiřování.

2. Přihlaste se k webu Azure Portal pomocí svého účtu Azure a přejděte ke svému účtu Azure Storage.

3. V levém podokně v části Úložiště dat vyberte Kontejnery.

4. Vytvořte nový kontejner a pak obrázky nahrajte.

Spuštění průvodce

Pokud je vaše vyhledávací služba a služba Azure AI ve stejné podporované oblasti a tenantovi a pokud váš kontejner objektů blob služby Azure Storage používá výchozí konfiguraci, jste připraveni spustit průvodce.

1. Přihlaste se k webu Azure Portal pomocí svého účtu Azure a přejděte na Search Azure AI.

2. Na stránce Přehled vyberte Importovat a vektorizovat data.

   

Připojení k datům

Dalším krokem je připojení ke zdroji dat, který poskytuje obrázky.

1. Na stránce Nastavení datového připojení vyberte Azure Blob Storage.

2. Zadejte předplatné Azure.

3. Pro Azure Storage vyberte účet a kontejner, který data poskytuje. Pro zbývající pole použijte výchozí hodnoty.

   

4. Vyberte Další.

Vektorizace textu

Pokud nezpracovaný obsah obsahuje text nebo pokud sada dovedností vytvoří text, průvodce zavolá model pro vložení textu, který vygeneruje vektory pro daný obsah. V tomto cvičení se text vytvoří z dovednosti OCR, kterou přidáte v dalším kroku.

Azure AI Vision poskytuje vkládání textu, takže tento prostředek použijte pro vektorizaci textu.

1. Na stránce Vektorizace textu vyberte vektorizaci AI Vision. Pokud není k dispozici, ujistěte se, že azure AI Search a váš účet Azure AI multiservice jsou společně v oblasti, která podporuje multimodální rozhraní API služby AI Vision.

   

2. Vyberte Další.

Vektorizace a rozšiřování obrázků

K vygenerování vektorové reprezentace souborů obrázků použijte Azure AI Vision.

V tomto kroku můžete také použít AI k extrakci textu z obrázků. Průvodce používá službu OCR ze služeb Azure AI k rozpoznávání textu v souborech obrázků.

Při přidání OCR do pracovního postupu se v indexu zobrazí dva další výstupy:

• Pole chunk se naplní řetězcem vygenerovaným OCR libovolného textu nalezeného na obrázku.
• Pole text_vector se vyplní vložením, které představuje chunk řetězec.

Zahrnutí prostého textu do chunk pole je užitečné, pokud chcete použít funkce relevance, které pracují s řetězci, jako jsou sémantické řazení a bodovací profily.

1. Na stránce Vectorize your images (Vektorizovat obrázky) zaškrtněte políčko Vectorize images (Vektorizovat obrázky) a pak vyberte AI Vision vectorization (Vektorizace obrazu).

2. Vyberte Použít stejnou službu AI vybranou pro vektorizaci textu.

3. V části rozšiřování vyberte Extrahovat text z obrázků a použít stejnou službu AI vybranou pro vektorizaci obrázků.

   

4. Vyberte Další.

Mapování nových polí

Na stránce Upřesnit nastavení můžete volitelně přidat nová pole. Ve výchozím nastavení průvodce vygeneruje následující pole s těmito atributy:

Pole	Platí pro	Popis
chunk_id	Vektory textu a obrázku	Pole vygenerovaného řetězce Prohledávatelné, načístelné, řaditelné. Toto je klíč dokumentu indexu.
text_parent_id	Vektory obrázků	Pole vygenerovaného řetězce Načístelné, filtrovatelné. Identifikuje nadřazený dokument, ze kterého pochází blok dat.
image_parent_id	Vektory obrázků	Pole vygenerovaného řetězce Načístelné, filtrovatelné. Identifikuje nadřazený dokument, ze kterého obrázek pochází.
chunk	Vektory textu a obrázku	Pole Řetězce. Lidsky čitelná verze datového bloku Prohledávatelné a načístelné, ale nefiltrovatelné, fasetové nebo řaditelné.
title	Vektory textu a obrázku	Pole Řetězce. Název dokumentu čitelný pro člověka nebo název stránky nebo číslo stránky Prohledávatelné a načístelné, ale nefiltrovatelné, fasetové nebo řaditelné.
image_vector	Vektory obrázků	Collection(Edm.single). Vektorové znázornění obrázku Prohledávatelné a načístelné, ale nefiltrovatelné, fasetové nebo řaditelné.

Vygenerovaná pole ani jejich atributy nemůžete upravovat, ale pokud je zdroj dat poskytuje, můžete přidat nová pole. Azure Blob Storage například poskytuje kolekci polí metadat.

1. Vyberte Přidat nový.

2. Ze seznamu dostupných polí zvolte zdrojové pole, zadejte název pole pro index a podle potřeby přijměte výchozí datový typ nebo přepsání.

   Pole metadat jsou prohledávatelná, ale nedají se načíst, filtrovatelná, fasetová nebo řaditelná.

3. Pokud chcete obnovit schéma do původní verze, vyberte Obnovit .

Plánování indexování

1. Na stránce Upřesnit nastavení v části Naplánovat indexování zadejte plán spuštění indexeru. Pro toto cvičení doporučujeme jednou . U zdrojů dat, kde jsou podkladová data nestálá, můžete naplánovat indexování, aby se změny vybraly.

   

2. Vyberte Další.

Dokončení průvodce

1. Na stránce Kontrola konfigurace zadejte předponu pro objekty, které průvodce vytvoří. Běžná předpona vám pomůže udržet si přehled.

   

2. Vyberte Vytvořit.

Po dokončení konfigurace průvodce vytvoří následující objekty:

• Indexer, který řídí kanál indexování.

• Připojení zdroje dat ke službě Azure Blob Storage

• Index s vektorovými poli, textovými poli, vektorizátory, vektorovými profily a vektorovými algoritmy. Během pracovního postupu průvodce nelze změnit výchozí index. Indexy odpovídají rozhraní REST API verze 2024-05-01-Preview, abyste mohli používat funkce Preview.

• Sada dovedností s následujícími pěti dovednostmi:

  • Dovednost OCR rozpoznává text v souborech obrázků.
  • Dovednost sloučení textu sjednocuje různé výstupy zpracování OCR.
  • Dovednost Rozdělení textu přidává datové bloky. Tato dovednost je integrovaná do pracovního postupu průvodce.
  • Dovednosti s vícemodálními vkládáními ve službě Azure AI Vision se používají k vektorizaci textu vygenerovaného z OCR.
  • Schopnost multimodálních vkládání ve službě Azure AI Vision se znovu volá k vektorizaci obrázků.

Kontrola výsledků

Průzkumník služby Search přijímá jako vstupy dotazů text, vektory a obrázky. Obrázek můžete přetáhnout nebo vybrat do vyhledávací oblasti. Průzkumník služby Search vektorizuje váš obrázek a odešle vektor jako vstup dotazu do vyhledávacího webu. Vektorizace obrázků předpokládá, že váš index má definici vektorizátoru, která importuje a vektorizuje data na základě vstupů modelu vložení.

1. Na webu Azure Portal přejděte do indexů správy>vyhledávání a vyberte index, který jste vytvořili. Průzkumník služby Search je první karta.

2. V nabídce Zobrazení vyberte Zobrazení obrázku.

   

3. Přetáhněte obrázek z místní složky, která obsahuje ukázkové soubory obrázků. Nebo otevřete prohlížeč souborů a vyberte místní soubor obrázku.

4. Výběrem možnosti Hledat spusťte dotaz.

   Nejvyšší shoda by měla být obrázek, který jste hledali. Vzhledem k tomu, že se vektorové vyhledávání shoduje s podobnými vektory, vrátí vyhledávací modul libovolný dokument, který je dostatečně podobný vstupu dotazu, až do k počtu výsledků. Pro pokročilejší dotazy, které zahrnují ladění relevance, můžete přepnout do zobrazení JSON.

   

5. Zkuste porovnat výsledky hledání pomocí dalších možností dotazu:

   • Skryjte vektory pro čitelnější výsledky (doporučeno).
   • Vyberte vektorové pole, na které chcete dotazovat. Výchozí hodnota je textové vektory, ale můžete určit vektor obrázku, který se má vyloučit z provádění dotazu.

Vyčištění

Tato ukázka používá fakturovatelné prostředky Azure. Pokud už prostředky nepotřebujete, odstraňte je z předplatného, abyste se vyhnuli poplatkům.

Další krok

V tomto rychlém startu jste se seznámili s průvodcem importem a vektorizací dat , který vytvoří všechny potřebné objekty pro vyhledávání obrázků. Pokud chcete podrobně prozkoumat jednotlivé kroky, vyzkoušejte integrovaný vektorizační vzorek.