Katalog modelů a kolekce na portálu Azure AI Foundry
Důležité
Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.
Katalog modelů na portálu Azure AI Foundry je centrum pro zjišťování a používání široké škály modelů pro vytváření aplikací generující AI. Katalog modelů obsahuje stovky modelů napříč poskytovateli modelů, jako je Azure OpenAI Service, Mistral, Meta, Cohere, NVIDIA a Hugging Face, včetně modelů, které Microsoft natrénoval. Modely od jiných poskytovatelů než Microsoft jsou produkty jiné společnosti než Microsoft definované v podmínkách produktů společnosti Microsoft a podléhají podmínkám poskytovaným s modely.
Kolekce modelů
Katalog modelů uspořádá modely do různých kolekcí:
Kurátorované službou Azure AI: Nejoblíbenější opensourcové a proprietární modely bez microsoftu zabalené a optimalizované tak, aby bez problémů fungovaly na platformě Azure AI. Použití těchto modelů podléhá licenčním podmínkám poskytovatelů modelů. Když tyto modely nasadíte na portál Azure AI Foundry, jejich dostupnost podléhá příslušné smlouvě o úrovni služeb Azure (SLA) a Microsoft poskytuje podporu problémů s nasazením.
Modely od partnerů, jako je Meta, NVIDIA a Mistral AI, jsou příklady modelů dostupných v této kolekci v katalogu. Tyto modely můžete identifikovat vyhledáním zelené značky zaškrtnutí na dlaždicích modelu v katalogu. Nebo můžete filtrovat podle kurátorované kolekce Azure AI .
Modely Azure OpenAI dostupné výhradně v Azure: Vlajkové modely Azure OpenAI dostupné prostřednictvím integrace se službou Azure OpenAI. Microsoft tyto modely a jejich použití podporuje podle podmínek produktů a smlouvy SLA pro službu Azure OpenAI.
Otevřete modely z centra Hugging Face: Stovky modelů z centra Hugging Face hub pro odvozování spravovaných výpočetních prostředků v reálném čase. Hugging Face vytváří a udržuje modely uvedené v této kolekci. Pokud potřebujete pomoc, použijte fórum Hugging Face nebo podporu Hugging Face. Další informace najdete v tématu Nasazení otevřených modelů pomocí Azure AI Foundry.
Pomocí tohoto formuláře můžete odeslat žádost o přidání modelu do katalogu modelů.
Přehled možností katalogu modelů
Můžete vyhledávat a objevovat modely, které splňují vaše potřeby prostřednictvím keyword search a filters. Katalog modelů také nabízí metriky srovnávacích testů výkonu modelu pro vybrané modely. K srovnávacímu testu se dostanete kliknutím Compare Models nebo na kartě Srovnávací test karty modelu.
Na kartě modelu najdete:
- Rychlá fakta: V rychlém přehledu uvidíte klíčové informace o modelu.
- Podrobnosti: Tato stránka obsahuje podrobné informace o modelu, včetně popisu, informací o verzi, podporovaného datového typu atd.
- Srovnávací testy: Najdete metriky srovnávacích testů výkonu pro vybrané modely.
- Existující nasazení: Pokud jste už model nasadili, najdete ho na kartě Existující nasazení.
- Ukázky kódu: Najdete základní ukázky kódu, které vám pomůžou začít s vývojem aplikací AI.
- Licence: Najdete právní informace týkající se licencování modelu.
- Artefakty: Tato karta se zobrazí jenom pro otevřené modely. Můžete zobrazit prostředky modelu a stáhnout je prostřednictvím uživatelského rozhraní.
Nasazení modelu: Azure OpenAI
Další informace o modelech Azure OpenAI najdete v tématu Co je služba Azure OpenAI?.
Nasazení modelu: Spravovaná výpočetní prostředí a bezserverová rozhraní API
Kromě modelů služby Azure OpenAI nabízí katalog modelů dva různé způsoby nasazení modelů pro vaše použití: spravovaná výpočetní prostředí a bezserverová rozhraní API.
Možnosti nasazení a funkce dostupné pro každý model se liší, jak je popsáno v následujících tabulkách. Přečtěte si další informace o zpracování dat pomocí možností nasazení.
Možnosti nasazení modelu
| Funkce | Spravované výpočetní prostředky | Bezserverové rozhraní API (platba za token) |
|---|---|---|
| Prostředí nasazení a fakturace | Váhy modelu se nasazují na vyhrazené virtuální počítače se spravovanými výpočetními prostředky. Spravovaný výpočetní objekt, který může mít jedno nebo více nasazení, zpřístupňuje rozhraní REST API pro odvozování. Účtuje se vám doba jádra virtuálního počítače, kterou nasazení používají. | Přístup k modelům probíhá prostřednictvím nasazení, které zřídí rozhraní API pro přístup k modelu. Rozhraní API poskytuje přístup k modelu, který Microsoft hostuje a spravuje, pro odvozování. Fakturujete za vstupy a výstupy rozhraní API, obvykle v tokenech. Informace o cenách jsou k dispozici před nasazením. |
| Ověřování API | Klíče a ověřování Microsoft Entra | Jenom klíče. |
| Bezpečnost obsahu | Používejte rozhraní API služby Azure AI Content Safety. | Filtry zabezpečení obsahu Azure AI jsou k dispozici integrované s rozhraními API pro odvození. Filtry zabezpečení obsahu Azure AI se účtují samostatně. |
| Izolace sítě | Konfigurace spravovaných sítí pro centra Azure AI Foundry | Spravované výpočetní prostředky se řídí nastavením příznaku PNA (Public Network Access) vašeho centra. Další informace najdete v části Izolace sítě pro modely nasazené prostřednictvím bezserverových rozhraní API dále v tomto článku. |
Dostupné modely pro podporované možnosti nasazení
Následující seznam obsahuje modely bezserverového rozhraní API. Modely Azure OpenAI najdete v tématu Modely služeb Azure OpenAI.
| Model | Spravované výpočetní prostředky | Bezserverové rozhraní API (platba za token) |
|---|---|---|
| Rodinné modely Llama | Llama-3.3-70B-Instruct Llama-3.2-3B-Instruct Llama-3.2-1B-Instruct Llama-3.2-1B Llama-3.2-90B-Vision-Instruct Llama-3.2-11B-Vision-Instruct Llama-3.1-8B-Instruct Llama-3.1-8B Llama-3.1-70B-Instruct Llama-3.1-70B Llama-3-8B-Instruct Llama-3-70B Llama-3-8B Llama-Guard-3-1B Llama-Guard-3-8B Llama-Guard-3-11B-Vision Llama-2-7b Llama-2-70b Llama-2-7b-chat Llama-2-13b-chat CodeLlama-7b-hf CodeLlama-7b-Instruct-hf CodeLlama-34b-hf CodeLlama-34b-Python-hf CodeLlama-34b-Instruct-hf CodeLlama-13b-Instruct-hf CodeLlama-13b-Python-hf Prompt-Guard-86M CodeLlama-70b-hf |
Llama-3.3-70B-Instruct Llama-3.2-90B-Vision-Instruct Llama-3.2-11B-Vision-Instruct Llama-3.1-8B-Instruct Llama-3.1-70B-Instruct Llama-3.1-405B-Instruct Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-70b Llama-2-70b-chat Llama-2-13b Llama-2-13b-chat |
| Modely řady Mistral | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large (2402) Mistral-large (2407) Mistral-small Ministral-3B Mistral-NeMo |
| Modely rodiny cohere | Není k dispozici | Cohere-command-r-plus-08-2024 Cohere-command-r-08-2024 Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual Cohere-rerank-v3-english Cohere-rerank-v3-multilingual |
| JAIS | Není k dispozici | jais-30b-chat |
| Modely rodiny AI21 | Není k dispozici | Jamba-1.5-Mini Jamba-1.5-Large |
| Modely rodiny healthcare AI | MedImageParse MedImageInsight CxrReportGen Virchow Virchow2 Hranol BiomedCLIP-PubMedBERT microsoft-llava-med-v1.5 m42-health-llama3-med4 biomistral-biomistral-7b microsoft-biogpt-large-pub microsoft-biomednlp-pub stanford-crfm-biomedlm medicalai-clinicalbert microsoft-biogpt microsoft-biogpt-large microsoft-biomednlp-pub |
Není k dispozici |
| Rodinné modely Microsoft Phi | Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3-vision-128k-Instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct Phi-4 |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
| Nixtla | Není k dispozici | TimeGEN-1 |
Spravované výpočetní prostředky
Možnost nasazení modelů jako spravovaných výpočetních prostředků vychází z možností platformy služby Azure Machine Learning, která umožňuje bezproblémovou integraci široké kolekce modelů v katalogu modelů v celém životním cyklu velkých operací jazykového modelu (LLM).
Dostupnost modelů pro nasazení jako spravované výpočetní prostředky
Modely jsou dostupné prostřednictvím registrů služby Azure Machine Learning. Tyto registry umožňují první přístup strojového učení k hostování a distribuci prostředků služby Azure Machine Learning. Mezi tyto prostředky patří váhy modelů, moduly runtime kontejnerů pro spouštění modelů, kanály pro vyhodnocení a vyladění modelů a datové sady pro srovnávací testy a ukázky.
Registry vycházejí z vysoce škálovatelné a podnikové infrastruktury, která:
Poskytuje artefakty modelu s nízkou latencí do všech oblastí Azure s integrovanou geografickou replikací.
Podporuje podnikové požadavky na zabezpečení, jako je omezení přístupu k modelům pomocí služby Azure Policy a zabezpečené nasazení pomocí spravovaných virtuálních sítí.
Nasazení modelů pro odvozování se spravovanými výpočetními prostředky
Modely dostupné pro nasazení do spravovaného výpočetního prostředí je možné nasadit do spravovaného výpočetního prostředí Azure Machine Learning pro odvozování v reálném čase. Nasazení do spravovaného výpočetního prostředí vyžaduje, abyste ve svém předplatném Azure měli kvótu virtuálních počítačů pro konkrétní produkty, které potřebujete k optimálnímu spuštění modelu. Některé modely umožňují nasadit dočasně sdílenou kvótu pro testování modelů.
Další informace o nasazování modelů:
Vytváření aplikací generující AI se spravovanými výpočetními prostředky
Funkce toku výzvy ve službě Azure Machine Learning nabízí skvělé prostředí pro vytváření prototypů. Pomocí nástroje Open Model LLM můžete použít modely nasazené se spravovanými výpočetními prostředky v toku výzvy. Rozhraní REST API vystavené spravovanými výpočetními prostředky můžete použít také v oblíbených nástrojích LLM, jako je LangChain, s rozšířením Azure Machine Learning.
Zabezpečení obsahu pro modely nasazené jako spravované výpočetní prostředky
Služba Azure AI Content Safety je k dispozici pro použití se spravovanými výpočetními prostředky pro zobrazení různých kategorií škodlivého obsahu, jako je sexuální obsah, násilí, nenávist a sebepoškozování. Službu můžete použít také k zobrazení pokročilých hrozeb, jako je detekce rizik jailbreaku a detekce chráněného textu materiálu.
V tomto poznámkovém bloku najdete referenční integraci s Azure AI Content Safety for Llama 2. Nebo můžete použít nástroj Pro bezpečnost obsahu (Text) v toku výzvy k předání odpovědí z modelu do Azure AI Content Safety pro blokování. Za takové použití se vám účtuje samostatně, jak je popsáno v cenách azure AI Content Safety.
Fakturace bezserverového rozhraní API (s platbou za token)
Určité modely můžete nasadit v katalogu modelů s fakturací s platbami za token. Tato metoda nasazení, označovaná také jako bezserverové rozhraní API, poskytuje způsob, jak využívat modely jako rozhraní API bez jejich hostování ve vašem předplatném. Modely jsou hostované v infrastruktuře spravované Microsoftem, která umožňuje přístup založený na rozhraní API k modelu poskytovatele modelu. Přístup založený na rozhraní API může výrazně snížit náklady na přístup k modelu a zjednodušit prostředí zřizování.
Modely, které jsou k dispozici pro nasazení jako bezserverová rozhraní API s fakturací s průběžnými platbami, nabízejí poskytovatel modelů, ale hostují se v infrastruktuře Azure spravované Microsoftem a používají se přes rozhraní API. Poskytovatelé modelů definují licenční podmínky a nastavují cenu pro použití svých modelů. Služba Azure Machine Learning:
- Spravuje infrastrukturu hostování.
- Zpřístupní rozhraní API pro odvození.
- Funguje jako zpracovatel dat pro výzvy odeslané a výstup obsahu podle modelů nasazených prostřednictvím MaaS.
Další informace o zpracování dat pro MaaS najdete v článku o ochraně osobních údajů.
Fakturace
Prostředí zjišťování, předplatného a spotřeby pro modely nasazené prostřednictvím MaaS je na portálu Azure AI Foundry a studio Azure Machine Learning. Uživatelé přijímají licenční podmínky pro použití modelů. Informace o cenách pro spotřebu se poskytují během nasazování.
Modely od poskytovatelů jiných společností než Microsoft se účtují prostřednictvím Azure Marketplace v souladu s podmínkami použití komerčního marketplace Microsoftu.
Modely od Microsoftu se účtují prostřednictvím měřičů Azure jako služby consumption první strany. Jak je popsáno v podmínkách produktu, zakoupíte služby Consumption Services první strany pomocí měřičů Azure, ale nejsou předmětem podmínek služeb Azure. Použití těchto modelů podléhá zadaným licenčním podmínkám.
Jemně dolaďovací modely
Některé modely také podporují jemné ladění. U těchto modelů můžete využít výhod spravovaného výpočetního prostředí (Preview) nebo vyladění bezserverového rozhraní API k přizpůsobení modelů pomocí vámi zadaných dat. Další informace najdete v přehledu vyladění.
RAG s modely nasazenými jako bezserverová rozhraní API
Na portálu Azure AI Foundry můžete použít vektorové indexy a načítání rozšířené generace (RAG). K vygenerování vkládání a odvozování na základě vlastních dat můžete použít modely, které je možné nasadit prostřednictvím bezserverových rozhraní API. Tyto vkládání a odvozování pak můžou generovat odpovědi specifické pro váš případ použití. Další informace najdete v tématu Vytváření a využívání vektorových indexů na portálu Azure AI Foundry.
Regionální dostupnost nabídek a modelů
Fakturace s platbami za token je dostupná jenom uživatelům, jejichž předplatné Azure patří k fakturačnímu účtu v zemi, kde poskytovatel modelu nabídku zpřístupnil. Pokud je nabídka dostupná v příslušné oblasti, uživatel pak musí mít prostředek projektu v oblasti Azure, kde je model k dispozici pro nasazení nebo vyladění podle potřeby. Viz Dostupnost oblastí pro modely v koncových bodech bezserverového rozhraní API | Podrobné informace najdete v Azure AI Foundry .
Bezpečnost obsahu pro modely nasazené prostřednictvím bezserverových rozhraní API
U jazykových modelů nasazených prostřednictvím bezserverových rozhraní API azure AI implementuje výchozí konfiguraci filtrů moderování obsahu Azure AI , které detekují škodlivý obsah, jako je nenávist, sebeškodné, sexuální a násilné obsah. Další informace o filtrování obsahu (Preview) najdete v tématu Kategorie Poškození v Azure AI Content Safety.
Tip
Filtrování obsahu (Preview) není k dispozici pro určité typy modelů nasazené prostřednictvím bezserverových rozhraní API. Mezi tyto typy modelů patří vkládání modelů a modelů časových řad.
Filtrování obsahu (Preview) probíhá synchronně, protože služba vyzve k vygenerování obsahu. Za takové použití se vám můžou účtovat samostatně podle cen služby Azure AI Content Safety. Filtrování obsahu (Preview) můžete zakázat pro jednotlivé koncové body bez serveru:
- V době, kdy poprvé nasadíte jazykový model
- Později výběrem přepínače filtrování obsahu na stránce podrobností nasazení
Předpokládejme, že se rozhodnete použít jiné rozhraní API než rozhraní API pro odvozování modelů Azure AI k práci s modelem nasazeným prostřednictvím bezserverového rozhraní API. V takové situaci není filtrování obsahu (Preview) povolené, pokud ho neimplementujete samostatně pomocí služby Azure AI Content Safety.
Pokud chcete začít pracovat se službou Azure AI Content Safety, přečtěte si rychlý start: Analýza textového obsahu. Pokud při práci s modely nasazenými prostřednictvím bezserverových rozhraní API nepoužíváte filtrování obsahu (Preview), hrozí vyšší riziko vystavení uživatelů škodlivému obsahu.
Izolace sítě pro modely nasazené prostřednictvím bezserverových rozhraní API
Spravované výpočetní prostředky pro modely nasazené jako bezserverová rozhraní API se řídí nastavením příznaku veřejného přístupu k síti centra Azure AI Foundry s projektem, ve kterém nasazení existuje. Pokud chcete pomoct zabezpečit spravované výpočetní prostředky, zakažte příznak přístupu k veřejné síti v centru Azure AI Foundry. Můžete pomoct zabezpečit příchozí komunikaci z klienta do spravovaného výpočetního prostředí pomocí privátního koncového bodu pro centrum.
Nastavení příznaku přístupu k veřejné síti pro centrum Azure AI Foundry:
- Přejděte na Azure Portal.
- Vyhledejte skupinu prostředků, do které centrum patří, a vyberte centrum Azure AI Foundry z prostředků uvedených pro tuto skupinu prostředků.
- Na stránce přehledu centra v levém podokně přejděte na Nastavení>sítě.
- Na kartě Veřejný přístup můžete nakonfigurovat nastavení příznaku přístupu k veřejné síti.
- Uložte provedené změny. Rozšíření změn může trvat až pět minut.
Omezení
Pokud máte centrum Azure AI Foundry se spravovaným výpočetním prostředím vytvořeným před 11. červencem 2024, spravované výpočty přidané do projektů v tomto centru nebudou dodržovat konfiguraci sítě centra. Místo toho je potřeba vytvořit nový spravovaný výpočetní objekt pro centrum a vytvořit nová nasazení bezserverového rozhraní API v projektu, aby nová nasazení mohly postupovat podle konfigurace sítě centra.
Pokud máte centrum Azure AI Foundry s nasazeními MaaS vytvořené před 11. červencem 2024 a povolíte v tomto centru spravované výpočetní prostředky, stávající nasazení MaaS nebudou dodržovat konfiguraci sítě centra. Pro nasazení bezserverového rozhraní API v centru tak, aby postupovala podle konfigurace sítě centra, musíte nasazení vytvořit znovu.
V současné době není podpora Azure OpenAI ve vašich datech dostupná pro nasazení MaaS v privátních centrech, protože privátní centra mají zakázaný příznak přístupu k veřejné síti.
Rozšíření jakékoli změny konfigurace sítě (například povolení nebo zakázání příznaku přístupu k veřejné síti) může trvat až pět minut.