Modelcatalogus en verzamelingen in de Azure AI Foundry-portal
Belangrijk
Items die in dit artikel zijn gemarkeerd (preview) zijn momenteel beschikbaar als openbare preview. Deze preview wordt aangeboden zonder een service level agreement en we raden deze niet aan voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.
De modelcatalogus in de Azure AI Foundry-portal is de hub voor het detecteren en gebruiken van een breed scala aan modellen voor het bouwen van generatieve AI-toepassingen. De modelcatalogus bevat honderden modellen voor modelproviders, zoals Azure OpenAI Service, Mistral, Meta, Cohere, NVIDIA en Hugging Face, inclusief modellen die Door Microsoft zijn getraind. Modellen van andere providers dan Microsoft zijn niet-Microsoft-producten zoals gedefinieerd in de Microsoft-productvoorwaarden en zijn onderhevig aan de voorwaarden die bij de modellen worden geleverd.
Modelverzamelingen
De modelcatalogus organiseert modellen in verschillende verzamelingen:
Gecureerd door Azure AI: de populairste niet-Microsoft open-gewichts- en bedrijfseigen modellen die zijn verpakt en geoptimaliseerd om naadloos te kunnen werken op het Azure AI-platform. Het gebruik van deze modellen is onderhevig aan de licentievoorwaarden van de modelproviders. Wanneer u deze modellen implementeert in de Azure AI Foundry-portal, is de beschikbaarheid onderhevig aan de toepasselijke Azure Service Level Agreement (SLA) en biedt Microsoft ondersteuning voor implementatieproblemen.
Modellen van partners zoals Meta, NVIDIA en Mistral AI zijn voorbeelden van modellen die beschikbaar zijn in deze verzameling in de catalogus. U kunt deze modellen identificeren door te zoeken naar een groen vinkje op de modeltegels in de catalogus. U kunt ook filteren op de verzameling Gecureerd door Azure AI .
Azure OpenAI-modellen die exclusief beschikbaar zijn in Azure: Flagship Azure OpenAI-modellen die beschikbaar zijn via een integratie met Azure OpenAI Service. Microsoft ondersteunt deze modellen en het gebruik ervan volgens de productvoorwaarden en SLA voor Azure OpenAI Service.
Open modellen van de Hugging Face-hub: Honderden modellen van de Hugging Face-hub voor realtime deductie met beheerde rekenkracht. Met Face knuffelen worden modellen gemaakt en onderhouden die in deze verzameling worden vermeld. Gebruik voor hulp het Hugging Face-forum of hugging Face-ondersteuning. Meer informatie in Open Modellen implementeren met Azure AI Foundry.
U kunt een aanvraag indienen om een model toe te voegen aan de modelcatalogus met behulp van dit formulier.
Overzicht van de mogelijkheden van de modelcatalogus
U kunt modellen zoeken en ontdekken die voldoen aan uw behoeften en keyword search filters. Modelcatalogus biedt ook de metrische gegevens van de modelprestatiebenchmark voor bepaalde modellen. U kunt toegang krijgen tot de benchmark door te Compare Models klikken of op het tabblad Benchmark voor modelkaarten.
Op de modelkaart vindt u:
- Snelle feiten: u ziet in één oogopslag belangrijke informatie over het model.
- Details: deze pagina bevat de gedetailleerde informatie over het model, inclusief beschrijving, versie-informatie, ondersteund gegevenstype, enzovoort.
- Benchmarks: u vindt metrische prestatiebenchmarks voor geselecteerde modellen.
- Bestaande implementaties: als u het model al hebt geïmplementeerd, kunt u dit vinden op het tabblad Bestaande implementaties.
- Codevoorbeelden: u vindt de basiscodevoorbeelden om aan de slag te gaan met de ontwikkeling van AI-toepassingen.
- Licentie: u vindt juridische informatie met betrekking tot modellicenties.
- Artefacten: dit tabblad wordt alleen weergegeven voor geopende modellen. U kunt de modelassets zien en downloaden via de gebruikersinterface.
Modelimplementatie: Azure OpenAI
Zie Wat is De Azure OpenAI-service? voor meer informatie over Azure OpenAI-modellen.
Modelimplementatie: Beheerde compute- en serverloze API's
Naast Azure OpenAI Service-modellen biedt de modelcatalogus twee verschillende manieren om modellen te implementeren voor uw gebruik: beheerde compute- en serverloze API's.
De implementatieopties en -functies die beschikbaar zijn voor elk model variëren, zoals beschreven in de volgende tabellen. Meer informatie over gegevensverwerking met de implementatieopties.
Mogelijkheden van modelimplementatieopties
| Functies | Volledig beheerde rekenprocessen | Serverloze API (betalen per token) |
|---|---|---|
| Implementatie-ervaring en -facturering | Modelgewichten worden geïmplementeerd op toegewezen virtuele machines met beheerde rekenkracht. Een beheerde berekening, die een of meer implementaties kan hebben, maakt een REST API beschikbaar voor deductie. U wordt gefactureerd voor de kernuren van de virtuele machine die door de implementaties worden gebruikt. | Toegang tot modellen is via een implementatie die een API inricht voor toegang tot het model. De API biedt toegang tot het model dat Door Microsoft wordt gehost en beheerd voor deductie. U wordt gefactureerd voor invoer en uitvoer voor de API's, meestal in tokens. Prijsinformatie wordt verstrekt voordat u implementeert. |
| API-verificatie | Sleutels en Microsoft Entra-verificatie. | Alleen sleutels. |
| Inhoudsveiligheid | Azure AI Content Safety Service-API's gebruiken. | Azure AI Content Veiligheid-filters zijn geïntegreerd met deductie-API's. Azure AI Content Safety-filters worden afzonderlijk gefactureerd. |
| Netwerkisolatie | Beheerde netwerken configureren voor Azure AI Foundry-hubs. | Beheerde rekenkracht volgt de vlaginstelling voor openbare netwerktoegang (PNA) van uw hub. Zie de sectie Netwerkisolatie voor modellen die zijn geïmplementeerd via serverloze API's verderop in dit artikel voor meer informatie. |
Beschikbare modellen voor ondersteunde implementatieopties
De volgende lijst bevat serverloze API-modellen. Zie Azure OpenAI-servicemodellen voor Azure OpenAI-modellen voor meer informatie.
| Modelleren | Volledig beheerde rekenprocessen | Serverloze API (betalen per token) |
|---|---|---|
| Familiemodellen van Llama | Llama-3.2-3B-Instruct Llama-3.2-1B-Instruct Llama-3.2-1B Llama-3.2-90B-Vision-Instruct Llama-3.2-11B-Vision-Instruct Llama-3.1-8B-Instruct Llama-3.1-8B Llama-3.1-70B-Instruct Llama-3.1-70B Llama-3-8B-Instruct Llama-3-70B Llama-3-8B Llama-Guard-3-1B Llama-Guard-3-8B Llama-Guard-3-11B-Vision Llama-2-7b Llama-2-70b Llama-2-7b-chat Llama-2-13b-chat CodeLlama-7b-hf CodeLlama-7b-Instruct-hf CodeLlama-34b-hf CodeLlama-34b-Python-hf CodeLlama-34b-Instruct-hf CodeLlama-13b-Instruct-hf CodeLlama-13b-Python-hf Prompt-Guard-86M CodeLlama-70b-hf |
Llama-3.2-90B-Vision-Instruct Llama-3.2-11B-Vision-Instruct Llama-3.1-8B-Instruct Llama-3.1-70B-Instruct Llama-3.1-405B-Instruct Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-70b Llama-2-70b-chat Llama-2-13b Llama-2-13b-chat |
| Mistral-familiemodellen | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large (2402) Mistral-large (2407) Mistral-small Ministral-3B Mistral-NeMo |
| Familiemodellen in cohere | Niet beschikbaar | Cohere-command-r-plus-08-2024 Cohere-command-r-08-2024 Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-meertalige Cohere-rerank-v3-english Cohere-rerank-v3-meertalige |
| JAIS | Niet beschikbaar | jais-30b-chat |
| AI21-gezinsmodellen | Niet beschikbaar | Jamba-1,5-Mini Jamba-1.5-Large |
| Ai-gezinsmodellen voor gezondheidszorg | MedImageParse MedImageInsight CxrReportGen Virchow Virchow2 Prisma BiomedCLIP-PubMedBERT microsoft-llava-med-v1.5 m42-health-llama3-med4 biomistral-biomistral-7b microsoft-biogpt-large-pub microsoft-biomednlp-pub parameter-crfm-biomedlm medicalai-clinicalbert microsoft-biogpt microsoft-biogpt-large microsoft-biomednlp-pub |
Niet beschikbaar |
| Phi-3-familiemodellen | Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3-vision-128k-Instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-Moe-Instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-Moe-Instruct |
| Nixtla | Niet beschikbaar | TimeGEN-1 |
Volledig beheerde rekenprocessen
De mogelijkheid om modellen als beheerde berekening te implementeren, bouwt voort op platformmogelijkheden van Azure Machine Learning om naadloze integratie mogelijk te maken van de brede verzameling modellen in de modelcatalogus gedurende de gehele levenscyclus van LLM-bewerkingen (Large Language Model).
Beschikbaarheid van modellen voor implementatie als beheerde rekenkracht
De modellen worden beschikbaar gesteld via Azure Machine Learning-registers. Deze registers maken een machine learning-first-benadering mogelijk voor het hosten en distribueren van Azure Machine Learning-assets. Deze assets omvatten modelgewichten, containerruntimes voor het uitvoeren van de modellen, pijplijnen voor het evalueren en verfijnen van de modellen en gegevenssets voor benchmarks en voorbeelden.
De registers bouwen voort op een zeer schaalbare en bedrijfsklare infrastructuur die:
Biedt toegangsmodelartefacten met lage latentie voor alle Azure-regio's met ingebouwde geo-replicatie.
Ondersteunt bedrijfsbeveiligingsvereisten, zoals het beperken van de toegang tot modellen met behulp van Azure Policy en veilige implementatie met behulp van beheerde virtuele netwerken.
Implementatie van modellen voor deductie met beheerde rekenkracht
Modellen die beschikbaar zijn voor implementatie naar beheerde berekeningen, kunnen worden geïmplementeerd in azure Machine Learning managed compute voor realtime deductie. Voor het implementeren naar beheerde berekeningen moet u een quotum voor virtuele machines in uw Azure-abonnement hebben voor de specifieke producten die u nodig hebt om het model optimaal uit te voeren. Met sommige modellen kunt u een tijdelijk gedeeld quotum implementeren voor modeltests.
Meer informatie over het implementeren van modellen:
Generatieve AI-apps bouwen met beheerde rekenkracht
De functie promptstroom in Azure Machine Learning biedt een geweldige ervaring voor het maken van prototypen. U kunt modellen gebruiken die zijn geïmplementeerd met beheerde rekenkracht in promptstroom met het hulpprogramma Open Model LLM. U kunt ook de REST API gebruiken die wordt weergegeven door beheerde compute in populaire LLM-hulpprogramma's zoals LangChain met de Azure Machine Learning-extensie.
Inhoudsveiligheid voor modellen die zijn geïmplementeerd als beheerde compute
De Azure AI Content Safety-service is beschikbaar voor gebruik met beheerde berekeningen om te controleren op verschillende categorieën schadelijke inhoud, zoals seksuele inhoud, geweld, haat en zelfbeschadiging. U kunt de service ook gebruiken om te screenen op geavanceerde bedreigingen, zoals jailbreak-risicodetectie en detectie van beveiligde materiaalteksten.
U kunt dit notebook raadplegen voor referentieintegratie met Azure AI Content Safety voor Llama 2. U kunt ook het hulpprogramma Content Safety (Text) gebruiken in de promptstroom om reacties van het model door te geven aan Azure AI Content Safety voor screening. U wordt afzonderlijk gefactureerd voor dergelijk gebruik, zoals beschreven in prijzen voor Azure AI Content Safety.
Facturering voor serverloze API (betalen per token)
U kunt bepaalde modellen in de modelcatalogus implementeren met facturering per token. Deze implementatiemethode, ook wel serverloze API genoemd, biedt een manier om de modellen als API's te gebruiken zonder deze te hosten in uw abonnement. Modellen worden gehost in een door Microsoft beheerde infrastructuur, waardoor API-toegang tot het model van de modelprovider mogelijk is. Api-toegang kan de kosten voor het openen van een model aanzienlijk verlagen en de inrichtingservaring vereenvoudigen.
Modellen die beschikbaar zijn voor implementatie als serverloze API's met betalen per gebruik-facturering, worden aangeboden door de modelprovider, maar ze worden gehost in een door Microsoft beheerde Azure-infrastructuur en toegankelijk via API. Modelproviders definiëren de licentievoorwaarden en stellen de prijs in voor het gebruik van hun modellen. De Azure Machine Learning-service:
- Beheert de hostinginfrastructuur.
- Maakt de deductie-API's beschikbaar.
- Fungeert als de gegevensverwerker voor prompts die worden verzonden en inhoudsuitvoer door modellen die zijn geïmplementeerd via MaaS.
Meer informatie over gegevensverwerking voor MaaS vindt u in het artikel over gegevensprivacy.
Billing
De detectie-, abonnements- en verbruikservaring voor modellen die zijn geïmplementeerd via MaaS, bevindt zich in de Azure AI Foundry-portal en Azure Machine Learning-studio. Gebruikers accepteren licentievoorwaarden voor het gebruik van de modellen. Prijsinformatie voor verbruik wordt verstrekt tijdens de implementatie.
Modellen van niet-Microsoft-providers worden gefactureerd via Azure Marketplace, in overeenstemming met de gebruiksvoorwaarden van Microsoft Commercial Marketplace.
Modellen van Microsoft worden gefactureerd via Azure-meters als First Party Consumption Services. Zoals beschreven in de productvoorwaarden, koopt u First Party Consumption Services met behulp van Azure-meters, maar deze zijn niet onderhevig aan de Azure-servicevoorwaarden. Het gebruik van deze modellen is onderhevig aan de opgegeven licentievoorwaarden.
Modellen verfijnen
Bepaalde modellen ondersteunen ook serverloze afstemming. Voor deze modellen kunt u profiteren van gehoste afstemming met betalen per gebruik-facturering om de modellen aan te passen met behulp van gegevens die u opgeeft. Zie het overzicht van afstemming voor meer informatie.
RAG met modellen die zijn geïmplementeerd als serverloze API's
In de Azure AI Foundry-portal kunt u vectorindexen en het ophalen van augmented generation (RAG) gebruiken. U kunt modellen gebruiken die kunnen worden geïmplementeerd via serverloze API's om insluitingen en deductie te genereren op basis van aangepaste gegevens. Deze insluitingen en deductie kunnen vervolgens antwoorden genereren die specifiek zijn voor uw use-case. Zie Vectorindexen bouwen en gebruiken in de Azure AI Foundry-portal voor meer informatie.
Regionale beschikbaarheid van aanbiedingen en modellen
Facturering per token is alleen beschikbaar voor gebruikers van wie het Azure-abonnement deel uitmaakt van een factureringsrekening in een land waar de modelprovider de aanbieding beschikbaar heeft gesteld. Als de aanbieding beschikbaar is in de relevante regio, moet de gebruiker een projectresource hebben in de Azure-regio waar het model beschikbaar is voor implementatie of afstemming, indien van toepassing. Beschikbaarheid van regio's bekijken voor modellen in serverloze API-eindpunten | Azure AI Foundry voor gedetailleerde informatie.
Inhoudsveiligheid voor modellen die zijn geïmplementeerd via serverloze API's
Voor taalmodellen die zijn geïmplementeerd via serverloze API's, implementeert Azure AI een standaardconfiguratie van azure AI Content Safety-tekstbeheerfilters die schadelijke inhoud detecteren, zoals haat, zelfschadig, seksueel en gewelddadig inhoud. Zie Categorieën schade in Azure AI Content Safety voor meer informatie over inhoudsfiltering (preview).
Tip
Inhoudsfilters (preview) zijn niet beschikbaar voor bepaalde modeltypen die worden geïmplementeerd via serverloze API's. Deze modeltypen omvatten het insluiten van modellen en tijdreeksmodellen.
Inhoudsfilters (preview) worden synchroon uitgevoerd wanneer de service vraagt om inhoud te genereren. Mogelijk wordt u afzonderlijk gefactureerd op basis van azure AI Content Safety-prijzen voor dergelijk gebruik. U kunt het filteren van inhoud (preview) uitschakelen voor afzonderlijke serverloze eindpunten:
- Op het moment dat u voor het eerst een taalmodel implementeert
- Later selecteert u de wisselknop voor het filteren van inhoud op de pagina met implementatiedetails
Stel dat u besluit een andere API dan de Azure AI-modeldeductie-API te gebruiken om te werken met een model dat is geïmplementeerd via een serverloze API. In een dergelijke situatie is inhoudsfiltering (preview) niet ingeschakeld, tenzij u deze afzonderlijk implementeert met behulp van Azure AI Content Safety.
Zie quickstart: Tekstinhoud analyseren om aan de slag te gaan met Azure AI Content Safety. Als u geen inhoudsfilters (preview) gebruikt bij het werken met modellen die zijn geïmplementeerd via serverloze API's, loopt u een hoger risico om gebruikers bloot te stellen aan schadelijke inhoud.
Netwerkisolatie voor modellen die zijn geïmplementeerd via serverloze API's
Beheerde berekeningen voor modellen die als serverloze API's zijn geïmplementeerd, volgen de instelling van de openbare netwerktoegangsvlag van de AI Foundry-hub met het project waarin de implementatie bestaat. Als u uw beheerde berekening wilt beveiligen, schakelt u de vlag voor openbare netwerktoegang uit op uw AI Foundry-hub. U kunt binnenkomende communicatie van een client naar uw beheerde berekening beveiligen met behulp van een privé-eindpunt voor de hub.
De vlag voor openbare netwerktoegang voor de AI Foundry-hub instellen:
- Ga naar de Azure Portal.
- Zoek naar de resourcegroep waartoe de hub behoort en selecteer uw AI Foundry-hub in de resources die voor deze resourcegroep worden vermeld.
- Ga op de overzichtspagina van de hub in het linkerdeelvenster naar Instellingennetwerken>.
- Op het tabblad Openbare toegang kunt u instellingen configureren voor de vlag voor openbare netwerktoegang.
- Sla uw wijzigingen op. Het kan vijf minuten duren voordat uw wijzigingen zijn doorgevoerd.
Beperkingen
Als u een AI Foundry-hub hebt met een beheerde berekening die vóór 11 juli 2024 is gemaakt, worden beheerde berekeningen die zijn toegevoegd aan projecten in deze hub, niet gevolgd door de netwerkconfiguratie van de hub. In plaats daarvan moet u een nieuwe beheerde berekening voor de hub maken en nieuwe serverloze API-implementaties maken in het project, zodat de nieuwe implementaties de netwerkconfiguratie van de hub kunnen volgen.
Als u een AI Foundry-hub hebt met MaaS-implementaties die vóór 11 juli 2024 zijn gemaakt en u een beheerde berekening voor deze hub inschakelt, volgen de bestaande MaaS-implementaties de netwerkconfiguratie van de hub niet. Voor serverloze API-implementaties in de hub om de netwerkconfiguratie van de hub te volgen, moet u de implementaties opnieuw maken.
Momenteel is Azure OpenAI On Your Data Support niet beschikbaar voor MaaS-implementaties in privéhubs, omdat privéhubs de vlag voor openbare netwerktoegang hebben uitgeschakeld.
Het kan vijf minuten duren voordat een netwerkconfiguratiewijziging (bijvoorbeeld het in- of uitschakelen van de vlag voor openbare netwerktoegang) is doorgevoerd.