Veelgestelde vragen over azure AI-modeldeductie

Azure OpenAI Service biedt klanten toegang tot geavanceerde taalmodellen vanuit OpenAI. Azure AI-modeldeductie breidt deze mogelijkheid uit, zodat klanten toegang hebben tot alle vlaggenschipmodellen in Azure AI onder dezelfde service, eindpunt en referenties. Het omvat Azure OpenAI, Cohere, Mistral AI, Meta Llama, AI21-labs, enzovoort. Klanten kunnen naadloos schakelen tussen modellen zonder hun code te wijzigen.

Zowel Azure OpenAI Service als Azure AI-modeldeductie maken deel uit van de Azure AI-servicesfamilie en bouwen voort op dezelfde beveiliging en bedrijfsbelofte van Azure.

Hoewel azure AI-modeldeductie zich richt op deductie, kan Azure OpenAI Service worden gebruikt met geavanceerdere API's, zoals batch, fine-tuning, assistenten en bestanden.

Azure AI Models en Azure OpenAI Service bieden klanten toegang tot geavanceerde taalmodellen vanuit OpenAI met de beveiliging en bedrijfsbelofte van Azure. Azure OpenAI ontwikkeld de API's met OpenAI en zorgt voor compatibiliteit en een soepele overgang van het ene naar het andere.

Klanten krijgen de beveiligingsmogelijkheden van Microsoft Azure tijdens het uitvoeren van dezelfde modellen als OpenAI. Het biedt privénetwerken, regionale beschikbaarheid en verantwoordelijke AI-inhoudsfiltering.

Meer informatie over de Azure OpenAI-service.

Azure AI-services zijn een suite met AI-services die vooraf gedefinieerde API's bieden voor algemene AI-scenario's. Azure AI Services maakt deel uit van het Azure AI Foundry-platform. Azure AI-services kunnen worden gebruikt in de Azure AI Foundry-portal om uw modellen te verbeteren met vooraf gedefinieerde AI-mogelijkheden.

Azure AI-modeldeductie in AI-services ondersteunt alle modellen in de Azure AI-catalogus met betalen per gebruik-facturering. Zie het artikel Modellen voor meer informatie.

De Azure AI-modelcatalogus bevat een bredere lijst met modellen, maar voor deze modellen is rekenquotum van uw abonnement vereist. Ze moeten ook een project of AI-hub hebben waar de implementatie moet worden gehost. Zie implementatieopties in Azure AI Foundry voor meer informatie.

U kunt de Azure Inference SDK gebruiken met elk model dat wordt ondersteund door Azure AI-modeldeductie in Azure AI-services, de klasse in OpenAI AzureOpenAI SDK of de Azure OpenAI SDK.

Cohere SDK, Mistral SDK en modelproviderspecifieke SDK's worden niet ondersteund wanneer ze zijn verbonden met Azure AI-services.

Zie ondersteunde SDK's en programmeertalen voor meer informatie.

Azure AI-services ondersteunen de nieuwste versie van de OpenAI Python-bibliotheek (versie>=1.0).<

Zorg ervoor dat u een implementatie hebt gemaakt voor het opgegeven model en dat de implementatienaam exact overeenkomt met de waarde die u doorgeeft in model de parameter. Hoewel routering niet hoofdlettergevoelig is, moet u ervoor zorgen dat er geen speciale interpunctie of spaties zijn, omdat dit veelvoorkomende fouten zijn.

Voor de Azure AI Services-resource is de versie azure-ai-inference>=1.0.0b5 voor Python vereist. Zorg ervoor dat u die versie gebruikt.

Zorg ervoor dat u het juiste eindpunt gebruikt voor de Azure OpenAI-service en de juiste set referenties. Zorg er ook voor dat u de klasse AzureOpenAI van de OpenAI SDK gebruikt als het verificatiemechanisme en de gebruikte URL's verschillen.

Met onze huidige API's kunnen maximaal 10 aangepaste headers worden doorgegeven via de pijplijn en worden geretourneerd. We hebben gemerkt dat sommige klanten dit aantal headers nu overschrijden, wat resulteert in HTTP 431-fouten. Er is geen oplossing voor deze fout, behalve om het volume van de header te verminderen. In toekomstige API-versies worden geen aangepaste headers meer doorgegeven. Het is raadzaam dat u niet afhankelijk bent van aangepaste headers in toekomstige systeemarchitecturen.

U wordt gefactureerd voor invoer en uitvoer voor de API's, meestal in tokens. Er zijn geen kosten verbonden aan de resource zelf of de implementaties.

De tokenprijs varieert per model en u wordt gefactureerd per 1000 tokens. U kunt de prijsgegevens bekijken voordat u een bepaald model implementeert. Zie Kosten beheren voor meer informatie over facturering.

Facturering en kosten worden weergegeven in Azure Cost Management + Billing. U kunt de gebruiksgegevens bekijken in Azure Portal.

Facturering wordt niet weergegeven in de Azure AI Foundry-portal.

U kunt een bestedingslimiet instellen in Azure Portal onder Azure Cost Management + Billing. Deze limiet voorkomt dat u meer uitgaven besteedt dan de limiet die u hebt ingesteld. Zodra de bestedingslimiet is bereikt, wordt het abonnement uitgeschakeld en kunt u het eindpunt pas gebruiken tijdens de volgende factureringscyclus.

Azure AI-modeldeductie gebruikt geen klantgegevens om modellen opnieuw te trainen en klantgegevens worden nooit gedeeld met modelproviders.

De toezegging voor het auteursrecht van de klant is een bepaling die moet worden opgenomen in de Productvoorwaarden van Microsoft op 1 december 2023 waarin de verplichting van Microsoft wordt beschreven om klanten te beschermen tegen bepaalde niet-Microsoft-intellectuele eigendomsclaims met betrekking tot uitvoerinhoud. Als het onderwerp van de claim uitvoerinhoud is die wordt gegenereerd door de Azure OpenAI-service (of een ander gedekt product waarmee klanten de veiligheidssystemen kunnen configureren), moeten klanten alle risicobeperkingen hebben geïmplementeerd die vereist zijn voor de Documentatie van de Azure OpenAI-service in het aanbod dat de uitvoerinhoud heeft geleverd. De vereiste oplossingen worden hier beschreven en doorlopend bijgewerkt. Voor nieuwe services, functies, modellen of use cases worden nieuwe CCC-vereisten geplaatst en toegepast op of na de lancering van een dergelijke service, functie, model of use case. Anders hebben klanten zes maanden na de publicatie om nieuwe oplossingen te implementeren om de dekking onder het CCC te handhaven. Als een klant een claim aangeeft, moet de klant de naleving van de relevante vereisten aantonen. Deze oplossingen zijn vereist voor gedekte producten waarmee klanten de veiligheidssystemen kunnen configureren, waaronder Azure OpenAI Service; ze hebben geen invloed op de dekking voor klanten die andere gedekte producten gebruiken.