Vanliga frågor och svar om Azure AI-modellinferens

Azure OpenAI Service ger kunderna åtkomst till avancerade språkmodeller från OpenAI. Azure AI-modellinferens utökar sådana funktioner som ger kunderna åtkomst till alla flaggskeppsmodeller i Azure AI under samma tjänst, slutpunkt och autentiseringsuppgifter. Den innehåller Azure OpenAI, Cohere, Mistral AI, Meta Llama, AI21 labs osv. Kunder kan smidigt växla mellan modeller utan att ändra sin kod.

Både Azure OpenAI Service och Azure AI-modellinferens ingår i Azure AI-tjänstefamiljen och bygger vidare på samma säkerhets- och företagslöfte för Azure.

Azure AI-modellinferens fokuserar på slutsatsdragning, men Azure OpenAI Service kan användas med mer avancerade API:er som batch, finjustering, assistenter och filer.

Azure AI-modeller och Azure OpenAI Service ger kunderna åtkomst till avancerade språkmodeller från OpenAI med säkerhet och företagslöfte för Azure. Azure OpenAI codevelops API:erna med OpenAI, vilket säkerställer kompatibilitet och en smidig övergång från en till en annan.

Kunderna får säkerhetsfunktionerna i Microsoft Azure när de kör samma modeller som OpenAI. Det erbjuder privata nätverk, regional tillgänglighet och ansvarsfull AI-innehållsfiltrering.

Läs mer om Azure OpenAI-tjänsten.

Azure AI-tjänster är en uppsättning AI-tjänster som tillhandahåller fördefinierade API:er för vanliga AI-scenarier. Azure AI Services är en del av Azure AI Foundry-plattformen. Azure AI-tjänster kan användas i Azure AI Foundry-portalen för att förbättra dina modeller med fördefinierade AI-funktioner.

Azure AI-modellinferens i AI-tjänster stöder alla modeller i Azure AI-katalogen med betala per användning-fakturering. Mer information finns i artikeln Modeller.

Azure AI-modellkatalogen innehåller en bredare lista över modeller, men dessa modeller kräver beräkningskvot från din prenumeration. De måste också ha ett projekt eller en AI-hubb där distributionen ska vara värd. Mer information finns i distributionsalternativ i Azure AI Foundry.

Du kan använda Azure Inference SDK med valfri modell som stöds av Azure AI-modellinferens i Azure AI-tjänster, AzureOpenAI klassen i OpenAI SDK eller Azure OpenAI SDK.

Cohere SDK, Mistral SDK och modellproviderspecifika SDK:er stöds inte när de är anslutna till Azure AI-tjänster.

Mer information finns i SDK:er och programmeringsspråk som stöds.

Azure AI-tjänster stöder den senaste versionen av OpenAI Python-biblioteket (version>=1.0).

Se till att du har skapat en distribution för den angivna modellen och att distributionsnamnet matchar exakt det värde som du skickar in model parametern. Även om routning inte är skiftlägeskänslig ser du till att det inte finns några särskilda skiljetecken eller blanksteg eftersom det här är vanliga misstag.

Azure AI Services-resursen kräver versionen azure-ai-inference>=1.0.0b5 för Python. Kontrollera att du använder den versionen.

Se till att du använder rätt slutpunkt för Azure OpenAI-tjänsten och rätt uppsättning autentiseringsuppgifter. Se också till att du använder klassen AzureOpenAI från OpenAI SDK eftersom autentiseringsmekanismen och URL:erna som används skiljer sig åt.

Våra aktuella API:er tillåter upp till 10 anpassade huvuden som skickas via pipelinen och returneras. Vi har märkt att vissa kunder nu överskrider det här antalet huvuden, vilket resulterar i HTTP 431-fel. Det finns ingen lösning på det här felet, förutom att minska rubrikvolymen. I framtida API-versioner passerar vi inte längre anpassade rubriker. Vi rekommenderar att du inte är beroende av anpassade rubriker i framtida systemarkitekturer.

Du debiteras för indata och utdata till API:erna, vanligtvis i token. Det finns ingen kostnad som är associerad med själva resursen eller distributionerna.

Tokenpriset varierar per modell och du debiteras per 1 000 token. Du kan se prisinformationen innan du distribuerar en viss modell. Mer information om fakturering finns i Hantera kostnader.

Fakturering och kostnader visas i Azure Cost Management + Fakturering. Du kan se användningsinformationen i Azure Portal.

Fakturering visas inte i Azure AI Foundry-portalen.

Du kan konfigurera en utgiftsgräns i Azure Portal under Azure Cost Management + Fakturering. Den här gränsen hindrar dig från att spendera mer än den gräns du anger. När utgiftsgränsen har nåtts inaktiveras prenumerationen och du kan inte använda slutpunkten förrän nästa faktureringsperiod.

Azure AI-modellinferens använder inte kunddata för att träna om modeller och kunddata delas aldrig med modellleverantörer.

Kundens upphovsrättsåtagande är en bestämmelse som ska ingå i Microsofts produktvillkor från den 1 december 2023 och som beskriver Microsofts skyldighet att försvara kunder mot vissa immateriella anspråk som inte kommer från Microsoft avseende utdatainnehåll. Om anspråkets ämne är Utdatainnehåll som genererats från Azure OpenAI-tjänsten (eller någon annan täckt produkt som gör det möjligt för kunder att konfigurera säkerhetssystemen) måste kunderna ha implementerat alla åtgärder som krävs av Azure OpenAI Service-dokumentationen i erbjudandet som levererade utdatainnehållet. De åtgärder som krävs dokumenteras här och uppdateras kontinuerligt. För nya tjänster, funktioner, modeller eller användningsfall publiceras nya CCC-krav och börjar gälla vid eller efter lanseringen av en sådan tjänst, funktion, modell eller användningsfall. Annars har kunderna sex månader på sig från publiceringstillfället att implementera nya åtgärder för att upprätthålla täckningen enligt CCC. Om en kund lämnar in ett anspråk måste kunden visa att de relevanta kraven uppfylls. Dessa åtgärder krävs för täckta produkter som gör det möjligt för kunder att konfigurera säkerhetssystemen, inklusive Azure OpenAI Service. de påverkar inte täckningen för kunder som använder andra produkter som omfattas.