Dela via

Planera för att hantera kostnader för modellinferens i Azure AI Services

  • Artikel

Den här artikeln beskriver hur du kan planera för och hantera kostnader för modellinferens i Azure AI Services. När du har börjat använda modellinferens i Azure AI Services-resurser använder du Cost Management-funktioner för att ange budgetar och övervaka kostnader.

Även om den här artikeln handlar om att planera för och hantera kostnader för modellinferens i Azure AI Services debiteras du för alla Azure-tjänster och resurser som används i din Azure-prenumeration.

Förutsättningar

  • Kostnadsanalys i Cost Management stöder de flesta Azure-kontotyper, men inte alla. Om du vill se hela listan med kontotyper som stöds kan du läsa Förstå Cost Management-data.
  • Om du vill visa kostnadsdata behöver du minst läsbehörighet för ett Azure-konto. Information om hur du tilldelar åtkomst till kostnadshanteringsdata finns i Tilldela åtkomst till data.

Förstå faktureringsmodellen för modellinferens

Modeller som distribueras i Azure AI Services debiteras per 1 000 token. Språkmodeller förstår och bearbetar text genom att dela upp den i token. Som referens är varje token ungefär fyra tecken för vanlig engelsk text. Kostnaderna per token varierar beroende på vilken modellserie du väljer. Modeller som kan bearbeta bilder delar också upp bilder i token. Antalet token per bild beror på modellen och upplösningen för indatabilden.

Tokenkostnader är för både indata och utdata. Anta till exempel att du har ett JavaScript-kodexempel på 1 000 token som du ber en modell att konvertera till Python. Du debiteras cirka 1 000 token för den första indatabegäran som skickas och ytterligare 1 000 token för utdata som tas emot som svar för totalt 2 000 token.

För den här typen av slutförandeanrop skulle tokenindata/utdata i praktiken inte vara helt 1:1. En konvertering från ett programmeringsspråk till ett annat kan resultera i längre eller kortare utdata beroende på många faktorer. En sådan faktor är värdet som tilldelats parametern max_tokens .

Kostnadsuppdelning

För att förstå uppdelningen av vad som utgör kostnaden kan det vara bra att använda verktyget Kostnadsanalys i Azure Portal. Följ dessa steg för att förstå kostnaden för slutsatsdragning:

  1. Gå till Azure AI Foundry Portal.

  2. I det övre högra hörnet på skärmen väljer du namnet på din Azure AI Services-resurs, eller om du arbetar med ett AI-projekt, på namnet på projektet.

  3. Välj namnet på projektet. Azure Portal öppnas i ett nytt fönster.

    Skärmbild av hur du kommer åt informationssidan för resursgrupper i Azure Portal från Azure AI Foundry-portalen.

  4. Under Cost Management väljer du Kostnadsanalys

  5. Som standard begränsas kostnadsanalysen till den valda resursgruppen.

    Viktigt!

    Det är viktigt att begränsa Kostnadsanalys till resursgruppen där Azure AI Services-resursen distribueras. Kostnadsmätare som är associerade med vissa leverantörsmodellprovidrar, till exempel Mistral AI eller Cohere, visas under resursgruppen i stället för Azure AI Services-resursen.

  6. Ändra Gruppera efter till mätare. Du kan nu se att för den här resursgruppen kommer kostnadens källa från olika modellserier.

    Skärmbild av hur du ser kostnaden för varje mätare i resursgruppen.

I följande avsnitt förklaras posterna i information.

Azure OpenAI- och Microsoft-modeller

Azure OpenAI och Microsofts modellfamilj (till exempel Phi) debiteras direkt och visas som faktureringsmätare under varje Azure AI-tjänstresurs. Den här faktureringen sker direkt via Microsoft. När du inspekterar din faktura ser du faktureringsmätare som redovisar indata och utdata för varje förbrukad modell.

Skärmbild av instrumentpanelen för kostnadsanalys som är begränsad till resursgruppen där Azure AI Services-resursen distribueras, med mätare för Azure OpenAI och Microsofts modeller. Kostnaden grupperas efter mätare.

Leverantörsmodeller

Modeller som tillhandahålls av en annan leverantör, till exempel Mistral AI, Cohere, Meta AI eller AI21 Labs, faktureras med Hjälp av Azure Marketplace. Till skillnad från Microsofts faktureringsmätare associeras dessa poster med den resursgrupp där dina Azure AI-tjänster distribueras i stället för till själva Azure AI Services-resursen. Du ser poster under Service Name SaaS accounting for inputs and outputs for each consumed model (Service NameSaaS accounting for inputs and outputs for each consumed model).

Skärmbild av instrumentpanelen för kostnadsanalys som är begränsad till resursgruppen där Azure AI Services-resursen distribueras, med mätare för modeller som faktureras i hela Azure Marketplace. Kostnaden grupperas efter mätare.

Använda Azure-förskottsbetalning

Du kan betala för Azure OpenAI- och Microsofts modellavgifter med din Azure-förskottsbetalningskredit. Du kan dock inte använda Azure-förskottsbetalningskredit för att betala för avgifter för andra leverantörsmodeller eftersom de debiteras via Azure Marketplace.

HTTP-felsvarskod och faktureringsstatus

Om tjänsten utför bearbetning debiteras du även om statuskoden inte lyckas (inte 200). Till exempel ett 400-fel på grund av ett innehållsfilter eller en indatagräns, eller ett 408-fel på grund av en timeout.

Om tjänsten inte utför bearbetning debiteras du inte. Till exempel ett 401-fel på grund av autentisering eller ett 429-fel på grund av att hastighetsgränsen överskrids.

Övriga kostnader

Att aktivera funktioner som att skicka data till Azure Monitor-loggar och aviseringar medför extra kostnader för dessa tjänster. Dessa kostnader visas under dessa andra tjänster och på prenumerationsnivå, men visas inte när de begränsas bara till din Azure AI-tjänstresurs.

Övervaka kostnader

Kostnaderna för Resursanvändningsenhet i Azure varierar beroende på tidsintervall, till exempel sekunder, minuter, timmar och dagar, eller efter enhetsanvändning, till exempel byte och megabyte. När användningen av Azure AI-tjänster startar kan kostnader uppstå och du kan se kostnaderna i kostnadsanalysen.

Du kan få mer detaljerad faktureringsinformation med hjälp av Kostnadsanalys:

För att förstå uppdelningen av vad som utgör den kostnaden kan det vara bra att använda verktyget Kostnadsanalys i Azure Portal.

  1. Gå till Azure AI Foundry Portal.

  2. I det övre högra hörnet på skärmen väljer du namnet på din Azure AI Services-resurs, eller om du arbetar med ett AI-projekt, på namnet på projektet.

  3. Välj namnet på projektet. Azure Portal öppnas i ett nytt fönster.

  4. Under Cost Management väljer du Kostnadsanalys

  5. Som standard begränsas kostnadsanalysen till den resursgrupp som du har valt.

  6. Eftersom vi ser kostnaden för alla resursgrupper är det användbart att se kostnaden per resurs. I så fall väljer du Visa>kostnad efter resurs.

    Skärmbild av hur du ser kostnaden för varje resurs i resursgruppen.

  7. Nu kan du se de resurser som genererar var och en av faktureringsmätarna.

  8. Azure OpenAI-modeller och Microsoft-modeller visas enligt beskrivningen tidigare som mätare under varje Azure AI-tjänstresurs:

    Skärmbild av instrumentpanelen för kostnadsanalys som är begränsad till resursgruppen där Azure AI Services-resursen distribueras, med mätare för Azure OpenAI och Microsofts modeller. Kostnaden grupperas efter resurs.

  9. Vissa leverantörers modeller visas som mätare under Globala resurser. Observera att ordet Globalinte är relaterat till SKU:n för modelldistributionen (till exempel Global standard). Om du har flera Azure AI-tjänstresurser innehåller din faktura en post för varje modell för varje Azure AI-tjänstresurs. Resursmätaren har formatet [model-name]-[GUID] där [GUID] är en unik identifierare som är associerad med en viss Azure AI Services-resurs. Du ser faktureringsmätare som redovisar indata och utdata för varje modell som du har förbrukat.

    Skärmbild av instrumentpanelen för kostnadsanalys som är begränsad till resursgruppen där Azure AI Services-resursen distribueras, med mätare för modeller som faktureras i hela Azure Marketplace. Kostnaden grupperas efter resurs.

Det är viktigt att förstå omfånget när du utvärderar kostnader som är kopplade till Azure AI Services. Om dina resurser ingår i samma resursgrupp kan du begränsa kostnadsanalysen på den nivån för att förstå effekten på kostnaderna. Om dina resurser är spridda över flera resursgrupper kan du begränsa till prenumerationsnivån.

Skapa budgetar

Du kan skapa budgetar för att hantera kostnader och skapa aviseringar som meddelar intressenter om utgiftsavvikelser och överförbrukningsrisker. Aviseringar baseras på utgifter jämfört med budget- och kostnadströsklar. Du skapar budgetar och aviseringar för Azure-prenumerationer och resursgrupper. De är användbara som en del av en övergripande strategi för kostnadsövervakning.

Du kan skapa budgetar med filter för specifika resurser eller tjänster i Azure om du vill ha mer detaljerad information i din övervakning. Filter hjälper dig att se till att du inte oavsiktligt skapar nya resurser som kostar dig mer pengar. Mer information om de filteralternativ som är tillgängliga när du skapar en budget finns i Grupp- och filteralternativ.

Exportera kostnadsdata

Du kan också exportera dina kostnadsdata till ett lagringskonto, vilket är användbart när du behöver andra för att utföra extra dataanalys för kostnader. Ett ekonomiteam kan till exempel analysera data med excel eller Power BI. Du kan exportera dina kostnader enligt ett dagligt, vecko- eller månadsschema och ange ett anpassat datumintervall. Vi rekommenderar att du exporterar kostnadsdata som ett sätt att hämta kostnadsdatauppsättningar.

Nästa steg