Distribuera ett flöde för slutsatsdragning i realtid

Viktigt!

Objekt markerade (förhandsversion) i den här artikeln är för närvarande i offentlig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

När du har skapat ett promptflöde och testat det korrekt kanske du vill distribuera det som en onlineslutpunkt. Distributioner hanteras inom en slutpunkt och kan ta emot data från klienter och skicka svar tillbaka i realtid.

Du kan anropa slutpunkten för slutsatsdragning i realtid för chatt, copilot eller något annat generativt AI-program. Prompt flow stöder slutpunktsdistribution från ett flöde eller från en masstestkörning.

I den här artikeln får du lära dig hur du distribuerar ett flöde som en hanterad onlineslutpunkt för realtidsinferens. De steg du utför är:

• Testa flödet och gör det redo för distribution.
• Skapa en onlinedistribution.
• Bevilja behörigheter till slutpunkten.
• Testa slutpunkten.
• Förbruka slutpunkten.

Förutsättningar

Om du vill distribuera ett promptflöde som en onlineslutpunkt behöver du:

• En Azure-prenumeration Om du inte har ett konto kan du skapa ett kostnadsfritt konto innan du börjar.
• Ett Azure AI Foundry-projekt.

Skapa en onlinedistribution

Nu när du har skapat ett flöde och testat det korrekt är det dags att skapa din onlineslutpunkt för realtidsinferens.

Följ stegen nedan för att distribuera ett promptflöde som en onlineslutpunkt i Azure AI Foundry-portalen.

1. Ha ett promptflöde redo för distribution. Om du inte har något kan du se hur du skapar ett promptflöde.

2. Valfritt: Välj Chatt för att testa om flödet fungerar korrekt. Vi rekommenderar att du testar flödet före distributionen.

3. Välj Distribuera i flödesredigeraren.

   

4. Ange den begärda informationen på sidan Grundläggande inställningar i distributionsguiden.

   

5. Välj Granska + Skapa för att granska inställningarna och skapa distributionen. Annars kan du välja Nästa för att gå vidare till de avancerade inställningssidorna.

6. Välj Skapa för att distribuera promptflödet.

7. Om du vill visa status för distributionen väljer du Modeller + slutpunkter i det vänstra navigeringsfältet. När distributionen har skapats kan du välja distributionen för att visa informationen.

   

8. Välj fliken Förbruka för att se kodexempel som kan användas för att använda den distribuerade modellen i ditt program.

   Kommentar

   På den här sidan kan du också se slutpunkts-URL:en som du kan använda för att använda slutpunkten.

   

9. Du kan använda REST-slutpunkten direkt eller komma igång med något av exemplen som visas här.

   

Mer information finns i avsnitten nedan.

Dricks

En guide om hur du distribuerar en basmodell finns i Distribuera modeller med Azure AI Foundry.

Inställningar och konfigurationer

Textfil för krav

Du kan också ange extra paket som du behövde i requirements.txt. Du hittar requirements.txt i rotmappen i flödesmappen. När du distribuerar promptflöde till hanterad onlineslutpunkt i användargränssnittet använder distributionen som standard miljön som skapats baserat på basavbildningen som anges i flow.dag.yaml och beroenden som anges i requirements.txt flödet.

Kommentar

Basavbildningen som anges i måste skapas baserat på basavbildningen mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> flow.dag.yaml för promptflöde och du hittar den senaste versionen här. Om du inte anger basavbildningen flow.dag.yamli använder distributionen standardbasavbildningen mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latest.

Grundläggande inställningar

Med det här steget kan du konfigurera de grundläggande inställningarna när du väljer Distribuera i flödesredigeraren.

Property	beskrivning
Slutpunkt	Du kan välja om du vill distribuera en ny slutpunkt eller uppdatera en befintlig slutpunkt. Om du väljer Ny måste du ange slutpunktsnamnet.
Distributionsnamnet	– Inom samma slutpunkt ska distributionsnamnet vara unikt. – Om du väljer en befintlig slutpunkt och anger ett befintligt distributionsnamn skrivs distributionen över med de nya konfigurationerna.
Virtuell maskin	Den VM-storlek som ska användas för distributionen.
Antal instanser	Antalet instanser som ska användas för distributionen. Ange värdet för den arbetsbelastning som du förväntar dig. För hög tillgänglighet rekommenderar vi att du anger värdet till minst 3. Vi reserverar ytterligare 20 % för att utföra uppgraderingar.
Insamling av slutsatsdragningsdata	Om du aktiverar detta samlas flödesindata och utdata in automatiskt i en Azure Machine Learning-datatillgång och kan användas för senare övervakning.

När du har slutfört de grundläggande inställningarna kan du granska + skapa direkt för att slutföra skapandet, eller så kan du välja Nästa för att konfigurera avancerade inställningar.

Avancerade inställningar – Slutpunkt

Du kan ange följande inställningar för slutpunkten.

I arbetsflödet för avancerade inställningar kan du också ange distributionstaggar och välja en anpassad miljö.

Authentication type

Autentiseringsmetoden för slutpunkten. Nyckelbaserad autentisering ger en primär och sekundär nyckel som inte upphör att gälla. Tokenbaserad autentisering i Azure Machine Learning tillhandahåller en token som uppdateras automatiskt med jämna mellanrum.

Identitetstyp

Slutpunkten måste komma åt Azure-resurser, till exempel Azure Container Registry eller dina AI Foundry Hub-anslutningar för slutsatsdragning. Du kan ge slutpunkten behörighet att komma åt Azure-resurser genom att ge behörighet till dess hanterade identitet.

Systemtilldelad identitet skapas automatiskt när slutpunkten har skapats, medan användartilldelad identitet skapas av användaren. Läs mer om hanterade identiteter.

Systemtilldelad

Du märker att det finns ett alternativ om Framtvinga åtkomst till anslutningshemligheter (förhandsversion). Om ditt flöde använder anslutningar måste slutpunkten komma åt anslutningar för att utföra slutsatsdragning. Alternativet är som standard aktiverat. Slutpunkten beviljas rollen Anslutningshemlighetsläsare för Azure Machine Learning-arbetsyta för att få åtkomst till anslutningar automatiskt om du har behörighet att läsa anslutningshemligheter. Om du inaktiverar det här alternativet måste du bevilja den här rollen till den systemtilldelade identiteten manuellt själv eller be administratören om hjälp. Läs mer om hur du beviljar behörighet till slutpunktsidentiteten.

Användartilldelad

När du skapar distributionen försöker Azure hämta användarcontaineravbildningen från Azure AI Foundry Hubs Azure Container Registry (ACR) och monterar användarmodellen och kodartefakter i användarcontainern från hubbens lagringskonto.

Om du skapade den associerade slutpunkten med användartilldelad identitet måste den användartilldelade identiteten beviljas följande roller innan distributionen skapas. Annars misslyckas distributionen.

Omfattning	Roll	Varför det behövs
AI Foundry-projekt	Rollen Läsare av anslutningshemligheter för Azure Machine Learning-arbetsyta ELLER en anpassad roll med Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action	Hämta projektanslutningar
AI Foundry-projektcontainerregister	ACR-pull	Hämta containeravbildning
Standardlagring för AI Foundry-projekt	Storage Blob Data-läsare	Läsa in modellen från lagring
AI Foundry-projekt	Måttskrivare för arbetsytan	När du har distribuerat slutpunkten måste du ge den här behörigheten till identiteten om du vill övervaka slutpunktsrelaterade mått som CPU/GPU/disk/minnesanvändning. Valfritt

Se detaljerad vägledning om hur du beviljar behörigheter till slutpunktsidentiteten i Bevilja behörigheter till slutpunkten.

Viktigt!

Om ditt flöde använder Microsoft Entra ID-baserade autentiseringsanslutningar, oavsett om du använder systemtilldelad identitet eller användartilldelad identitet, måste du alltid bevilja den hanterade identiteten lämpliga roller för motsvarande resurser så att den kan göra API-anrop till den resursen. Om din Azure OpenAI-anslutning till exempel använder Microsoft Entra ID-baserad autentisering måste du bevilja din slutpunktshanterade identitet Cognitive Services OpenAI-användare eller Cognitive Services OpenAI-deltagarroll för motsvarande Azure OpenAI-resurser.

Avancerade inställningar – Utdata och anslutningar

I det här steget kan du visa alla flödesutdata och ange vilka utdata som ska inkluderas i svaret på slutpunkten som du distribuerar. Som standard är alla flödesutdata markerade.

Du kan också ange de anslutningar som används av slutpunkten när den utför slutsatsdragning. Som standard ärvs de från flödet.

När du har konfigurerat och granskat alla steg ovan kan du välja Granska + Skapa för att slutföra skapandet.

Kommentar

Förvänta dig att det tar cirka 15 minuter att skapa slutpunkten eftersom den innehåller flera steg, inklusive att skapa slutpunkt, registrera modell, skapa distribution osv.

Du kan förstå förloppet när distributionen skapas via meddelandet startas av distributionen av promptflödet.

Aktivera spårning genom att aktivera Application Insights-diagnostik (förhandsversion)

Om du aktiverar detta samlas spårning av data och systemmått under inferenstid (till exempel tokenantal, flödesfördröjning, flödesbegäran och så vidare) in i arbetsytans länkade Application Insights. Mer information finns i promptflöde som hanterar spårningsdata och mått.

Bevilja behörigheter till slutpunkten

Viktigt!

Det är bara ägaren av de specifika Azure-resurserna som kan bevilja behörigheter (lägga till rolltilldelning). Du kan behöva be din Azure-prenumerationsägare (som kan vara IT-administratör) om hjälp.

Vi rekommenderar att du beviljar roller till den användartilldelade identiteten innan distributionen skapas. Det kan ta mer än 15 minuter innan den beviljade behörigheten börjar gälla.

Du kan bevilja de behörigheter som krävs i Azure Portal användargränssnittet genom att följa stegen nedan.

1. Gå till översiktssidan för Azure AI Foundry-projektet i Azure Portal.

2. Välj Åtkomstkontroll och välj Lägg till rolltilldelning.

3. Välj Azure Machine Learning Workspace Connection Secrets Reader och gå till Nästa.

   Kommentar

   Rollen Anslutningshemligheter för Azure Machine Learning-arbetsyta är en inbyggd roll som har behörighet att hämta hubbanslutningar.

   Om du vill använda en anpassad roll kontrollerar du att den anpassade rollen har behörigheten Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action. Läs mer om hur du skapar anpassade roller.

4. Välj Hanterad identitet och välj medlemmar.

   För systemtilldelad identitet väljer du Machine learning online-slutpunkt under Systemtilldelad hanterad identitet och söker efter slutpunktsnamn.

   För användartilldelad identitet väljer du Användartilldelad hanterad identitet och söker efter identitetsnamn.

5. För användartilldelad identitet måste du även bevilja behörigheter till hubbens containerregister och lagringskonto. Du hittar containerregistret och lagringskontot på översiktssidan för hubben i Azure Portal.

   

   Gå till översiktssidan för hubbcontainerns register, välj Åtkomstkontroll och välj Lägg till rolltilldelning och tilldela ACR-pull |Hämta containeravbildningen till slutpunktsidentiteten.

   Gå till hubbens standardöversiktssida för lagring, välj Åtkomstkontroll och välj Lägg till rolltilldelning och tilldela Storage Blob Data Reader till slutpunktsidentiteten.

6. (valfritt) Om du vill övervaka slutpunktsrelaterade mått som CPU/GPU/Disk/Minnesanvändning för användartilldelade identiteter måste du även ge hubbens skrivroll för arbetsytemått .

Kontrollera slutpunktens status

Det kommer att finnas meddelanden när du har slutfört distributionsguiden. När slutpunkten och distributionen har skapats kan du välja Visa information i meddelandet till distributionsinformationssidan.

Du kan också gå direkt till sidan Distributioner i det vänstra navigeringsfältet, välja distributionen och kontrollera statusen.

Testa slutpunkten

På sidan med distributionsinformation växlar du till fliken Test .

För slutpunkter som distribueras från standardflödet kan du ange värden i formulärredigeraren eller JSON-redigeraren för att testa slutpunkten.

Testa slutpunkten som distribuerats från ett chattflöde

För slutpunkter som distribueras från chattflödet kan du testa det i ett uppslukande chattfönster.

Angavs chat_input under utvecklingen av chattflödet. Du kan ange meddelandet chat_input i indatarutan. Om flödet har flera indata är panelen Indata till höger där du kan ange värden för andra indata förutom chat_input.

Använda slutpunkten

På sidan med distributionsinformation växlar du till fliken Förbruka . Du hittar REST-slutpunkten och nyckeln/token för att använda slutpunkten. Det finns också exempelkod som du kan använda slutpunkten på olika språk.

Du måste ange värden för RequestBody eller data .api_key Om ditt flöde till exempel har 2 indata location och urlmåste du ange data enligt följande.

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Rensa resurser

Om du inte använder slutpunkten när du har slutfört den här självstudien bör du ta bort slutpunkten.

Kommentar

Den fullständiga borttagningen kan ta cirka 20 minuter.

Nästa steg

• Läs mer om vad du kan göra i Azure AI Foundry
• Få svar på vanliga frågor och svar i artikeln vanliga frågor och svar om Azure AI
• [Aktivera spårning och samla in feedback för distributionen] (./develop/trace-production-sdk.md)