Aanbevelingen voor beheer voor AI-workloads in Azure
In dit artikel vindt u aanbevelingen voor beheer voor organisaties die AI-workloads uitvoeren in Azure. Het richt zich op PaaS-oplossingen (Platform-as-a-Service) van Azure AI, waaronder Azure AI Foundry, Azure OpenAI, Azure Machine Learning en Azure AI Services. Het omvat zowel generatieve als niet-generatieve AI-workloads.
Effectief beheer van AI-workloads in Azure omvat het toezicht op implementatie, modelprestaties, bewerkingen, gegevens en herstel na noodgevallen om uw AI-workloads te ondersteunen. Goed beheer zorgt ervoor dat AI-workloads gedurende hun levenscyclus betrouwbaar, betrouwbaar en veilig zijn.
AI-implementaties beheren
Door AI-implementaties te beheren, kunnen workloadteams overstappen van proof-of-concept-fasen naar productieomgevingen met consistente configuraties die de beveiliging en naleving in teams verbeteren. Azure biedt hulpprogramma's zoals Azure AI Foundry hubs en projecten om governance en beveiliging af te dwingen. Azure Machine Learning heeft vergelijkbare mogelijkheden met de hubwerkruimten. Zie AI-implementaties beheren voor meer informatie.
AI-modellen beheren
Het beheren van AI-modellen omvat het bewaken van hun uitvoer, prestaties en afstemming met verantwoorde AI-principes. AI-modellen kunnen zich in de loop van de tijd verplaatsen vanwege het wijzigen van gegevens, gebruikersgedrag of andere externe factoren. Deze wijzigingen kunnen leiden tot onnauwkeurige resultaten of ethische problemen als ze niet worden aangepakt.
Modeluitvoer bewaken. Implementeer een bewakings- en testproces om ervoor te zorgen dat deze workloads worden afgestemd op uw verantwoordelijke AI-doelen.
Generatieve AI bewaken. Gebruik voor generatieve AI-workloads de ingebouwde evaluatiemogelijkheden en handmatige bewakingsmogelijkheden van Azure AI Foundry. Als u een promptstroom gebruikt, controleert u promptstroomimplementaties. Overweeg ook het gebruik van verantwoorde AI-hulpprogramma's om modelbewaking aan te vullen.
Niet-generatieve AI bewaken. Voor niet-generatieve AI-workloads bewaakt u fasen voor gegevensverwerking en metrische gegevens over modelprestaties om ervoor te zorgen dat voorspellingen nauwkeurig en betrouwbaar blijven. Modelbewaking inschakelen in Azure Machine Learning. Schakel voor Azure AI-services bewaking in voor elke AI-service die u gebruikt.
Modelprestaties bewaken. Wanneer een daling van de prestaties of nauwkeurigheid wordt gedetecteerd, helpt bewaking de bron van het probleem vast te stellen. Net als bij alle workloads gebruikt u Azure Monitor en Application Insights om de prestaties van AI-workloads te bewaken.
De generatieve AI-prestaties bewaken. In generatieve AI controleert u de latentie in reactietijden of de nauwkeurigheid van vectorzoekresultaten om de gebruikerservaringen te verbeteren. In Azure AI Foundry schakel je traceren in om traceringsgegevens te verzamelen voor elk verzoek, geaggregeerde metrics en gebruikersfeedback.
Controleer niet-generatieve AI-prestaties. Leg metrische prestatiegegevens vast van modellen die zijn geïmplementeerd in Azure Machine Learning. Schakel voor Azure AI-services diagnostische logboekregistratie in voor elke Azure AI-service.
Overweeg een generatieve AI-gateway voor bewaking. Met een omgekeerde proxy zoals Azure API Management kunt u logboekregistratie en bewaking implementeren die niet systeemeigen zijn voor het platform. Met API Management kunt u bron-IP's, invoertekst en uitvoertekst verzamelen. Zie Logboekregistratie en bewaking implementeren voor azure OpenAI Service-taalmodellen voor meer informatie.
AI-bewerkingen beheren
AI-bewerkingsbeheer omvat het standaardiseren van rekenresources en het bewaken van platformresources voor Azure AI-workloads. Het zorgt ervoor dat teams de juiste rekenresources efficiënt gebruiken en metrische gegevens en logboeken van platformresources vastleggen.
Platformbronnen bewaken. Gebruik diagnostische instellingen om logboeken en metrische gegevens vast te leggen voor alle belangrijke services, zoals Azure AI Foundry, Azure Machine Learning-en Azure AI-services. Specifieke services moeten auditlogboeken en relevante servicespecifieke logboeken vastleggen. Implementeer aangepaste bewakingswaarschuwingen op basis van de specifieke behoeften van uw architectuur. Voorbeelden hiervan zijn waarschuwingen voor containerregisters, Azure Machine Learning en Azure OpenAI. Configureer aanbevolen bewakingswaarschuwingen voor elke service in uw AI-architectuur. Zie Azure Monitor-basislijnwaarschuwingenvoor meer informatie.
Rekenbeheer standaardiseren. U hebt rekenresources nodig voor bepaalde acties, zoals promptstromen en trainingsmodellen. Een service zoals Machine Learning heeft verschillende rekenopties, zoals rekeninstanties, clusters en serverloze opties. Standaardiseer het rekentype, runtimes en afsluitperioden. Zie Azure AI Foundry en Machine Learning-voor servicespecifieke rekenopties.
AI-gegevens beheren
Gegevens van hoge kwaliteit vormen de basis van nauwkeurige AI-modellen. Het bijhouden van modeldrift helpt de relevantie van AI-voorspellingen in de loop van de tijd te behouden en stelt organisaties in staat om modellen zo nodig aan te passen aan de huidige voorwaarden.
Gegevensdrift bewaken. Houd nauwkeurigheid en gegevensdrift continu bij in generatieve en niet-generatieve AI om ervoor te zorgen dat modellen relevant blijven. Bewaking kan u waarschuwen wanneer modelvoorspellingen of antwoorden van grote taalmodellen afwijken van het verwachte gedrag. Deze afwijking geeft aan dat er behoefte is aan hertraining of aanpassing. Stel aangepaste waarschuwingen in om prestatiedrempels te detecteren. Deze aanpak maakt vroege interventie mogelijk wanneer zich problemen voordoen. Gebruik evaluaties in Azure AI Foundry en metriek ondersteund in Machine Learning.
Zorg voor kwaliteitsgegevensverwerking. Voor machine learning moeten trainingsgegevens worden opgemaakt, opgeschoond en gereed zijn voor modelverbruik. Voor generatieve AI moeten grondgegevens de juiste indeling hebben en waarschijnlijk gesegmenteerd, verrijkt en ingesloten voor ai-modelverbruik. Zie Handleiding voor het ontwerpen en ontwikkelen van een RAG-oplossing voor meer informatie.
Bedrijfscontinuïteit beheren
Implementeer implementaties in meerdere regio's om hoge beschikbaarheid en tolerantie te garanderen voor zowel generatieve als niet-generatieve AI-systemen voor meer informatie. Zie implementatie in meerdere regio's in Azure AI Foundry-, Azure Machine Learning-en Azure OpenAI-.