AI beheren : proces voor het beheren van AI
Dit artikel bevat een overzicht van het organisatieproces voor het beheren van AI-workloads. Het biedt aanbevelingen voor het beheren van AI-workloads van ontwikkeling, implementatie en bewerkingen. Effectief AI-beheer vereist een gestructureerde benadering van ontwikkeling via implementatie en lopende bewerkingen. Bedrijven hebben gestandaardiseerde procedures en regelmatige bewaking nodig om problemen zoals gegevens en modeldrift te voorkomen, zodat AI na verloop van tijd nauwkeurig en betrouwbaar blijft.
AI-bewerkingen beheren
Het beheren van AI-bewerkingen zorgt voor zichtbaarheid en consistentie gedurende de hele AI-levenscyclus. Door operationele frameworks zoals MLOps te gebruiken, sandbox-omgevingen te maken en CI/CD-pijplijnen tot stand te brengen, kunt u toezicht houden op ontwikkeling, testen en implementatie.
Een operationeel AI-framework gebruiken. Implementeer MLOps-frameworks (Machine Learning Operations) voor traditionele machine learning-werkstromen en GenAIOps voor generatieve AI-workloads. Deze operationele frameworks organiseren de end-to-end-cyclus voor AI-ontwikkeling. Elk framework beïnvloedt de benadering en tools van het workloadteam. Zie MLOps- en GenAIOps-voor meer informatie.
Ai-ontwikkelhulpprogramma's standaardiseren. Definieer en standaardiseer het gebruik van SDK's en API's voor consistentie in ontwikkelteams. Hulpprogramma's zoals Azure SDK voor AI-workloads bieden bibliotheken en API's die zijn geoptimaliseerd voor het schalen van AI-modellen en het integreren ervan in toepassingen. Voor generatieve AI kunt u uw AI-platform en orchestrators standaardiseren, zoals Semantische kernel, LangChain en Prompt Flow.
Gebruik een sandbox-omgeving voor AI-experimenten. Gebruik een sandbox-omgeving voor ai-modelexperimenten. U wilt consistentie in ontwikkel-, test- en prod-omgevingen. De sandbox-omgeving moet dus verschillen van ontwikkel-, test- en productieomgevingen in de levenscyclus van AI-ontwikkeling. Als u implementatie- en governancemodellen wijzigt tussen ontwikkel-, test- en prod-omgevingen, kan deze wijzigingen verbergen en introduceren.
Stel continue integratie en pijplijnen voor continue levering in voor implementatie. Zorg ervoor dat uw gegevenspijplijnen betrekking hebben op codekwaliteitscontroles, inclusief linting en statische analyse. Gegevenspijplijnen moeten ook eenheids- en integratietests bevatten, evenals experimenten en evaluatiestromen. Ten slotte moet u stappen voor productie-implementatie opnemen, zoals het promoten van releases voor test- en productieomgevingen na handmatige goedkeuringen. Behoud de scheiding tussen modellen, promptstromen en de gebruikersinterface van de client om ervoor te zorgen dat updates voor één onderdeel geen invloed hebben op andere onderdelen. Elke stroom moet een eigen levenscyclus hebben voor onafhankelijke promotie.
AI-implementatie beheren
AI-implementatiebeheer gaat over het definiëren van wie AI-resources kan implementeren en wie deze eindpunten beheert. Een gestructureerde benadering, geleid door een AI-centrum van uitmuntendheid, helpt bedrijven te bepalen of workloadteams of een centraal team resources moeten beheren, waardoor de ontwikkelingssnelheid wordt afgestemd op governancevereisten. De AI CoE moet de inspanning leiden om de beste aanpak te bepalen.
Gebruik workloadteambeheer van AI-resources voor snellere ontwikkeling. Wanneer workloadteams AI-resources beheren, hebben ze de autonomie om AI-resources te implementeren en te beheren binnen de grenzen van uw governancebeleid. Gebruik Azure Policy om governance consistent af te dwingen in alle workloadomgevingen. AI-beleid maken en communiceren dat de workloadteams moeten volgen om eventuele governance-hiaten te verhelpen. Maak bijvoorbeeld generatief AI-beleid om instellingen voor inhoudsfilters af te dwingen en het gebruik van niet-toegestane modellen te voorkomen. Maak dit beleid duidelijk bekend bij workloadteams en controleer regelmatig.
Afbeelding 1. Workloadteambeheer van AI-resources.Gebruik een gedeeld beheer van AI-resources met meer AI-governance. In een gedeelde AI-beheerbenadering beheert een centraal team AI-resources voor alle AI-workloads. Dit team implementeert kernresources voor AI en configureert beveiliging en governance die alle workloadteams gebruiken. Gebruik deze aanpak als u wilt dat één team AI-implementaties en -governance beheert voor uw workloads.
Afbeelding 2. Centraal AI-teambeheer van AI-resources.
DELEN van AI-eindpunten beheren
Het delen van AI-eindpunten tussen workloads kan het beheer stroomlijnen, maar hiervoor is zorgvuldige overweging van governance- en modelvereisten vereist. Bedrijven mogen alleen eindpunten delen binnen één workload met consistente behoeften, omdat gedeeld gebruik in verschillende behoeften de governance kan bemoeilijken en de kosten kunnen verhogen.
Vermijd het delen van AI-eindpunten wanneer governance en modelbehoeften variëren. Workloads waarvoor verschillende instellingen voor inhoudsfilters zijn vereist, zoals governance voor invoer en uitvoer, mogen geen eindpunt delen. Deel ook geen enkel AI-eindpunt als een ander AI-model een rendabelere manier zou bieden om te voldoen aan de workloadvereisten.
Deel AI-eindpunten alleen binnen één workload. Het delen van een AI-eindpunt werkt het beste wanneer een workloadteam meerdere toepassingen heeft als onderdeel van dezelfde workload. Delen van AI-eindpunten biedt de minste beheeroverhead en vereenvoudigt de implementatie. Deze toepassingen moeten dezelfde governancebehoeften en AI-modelbehoeften delen. Het delen van eindpunten kan ertoe leiden dat u de frequentielimieten en quotumbeperkingen bereikt. De meeste Azure-services hebben limieten per abonnement. Binnen een abonnement heeft elke regio quotumlimieten.
AI-modellen beheren
Ai-modelbeheer omvat het instellen van governancestructuren, continue bewaking en opnieuw trainen om de prestaties in de loop van de tijd te behouden. Dit proces helpt bedrijven modellen af te stemmen op ethische standaarden, modelprestaties bij te houden en ervoor te zorgen dat AI-systemen effectief en afgestemd blijven op bedrijfsdoelstellingen.
Een governancestructuur opzetten voor AI-toezicht. Maak een AI Center of Excellence (AI CoE) of wijs een AI-lead aan. Ze moeten ervoor zorgen dat ze voldoen aan verantwoorde AI-standaarden. Ze moeten beslissingen nemen over de vraag of systemen moeten worden aangepast op basis van deze rapporten. Gebruik het dashboard Responsible AI om rapporten te genereren rond modeluitvoer.
Definieer een AI-meetbasislijn. Stel een meetbasislijn vast om ervoor te zorgen dat AI-modellen overeenkomen met bedrijfsdoelen en ethische standaarden. Gebruik KPI's die zijn gerelateerd aan verantwoorde AI-principes, zoals billijkheid, transparantie en nauwkeurigheid. Wijs deze KPI's toe aan AI-workloads. In een chatbot voor klantenservice meet u bijvoorbeeld redelijkheid door te evalueren hoe goed het model presteert in verschillende demografische groepen. Als u deze metingen wilt uitvoeren, begint u met de hulpprogramma's die worden gebruikt in het dashboard Verantwoorde AI.
Continue bewaking implementeren. AI-workloads kunnen na verloop van tijd veranderen vanwege veranderende gegevens, modelupdates of verschuivingen in gebruikersgedrag. Bewaak AI-modellen, AI-resources en AI-gegevens om ervoor te zorgen dat deze workloads worden afgestemd op KPI's. Voer audits uit om AI-systemen te beoordelen op basis van de gedefinieerde verantwoorde AI-principes en metrische gegevens.
Identificeer de hoofdoorzaken van prestatieproblemen. De oorzaak van het probleem bepalen wanneer een daling van de prestaties of nauwkeurigheid wordt gedetecteerd door de AI te bewaken. Zorg ervoor dat u inzicht hebt in elke fase van de interactie om het probleem te isoleren en sneller corrigerende acties te implementeren. Als een chatbot van de klantenservice bijvoorbeeld onnauwkeurige reacties genereert, moet de bewaking u helpen bepalen of de fout zich in de prompt voor het maken of het begrip van context van het model bevindt. Gebruik ingebouwde hulpprogramma's zoals Azure Monitor en Application Insights om proactief knelpunten en afwijkingen in prestaties te identificeren.
Buitengebruikstelling van model bijhouden. Houd de buitengebruikstelling voor vooraf getrainde modellen bij om prestatieproblemen te voorkomen wanneer de ondersteuning van de leverancier eindigt. Een generatief AI-model kan bijvoorbeeld worden afgeschaft, dus u moet het bijwerken om de functionaliteit te behouden. Studio toont de buitengebruikstellingsdatum van het model voor alle implementaties.
U kunt AI-modellen zo nodig opnieuw trainen. Account voor modellen die in de loop van de tijd afnemen vanwege wijzigingen in gegevens. Plan regelmatig opnieuw trainen op basis van modelprestaties of bedrijfsbehoeften om ervoor te zorgen dat het AI-systeem relevant blijft. Opnieuw trainen kan duur zijn, dus beoordeel de eerste trainingskosten en gebruik die kosten om te evalueren hoe vaak u AI-modellen opnieuw moet trainen. Behoud versiebeheer voor modellen en zorg ervoor dat een terugdraaimechanisme wordt gebruikt voor minder presterende versies.
Modelpromotieproces tot stand brengen. Gebruik kwaliteitspoorten om getrainde, verfijnde en opnieuw getrainde modellen te promoten naar hogere omgevingen op basis van prestatiecriteria. De prestatiecriteria zijn uniek voor elke toepassing.
AI-kosten beheren
Het beheren van AI-kosten vereist een duidelijk inzicht in de uitgaven die betrekking hebben op resources zoals reken-, opslag- en tokenverwerking. U moet best practices voor kostenbeheer implementeren, het gebruik bewaken en geautomatiseerde waarschuwingen instellen om onverwachte uitgaven te voorkomen en de efficiëntie van resources te optimaliseren.
Volg best practices voor kostenbeheer voor elke service. Elke Azure-service heeft specifieke functies en aanbevolen procedures waarmee kostenoptimalisatie wordt gemaximaliseerd. Raak vertrouwd met de volgende richtlijnen voor het plannen en beheren van kosten in Azure AI Foundry-, Azure OpenAI Serviceen Azure Machine Learning-.
Bewaak en maximaliseer de factureringsefficiëntie. Inzicht in kostenonderbrekingspunten om onnodige kosten te voorkomen. Voorbeelden hiervan zijn het volledig gebruik maken van drempelwaarden voor vaste prijzen voor het genereren van afbeeldingen of het afstemmen per uur. Houd uw gebruikspatronen bij, inclusief tokens per minuut (TPM) en aanvragen per minuut (RPM), en pas de modellen en architectuur dienovereenkomstig aan. Overweeg een factureringsmodel op basis van toezeggingen voor consistente gebruikspatronen.
Geautomatiseerde kostenwaarschuwingen instellen. Gebruik budgetwaarschuwingen om u op de hoogte te stellen van onverwachte kosten en budgetteringsstrategieën vast te stellen om uw AI-uitgaven te beheren en te voorspellen.
Zie deze aanbevelingen voor kostenoptimalisatie voor generatieve AI-toepassingen die Gebruikmaken van Azure OpenAI.
AI-gegevens beheren
Effectief AI-gegevensbeheer is gericht op het onderhouden van de nauwkeurigheid, integriteit en gevoeligheid van gegevens gedurende de hele AI-levenscyclus. Wanneer u gegevenssets van hoge kwaliteit cureert en gegevenspijplijnen beveiligt, kan uw organisatie ervoor zorgen dat gegevens betrouwbaar blijven en voldoen aan veranderende wettelijke vereisten.
Houd de nauwkeurigheid van gegevens bij en cureer gouden gegevenssets. Ontwikkel een gezaghebbende set gegevens die worden gebruikt voor regelmatig testen en valideren voor beide AI-typen. Deze gegevensset continu cureren om ervoor te zorgen dat deze up-to-date, nauwkeurige informatie weergeeft.
Zorg voor integriteit van gegevenspijplijnen. Ontwikkel en onderhoud aangepaste gegevenspijplijnen om de gegevensintegriteit van gegevensverzameling tot voorverwerking en opslag te waarborgen. Elke stap van de pijplijn moet veilig zijn om de prestaties en betrouwbaarheid in beide typen AI-toepassingen te behouden.
Wijzigingen in de vertrouwelijkheid van gegevens beheren. Begrijp dat de vertrouwelijkheidsclassificatie van gegevens na verloop van tijd kan worden gewijzigd. Mogelijk wilt u gegevens met een lage gevoeligheid opnieuw classificeren als zeer gevoelig vanwege wijzigingen in het bedrijf of de regelgeving. Ontwikkel processen voor het verwijderen of vervangen van gevoelige gegevens in downstreamsystemen. Microsoft Defender voor Cloud en Microsoft Purview kunnen u helpen bij het labelen en beheren van gevoelige gegevens. Dit proces begint met een goede gegevenscatalogus voordat AI-opname wordt uitgevoerd. Wanneer er wijzigingen optreden, identificeert u alle modellen of systemen die gebruikmaken van de gevoelige gegevens. Zo mogelijk kunt u AI-modellen opnieuw trainen met behulp van gegevenssets die de opnieuw geclassificeerde gevoelige gegevens uitsluiten.
Ai-bedrijfscontinuïteit beheren
Bedrijfscontinuïteit en herstel na noodgevallen voor AI omvatten het maken van implementaties in meerdere regio's en het regelmatig testen van herstelplannen. Deze strategieën helpen ervoor te zorgen dat AI-systemen operationeel blijven tijdens onderbrekingen en het risico op langdurige storingen of gegevensverlies minimaliseren.
Gebruik implementaties voor meerdere regio's voor AI. Implementeer implementaties met meerdere regio's om hoge beschikbaarheid en tolerantie te garanderen voor zowel generatieve als niet-generatieve AI-systemen. Deze strategieën minimaliseren downtime en zorgen ervoor dat kritieke AI-toepassingen operationeel blijven tijdens regionale storingen of infrastructuurfouten. Zorg ervoor dat u de benodigde redundantie implementeert voor getrainde en afgestemde modellen om te voorkomen dat er tijdens een storing opnieuw moet worden getraind.
Test en valideer regelmatig noodherstelplannen. Voer regelmatig tests uit van noodherstelplannen om te controleren of u generatieve en niet-generatieve AI-systemen effectief kunt herstellen. Neem het testen van processen en validatieprocedures voor gegevensherstel op om ervoor te zorgen dat alle AI-onderdelen na herstel goed functioneren. Het valideren zorgt er regelmatig voor dat de organisatie is voorbereid op echte incidenten en minimaliseert het risico op storingen tijdens het herstel.
Wijzigingen in AI-systemen beheren en bijhouden. Zorg ervoor dat alle wijzigingen in modellen, gegevens en configuraties worden beheerd via versiebeheersystemen zoals Git. Dit is essentieel voor het bijhouden van wijzigingen en het garanderen van de mogelijkheid om eerdere versies tijdens het herstel te herstellen. Voor generatieve en niet-generatieve AI moet geautomatiseerde controle van model- en systeemwijzigingen worden uitgevoerd, zodat u ongeplande wijzigingen snel kunt identificeren en herstellen.