AI-workloads in Azure

In dit artikel worden architectuuruitdagingen besproken voor het ontwerpen van AI-workloads. Het richt zich op niet-deterministische functionaliteit, gegevens- en toepassingsontwerp en -bewerkingen. De aanbevelingen zijn gebaseerd op de principes van Azure Well-Architected Framework en bevatten inzichten uit succesvolle Azure-implementaties.

Deze artikelen zijn bedoeld voor eigenaren van workloads en technische belanghebbenden , zoals architecten, ontwikkelingsleiders en IT-leiders. Gespecialiseerde AI- en gegevensrollen, zoals gegevenswetenschappers, moeten zich ook bewust zijn van deze richtlijnen, omdat samenwerking tussen verschillende rollen en teams een belangrijk aspect is.

Notitie

Azure biedt verschillende AI-services die u in uw workload kunt integreren of er omheen kunt bouwen. Afhankelijk van uw bedrijfsbehoeften kunt u kiezen tussen volledig beheerde SaaS-oplossingen (Software as a Service), PaaS-oplossingen (Platform as a Service) of uw eigen AI-oplossing bouwen. Specifieke Azure-services en hun mogelijkheden worden hier niet behandeld. We raden u aan de desbetreffende productdocumentatie voor die informatie te raadplegen.

Bovendien vallen bepaalde AI-workloads niet binnen het bereik, zoals:

• Workloads die worden uitgevoerd via low-code en no-code oplossingen, zoals Copilot Studio.
• Werkbelastingen waarvoor high-performance computing vereist is.
• Workloads die geen generatieve of discriminerende AI-use cases implementeren.

Wat is een AI-workload?

In de context van Well-Architected Framework voldoet een AI-workload aan de behoeften van voorspellende, discriminerende of generatieve taken. Het richt zich op ethische functionaliteit, het aanpassen aan snel ontwikkelende AI-technologieën en het relevant en verklaarbaar blijven. Pas de Well-Architected frameworkpijlers toe op elk beslissingspunt om ervoor te zorgen dat het systeem betrouwbaar, veilig, efficiënt en rendabel is.

AI-workloads verschillen van traditionele werkbelastingen omdat ze deterministische functionaliteit vervangen in delen van de werkbelasting door niet-deterministisch gedrag dat oplost voor situaties waarin vaste resultaten onpraktisch zijn. In plaats daarvan combineren ze code en gegevens in een entiteit, of een model, om unieke ervaringen mogelijk te maken die traditionele systemen niet kunnen bieden.

Voordat u begint met uw ontwerpstrategieën, moet u eerst rekening houden met deze belangrijke punten.

Vertrouwd raken met de brede categorieën modellen

• Generatieve AI-: maakt gebruik van machine learning om autonoom nieuwe inhoud te maken. Het bevat taalmodellen die kunnen worden aangepast met gebruikersgegevens of worden gebruikt als services zoals Azure OpenAI Service. GPT, een type taalmodel, is bijvoorbeeld gespecialiseerd in het nabootsen van menselijke gesprekstaal en is ideaal voor chat- en natuurlijke taalervaringen.

  Gebruiksvoorbeelden: Generatieve AI kan artikelen, verhalen en kunst produceren. Het kan ook synthetische gegevens genereren om gegevenssets te verdelen en chatbots menselijker te maken.

• Discriminative AI-: maakt gebruik van expliciet programmeren om specifieke taken uit te voeren op basis van regels en algoritmen. Het is onderverdeeld in:

  • modelgebaseerde: voorspellende systemen vinden patronen op basis van trainingen die zijn uitgevoerd op basis van eerdere waarnemingen om voorspellingen te doen, maar kunnen geen nieuwe inhoud creëren of zichzelf aanpassen.
  • niet-modelgebaseerde: autonome agenten volgen vooraf bepaalde regels om te interageren met systemen, zoals videogamekarakters.

  Use case: Discriminative AI wordt gebruikt voor predictive analytics, aanbevelingssystemen en fraudedetectie.

Deze reeks artikelen behandelt verschillende AI-workloads en richt zich op specifieke typen, zoals taalmodellen, wanneer dat nodig is.

Belangrijk

Wanneer u kiest tussen generatieve en discriminerende modellen, moet u nadenken over de taak die u moet uitvoeren. Generatieve modellen maken nieuwe gegevens. Discriminerende modellen classificeren bestaande gegevens op basis van functies. Voor classificatie- of regressietaken kiest u modellen die passen bij de taak. Een taalmodel dat kan worden geclassificeerd, kan bijvoorbeeld veelzijdiger zijn dan een model dat alleen classificeert.

Uw build evalueren versus aankoopopties

Als algemene antwoorden acceptabel zijn, moet een vooraf samengesteld model of een ai-serviceoplossing die gebruikmaakt van ondoorzichtige verwerking voldoende zijn voor uw workload. Maar als u gegevens nodig hebt die specifiek zijn voor uw bedrijf of nalevingsvereisten hebt, maakt u een aangepast model.

Wanneer u kiest tussen een aangepast model, een vooraf samengesteld model of een service, moet u rekening houden met de volgende factoren:

• gegevensbeheer: met aangepaste modellen hebt u meer controle over gevoelige gegevens. Vooraf gemaakte modellen zijn eenvoudiger voor algemene taken.
• Aanpassing: Aangepaste modellen zijn beter voor unieke behoeften. Vooraf samengestelde modellen hebben mogelijk geen flexibiliteit.
• Kosten en onderhoud: aangepaste modellen hebben doorlopend onderhoud en resources nodig. Vooraf gebouwde modellen hebben meestal lagere initiële kosten en minder infrastructuurlast.
• Performance: vooraf gebouwde services bieden geoptimaliseerde infrastructuur en schaalbaarheid. Ze zijn ideaal voor behoeften met lage latentie of hoge schaalbaarheid.
• Expertise: Voor aangepaste modellen is een deskundig team vereist. Vooraf gebouwde modellen zijn vaak sneller te implementeren en gemakkelijker te gebruiken als de expertise beperkt is.

Belangrijk

Voor het maken en onderhouden van uw eigen model zijn veel resources, tijd en expertise vereist. Het is belangrijk om grondig te onderzoeken voordat u besluit. Meestal is het kiezen van een vooraf samengesteld model of een beheerde service een betere optie.

Wat zijn de veelvoorkomende uitdagingen?

• Compute-kosten: AI-functies kunnen duur zijn vanwege hoge rekenbehoeften en rekenbehoeften kunnen variëren afhankelijk van uw workloadontwerp. Begrijp uw vereisten en kies de juiste service om kosten te beheren.
• Beveiligings- en nalevingsvereisten: Off-the-shelf oplossingen voldoen mogelijk niet aan uw beveiligings- en nalevingsbehoeften. Onderzoeksopties om onnodige lasten te voorkomen.
• Gegevensvolume: Het verwerken van grote gegevensvolumes in verschillende indelingen brengt uitdagingen met zich mee in het beschermen van gevoelige informatie en efficiënt verwerken. Het optimaliseren van opslag-, verwerkings- en overdrachtskosten moet een doorlopende activiteit zijn.
• modelverval: modellen kunnen na verloop van tijd afnemen, wat leidt tot onnauwkeurige resultaten. Het testen van AI-systemen is een uitdaging vanwege hun willekeurigheid.
• Uitdagingen op het gebied van vaardigheden: voor nieuwe AI-workloads zijn mogelijk speciale rollen en nieuwe bewerkingsprocessen nodig waarvoor uitgebreide training is vereist.
• Tempo van AI-innovatie: het gebruik van de nieuwste technologieën kan verleidelijk zijn om op het snijvlak te blijven. Evalueer nieuwe technologieën zorgvuldig om ervoor te zorgen dat ze de gebruikerservaring verbeteren en voeg niet alleen complexiteit toe om up-to-date te zijn.
• Ethische vereisten: Bepaal duidelijk of uw use-case een ethisch doel is voor AI. Het handhaven van ethische normen is nodig in de plannings- en implementatiefasen om ervoor te zorgen dat u een verantwoordelijk systeem bouwt.

Hoe je deze richtlijnen gebruikt

✔ Begin met Ontwerpmethodologie, waarin de logica en terugkerende thema's op technische en operationele gebieden worden beschreven. Deze systematische benadering helpt bij het definiëren van vereisten en ontwerpstrategieën. Ga opnieuw naar deze methodologie wanneer u onzekere keuzes ondervindt om afgestemd te blijven op de algemene doelstellingen van de workload. Het biedt ook een kader voor samenwerking met belanghebbenden om technische beslissingen te rechtvaardigen en feedback van klanten op te nemen voor continue verbetering.

✔ ga verder met Ontwerpprincipes om te zien hoe de ontwerpmethodologie overeenkomt met de belangrijkste pijlers van Well-Architected Framework. Houd rekening met groeiontwikkeling. Evalueer de onderliggende principes voor alle pijlers gezamenlijk, inclusief de compromissen.

✔ Richt u op de ontwerpgebieden die het grootste effect hebben op uw oplossing. Elk gebied bevat overwegingen en aanbevelingen om u te begeleiden bij de ontwerpbeslissingen.

✔ Gebruik het Beoordelingshulpmiddel om de gereedheid van uw geoptimaliseerde AI-workload in productie te beoordelen.

Typische architectuurpatronen en ontwerpgebieden

In het volgende diagram ziet u hoe gegevens door het systeem stromen van de initiële verzameling tot de interactie van de eindgebruiker.

De architectuur markeert de integratie van verschillende onderdelen om efficiënte gegevensverwerking, modeloptimalisatie en realtime toepassingsimplementatie in AI-gestuurde oplossingen mogelijk te maken. Het bevat modules zoals gegevensbronnen, gegevensverwerking, modeltraining, modelimplementatie en gebruikersinterfaces.

In de volgende tabel worden enkele belangrijke ontwerpgebieden beschreven die betrekking hebben op dat patroon.

Ontwerpgebieden
toepassingsontwerp: meer informatie over overwegingen die uniek zijn voor AI-workloads die mogelijk een aanzienlijk effect hebben op uw bestaande standaarden voor het ontwerpen van toepassingen.
Application platform: Bepaal de beste platforms om te gebruiken om AI-workloadfuncties te ondersteunen, zoals het hosten van modellen, modeltraining en inferentie.
Ontwerp van trainingsgegevens: Ontwerpstrategieën voor gegevensopname, voorverwerking, retentie en governance om uw modeltrainingsgegevens af te handelen.
Gegevensontwerp: Ontwerpstrategieën voor het optimaliseren van de doorzoekbaarheid en het ophalen van gegevens, terwijl aan de beveiligings- en nalevingsvereisten voor uw grondgegevens wordt voldaan.
Gegevensplatform: bepaal het beste hostingplatform om de grote hoeveelheden en mogelijk veel indelingen van gegevens te verwerken die door uw workload worden gebruikt.
Machine Learning-bewerkingen en Generatieve AI-bewerkingen: moderne DevOps-procedures instellen ter ondersteuning van uw machine learning- of generatieve AI-functies en -systemen.
Workload operations: Moderniseer uw operationele praktijken met nieuwe benaderingen en voeg gespecialiseerde rollen en trainingen toe.
testen en evalueren: ontwikkel test- en evaluatiestrategieën om kenmerken zoals nauwkeurigheid, precisie, gevoeligheid en specificiteit te meten via metrische gegevens die zijn gericht op AI-workloads.
Workload-persona's: Begrijp hoe persona's betrokken zijn bij de volledige levenscyclus van uw AI-workload om ervoor te zorgen dat uw team deze effectief kan bouwen en ondersteunen.
Verantwoorde AI-: besteed speciale aandacht aan de gebruikerservaring en ethische implicaties van het vrijgeven van uw AI-oplossing aan het publiek. AI biedt ongelooflijke mogelijkheden voor nieuwe producten en services, maar het biedt ook een aanzienlijke mate van risico.

Tip

Elke architectuurbeslissing omvat een reeks overwegingen en een reeks erkende compromissen die verschillende aspecten van het kader in balans brengen. Deze compromissen worden aangegeven door dit pictogram .

Volgende stap

Ontwerpmethodologie