Aanbevelingen voor resourceselectie voor AI-workloads in Azure
Dit artikel bevat aanbevelingen voor resourceselectie voor organisaties die AI-workloads uitvoeren in Azure. Het richt zich op PaaS-oplossingen (Platform-as-a-Service) van Azure AI, waaronder Azure AI Foundry, Azure OpenAI, Azure Machine Learning en Azure AI Services. Het omvat zowel generatieve als niet-generatieve AI-workloads.
Door geïnformeerde AI-resourcekeuzes te maken, kunnen organisaties betere prestaties, schaalbaarheid en kosteneffectiviteit bereiken bij het beheren van AI-workloads. De volgende tabel bevat een overzicht van de primaire Azure AI PaaS-oplossingen en belangrijke beslissingscriteria.
| AI-platform | AI-type | Beschrijving | Vereiste vaardigheden |
|---|---|---|---|
| Azure OpenAI | Generatieve AI | Platform voor toegang tot OpenAI-modellen | Vaardigheden voor ontwikkelaars en gegevenswetenschap |
| Azure AI Foundry | Generatieve AI | Platform voor prompt engineering en implementatie van generatieve AI-eindpunten | Vaardigheden voor ontwikkelaars en gegevenswetenschap |
| Azure AI-services | Analytische AI | Platform voor het gebruik van vooraf samengestelde machine learning-modellen | Vaardigheden voor ontwikkelaars |
| Azure Machine Learning | Machinelearning | Platform voor het trainen en implementeren van machine learning-modellen | Vaardigheden voor ontwikkelaars en geavanceerde vaardigheden voor gegevenswetenschap |
Resources selecteren voor generatieve AI-workloads
Generatieve AI vereist de combinatie van verschillende resources om zinvolle uitvoer te verwerken en te genereren op basis van invoergegevens. De juiste selectie zorgt ervoor dat generatieve AI-toepassingen, zoals toepassingen die gebruikmaken van het ophalen van augmented generation (RAG), nauwkeurig leveren door AI-modellen te gronden.
In een typische RAG-workload ontvangt (1) de workload de gebruikersquery. (2) Een orchestrator, zoals promptstroom, Semantische kernel of LangChain, beheert de gegevensstroom. (3) Met een zoek- en ophaalmechanisme worden de juiste (4) grondgegevens gevonden die naar het generatieve AI-eindpunt moeten worden verzonden. (5) Een generatief AI-modeleindpunt genereert een antwoord op basis van de gebruikersquery en grondingsgegevens. Gebruik de volgende aanbevelingen als framework om generatieve RAG-workloads te bouwen.
Kies een generatief AI-platform. Gebruik Azure OpenAI of Azure AI Foundry om generatieve AI-modellen te implementeren en te beheren. Azure OpenAI Service biedt toegang tot privénetwerken van OpenAI-modellen en het filteren van inhoud. Azure AI Foundry biedt een code-first platform voor het ontwikkelen van AI-workloads. Het bevat ingebouwde hulpprogramma's voor het bouwen en implementeren van toepassingen. Het bevat ook een grote modelcatalogus, promptstroom, afstemming, filters voor inhoudsveiligheid en meer.
Kies het juiste AI-rekentype. Azure AI Foundry vereist rekeninstanties voor prompt-doorloop, het aanmaken van indexen en het openen van Visual Studio Code (Web of Desktop) binnen de studio. Kies een rekentype op basis van uw prestatie- en budgetbehoeften.
Kies een orchestrator. Populaire orchestrators voor generatieve AI omvatten Semantische kernel, promptstroom en LangChain. Semantische kernel kan worden geïntegreerd met Azure-services. LangChain biedt uitbreidbaarheid buiten het ecosysteem van Microsoft.
Kies een mechanisme voor zoeken en kennis ophalen. Als u generatieve AI-modellen wilt grounden, maakt u een index- of vectordatabase voor het ophalen van relevante gegevens. Gebruik Azure AI Search om traditionele en vectorindexen uit verschillende gegevensbronnen te bouwen, gegevenssegmentering toe te passen en meerdere querytypen te gebruiken. Als uw gegevens zich in gestructureerde databases bevinden, kunt u overwegen Om Azure Cosmos DB, Azure Database for PostgreSQL en Azure Cache voor Redis te gebruiken.
Kies een gegevensbron voor grondgegevens. Voor afbeeldingen, audio, video of grote gegevenssets slaat u grondgegevens op in Azure Blob Storage. U kunt ook databases gebruiken die worden ondersteund door Azure AI Search - of vectordatabases.
Kies een rekenplatform. Gebruik de beslissingsstructuur van Azure compute om het juiste platform voor uw workload te kiezen.
Resources selecteren voor niet-generatieve AI-workloads
Niet-generatieve AI-workloads zijn afhankelijk van platforms, rekenresources, gegevensbronnen en hulpprogramma's voor gegevensverwerking ter ondersteuning van machine learning-taken. Door de juiste resources te selecteren, kunt u AI-workloads bouwen met zowel vooraf gemaakte als aangepaste oplossingen.
In een niet-generatieve AI-workload neemt (1) de workload gegevens op. (2) Met een optioneel mechanisme voor gegevensverwerking worden binnenkomende gegevens geëxtraheerd of bewerkt. (3) Een AI-modeleindpunt analyseert de gegevens. (4) Gegevens ondersteunen training of afstemming van de AI-modellen. Gebruik de volgende aanbevelingen als framework om niet-generatieve AI-workloads te bouwen.
Kies een niet-generatief AI-platform.Azure AI-services bieden vooraf samengestelde AI-modellen waarvoor geen gegevenswetenschapvaardigheden zijn vereist. Zie Een Azure AI-servicestechnologie kiezen voor hulp bij het selecteren van de juiste Azure AI-service. Azure Machine Learning biedt een platform voor het bouwen van machine learning-modellen met uw eigen gegevens en het verbruiken van deze modellen in AI-workloads.
Kies de juiste AI-berekening. Voor Azure Machine Learning hebt u rekenresources nodig om een taak uit te voeren of een eindpunt te hosten. Gebruik het rekentype dat voldoet aan uw prestatie- en budgetbehoeften. Voor Azure AI-services zijn geen rekenresources vereist.
Kies een gegevensbron. Gebruik voor Azure Machine Learning een van de ondersteunde gegevensbronnen om uw trainingsgegevens te hosten. Voor Azure AI-services is voor veel van de services geen nauwkeurige afstemming van gegevens vereist, en sommige, zoals Azure AI Custom Vision, bieden een optie voor het uploaden van lokale bestanden naar een oplossing voor beheerde gegevensopslag.
Kies een rekenplatform. Gebruik de beslissingsstructuur van Azure compute om het juiste workloadplatform te kiezen.
Kies een gegevensverwerkingsservice (optioneel). Azure Functions is een veelgebruikte keuze voor gegevensverwerking, omdat het een serverloze optie biedt. Azure Event Grid is ook een veelvoorkomend triggermechanisme voor het starten van een pijplijn voor gegevensverwerking.