Delen via

Ontwerp van AI-architectuur

  • Artikel

AI is een technologie waarmee machines intelligent menselijk gedrag kunnen imiteren. Machines kunnen AI gebruiken om:

  • Analyseer gegevens om afbeeldingen en video's te maken.
  • Spraak analyseren en synthetiseren.
  • Verbaal communiceren op natuurlijke manieren.
  • Maak voorspellingen en genereer nieuwe gegevens.

U kunt AI opnemen in toepassingen om functies uit te voeren of beslissingen te nemen die niet effectief kunnen worden verwerkt met traditionele logica of verwerking. Als architect die oplossingen ontwerpt, is het belangrijk om inzicht te hebben in het AI- en machine learning-landschap en hoe u Azure-oplossingen kunt integreren in uw workloadontwerp.

Aan de slag

Azure Architecture Center biedt voorbeeldarchitecturen, architectuurhandleidingen, architectuurbasislijnen en ideeën die u op uw scenario kunt toepassen. Workloads die betrekking hebben op AI- en machine learning-onderdelen, moeten voldoen aan de richtlijnen voor Azure Well-Architected Framework AI-workloads. Deze richtlijnen omvatten principes en ontwerphandleidingen die invloed hebben op de AI- en machine learning-workload op de vijf pijlers van de architectuur. U moet deze aanbevelingen implementeren in de scenario's en inhoud in het Azure Architecture Center.

AI-concepten

AI-concepten omvatten een breed scala aan technologieën en methodologieën waarmee machines taken kunnen uitvoeren die doorgaans menselijke intelligentie vereisen. De volgende secties bieden een overzicht van de belangrijkste AI-concepten.

Algoritmen

algoritmen of machine learning-algoritmen zijn stukjes code waarmee mensen complexe datasets kunnen verkennen, analyseren en betekenis vinden. Elk algoritme is een eindige set ondubbelzinnige stapsgewijze instructies die een machine kan volgen om een specifiek doel te bereiken. Het doel van een machine learning-model is het vaststellen of ontdekken van patronen die mensen kunnen gebruiken om voorspellingen te doen of informatie te categoriseren. Een algoritme kan beschrijven hoe u kunt bepalen of een huisdier een kat, hond, vis, vogel of hagedis is. Een ander veel gecompliceerder algoritme kan beschrijven hoe u een geschreven of gesproken taal identificeert, de woorden analyseert, deze vertaalt in een andere taal en vervolgens de vertaling controleert op nauwkeurigheid.

Kies een algoritmefamilie die het beste bij uw taak past. Evalueer de verschillende algoritmen binnen de familie om de juiste pasvorm voor uw workload te vinden. Zie Wat zijn machine learning-algoritmen?.

Machinelearning

Machine learning is een AI-techniek die gebruikmaakt van algoritmen om voorspellende modellen te maken. Deze algoritmen parseren gegevensvelden en leren van de patronen in gegevens om modellen te genereren. De modellen kunnen vervolgens geïnformeerde voorspellingen of beslissingen nemen op basis van nieuwe gegevens.

De voorspellende modellen worden gevalideerd op basis van bekende gegevens, gemeten door metrische prestatiegegevens voor specifieke bedrijfsscenario's en vervolgens naar behoefte aangepast. Dit proces van leren en valideren wordt training genoemd. Door periodiek opnieuw te trainen, worden machine learning-modellen in de loop van de tijd verbeterd.

In uw workloadontwerp kunt u machine learning gebruiken als uw scenario eerdere waarnemingen bevat die u betrouwbaar kunt gebruiken om toekomstige situaties te voorspellen. Deze waarnemingen kunnen universele waarheden zijn, zoals computer vision die één vorm van dier van een ander detecteert. Of deze waarnemingen kunnen specifiek zijn voor uw situatie, zoals computer vision die een mogelijke assemblyfout op uw assemblylijnen detecteert op basis van eerdere garantieclaimgegevens.

Zie voor meer informatie Wat is machine learning?.

Deep Learning

Deep Learning- is een type machine learning dat kan leren door middel van een eigen gegevensverwerking. Net als bij machine learning worden ook algoritmen gebruikt om gegevens te analyseren. Maar het analyseert gegevens via kunstmatige neurale netwerken die veel invoer-, uitvoer- en verwerkingslagen bevatten. Elke laag kan de gegevens op een andere manier verwerken. De uitvoer van één laag wordt de invoer voor de volgende. Met dit proces kan Deep Learning complexere modellen maken dan traditionele machine learning.

Deep Learning vereist een grote investering om zeer aangepaste of experimentele modellen te genereren. U kunt andere oplossingen in dit artikel overwegen voordat u deep learning toevoegt aan uw workload.

Zie Wat is Deep Learning?.

Generatieve AI

Generatieve AI- traint modellen om originele inhoud te genereren op basis van veel vormen van inhoud, zoals natuurlijke taal, computer vision, audio of afbeeldingsinvoer. Met generatieve AI kunt u een gewenste uitvoer in elke taal beschrijven en het model kan reageren door de juiste tekst, afbeelding en code te maken. Voorbeelden van generatieve AI-toepassingen zijn Microsoft Copilot en Azure OpenAI Service.

  • Copilot- is voornamelijk een gebruikersinterface waarmee u code, documenten en andere op tekst gebaseerde inhoud kunt schrijven. Het is gebaseerd op populaire OpenAI-modellen en is geïntegreerd in een breed scala aan Microsoft-toepassingen en gebruikerservaringen.

  • Azure OpenAI- is een ontwikkelplatform als een service die toegang biedt tot de krachtige taalmodellen van OpenAI, zoals o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo with Vision, GPT-4, GPT-3.5-Turbo en de modelreeks Embeddings. U kunt deze modellen aanpassen aan uw specifieke taken, zoals:

    • Het genereren van inhoud.
    • Samenvatting van inhoud.
    • Afbeelding begrijpen.
    • Semantische zoekopdracht.
    • Natuurlijke taal voor codevertaling.

Taalmodellen

Taalmodellen zijn een subset van generatieve AI die zich richt op verwerkingstaken voor natuurlijke taal, zoals tekstgeneratie en sentimentanalyse. Deze modellen vertegenwoordigen natuurlijke taal op basis van de waarschijnlijkheid van woorden of reeksen woorden die zich in een bepaalde context voordoen.

Conventionele taalmodellen worden gebruikt in instellingen onder supervisie voor onderzoeksdoeleinden waarbij de modellen worden getraind op goed gelabelde tekstgegevenssets voor specifieke taken. Vooraf getrainde taalmodellen bieden een toegankelijke manier om aan de slag te gaan met AI. Ze worden in de afgelopen jaren veel gebruikt. Deze modellen worden getraind op grootschalige tekstverzamelingen van internet via neurale netwerken voor deep learning. U kunt deze verfijnen op kleinere gegevenssets voor specifieke taken.

Het aantal parameters of gewichten bepaalt de grootte van een taalmodel. Parameters beïnvloeden hoe het model invoergegevens verwerkt en uitvoer genereert. Tijdens de training past het model de gewichten aan om het verschil tussen de voorspellingen en de werkelijke gegevens te minimaliseren. Dit proces is hoe het model parameters leert. Hoe meer parameters een model heeft, hoe complexer en expressief het is. Maar het is ook rekenkundig duurder om te trainen en te gebruiken.

In het algemeen hebben kleine taalmodellen over het algemeen minder dan 10 miljard parameters en grote taalmodellen hebben meer dan 10 miljard parameters. De Microsoft Phi-3-modelfamilie heeft bijvoorbeeld drie versies:

  • Mini, 3,8 miljard parameters
  • Kleine, 7 miljard parameters
  • Gemiddeld, 14 miljard parameters

Zie Taalmodelcatalogusvoor meer informatie.

Copilots

De beschikbaarheid van taalmodellen leidde tot de opkomst van nieuwe manieren om te communiceren met toepassingen en systemen via digitale copilots en verbonden, domeinspecifieke agents. Copilots zijn generatieve AI-assistenten die worden geïntegreerd in toepassingen, vaak als chatinterfaces. Ze bieden contextuele ondersteuning voor algemene taken in deze toepassingen.

Microsoft Copilot integreert met een breed scala aan Microsoft-toepassingen en gebruikerservaringen. Het is gebaseerd op een open architectuur waarin niet-Microsoft-ontwikkelaars hun eigen invoegtoepassingen kunnen maken om de gebruikerservaring met Copilot uit te breiden of aan te passen. Partnerontwikkelaars kunnen ook hun eigen copilots maken met behulp van dezelfde open architectuur.

Zie de volgende bronnen voor meer informatie:

Augmented Generation ophalen

Rag (Retrieval Augmented Generation) is een architectuurpatroon dat de mogelijkheden van een groot taalmodel (LLM), zoals ChatGPT, vergroot, dat alleen op openbare gegevens is getraind. U kunt dit patroon gebruiken om een ophaalsysteem toe te voegen dat relevante grondgegevens levert in de context van de gebruikersaanvraag. Een systeem voor het ophalen van gegevens biedt controle over grondgegevens die door een taalmodel worden gebruikt wanneer een antwoord wordt geformuleerd. Rag-architectuur helpt u bij het bereik van generatieve AI voor inhoud die afkomstig is van vectordocumenten, afbeeldingen en andere gegevensindelingen. RAG is niet beperkt tot vectorzoekopslag. U kunt elke technologie voor gegevensopslag gebruiken.

Zie Ontwerp en ontwikkel een RAG-oplossing en Kies een Azure-service voor vectorzoekopdrachtenvoor meer informatie.

Azure AI-services

Met Azure AI-serviceskunnen ontwikkelaars en organisaties kant-en-klare, vooraf gebouwde en aanpasbare API's en modellen gebruiken om intelligente, marktklare en verantwoordelijke toepassingen te maken. Gebruiksvoorbeelden omvatten verwerking van natuurlijke taal voor gesprekken, zoeken, bewaken, vertalen, spraak, visie en besluitvorming.

Zie de volgende bronnen voor meer informatie:

AI-taalmodellen

LLMs, zoals de OpenAI GPT-modellen, zijn krachtige instrumenten die in staat zijn om natuurlijke taal te genereren binnen verschillende domeinen en taken. Als u een model wilt kiezen, moet u rekening houden met factoren zoals gegevensprivacy, ethisch gebruik, nauwkeurigheid en vooroordelen.

Phi open modellen zijn kleine, minder rekenintensieve modellen voor generatieve AI-oplossingen. Een klein taalmodel kan efficiënter, interpreteerbaar en verklaarbaar zijn dan een LLM.

Wanneer u een workload ontwerpt, kunt u taalmodellen gebruiken als een gehoste oplossing achter een API met datalimiet. Voor veel kleine taalmodellen kunt u taalmodellen ook lokaal hosten of ten minste op dezelfde computer als de consument. Wanneer u taalmodellen in uw oplossing gebruikt, moet u rekening houden met uw keuze van het taalmodel en de beschikbare hostingopties om een geoptimaliseerde oplossing voor uw gebruiksscenario te garanderen.

AI-ontwikkelplatforms en -hulpprogramma's

Met de volgende AI-ontwikkelplatforms en -hulpprogramma's kunt u machine learning- en AI-modellen bouwen, implementeren en beheren.

Azure Machine Learning

Azure Machine Learning is een machine learning-service die u kunt gebruiken om modellen te bouwen en te implementeren. Machine Learning biedt webinterfaces en SDK's voor het trainen en implementeren van uw machine learning-modellen en -pijplijnen op schaal. Gebruik deze mogelijkheden via open-source Python-frameworks, zoals PyTorch, TensorFlow en scikit-learn.

Zie de volgende bronnen voor meer informatie:

Machine learning-referentiearchitecturen voor Azure

Geautomatiseerde machine learning

Geautomatiseerde machine learning (AutoML) is het proces van het automatiseren van de tijdrovende, iteratieve taken van het ontwikkelen van machine learning-modellen. Gegevenswetenschappers, analisten en ontwikkelaars kunnen AutoML gebruiken om machine learning-modellen te bouwen met een hoge schaal, efficiëntie en productiviteit, terwijl de modelkwaliteit behouden blijft.

Zie de volgende bronnen voor meer informatie:

MLflow

Machine Learning-werkruimten zijn compatibel met MLflow, wat betekent dat u een Machine Learning-werkruimte op dezelfde manier kunt gebruiken als u een MLflow-server gebruikt. Deze compatibiliteit biedt de volgende voordelen:

  • Machine Learning host geen MLflow-serverexemplaren, maar kan de MLflow-API's rechtstreeks gebruiken.
  • U kunt een Machine Learning-werkruimte gebruiken als uw traceringsserver voor elke MLflow-code, ongeacht of deze in Machine Learning wordt uitgevoerd. U moet MLflow zo configureren dat deze verwijst naar de werkruimte waar het bijhouden moet plaatsvinden.
  • U kunt trainingsroutines uitvoeren die gebruikmaken van MLflow in Machine Learning zonder wijzigingen aan te brengen.

Zie MLflow- en Machine Learning- en MLflow-voor meer informatie.

Generatieve AI-hulpprogramma's

  • Prompt flow is een reeks ontwikkelhulpprogramma's die u kunt gebruiken om de end-to-end ontwikkelingscyclus van generatieve AI-toepassingen te stroomlijnen, van conceptontwikkeling, prototyping, testen en evaluatie tot implementatie in productie en monitoring. Het biedt ondersteuning voor prompt-engineering door acties uit te drukken in een modulaire indeling en stroomengine.

  • Azure AI Foundry- helpt u bij het experimenteren, ontwikkelen en implementeren van generatieve AI-apps en API's op verantwoorde wijze met een uitgebreid platform. De AI Foundry-portal biedt toegang tot Azure AI-services, basismodellen, een speeltuin en resources om u te helpen AI-modellen te bouwen, te trainen, af te stemmen en te implementeren. U kunt ook modelreacties evalueren en onderdelen van prompttoepassingen coördineren met promptflow voor betere prestaties.

  • Copilot Studio breidt Copilot uit in Microsoft 365. U kunt Copilot Studio gebruiken om aangepaste copilots te bouwen voor interne en externe scenario's. Gebruik een uitgebreid ontwerpcanvas om copilots te ontwerpen, testen en publiceren. U kunt eenvoudig generatieve AI-gesprekken maken, meer controle over reacties bieden voor bestaande copilots en de productiviteit versnellen met behulp van geautomatiseerde werkstromen.

Gegevensplatforms voor AI

De volgende platforms bieden uitgebreide oplossingen voor gegevensverplaatsing, verwerking, opname, transformatie, realtime analyse en rapportage.

Microsoft Fabric

Microsoft Fabric is een end-to-end analyse- en gegevensplatform voor ondernemingen die een uniforme oplossing nodig hebben. U kunt workloadteams toegang verlenen tot gegevens in Fabric. Het platform behandelt gegevensverplaatsing, verwerking, opname, transformatie, realtime gebeurtenisroutering en rapportbouw. Het biedt een uitgebreide suite met services, waaronder Fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Real-Time Intelligence, Fabric Data Warehouse en Fabric Databases.

Fabric integreert afzonderlijke onderdelen in een samenhangende stack. In plaats van te vertrouwen op verschillende databases of datawarehouses, kunt u gegevensopslag centraliseren met OneLake. AI-mogelijkheden zijn ingesloten in Fabric, waardoor handmatige integratie niet meer nodig is.

Zie de volgende bronnen voor meer informatie:

Copilots in Fabric

U kunt Copilot en andere generatieve AI-functies gebruiken om gegevens te transformeren en analyseren, inzichten te genereren en visualisaties en rapporten te maken in Fabric en Power BI. U kunt uw eigen copilot bouwen of een van de volgende vooraf gebouwde copiloten kiezen:

AI-vaardigheden in Fabric

U kunt de fabric AI-vaardigheidsfunctie gebruiken om een generatief AI-systeem te configureren om query's te genereren die vragen over uw gegevens beantwoorden. Nadat u een AI-vaardigheid hebt geconfigureerd, kunt u deze delen met uw collega's, die hun vragen vervolgens in eenvoudige taal kunnen stellen. Op basis van hun vragen genereert de AI query's op de gegevens die deze vragen beantwoorden.

Zie de volgende bronnen voor meer informatie:

Op Apache Spark gebaseerde gegevensplatforms voor AI

Apache Spark is een framework voor parallelle verwerking dat ondersteuning biedt voor in-memory verwerking om de prestaties van toepassingen voor de analyse van big data te verbeteren. Spark biedt basisbouwstenen voor clustercomputing in het geheugen. Een Spark-taak kan gegevens in het geheugen laden en in de cache opslaan en er herhaaldelijk query's op uitvoeren, wat sneller is dan op schijven gebaseerde toepassingen, zoals Hadoop.

Apache Spark in Microsoft Fabric

Fabric Runtime is een geïntegreerd Azure-platform op basis van Apache Spark dat de implementatie en het beheer van data engineering- en data science-ervaringen mogelijk maakt. Fabric Runtime combineert belangrijke onderdelen van interne en opensource-bronnen, die een uitgebreide oplossing bieden.

Fabric Runtime heeft de volgende belangrijke onderdelen:

  • Apache Spark- is een krachtige opensource gedistribueerde computingbibliotheek waarmee grootschalige gegevensverwerkings- en analysetaken mogelijk zijn. Apache Spark biedt een veelzijdig en krachtige platform voor data engineering- en data science-ervaringen.

  • Delta Lake is een opensource-opslaglaag die atomische, consistentie-, isolatie- en duurzaamheidstransacties (ACID) en andere functies voor gegevensbetrouwbaarheid integreert met Apache Spark. Delta Lake is geïntegreerd in Fabric Runtime en verbetert de mogelijkheden voor gegevensverwerking en zorgt voor gegevensconsistentie voor meerdere gelijktijdige bewerkingen.

  • pakketten op standaardniveau voor Java, Scala, Python en R zijn pakketten die diverse programmeertalen en omgevingen ondersteunen. Deze pakketten worden automatisch geïnstalleerd en geconfigureerd, zodat ontwikkelaars hun favoriete programmeertalen voor gegevensverwerkingstaken kunnen toepassen.

Fabric Runtime is gebouwd op een robuust opensource-besturingssysteem om compatibiliteit met verschillende hardwareconfiguraties en systeemvereisten te garanderen.

Zie Apache Spark-runtimes in Fabricvoor meer informatie.

Azure Databricks Runtime voor Machine Learning

Azure Databricks- is een op Apache Spark gebaseerd analyseplatform met één klik, gestroomlijnde werkstromen en een interactieve werkruimte voor samenwerking tussen gegevenswetenschappers, technici en bedrijfsanalisten.

U kunt Databricks Runtime voor Machine Learning gebruiken om een Databricks-cluster te starten met alle bibliotheken die nodig zijn voor gedistribueerde training. Deze functie biedt een omgeving voor machine learning en gegevenswetenschap. Het bevat meerdere populaire bibliotheken, waaronder TensorFlow, PyTorch, Keras en XGBoost. Het ondersteunt ook gedistribueerde training via Horovod.

Zie de volgende bronnen voor meer informatie:

Apache Spark in Azure HDInsight

Apache Spark in Azure HDInsight is de Microsoft-implementatie van Apache Spark in de cloud. Spark-clusters in HDInsight zijn compatibel met Azure Storage en Azure Data Lake Storage, zodat u HDInsight Spark-clusters kunt gebruiken om gegevens te verwerken die u in Azure opslaat.

SynapseML, voorheen MMLSpark genoemd, is de Microsoft Machine Learning-bibliotheek voor Apache Spark. Deze opensource-bibliotheek voegt veel deep learning- en data science-hulpprogramma's, netwerkmogelijkheden en prestaties op productieniveau toe aan het Spark-ecosysteem.

Zie de volgende bronnen voor meer informatie:

Gegevensopslag voor AI

U kunt de volgende platforms gebruiken om grote hoeveelheden gegevens efficiënt op te slaan, te openen en te analyseren.

Fabric OneLake

OneLake in Fabric is een geïntegreerde en logische data lake die u aan uw hele organisatie kunt aanpassen. Het fungeert als de centrale hub voor alle analysegegevens en is opgenomen in elke Fabric-tenant. OneLake in Fabric is gebouwd op basis van Data Lake Storage.

OneLake in Fabric:

  • Ondersteunt gestructureerde en ongestructureerde bestandstypen.
  • Slaat alle tabelgegevens op in Delta-Parquet indeling.
  • Biedt één data lake binnen tenantgrenzen die standaard worden beheerd.
  • Ondersteunt het maken van werkruimten binnen een tenant, zodat uw organisatie eigendom en toegangsbeleid kan distribueren.
  • Ondersteunt het maken van verschillende gegevensitems, zoals lakehouses en magazijnen, waaruit u toegang hebt tot gegevens.

Zie OneLake, oneDrive voor gegevens voor meer informatie.

Data Lake Storage

Data Lake Storage is één centrale opslagplaats waar u gestructureerde en ongestructureerde gegevens kunt opslaan. Gebruik een data lake om snel en eenvoudig een groot aantal gegevens op één locatie op te slaan, te openen en te analyseren. U hoeft uw gegevens niet aan te passen aan een bestaande structuur. In plaats daarvan kunt u uw gegevens opslaan in de onbewerkte of systeemeigen indeling, meestal als bestanden of als binaire grote objecten of blobs.

Data Lake Storage biedt semantiek van het bestandssysteem, beveiliging op bestandsniveau en schaal. Omdat deze mogelijkheden zijn gebouwd op Azure Blob Storage, krijgt u ook goedkope gelaagde opslag met hoge beschikbaarheid en mogelijkheden voor herstel na noodgevallen.

Data Lake Storage maakt gebruik van de infrastructuur van Azure Storage om een basis te maken voor het bouwen van enterprise data lakes in Azure. Data Lake Storage kan meerdere petabytes aan informatie verwerken en honderden gigabits doorvoer ondersteunen, zodat u enorme hoeveelheden gegevens kunt beheren.

Zie de volgende bronnen voor meer informatie:

Gegevensverwerking voor AI

U kunt de volgende hulpprogramma's gebruiken om gegevens voor te bereiden voor machine learning- en AI-toepassingen. Zorg ervoor dat uw gegevens schoon en gestructureerd zijn, zodat u deze kunt gebruiken voor geavanceerde analyses.

Fabric Datafabriek

U kunt Fabric Data Factory gebruiken voor het opnemen, voorbereiden en transformeren van gegevens uit meerdere gegevensbronnen, zoals databases, datawarehouses, lakehouses en realtime gegevensstromen. Met deze service kunt u voldoen aan uw vereisten voor gegevensbewerkingen wanneer u workloads ontwerpt.

Fabric Data Factory ondersteunt codeoplossingen en oplossingen zonder code of oplossingen met weinig code:

  • Gebruik gegevenspijplijnen om werkstroommogelijkheden op cloudschaal te maken. Gebruik de interface voor slepen en neerzetten om werkstromen te bouwen waarmee uw gegevensstroom kan worden vernieuwd, petabyte-groottegegevens kunnen worden verplaatst en besturingsstroompijplijnen kunnen worden gedefinieerd.

  • Gebruik gegevensstromen als een interface met weinig code om gegevens uit honderden gegevensbronnen op te nemen en te transformeren met behulp van meer dan 300 gegevenstransformaties.

Zie end-to-end scenario van Data Factory: Inleiding en architectuurvoor meer informatie.

Azure Databricks

U kunt het Databricks Data Intelligence Platform gebruiken om code te schrijven om een machine learning-werkstroom te maken met behulp van functie-engineering. Feature Engineering is het proces van het transformeren van onbewerkte gegevens in functies die u kunt gebruiken om machine learning-modellen te trainen. Databricks Data Intelligence Platform bevat belangrijke functies die functie-engineering ondersteunen:

  • Gegevenspijplijnen onbewerkte gegevens opnemen, functietabellen maken, modellen trainen en batchdeductie uitvoeren. Wanneer u functie-engineering in Unity Catalog gebruikt om een model te trainen en te registreren, wordt het model verpakt met functiemetagegevens. Wanneer u het model gebruikt voor batchgewijs scoren of onlinedeductie, worden functiewaarden automatisch opgehaald. De oproeper hoeft niet op de hoogte te zijn van de waarden of logica op te nemen om functies te zoeken of te verbinden voor het beoordelen van nieuwe gegevens.

  • Model en functie voor eindpunten direct toegankelijk zijn en milliseconden van latentie bieden.

  • Bewaking zorgt voor de prestaties en nauwkeurigheid van gegevens en modellen.

Je kunt ook Mozaïek AI Vector Search gebruiken om embeddings op te slaan en terug te vinden. Insluitingen zijn van cruciaal belang voor toepassingen waarvoor overeenkomsten moeten worden gezocht, zoals RAG, aanbevelingssystemen en afbeeldingsherkenning.

Zie Azure Databricks: Gegevens leveren voor machine learning en AI-voor meer informatie.

Gegevensconnectors voor AI

Azure Data Factory- en Azure Synapse Analytics-pijplijnen ondersteunen veel gegevensarchieven en -indelingen via kopiëren, gegevensstromen, opzoeken, metagegevens ophalen en activiteiten verwijderen. Zie Overzicht van Azure Data Factory en Azure Synapse Analytics-connector voor de beschikbare gegevensopslag-connectoren, inclusief de bijhorende configuraties en algemene opties voor Open Database Connectivity.

Aangepaste AI

Met aangepaste AI-oplossingen kunt u specifieke zakelijke behoeften en uitdagingen aanpakken. De volgende secties bieden een overzicht van verschillende hulpprogramma's en services die u kunt gebruiken om aangepaste AI-modellen te bouwen en te beheren.

Azure Machine Learning

Azure Machine Learning is een cloudservice voor het versnellen en beheren van de levenscyclus van het Machine Learning-project. Machine learning-professionals, gegevenswetenschappers en technici kunnen deze service gebruiken in hun dagelijkse werkstromen om modellen te trainen en te implementeren en machine learning-bewerkingen te beheren.

Machine Learning biedt de volgende mogelijkheden:

  • Algoritmeselectie: Sommige algoritmen maken specifieke veronderstellingen over gegevensstructuur of gewenste resultaten. Kies een algoritme dat aan uw behoeften voldoet, zodat u nuttigere resultaten, nauwkeurigere voorspellingen en snellere trainingstijden kunt krijgen. Zie Algoritmen selecteren voor Machine Learning-voor meer informatie.

  • Hyperparameter-afstemming of optimalisatie: U kunt dit handmatige proces gebruiken om hyperparameterconfiguraties te vinden die resulteren in de beste prestaties. Deze optimalisatie kost aanzienlijke rekenkosten. Hyperparameters zijn aanpasbare parameters die controle bieden in het modeltrainingsproces. U kunt bijvoorbeeld het aantal verborgen lagen en het aantal knooppunten in elke laag van neurale netwerken kiezen. Modelprestaties zijn sterk afhankelijk van hyperparameters.

    U kunt Machine Learning gebruiken om hyperparameterafstemming te automatiseren en experimenten parallel uit te voeren om hyperparameters efficiënt te optimaliseren.

    Zie de volgende bronnen voor meer informatie:

  • Modeltraining: U kunt een algoritme iteratief gebruiken om modellen te maken of te leren. Nadat modellen zijn getraind, kunt u ze gebruiken om gegevens te analyseren en voorspellingen te doen.

    Tijdens de trainingsfase:

    1. Een kwaliteitsset met bekende gegevens wordt gelabeld zodat afzonderlijke velden identificeerbaar zijn.

    2. Een algoritme dat is geconfigureerd om een bepaalde voorspelling te doen, ontvangt de getagde gegevens.

    3. Het algoritme voert een model uit waarmee de patronen worden vastgelegd die in de gegevens zijn geïdentificeerd. Het model gebruikt een set parameters om deze patronen weer te geven.

    Tijdens validatie:

    1. Nieuwe gegevens worden gelabeld en gebruikt om het model te testen.

    2. Het algoritme wordt naar behoefte aangepast en doet mogelijk meer training.

    3. De testfase maakt gebruik van echte gegevens zonder tags of vooraf gekozen doelen. Als de resultaten van het model nauwkeurig zijn, is het klaar voor gebruik en kan het worden geïmplementeerd.

    Zie de volgende bronnen voor meer informatie:

  • AutoML: Dit proces automatiseert de tijdrovende iteratieve taken van machine learning-modelontwikkeling. Dit kan de tijd die nodig is voor het produceren van machine learning-modellen die gereed zijn voor productie aanzienlijk verminderen. AutoML kan helpen bij het selecteren van modellen, het afstemmen van hyperparameters, het trainen van modellen en andere taken, zonder dat hiervoor uitgebreide programmeer- of domeinkennis nodig is.

    U kunt AutoML gebruiken als u wilt dat Machine Learning een opgegeven doelmetriek gebruikt om een model te trainen en af te stemmen. U hebt geen kennis van data science nodig om een end-to-end machine learning-pijplijn te identificeren voor problemen.

    Machine learning-professionals en -ontwikkelaars in verschillende branches kunnen AutoML gebruiken voor het volgende:

    • Implementeer machine learning-oplossingen zonder uitgebreide programmeer- of machine learning-kennis.
    • Bespaar tijd en resources.
    • Best practices voor data science toepassen.
    • Bied flexibele probleemoplossing.

    Voor meer informatie, zie Wat is AutoML?.

  • Scoren: Dit proces, ook wel voorspellinggenoemd, gebruikt een getraind machine learning-model om waarden te genereren op basis van nieuwe invoergegevens. De waarden, of scores, kunnen voorspellingen van toekomstige waarden voorstellen, maar ze kunnen ook een waarschijnlijke categorie of uitkomst vertegenwoordigen.

    Zie de volgende bronnen voor meer informatie:

  • Functie-engineering en -featurisatie: Trainingsgegevens bestaan uit rijen en kolommen. Elke rij is een observatie of record en de kolommen van elke rij zijn de functies die elke record beschrijven. Normaal gesproken worden de functies die de patronen in de gegevens het beste karakteriseren, geselecteerd om voorspellende modellen te maken.

Hoewel u veel van de onbewerkte gegevensvelden kunt gebruiken om een model te trainen, moet u mogelijk andere ontworpen functies maken die informatie bieden om patronen in de gegevens beter te onderscheiden. Dit proces wordt functie-engineering genoemd, waarbij u domeinkennis van de gegevens gebruikt om functies te maken die machine learning-algoritmen helpen beter te leren.

In Machine Learning worden technieken voor het schalen en normaliseren van gegevens toegepast om functie-engineering eenvoudiger te maken. Deze technieken en functie-engineering worden gezamenlijk featurization genoemd in AutoML-experimenten. Zie Data featurization in automated machine learningvoor meer informatie.

Azure OpenAI

In Azure OpenAI kunt u een proces gebruiken dat bekend staat als afstemmen om OpenAI-modellen aan te passen aan uw persoonlijke gegevenssets. Deze aanpassingsstap optimaliseert de service door het volgende te bieden:

  • Resultaten van hogere kwaliteit vergeleken met prompt engineering alleen.
  • De mogelijkheid om te trainen met meer voorbeelden dan de contextlimiet voor aanvragen van een model doorgaans toestaat.
  • Tokenbesparingen vanwege kortere prompts.
  • Aanvragen met een lagere latentie, met name wanneer u kleinere modellen gebruikt.

Zie de volgende bronnen voor meer informatie:

Azure AI-services voor aangepaste AI

Azure AI-services biedt functies voor het bouwen van aangepaste AI-modellen en -toepassingen. De volgende secties bieden een overzicht van deze belangrijke functies.

Aangepaste spraak

Aangepaste spraak is een functie van de Azure AI Speech-service. U kunt aangepaste spraak gebruiken om de nauwkeurigheid van spraakherkenning voor uw toepassingen en producten te evalueren en te verbeteren. Gebruik een aangepast spraakmodel voor realtime spraak naar tekst, spraakomzetting en batchtranscriptie.

Spraakherkenning maakt standaard gebruik van een universeel taalmodel als basismodel. Dit model wordt getraind met gegevens die eigendom zijn van Microsoft en weerspiegelt veelgebruikte gesproken taal. Het basismodel is vooraf getraind met dialecten en fonetiek die verschillende gemeenschappelijke domeinen vertegenwoordigen. Wanneer u een aanvraag voor spraakherkenning maakt, wordt het meest recente basismodel voor uw ondersteunde taal standaard gebruikt. Het basismodel werkt goed in de meeste scenario's voor spraakherkenning.

U kunt een aangepast model gebruiken om het basismodel te verbeteren. U kunt bijvoorbeeld de herkenning van domeinspecifieke vocabulaire die specifiek is voor een toepassing verbeteren door tekstgegevens op te geven om het model te trainen. U kunt ook de herkenning verbeteren voor specifieke audiovoorwaarden van een toepassing door audiogegevens op te geven, inclusief referentietranscripties.

Als de gegevens een patroon volgen, kunt u gestructureerde tekst gebruiken om een model te trainen. U kunt aangepaste uitspraken opgeven en weergavetekstopmaak aanpassen met aangepaste inverse tekstnormalisatie, aangepast herschrijven en aangepast filteren op grof taalgebruik.

Aangepaste vertaler

Custom Translator is een functie van de Azure AI Translator-service. Ondernemingen, app-ontwikkelaars en taalserviceproviders kunnen aangepaste vertalers gebruiken om aangepaste NMT-systemen (Neural Machine Translation) te bouwen. De aangepaste vertaalsystemen integreren naadloos met bestaande toepassingen, werkstromen en websites.

U kunt deze functie gebruiken om aangepaste vertaalsystemen te bouwen en te publiceren van en naar het Engels. Custom Translator ondersteunt meer dan drie dozijn talen die rechtstreeks overeenkomen met de talen voor NMT. Zie Translator-taalondersteuningvoor een volledige lijst met talen.

Custom Translator biedt de volgende functies.

Functie Beschrijving
NMT-technologie toepassen Pas NMT toe vanuit de aangepaste vertaler om uw vertaling te verbeteren.
Systemen bouwen die uw zakelijke terminologie kennen U kunt vertaalsystemen aanpassen en bouwen met behulp van parallelle documenten die inzicht hebben in de terminologie in uw bedrijf en branche.
Een woordenlijst gebruiken om uw modellen te bouwen Train een model met alleen woordenlijstgegevens als u geen trainingsgegevensset hebt.
Werk samen met anderen Werk samen met uw team door uw werk met verschillende personen te delen.
Toegang tot uw aangepaste vertaalmodel Krijg op elk gewenst moment toegang tot uw aangepaste vertaalmodel met behulp van uw bestaande toepassingen of programma's via Microsoft Translator Text API V3.

Aangepaste Azure AI Document Intelligence-modellen

Azure AI Document Intelligence maakt gebruik van geavanceerde machine learning-technologie voor het identificeren van documenten, het detecteren en extraheren van informatie uit formulieren en documenten en het retourneren van de geëxtraheerde gegevens in een gestructureerde JSON-uitvoer. Gebruik Document Intelligence om te profiteren van vooraf gedefinieerde of vooraf getrainde documentanalysemodellen of getrainde zelfstandige aangepaste modellen.

aangepaste modellen van Document Intelligence aangepaste classificatiemodellen bevatten voor scenario's waarin u het documenttype moet identificeren voordat u het extractiemodel aanroept. U kunt een classificatiemodel koppelen aan een aangepast extractiemodel om velden te analyseren en te extraheren uit formulieren en documenten die specifiek zijn voor uw bedrijf. Combineer zelfstandig werkende aangepaste extractiemodellen om samengestelde modellen te maken .

Aangepaste AI-hulpprogramma's

Vooraf samengestelde AI-modellen zijn nuttig en steeds flexibeler, maar de beste manier om AI te optimaliseren, is door een model aan te passen aan uw specifieke behoeften. Twee primaire hulpprogramma's voor het maken van aangepaste AI-modellen zijn generatieve AI en traditionele machine learning.

Azure Machine Learning Studio

Azure Machine Learning Studio is een cloudservice voor het versnellen en beheren van de levenscyclus van het machine learning-project. Machine learning-professionals, gegevenswetenschappers en technici kunnen deze gebruiken in hun dagelijkse werkstromen om modellen te trainen en te implementeren en machine learning-bewerkingen te beheren.

  • Machine Learning-modellen bouwen en trainen met elk type rekenproces, inclusief Spark en GPU's voor grote AI-workloads in de cloud.

  • Voer AutoML uit en gebruik de gebruikersinterface voor slepen en neerzetten voor Machine Learning met weinig code.

  • End-to-end Machine Learning-bewerkingen en herhaalbare pijplijnen implementeren.

  • Gebruik het verantwoordelijke AI-dashboard voor detectie van vooroordelen en foutanalyse.

  • Prompt engineering- en LLM-stromen organiseren en beheren.

  • Implementeer modellen via REST API-eindpunten, real-time inference en batch-inference.

  • Gebruik hubwerkruimten om rekenkracht, quota, beveiliging en connectiviteit met bedrijfsresources te delen, terwijl u governance voor IT centraliseert. Stel eenmaal een hub in en maak vervolgens rechtstreeks vanuit de studio beveiligde werkruimten voor elk project. Gebruik hubs om het werk van uw team in de studio en de AI Foundry-portal te beheren.

AI Foundry

AI Foundry- helpt u bij het efficiënt bouwen en implementeren van aangepaste generatieve AI-toepassingen met de kracht van brede Azure AI-aanbiedingen.

  • Bouw samen als één team. Uw AI Foundry-hub biedt beveiliging op bedrijfsniveau en een samenwerkingsomgeving met gedeelde resources en verbindingen met vooraf getrainde modellen, gegevens en berekeningen.

  • Organiseer uw werk. Met uw AI Foundry-project kunt u de status opslaan, zodat u van het eerste idee naar het eerste prototype en de eerste productie-implementatie kunt herhalen. Nodig anderen eenvoudig uit om met u samen te werken.

  • Gebruik uw favoriete ontwikkelplatform en frameworks, waaronder GitHub, Visual Studio Code, LangChain, Semantic Kernel en AutoGen.

  • Ontdek en benchmark van meer dan 1.600 modellen.

  • Richt modellen als een dienst (MaaS) in via serverloze API's en gehoste verfijning.

  • Neem meerdere modellen, gegevensbronnen en modaliteiten op.

  • Bouw RAG met behulp van uw beveiligde bedrijfsgegevens, zonder dat u ze hoeft af te stemmen.

  • Prompt engineering- en LLM-stromen organiseren en beheren.

  • Apps en API's ontwerpen en beveiligen via configureerbare filters en besturingselementen.

  • Modelantwoorden evalueren met behulp van ingebouwde en aangepaste evaluatiestromen.

  • Implementeer AI-innovaties in de door Azure beheerde infrastructuur om continue bewaking en governance in omgevingen te bieden.

  • Continu geïmplementeerde apps bewaken voor veiligheid, kwaliteit en tokenverbruik in productie.

Zie AI Foundry-portal versus Machine Learning Studiovoor meer informatie.

Promptverloop in AI Foundry portal

Promptstroom in de AI Foundry-portal is een ontwikkeltool die u kunt gebruiken om de volledige ontwikkelingscyclus van AI-toepassingen, aangedreven door Grote Taalmodellen (LLM's), te stroomlijnen. Promptflow biedt een uitgebreide oplossing die het proces van prototypen, experimenteren, herhalen en implementeren van uw AI-toepassingen vereenvoudigt.

  • Prompt flow is een functie die u kunt gebruiken om een flow te genereren, aan te passen of uit te voeren.

  • Een stroom is een instructieset waarmee AI-logica kan worden geïmplementeerd. Flows maken of uitvoeren via hulpprogramma's, zoals een voorgebouwd canvas of LangChain. U kunt iteraties van een stroom opslaan als assets. Nadat u een stroom hebt geïmplementeerd, wordt deze een API. Niet alle stromen zijn directe stromen. Promptstroom is een manier om een stroom te maken.

  • Een prompt is een pakket invoer dat naar een model wordt verzonden. Het bestaat uit de gebruikersinvoer, het systeembericht en eventuele voorbeelden. Gebruikersinvoer is tekst die wordt verzonden in het chatvenster. Het systeembericht is een reeks instructies voor het model die het gedrag en de functionaliteit bepaalt.

  • Een voorbeeldstroom is een eenvoudige, vooraf gebouwde orchestratiestroom die laat zien hoe stromen werken. U kunt een voorbeeldstroom aanpassen.

  • Een voorbeeldprompt is een gedefinieerde prompt voor een specifiek scenario dat u kunt kopiëren uit een bibliotheek en as-is kunt gebruiken of wijzigen in promptontwerp.

Aangepaste AI-codetalen

Het kernconcept van AI is het gebruik van algoritmen voor het analyseren van gegevens en het genereren van modellen om het op nuttige manieren te beschrijven of te beoordelen. Ontwikkelaars en gegevenswetenschappers, en soms andere algoritmen, gebruiken programmeercode om algoritmen te schrijven. Twee van de populairste programmeertalen voor AI-ontwikkeling zijn Python en R.

Python is een programmeertaal voor algemeen gebruik op hoog niveau. Het heeft een eenvoudige, gemakkelijk te leren syntaxis die de leesbaarheid benadrukt. Er is geen compilatiestap. Python heeft een grote standaardbibliotheek en biedt ondersteuning voor de mogelijkheid om modules en pakketten toe te voegen. Deze functie moedigt modulariteit aan en stelt u in staat om de mogelijkheden zo nodig uit te breiden. Er is een groot en groeiend ecosysteem van AI- en machine learning-bibliotheken voor Python, waaronder veel in Azure.

Zie de volgende bronnen voor meer informatie:

R- is een taal en omgeving voor statistische computing en graphics. U kunt het voor alles gebruiken, van het online toewijzen van brede sociale en marketingtrends tot het ontwikkelen van financiële en klimaatmodellen.

Microsoft omarmt de R-programmeertaal volledig en biedt veel opties voor R-ontwikkelaars om hun code in Azure uit te voeren.

Zie R interactief gebruiken op Machine Learningvoor meer informatie.

Zie de volgende resources voor algemene informatie over aangepaste AI in Azure:

Klantverhalen

Veel branches passen AI op innovatieve en inspirerende manieren toe. Bekijk de volgende casestudy's en succesverhalen van klanten:

Door meer AI-klantverhalen bladeren

Algemene informatie over Microsoft AI

Meer informatie over Microsoft AI en op de hoogte blijven van gerelateerd nieuws:

Volgende stap