Delen via

Architectuurontwerp voor kunstmatige intelligentie (AI)

  • Artikel

Kunstmatige intelligentie (AI) is een technologie waarmee machines intelligent menselijk gedrag kunnen imiteren. Met AI kunnen machines het volgende doen:

  • Analyseer gegevens om afbeeldingen en video's te maken.
  • Spraak analyseren en synthetiseren.
  • Verbaal communiceren op natuurlijke manieren.
  • Maak voorspellingen en genereer nieuwe gegevens.

Architecten ontwerpen workloads die gebruikmaken van kunstmatige intelligentie om functies uit te voeren of beslissingen te nemen waarbij traditionele logica of verwerking verboden of zelfs bijna onmogelijk zou zijn om te implementeren. Als architect die een oplossing ontwerpt, is het belangrijk om inzicht te hebben in het AI- en machine learning-landschap en hoe Azure oplossingen biedt voor integratie in uw workloadontwerp.

AI-concepten

Algoritmen

Algoritmen of machine learning-algoritmen zijn stukjes code die mensen helpen bij het verkennen, analyseren en vinden van betekenis in complexe gegevenssets. Elke algoritme is een beperkte set stapsgewijze, ondubbelzinnige instructies die een machine kan volgen om een bepaald doel te bereiken. In een machine learning-model is het doel patronen vast te stellen of te ontdekken die mensen kunnen gebruiken om voorspellingen te doen of informatie te categoriseren. Een algoritme kan beschrijven hoe u kunt bepalen of een huisdier een kat, hond, vis, vogel of hagedis is. Een ander veel gecompliceerder algoritme kan beschrijven hoe u een geschreven of gesproken taal identificeert, de woorden analyseert, deze vertaalt in een andere taal en vervolgens de vertaling controleert op nauwkeurigheid.

Wanneer u een workload ontwerpt, moet u een algoritmefamilie selecteren die geschikt is voor uw taak en de verschillende beschikbare algoritmen evalueren om de juiste pasvorm te vinden.

Machinelearning

Machine learning is een AI-techniek die gebruikmaakt van algoritmen om voorspellende modellen te maken. Het algoritme wordt gebruikt voor het parseren van gegevensvelden en voor het 'leren' van die gegevens met behulp van patronen die erin zijn gevonden om modellen te genereren. Deze modellen worden vervolgens gebruikt om geïnformeerde voorspellingen of beslissingen te nemen over nieuwe gegevens.

De voorspellende modellen worden gevalideerd op basis van bekende gegevens, gemeten door metrische prestatiegegevens die zijn geselecteerd voor specifieke bedrijfsscenario's en vervolgens naar behoefte aangepast. Dit proces van leren en valideren wordt training genoemd. Door periodieke hertraining worden ML-modellen in de loop van de tijd verbeterd.

Als het gaat om het ontwerpen van workloads, kunt u overwegen machine learning te gebruiken wanneer u een situatie hebt waarin eerdere waarnemingen betrouwbaar kunnen worden gebruikt om toekomstige situaties te voorspellen. Deze waarnemingen kunnen universele waarheden zijn, zoals computer vision die de ene vorm van dieren van een ander detecteert, of deze waarnemingen kunnen specifiek zijn voor uw situatie, zoals computer vision die een mogelijke assemblyfout op uw assemblagelijnen detecteert op basis van eerdere garantieclaimgegevens.

Deep Learning

Deep Learning is een type ML dat kan leren door middel van een eigen gegevensverwerking. Net als bij machine learning worden ook algoritmen gebruikt om gegevens te analyseren, maar wel met behulp van kunstmatige neurale netwerken die veel invoer-, uitvoer- en verwerkingslagen bevatten. Elke laag kan de gegevens op een andere manier verwerken en de uitvoer van één laag wordt de invoer voor de volgende. Hierdoor kan Deep Learning complexere modellen maken dan traditionele machine learning.

Als workloadontwerper vereist deze optie een grote investering in het genereren van sterk aangepaste of verkennende modellen. Over het algemeen overweegt u andere oplossingen die in dit artikel worden gepresenteerd voordat u deep learning toevoegt aan uw workload.

Generatieve AI

Generatieve AI is een vorm van kunstmatige intelligentie waarin modellen worden getraind om nieuwe oorspronkelijke inhoud te genereren op basis van veel vormen van inhoud, zoals natuurlijke taal, computer vision, audio of afbeeldingsinvoer. Met generatieve AI kunt u een gewenste uitvoer in normale dagelijkse taal beschrijven en het model kan reageren door de juiste tekst, afbeelding, code en meer te maken. Enkele voorbeelden van generatieve AI-toepassingen zijn:

  • Microsoft Copilot is voornamelijk een gebruikersinterface die gebruikers kan helpen bij het schrijven van code, documenten en andere op tekst gebaseerde inhoud. Het is gebaseerd op populaire OpenAI-modellen en is geïntegreerd in een breed scala aan Microsoft-toepassingen en gebruikerservaringen.

  • Azure OpenAI is een ontwikkelplatform als een service die toegang biedt tot de krachtige taalmodellen van OpenAI, zoals o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo met Vision, GPT-4, GPT-3.5-Turbo en Embeddings-modelreeks. Deze modellen kunnen worden aangepast aan uw specifieke taak, zoals:

    • Inhoudsgeneratie
    • Samenvatting van inhoud
    • Beelden begrijpen
    • Semantische zoekopdrachten
    • Natuurlijke taal voor codevertaling.

Taalmodellen

Taalmodellen zijn een subset van Generation AI die zich richt op NLP-taken (Natural Language Processing), zoals het genereren van tekst en sentimentanalyse. Deze modellen vertegenwoordigen natuurlijke taal op basis van de waarschijnlijkheid van woorden of reeksen woorden die zich in een bepaalde context voordoen.

Conventionele taalmodellen hebben gebruikt in instellingen onder supervisie voor onderzoeksdoeleinden waarbij de modellen worden getraind op goed gelabelde tekstgegevenssets voor specifieke taken. Vooraf getrainde taalmodellen bieden een toegankelijke manier om aan de slag te gaan met AI en zijn de afgelopen jaren meer gebruikt. Deze modellen worden getraind op grootschalige tekst corpora van internet met behulp van neurale deep learning-netwerken en kunnen worden afgestemd op kleinere gegevenssets voor specifieke taken.

De grootte van een taalmodel wordt bepaald door het aantal parameters of gewichten dat bepaalt hoe het model invoergegevens verwerkt en uitvoer genereert. Parameters worden tijdens het trainingsproces geleerd door de gewichten in lagen van het model aan te passen om het verschil tussen de voorspellingen van het model en de werkelijke gegevens te minimaliseren. Hoe meer parameters een model heeft, hoe complexer en expressief het is, maar ook hoe duurder het is om te trainen en te gebruiken.

In het algemeen hebben kleine taalmodellen minder dan 10 miljard parameters en grote taalmodellen hebben meer dan 10 miljard parameters. De microsoft Phi-3-modelfamilie heeft bijvoorbeeld drie versies met verschillende grootten: mini (3,8 miljard parameters), klein (7 miljard parameters) en gemiddeld (14 miljard parameters).

Copilots

De beschikbaarheid van taalmodellen leidde tot de opkomst van nieuwe manieren om te communiceren met toepassingen en systemen via digitale copilots en verbonden, domeinspecifieke agents. Copilots zijn generatieve AI-assistenten die vaak als chatinterfaces worden geïntegreerd in toepassingen. Ze bieden contextuele ondersteuning voor algemene taken in deze toepassingen.

Microsoft Copilot is geïntegreerd in een breed scala aan Microsoft-toepassingen en gebruikerservaringen. Het is gebaseerd op een open architectuur waarmee externe ontwikkelaars hun eigen invoegtoepassingen kunnen maken om de gebruikerservaring met Microsoft Copilot uit te breiden of aan te passen. Daarnaast kunnen externe ontwikkelaars hun eigen copilots maken met behulp van dezelfde open architectuur.

Augmented Generation ophalen (RAG)

Het ophalen van Augmented Generation (RAG) is een architectuurpatroon dat de mogelijkheden van een groot taalmodel (LLM) zoals ChatGPT vergroot, dat alleen is getraind op openbare gegevens. Met dit patroon kunt u een ophaalsysteem toevoegen dat relevante grondgegevens biedt in de context van de gebruikersaanvraag. Door een systeem voor het ophalen van gegevens toe te voegen, hebt u controle over grondgegevens die door een taalmodel worden gebruikt wanneer er een antwoord wordt geformuleerd. Rag-architectuur helpt u bij het bereik van generatieve AI voor inhoud die afkomstig is van vectordocumenten, afbeeldingen en andere gegevensindelingen. RAG is niet beperkt tot vectorzoekopslag, maar het patroon is van toepassing in combinatie met gegevensopslagtechnologie.

Geautomatiseerde machine learning (AutoML)

Geautomatiseerde machine learning, ook wel geautomatiseerd ML of AutoML genoemd, is het automatiseren van de tijdrovende, iteratieve taken van het ontwikkelen van machine learning-modellen. Hiermee kunnen gegevenswetenschappers, analisten en ontwikkelaars ML-modellen bouwen met hoge schaal, efficiëntie en productiviteit en tegelijkertijd de kwaliteit van het model behouden.

AI-services

Ontwikkelaars en organisaties van Azure AI-services kunnen intelligente, marktklare en verantwoordelijke toepassingen maken met kant-en-klare, vooraf gebouwde en aanpasbare API's en modellen. Gebruiksdoeleinden omvatten verwerking van natuurlijke taal voor gesprekken, zoeken, bewaken, vertalen, spraak, visie en besluitvorming.

AI-taalmodellen

  • Grote taalmodellen (LLM's), zoals GPT-modellen van OpenAI, zijn krachtige hulpprogramma's die natuurlijke taal kunnen genereren in verschillende domeinen en taken. Houd bij het gebruik van deze modellen rekening met factoren zoals gegevensprivacy, ethisch gebruik, nauwkeurigheid en vooroordelen.

  • Phi open modellen zijn kleine, minder rekenintensieve modellen voor generatieve AI-oplossingen. Een klein taalmodel (SLM) kan efficiënter, interpreteerbaar en verklaarbaar zijn dan een groot taalmodel.

Wanneer u een workload ontwerpt, kunt u taalmodellen gebruiken als een gehoste oplossing, achter een API met datalimiet of voor veel kleine taalmodellen die u in proces of ten minste op dezelfde rekenkracht als de consument kunt hosten. Wanneer u taalmodellen in uw oplossing gebruikt, moet u rekening houden met uw keuze van het taalmodel en de beschikbare hostingopties om ervoor te zorgen dat u een geoptimaliseerde oplossing gebruikt voor uw use-case.

AI-ontwikkelplatforms en -hulpprogramma's

Azure Machine Learning Service

Azure Machine Learning is een machine learning-service voor het bouwen en implementeren van modellen. Azure Machine Learning biedt webinterfaces en SDK's, zodat u uw machine learning-modellen en -pijplijnen op schaal kunt trainen en implementeren. Gebruik deze mogelijkheden via open-source Python-frameworks, zoals PyTorch, TensorFlow en scikit-learn.

Machine learning-referentiearchitecturen voor Azure

Geautomatiseerde machine learning (AutoML)

Bouw ML-modellen op schaal met behulp van de AutoML-functie in Azure Machine Learning om taken te automatiseren.

MLflow

Azure Machine Learning-werkruimten zijn compatibel met MLflow, wat betekent dat u een Azure Machine Learning-werkruimte op dezelfde manier kunt gebruiken als u een MLflow-server gebruikt. Deze compatibiliteit heeft de volgende voordelen:

  • Azure Machine Learning host geen MLflow-serverexemplaren, maar kan de MLflow-API's rechtstreeks gebruiken.
  • U kunt een Azure Machine Learning-werkruimte gebruiken als uw traceringsserver voor elke MLflow-code, ongeacht of deze wordt uitgevoerd in Azure Machine Learning. U hoeft MLflow alleen te configureren om te verwijzen naar de werkruimte waar het bijhouden moet plaatsvinden.
  • U kunt elke trainingsroutine uitvoeren die gebruikmaakt van MLflow in Azure Machine Learning zonder wijzigingen aan te brengen.

Zie MLflow en Azure Machine Learning voor meer informatie

Generatieve AI-hulpprogramma's

  • Promptstroom is een reeks ontwikkelhulpprogramma's die zijn ontworpen om de end-to-end ontwikkelingscyclus van generatieve AI-toepassingen te stroomlijnen, van ideeën, prototypen, testen, evaluatie tot productie-implementatie en bewaking. Het biedt ondersteuning voor prompt-engineering door acties uit te drukken in een modulaire indeling en stroomengine.

  • Azure AI Studio helpt u bij het experimenteren, ontwikkelen en implementeren van generatieve AI-apps en API's op verantwoorde wijze met een uitgebreid platform. Met Azure AI Studio hebt u toegang tot Azure AI-services, basismodellen, speeltuinen en resources waarmee u AI-modellen kunt bouwen, trainen, verfijnen en implementeren. U kunt ook modelreacties evalueren en prompttoepassingsonderdelen organiseren met promptstroom voor betere prestaties.

  • Azure Copilot Studio wordt gebruikt om Microsoft Copilot uit te breiden in Microsoft 365 en aangepaste copilots te bouwen voor interne en externe scenario's. Met Copilot Studio kunnen gebruikers copilots ontwerpen, testen en publiceren met behulp van het uitgebreide ontwerpcanvas. Gebruikers kunnen eenvoudig generatieve AI-gesprekken maken, meer controle bieden over reacties op bestaande copilots en de productiviteit versnellen met specifieke geautomatiseerde werkstromen.

Gegevensplatforms voor AI

Microsoft Fabric

Microsoft Fabric is een end-to-end analyse- en gegevensplatform dat is ontworpen voor ondernemingen waarvoor een uniforme oplossing is vereist. Workloadteams kunnen toegang krijgen tot gegevens in deze systemen. Het omvat gegevensverplaatsing, verwerking, opname, transformatie, realtime gebeurtenisroutering en rapportbouw. Het biedt een uitgebreide suite met services, waaronder Data-engineer ing, Data Factory, Datawetenschap, realtime analyse, datawarehouse en databases.

Microsoft Fabric integreert afzonderlijke onderdelen in een samenhangende stack. In plaats van te vertrouwen op verschillende databases of datawarehouses, kunt u gegevensopslag centraliseren met OneLake. AI-mogelijkheden zijn ingesloten in Fabric, waardoor handmatige integratie niet meer nodig is.

Copilots in Fabric

Met Copilot en andere generatieve AI-functies kunt u gegevens transformeren en analyseren, inzichten genereren en visualisaties en rapporten maken in Microsoft Fabric en Power BI. U kunt uw eigen copilot bouwen of een van de volgende vooraf gebouwde copiloten kiezen:

AI-vaardigheden in Fabric

Met een AI-vaardigheid van Microsoft Fabric kunt u een generatief AI-systeem configureren om query's te genereren die vragen over uw gegevens beantwoorden. Nadat u de AI-vaardigheid hebt geconfigureerd, kunt u deze delen met uw collega's, die hun vragen vervolgens in het Engels kunnen stellen. Op basis van hun vragen genereert de AI query's over uw gegevens die deze vragen beantwoorden.

Op Apache Spark gebaseerde gegevensplatforms voor AI

Apache Spark is een framework voor parallelle verwerking dat ondersteuning biedt voor in-memory verwerking om de prestaties van toepassingen voor de analyse van big data te verbeteren. Spark biedt primitieve typen voor in-memory clustercomputing. Een Spark-taak kan gegevens in het geheugen laden en in de cache opslaan en er herhaaldelijk query's op uitvoeren, wat sneller is dan op schijven gebaseerde toepassingen, zoals Hadoop.

Apache Spark in Azure Fabric

Microsoft Fabric Runtime is een geïntegreerd Azure-platform op basis van Apache Spark waarmee de uitvoering en het beheer van data engineering- en data science-ervaringen mogelijk is. Het combineert belangrijke onderdelen van zowel interne als opensource-bronnen en biedt klanten een uitgebreide oplossing.

Belangrijke onderdelen van Fabric Runtime:

  • Apache Spark : een krachtige opensource gedistribueerde computingbibliotheek waarmee grootschalige gegevensverwerkings- en analysetaken mogelijk zijn. Apache Spark biedt een veelzijdig en krachtige platform voor data engineering- en data science-ervaringen.

  • Delta Lake : een opensource-opslaglaag die ACID-transacties en andere functies voor gegevensbetrouwbaarheid naar Apache Spark brengt. Delta Lake is geïntegreerd in Fabric Runtime en verbetert de mogelijkheden voor gegevensverwerking en zorgt voor gegevensconsistentie voor meerdere gelijktijdige bewerkingen.

  • Pakketten op standaardniveau voor Java/Scala, Python en R - pakketten die verschillende programmeertalen en omgevingen ondersteunen. Deze pakketten worden automatisch geïnstalleerd en geconfigureerd, zodat ontwikkelaars hun favoriete programmeertalen voor gegevensverwerkingstaken kunnen toepassen.

De Microsoft Fabric Runtime is gebaseerd op een robuust opensource-besturingssysteem, waardoor de compatibiliteit met verschillende hardwareconfiguraties en systeemvereisten wordt gewaarborgd.

Azure Databricks Runtime voor Machine Learning

Azure Databricks is een op Apache Spark gebaseerd analyseplatform met eenmalige installatie, gestroomlijnde werkstromen en een interactieve werkruimte voor samenwerking tussen gegevenswetenschappers, technici en bedrijfsanalisten.

Met Databricks Runtime voor Machine Learning (Databricks Runtime ML) kunt u een Databricks-cluster starten met alle bibliotheken die vereist zijn voor gedistribueerde training. Het biedt een omgeving voor machine learning en gegevenswetenschap. Bovendien bevat het meerdere populaire bibliotheken, waaronder TensorFlow, PyTorch, Keras en XGBoost. Er is ook ondersteuning voor gedistribueerde training met Horovod.

Apache Spark in Azure HDInsight

Apache Spark in Azure HDInsight is de Microsoft-implementatie van Apache Spark in de cloud. Spark-clusters in HDInsight zijn compatibel met Azure Storage en Azure Data Lake Storage, zodat u HDInsight Spark-clusters kunt gebruiken om uw gegevens te verwerken die zijn opgeslagen in Azure.

De Microsoft Machine Learning-bibliotheek voor Apache Spark is SynapseML (voorheen MMLSpark genoemd). Deze opensource-bibliotheek voegt veel deep learning- en data science-hulpprogramma's, netwerkmogelijkheden en prestaties op productieniveau toe aan het Spark-ecosysteem. Meer informatie over SynapseML-functies en -mogelijkheden.

Gegevensopslag voor AI

Microsoft Fabric OneLake

OneLake in Fabric is een geïntegreerde en logische data lake die is afgestemd op de hele organisatie. Het fungeert als de centrale hub voor alle analysegegevens en is opgenomen in elke Microsoft Fabric-tenant. OneLake in Fabric is gebouwd op basis van Data Lake Storage Gen2.

OneLake in Fabric:

  • Ondersteunt gestructureerde en ongestructureerde bestandstypen.
  • Slaat alle tabellaire gegevens op in Delta Parquet-indeling.
  • Biedt één data lake binnen tenantgrenzen die standaard worden beheerd.
  • Ondersteunt het maken van werkruimten binnen een tenant, zodat een organisatie eigendoms- en toegangsbeleid kan distribueren.
  • Ondersteunt het maken van verschillende gegevensitems, zoals lakehouses en magazijnen, waaruit u toegang hebt tot gegevens.

Zie OneLake, oneDrive voor gegevens voor meer informatie.

Azure Data Lake Storage Gen2

Azure Data Lake Storage is één centrale opslagplaats waar u al uw gegevens kunt opslaan, zowel gestructureerd als ongestructureerd. Met een data lake kan uw organisatie snel en eenvoudiger een grote verscheidenheid aan gegevens opslaan, openen en analyseren op één locatie. Met een data lake hoeft u uw gegevens niet te conformeren aan een bestaande structuur. In plaats daarvan kunt u uw gegevens opslaan in de onbewerkte of systeemeigen indeling, meestal als bestanden of als binaire grote objecten (blobs).

Data Lake Storage Gen2 biedt semantiek van het bestandssysteem, beveiliging op bestandsniveau en schaal. Omdat deze mogelijkheden zijn gebouwd op Blob Storage, krijgt u ook goedkope, gelaagde opslag met mogelijkheden voor hoge beschikbaarheid/herstel na noodgevallen.

Data Lake Storage Gen2 maakt van Azure Storage de basis voor het bouwen van zakelijke data lakes op Azure. Data Lake Storage Gen2 is vanaf het begin ontworpen om meerdere petabytes aan gegevens te kunnen bieden met honderden gigabits aan doorvoer en stelt u in staat om eenvoudig enorme hoeveelheden gegevens te beheren.

Gegevensverwerking voor AI

Microsoft Fabric Data Factory

Met Data Factory kunt u gegevens uit meerdere gegevensbronnen opnemen, voorbereiden en transformeren (bijvoorbeeld databases, datawarehouse, Lakehouse, realtime gegevens en meer). Wanneer u workloads ontwerpt, is dit een hulpprogramma dat kan bijdragen aan uw DataOps-vereisten.

Data Factory ondersteunt zowel code- als geen/lage codeoplossingen:

  • Met gegevenspijplijnen kunt u werkstroommogelijkheden maken op cloudschaal. Met gegevenspijplijnen kunt u de interface slepen en neerzetten gebruiken om werkstromen te bouwen waarmee uw gegevensstroom kan worden vernieuwd, petabyte-groottegegevens kunnen worden verplaatst en pijplijnen voor de controlestroom kunnen worden gedefinieerd.

  • Gegevensstromen bieden een interface met weinig code voor het opnemen van gegevens uit honderden gegevensbronnen, waarbij uw gegevens worden getransformeerd met behulp van meer dan 300 gegevenstransformaties.

Zie ook:

Azure Databricks

Met Databricks Data Intelligence Platform kunt u code schrijven om een machine learning-werkstroom te maken met behulp van functie-engineering:

  • Gegevenspijplijnen nemen onbewerkte gegevens op, maken functietabellen, trainen modellen en batchdeductie uitvoeren. Wanneer u een model traint en aanmeldt met behulp van functie-engineering in Unity Catalog, wordt het model verpakt met functiemetagegevens. Wanneer u het model gebruikt voor batchgewijs scoren of onlinedeductie, worden functiewaarden automatisch opgehaald. De beller hoeft er geen kennis van te hebben of logica op te nemen om functies op te zoeken of eraan deel te nemen om nieuwe gegevens te scoren.
  • Model- en functiebedieningseindpunten zijn met één klik beschikbaar en bieden milliseconden latentie.
  • Bewaking van gegevens en modellen.

U kunt ook Mozaïek AI Vector Search gebruiken, dat is geoptimaliseerd voor het opslaan en ophalen van insluitingen. Insluitingen zijn van cruciaal belang voor toepassingen waarvoor overeenkomsten zijn vereist, zoals RAG (Ophalen augmented generation), aanbevelingssystemen en afbeeldingsherkenning.

Gegevensconnectors voor AI

Azure Data Factory- en Azure Synapse Analytics-pijplijnen ondersteunen veel gegevensarchieven en -indelingen via kopieeractiviteiten, Gegevensstroom, Opzoeken, Metagegevens ophalen en Verwijderen. Als u de beschikbare connectors voor gegevensopslag, de ondersteunde mogelijkheden en de bijbehorende configuraties en algemene ODBC-verbindingsopties wilt bekijken, raadpleegt u het overzicht van de Azure Data Factory- en Azure Synapse Analytics-connector.

Aangepaste AI

Azure Machine Learning

Azure Machine Learning is een cloudservice voor het versnellen en beheren van de levenscyclus van het machine learning-project (ML). ML-professionals, gegevenswetenschappers en technici kunnen deze gebruiken in hun dagelijkse werkstromen om modellen te trainen en te implementeren en machine learning-bewerkingen (MLOps) te beheren.

Azure Machine Learning biedt de volgende mogelijkheden:

  • Algoritmeselectie Sommige algoritmen maken bepaalde veronderstellingen over de structuur van de gegevens of de gewenste resultaten. Als u er een kunt vinden die aansluit bij uw behoeften, kunt u hiermee nuttigere resultaten, nauwkeurigere voorspellingen of snellere trainingstijden krijgen.

    Algoritmen selecteren voor Azure Machine Learning

  • Hyperparameterafstemming of optimalisatie is het proces van het vinden van de configuratie van hyperparameters die de beste prestaties opleveren. Het proces is rekenkracht duur en handmatig. Hyperparameters zijn aanpasbare parameters waarmee u het modeltrainingsproces kunt beheren. Met neurale netwerken bepaalt u bijvoorbeeld het aantal verborgen lagen en het aantal knooppunten in elke laag. Modelprestaties zijn sterk afhankelijk van hyperparameters.

    Met Azure Machine Learning kunt u hyperparameterafstemming automatiseren en experimenten parallel uitvoeren om hyperparameters efficiënt te optimaliseren.

  • Modeltraining. Met Azure Machine Learning kunt u iteratief een algoritme gebruiken om modellen te maken of te leren. Zodra deze modellen zijn getraind, kunnen deze modellen worden gebruikt om gegevens te analyseren waaruit voorspellingen kunnen worden gedaan. Tijdens de trainingsfase wordt een kwaliteitsset met bekende gegevens gelabeld zodat afzonderlijke velden identificeerbaar zijn. De getagde gegevens worden doorgegeven aan een algoritme dat is geconfigureerd om een bepaalde voorspelling te doen. Wanneer u klaar bent, voert het algoritme een model uit dat de patronen beschrijft die het heeft gevonden als een set parameters. Tijdens de validatie worden nieuwe gegevens gelabeld en gebruikt om het model te testen. Het algoritme wordt naar behoefte aangepast en mogelijk meer training uitgevoerd. Ten slotte maakt de testfase gebruik van echte gegevens zonder tags of vooraf gekozen doelen. Ervan uitgaande dat de resultaten van het model nauwkeurig zijn, wordt het beschouwd als gereed voor gebruik en kan worden geïmplementeerd.

  • Geautomatiseerde machine learning (AutoML) is het proces van het automatiseren van de tijdrovende, iteratieve taken van het ontwikkelen van machine learning-modellen. Het kan de tijd die nodig is om ML-modellen gereed te maken voor productie aanzienlijk verminderen. Geautomatiseerde ML kan helpen bij het selecteren van modellen, het afstemmen van hyperparameters, het trainen van modellen en andere taken, zonder dat hiervoor uitgebreide programmeer- of domeinkennis nodig is.

    U kunt geautomatiseerde ML gebruiken wanneer u wilt dat Azure Machine Learning een model voor u traint en afstemt met behulp van een opgegeven doelmetriek. Geautomatiseerde ML kan worden gebruikt, ongeacht de expertise van data science om een end-to-end machine learning-pijplijn te identificeren voor elk probleem.

    ML-professionals en -ontwikkelaars in verschillende branches kunnen geautomatiseerde ML gebruiken om:

    • ML-oplossingen implementeren zonder uitgebreide programmeer- of machine learning-kennis

    • Tijd en resources besparen

    • Best practices voor data science toepassen

    • Flexibele probleemoplossing bieden

    • Wat is geautomatiseerde machine learning?

  • Scoren wordt ook wel voorspelling genoemd en is het proces van het genereren van waarden op basis van een getraind machine learning-model, op basis van enkele nieuwe invoergegevens. De waarden of scores die worden gemaakt, kunnen voorspellingen van toekomstige waarden voorstellen, maar ze kunnen ook een waarschijnlijke categorie of uitkomst vertegenwoordigen.

  • Functie-engineering en -featurization. Trainingsgegevens bestaan uit rijen en kolommen. Elke rij is een observatie of record en de kolommen van elke rij zijn de functies die elke record beschrijven. Normaal gesproken worden de functies die de patronen in de gegevens het beste karakteriseren, geselecteerd om voorspellende modellen te maken.

Hoewel veel van de onbewerkte gegevensvelden rechtstreeks kunnen worden gebruikt om een model te trainen, is het vaak nodig om andere (ontworpen) functies te maken die informatie bieden die beter onderscheid maakt tussen patronen in de gegevens. Dit proces wordt functie-engineering genoemd, waarbij het gebruik van domeinkennis van de gegevens wordt gebruikt om functies te maken die op hun beurt machine learning-algoritmen helpen om beter te leren.

In Azure Machine Learning worden technieken voor het schalen en normaliseren van gegevens toegepast om functie-engineering eenvoudiger te maken. Gezamenlijk worden deze technieken en deze functie-engineering featurization genoemd in geautomatiseerde machine learning-experimenten (ML).

Azure OpenAI

Met Azure OpenAI Service kunt u OpenAI-modellen aanpassen aan uw persoonlijke gegevenssets met behulp van een proces dat bekend staat als afstemmen. Met deze aanpassingsstap kunt u meer uit de service halen door het volgende te bieden:

  • Resultaten van hogere kwaliteit dan wat u kunt krijgen van prompt engineering
  • De mogelijkheid om meer voorbeelden te trainen dan in de maximale aanvraagcontextlimiet van een model past.
  • Tokenbesparingen vanwege kortere prompts
  • Aanvragen met een lagere latentie, met name bij het gebruik van kleinere modellen.

Zie voor meer informatie:

Azure AI-services voor aangepaste AI

Azure AI-services bieden functies waarmee u aangepaste AI-modellen en -toepassingen kunt bouwen. In deze sectie vindt u een overzicht van enkele van deze belangrijke functies.

Aangepaste spraak

Aangepaste spraak is een functie van de Azure AI Speech-service. Met aangepaste spraak kunt u de nauwkeurigheid van spraakherkenning voor uw toepassingen en producten evalueren en verbeteren. Een aangepast spraakmodel kan worden gebruikt voor realtime spraak naar tekst, spraakomzetting en batchtranscriptie.

Spraakherkenning maakt gebruik van een Universal Language Model als basismodel dat is getraind met gegevens in eigendom van Microsoft en weerspiegelt veelgebruikte gesproken taal. Het basismodel is vooraf getraind met dialecten en fonetiek die verschillende gemeenschappelijke domeinen vertegenwoordigen. Wanneer u een aanvraag voor spraakherkenning maakt, wordt het meest recente basismodel voor elke ondersteunde taal standaard gebruikt. Het basismodel werkt goed in de meeste scenario's voor spraakherkenning.

Een aangepast model kan worden gebruikt om het basismodel te verbeteren om de herkenning van domeinspecifieke woordenlijsten die specifiek zijn voor de toepassing te verbeteren door tekstgegevens op te geven om het model te trainen. Het kan ook worden gebruikt om herkenning te verbeteren op basis van de specifieke audiovoorwaarden van de toepassing door audiogegevens te voorzien van referentietranscripties.

U kunt ook een model trainen met gestructureerde tekst wanneer de gegevens een patroon volgen, aangepaste uitspraken opgeven en weergavetekstopmaak aanpassen met aangepaste inverse tekstnormalisatie, aangepast herschrijven en filteren op aangepaste scheldwoorden.

Custom Translator

Custom Translator is een functie van de Azure AI Translator-service . Met Custom Translator kunnen ondernemingen, app-ontwikkelaars en taalserviceproviders aangepaste NMT-systemen (Neural Machine Translation) bouwen. De aangepaste vertaalsystemen integreren naadloos met bestaande toepassingen, werkstromen en websites.

Met het platform kunnen gebruikers aangepaste vertaalsystemen bouwen en publiceren van en naar het Engels. Custom Translator ondersteunt meer dan drie dozijn talen die rechtstreeks zijn toegewezen aan de talen die beschikbaar zijn voor NMT. Zie De taalondersteuning van Translator voor een volledige lijst.

Custom Translator biedt de volgende functies:

Functie Beschrijving
Technologie voor neurale machinevertaling toepassen Verbeter uw vertaling door neurale machinevertaling (NMT) van Custom Translator toe te passen.
Bouw systemen met uw eigen vaktermen Vertaalsystemen aanpassen en bouwen met behulp van parallelle documenten die inzicht hebben in de terminologie die in uw eigen bedrijf en branche worden gebruikt.
Een woordenlijst gebruiken om uw modellen te bouwen Als u geen set met trainingsgegevens hebt, kunt u een model trainen met alleen de gegevens van een woordenlijst.
Werk samen met anderen Werk samen met uw team door uw werk te delen met andere personen.
Toegang tot uw aangepaste vertaalmodel U hebt altijd toegang tot uw aangepaste vertaalmodel met uw bestaande toepassingen/programma's via Microsoft Translator Text API V3.

Aangepaste modellen voor Document Intelligence

Azure AI Document Intelligence maakt gebruik van geavanceerde machine learning-technologie voor het identificeren van documenten, het detecteren en extraheren van informatie uit formulieren en documenten en het retourneren van de geëxtraheerde gegevens in een gestructureerde JSON-uitvoer. Met Document Intelligence kunt u documentanalysemodellen gebruiken, vooraf samengesteld/vooraf getraind of uw getrainde, zelfstandige aangepaste modellen.

Aangepaste modellen voor Document Intelligence bevatten nu aangepaste classificatiemodellen voor scenario's waarin u het documenttype moet identificeren voordat u het extractiemodel aanroept. Een classificatiemodel kan worden gekoppeld aan een aangepast extractiemodel om velden te analyseren en te extraheren uit formulieren en documenten die specifiek zijn voor uw bedrijf. Zelfstandige aangepaste extractiemodellen kunnen worden gecombineerd om samengestelde modellen te maken.

Aangepaste AI-hulpprogramma's

Hoewel vooraf samengestelde AI-modellen nuttig en steeds flexibeler zijn, is de beste manier om te krijgen wat u nodig hebt van AI om een model te bouwen dat is afgestemd op uw specifieke behoeften. Er zijn twee primaire hulpprogramma's voor het maken van aangepaste AI-modellen: Generatieve AI en traditionele machine learning:

Azure Machine Learning Studio

Azure Machine Learning-studio is een cloudservice voor het versnellen en beheren van de levenscyclus van het machine learning-project (ML). ML-professionals, gegevenswetenschappers en technici kunnen het gebruiken in hun dagelijkse werkstromen om modellen te trainen en te implementeren en machine learning-bewerkingen (MLOps) te beheren:

  • Bouw en train een Azure Machine Learning-model met elk type rekenproces, waaronder Spark en GPU's voor grote AI-workloads in de cloud.
  • Voer geautomatiseerde Azure Machine Learning (AutoML) uit en sleep-en-drop UI voor Azure Machine Learning met weinig code.
  • End-to-end Azure Machine LearningOps en herhaalbare Azure Machine Learning-pijplijnen implementeren.
  • Gebruik een verantwoordelijk AI-dashboard voor vooroordelendetectie en foutanalyse.
  • Prompt engineering- en LLM-stromen organiseren en beheren.
  • Implementeer modellen met REST API-eindpunten, realtime en batchdeductie.
  • Gebruik Hubs (preview) om rekenkracht, quota, beveiliging en connectiviteit met bedrijfsresources te delen met een groep werkruimten, terwijl governance voor IT wordt gecentraliseerd. Stel eenmaal een hub in en maak vervolgens rechtstreeks vanuit Studio beveiligde werkruimten voor elk project. Gebruik hubs om het werk van uw team te beheren in zowel ML Studio als AI Studio.

Azure AI Studio

Azure AI Studio is ontworpen om u te helpen bij het efficiënt bouwen en implementeren van aangepaste generatieve AI-toepassingen met de kracht van de brede AI-aanbiedingen van Azure:

  • Bouw samen als één team. Uw AI Studio-hub biedt beveiliging op bedrijfsniveau en een samenwerkingsomgeving met gedeelde resources en verbindingen met vooraf getrainde modellen, gegevens en berekeningen.
  • Organiseer uw werk. Met uw AI Studio-project kunt u de status opslaan, zodat u kunt herhalen van het eerste idee tot het eerste prototype en vervolgens de eerste productie-implementatie. Nodig ook eenvoudig anderen uit om samen te werken tijdens deze reis.
  • Gebruik uw favoriete ontwikkelplatform en frameworks, waaronder GitHub, Visual Studio Code, LangChain, Semantic Kernel, AutoGen en meer.
  • Ontdek en benchmark van meer dan 1.600 modellen.
  • Richt Models-as-a-Service (MaaS) in via serverloze API's en gehoste afstemming.
  • Neem meerdere modellen, gegevensbronnen en modaliteiten op.
  • Build Retrieval Augmented Generation (RAG) met behulp van uw beveiligde bedrijfsgegevens zonder dat u hoeft af te stemmen.
  • Prompts engineering- en LLM-stromen (Large Language Model) organiseren en beheren.
  • Apps en API's ontwerpen en beveiligen met configureerbare filters en besturingselementen.
  • Evalueer modelantwoorden met ingebouwde en aangepaste evaluatiestromen.
  • Implementeer AI-innovaties in de beheerde Azure-infrastructuur met continue bewaking en governance in omgevingen.
  • Continu geïmplementeerde apps bewaken voor veiligheid, kwaliteit en tokenverbruik in productie.|

Zie Azure Machine Learning versus Azure AI Studio voor een gedetailleerde vergelijking tussen Azure Machine Learning en Azure AI Studio.

Promptstroom in Azure AI Studio

Promptstroom in Azure AI Studio is een ontwikkelhulpprogramma dat is ontworpen om de volledige ontwikkelingscyclus van AI-toepassingen te stroomlijnen, mogelijk gemaakt door LLM's (Large Language Models). Promptflow biedt een uitgebreide oplossing die het proces van prototypen, experimenteren, herhalen en implementeren van uw AI-toepassingen vereenvoudigt.

  • Promptstroom is een functie die kan worden gebruikt om een stroom te genereren, aan te passen of uit te voeren.
  • Een stroom is een uitvoerbare instructieset waarmee de AI-logica kan worden geïmplementeerd. Stromen kunnen worden gemaakt of uitgevoerd via meerdere hulpprogramma's, zoals een vooraf gedefinieerd canvas, LangChain, enzovoort. Iteraties van een stroom kunnen als assets worden opgeslagen; zodra een stroom is geïmplementeerd, wordt een API. Niet alle stromen zijn promptstromen; in plaats daarvan is een promptstroom een manier om een stroom te maken.
  • Een prompt is een pakket invoer dat naar een model wordt verzonden, bestaande uit de gebruikersinvoer, het systeembericht en eventuele voorbeelden. Gebruikersinvoer is tekst die wordt verzonden in het chatvenster. Systeembericht is een reeks instructies voor het model, waarbij het gedrag en de functionaliteit van het model worden bepaald.
  • Een voorbeeldstroom is een eenvoudige, vooraf samengestelde indelingsstroom die laat zien hoe stromen werken en kan worden aangepast.
  • Een voorbeeldprompt is een gedefinieerde prompt voor een specifiek scenario dat kan worden gekopieerd uit een bibliotheek en die als zodanig kan worden gebruikt of gewijzigd in promptontwerp.

Aangepaste AI-codetalen

Het kernconcept van AI is het gebruik van algoritmen om gegevens te analyseren en modellen te genereren om deze te beschrijven (of te beoordelen) op manieren die nuttig zijn. Algoritmen worden geschreven door ontwikkelaars en gegevenswetenschappers (en soms door andere algoritmen) met behulp van programmeercode. Twee van de populairste programmeertalen voor AI-ontwikkeling zijn momenteel Python en R.

Python is een programmeertaal voor algemeen gebruik op hoog niveau. Het heeft een eenvoudige, gemakkelijk te leren syntaxis die de leesbaarheid benadrukt. Er is geen compilatiestap. Python heeft een grote standaardbibliotheek, maar biedt ook ondersteuning voor de mogelijkheid om modules en pakketten toe te voegen. Dit moedigt modulariteit aan en stelt u in staat om mogelijkheden uit te breiden wanneer dat nodig is. Er is een groot en groeiend ecosysteem van AI- en ML-bibliotheken voor Python, waaronder veel bibliotheken die direct beschikbaar zijn in Azure.

R is een taal en omgeving voor statistische computing en graphics. Het kan worden gebruikt voor alles, van het online toewijzen van brede sociale en marketingtrends tot het ontwikkelen van financiële en klimaatmodellen.

Microsoft heeft de R-programmeertaal volledig omarmd en biedt veel verschillende opties voor R-ontwikkelaars om hun code in Azure uit te voeren.

Algemene informatie over aangepaste AI in Azure

Klantverhalen

Verschillende branches passen AI op innovatieve en inspirerende manieren toe. Hieronder volgen enkele casestudy's en succesverhalen van klanten:

Door meer AI-klantverhalen bladeren

Algemene informatie over Microsoft AI

Meer informatie over Microsoft AI en up-to-date blijven met gerelateerd nieuws:

Volgende stappen