Dela via

Arkitekturdesign för artificiell intelligens (AI)

  • Artikel

Artificiell intelligens (AI) är en teknik som gör det möjligt för datorer att imitera intelligent mänskligt beteende. Med AI kan datorer:

  • Analysera data för att skapa bilder och videor.
  • Analysera och syntetisera tal.
  • Interagera verbalt på naturliga sätt.
  • Gör förutsägelser och generera nya data.

Arkitekter utformar arbetsbelastningar som använder artificiell intelligens för att utföra funktioner eller fatta beslut där traditionell logik eller bearbetning skulle vara oöverkomlig, eller till och med nästan omöjlig, att implementera. Som arkitekt som utformar en lösning är det viktigt att förstå AI- och maskininlärningslandskapet och hur Azure erbjuder lösningar för integrering i din arbetsbelastningsdesign.

AI-begrepp

Algoritmer

Algoritmer eller maskininlärningsalgoritmer är kodavsnitt som hjälper människor att utforska, analysera och hitta mening i komplexa datamängder. Varje algoritm är en begränsad uppsättning entydiga steg-för-steg-instruktioner som en dator kan följa för att uppnå ett visst mål. I en maskininlärningsmodell är målet att upprätta eller identifiera mönster som människor kan använda för att göra förutsägelser eller kategorisera information. En algoritm kan beskriva hur du avgör om ett husdjur är en katt, hund, fisk, fågel eller ödla. En annan mycket mer komplicerad algoritm kan beskriva hur du identifierar ett skrivet eller talat språk, analyserar dess ord, översätter dem till ett annat språk och sedan kontrollerar översättningen för noggrannhet.

När du utformar en arbetsbelastning måste du välja en algoritmfamilj som passar din uppgift och utvärdera de olika tillgängliga algoritmerna för att hitta rätt passform.

Maskininlärning

Maskininlärning är en AI-teknik som använder algoritmer för att skapa förutsägelsemodeller. Algoritmen används för att parsa datafält och för att "lära sig" av dessa data med hjälp av mönster som finns i den för att generera modeller. Dessa modeller används sedan för att göra välgrundade förutsägelser eller beslut om nya data.

Förutsägelsemodellerna verifieras mot kända data, mäts med prestandamått som valts för specifika affärsscenarier och justeras sedan efter behov. Den här inlärnings- och valideringsprocessen kallas för utbildning. Genom regelbunden omträning förbättras ML-modeller med tiden.

När det gäller arbetsbelastningsdesign kan du överväga att använda maskininlärning när du har en situation där tidigare observationer på ett tillförlitligt sätt kan användas för att förutsäga framtida situationer. Dessa observationer kan vara universella sanningar som visuellt innehåll som identifierar en form av djur från en annan, eller dessa observationer kan vara specifika för din situation, till exempel visuellt innehåll som upptäcker ett potentiellt monteringsfel på dina monteringslinjer baserat på tidigare garantianspråksdata.

Djupinlärning

Djupinlärning är en typ av ML som kan lära sig genom sin egen databehandling. Precis som maskininlärning använder den också algoritmer för att analysera data, men det gör det med hjälp av artificiella neurala nätverk som innehåller många indata, utdata och lager av bearbetning. Varje lager kan bearbeta data på ett annat sätt, och utdata från ett lager blir indata för nästa. På så sätt kan djupinlärning skapa mer komplexa modeller än traditionell maskininlärning.

Som arbetsbelastningsdesigner kräver det här alternativet en stor investering för att generera mycket anpassade eller undersökande modeller. Generellt sett bör du överväga andra lösningar som presenteras i den här artikeln innan du lägger till djupinlärning i din arbetsbelastning.

Generativ AI

Generativ AI är en form av artificiell intelligens där modeller tränas att generera nytt originalinnehåll baserat på många former av innehåll som naturligt språk, visuellt innehåll, ljud eller bildinmatning. Med generativ AI kan du beskriva önskade utdata på vanligt vardagsspråk, och modellen kan svara genom att skapa lämplig text, bild, kod med mera. Några exempel på generativa AI-program är:

  • Microsoft Copilot är främst ett användargränssnitt som kan hjälpa användare att skriva kod, dokument och annat textbaserat innehåll. Den baseras på populära OpenAI-modeller och är integrerad i en mängd olika Microsoft-program och användarupplevelser.

  • Azure OpenAI är en utvecklingsplattform som en tjänst som ger åtkomst till OpenAI:s kraftfulla språkmodeller som o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo with Vision, GPT-4, GPT-3.5-Turbo och Embeddings. Dessa modeller kan anpassas till din specifika uppgift, till exempel:

    • Innehållsgenerering
    • Innehållssammanfattning
    • Bildförståelse
    • Semantisk sökning
    • Naturligt språk för kodöversättning.

Språkmodeller

Språkmodeller är en delmängd av Generative AI som fokuserar på nlp-uppgifter (natural language processing), till exempel textgenerering och attitydanalys. Dessa modeller representerar naturligt språk baserat på sannolikheten för ord eller sekvenser av ord som förekommer i en viss kontext.

Konventionella språkmodeller har använts i övervakade inställningar för forskningsändamål där modellerna tränas på välmärkta textdatauppsättningar för specifika uppgifter. Förtränad språkmodeller erbjuder ett tillgängligt sätt att komma igång med AI och har blivit mer allmänt använda under de senaste åren. Dessa modeller tränas på storskalig text corpora från Internet med hjälp av neurala djupinlärningsnätverk och kan finjusteras på mindre datauppsättningar för specifika uppgifter.

Storleken på en språkmodell bestäms av dess antal parametrar, eller vikter, som avgör hur modellen bearbetar indata och genererar utdata. Parametrar lärs under träningsprocessen genom att justera vikterna i modellens lager för att minimera skillnaden mellan modellens förutsägelser och faktiska data. Ju fler parametrar en modell har, desto mer komplex och uttrycksfull är den, men också ju mer beräkningsmässigt dyr den är att träna och använda.

I allmänhet har små språkmodeller färre än 10 miljarder parametrar och stora språkmodeller har mer än 10 miljarder parametrar. Modellfamiljen Microsoft Phi-3 har till exempel tre versioner med olika storlekar: mini (3,8 miljarder parametrar), små (7 miljarder parametrar) och medel (14 miljarder parametrar).

Andrepiloter

Tillgängligheten av språkmodeller ledde till nya sätt att interagera med program och system via digitala andrepiloter och anslutna, domänspecifika agenter. Medpiloter är generativa AI-assistenter som är integrerade i program ofta som chattgränssnitt. De ger sammanhangsberoende stöd för vanliga uppgifter i dessa program.

Microsoft Copilot är integrerat i en mängd olika Microsoft-program och användarupplevelser. Den baseras på en öppen arkitektur som gör det möjligt för tredjepartsutvecklare att skapa egna plugin-program för att utöka eller anpassa användarupplevelsen med Microsoft Copilot. Dessutom kan utvecklare från tredje part skapa egna andrepiloter med samma öppna arkitektur.

Hämtning av utökad generation (RAG)

RAG (Retrieval Augmented Generation) är ett arkitekturmönster som utökar funktionerna i en stor språkmodell (LLM) som ChatGPT, som endast har tränats på offentliga data. Med det här mönstret kan du lägga till ett hämtningssystem som tillhandahåller relevanta grunddata i kontexten med användarbegäran. Genom att lägga till ett informationshämtningssystem får du kontroll över jordningsdata som används av en språkmodell när den formulerar ett svar. RAG-arkitekturen hjälper dig att begränsa generativ AI till innehåll som kommer från vektoriserade dokument, bilder och andra dataformat. RAG är inte begränsat till vektorsökningslagring, men mönstret är tillämpligt tillsammans med all datalagringsteknik.

Automatiserad maskininlärning (AutoML)

Automatiserad maskininlärning, även kallad automatiserad ML eller AutoML, är processen att automatisera de tidskrävande, iterativa uppgifterna för utveckling av maskininlärningsmodeller. Det gör det möjligt för dataforskare, analytiker och utvecklare att skapa ML-modeller med hög skala, effektivitet och produktivitet samtidigt som modellkvaliteten bibehålls.

AI-tjänster

Med Azure AI-tjänster kan utvecklare och organisationer skapa intelligenta, marknadsklara och ansvarsfulla program med färdiga, fördefinierade och anpassningsbara API:er och modeller. Användningen omfattar bearbetning av naturligt språk för konversationer, sökning, övervakning, översättning, tal, vision och beslutsfattande.

AI Language-modeller

  • Stora språkmodeller (LLM), till exempel OpenAI:s GPT-modeller, är kraftfulla verktyg som kan generera naturligt språk i olika domäner och uppgifter. När du överväger att använda dessa modeller bör du överväga faktorer som datasekretess, etisk användning, noggrannhet och bias.

  • Öppna Phi-modeller är små, mindre beräkningsintensiva modeller för generativa AI-lösningar. En liten språkmodell (SLM) kan vara effektivare, tolkningsbar och förklarande än en stor språkmodell.

När du utformar en arbetsbelastning kan du använda språkmodeller både som en värdbaserad lösning, bakom ett uppmätt API eller för många små språkmodeller kan du vara värd för dem som bearbetas eller åtminstone på samma beräkning som konsumenten. När du använder språkmodeller i din lösning bör du överväga ditt val av språkmodell och dess tillgängliga värdalternativ för att säkerställa att du använder en optimerad lösning för ditt användningsfall.

PLATTFORMAR och verktyg för AI-utveckling

Azure Machine Learning Service

Azure Machine Learning är en maskininlärningstjänst för att skapa och distribuera modeller. Azure Machine Learning erbjuder webbgränssnitt och SDK:er så att du kan träna och distribuera dina maskininlärningsmodeller och pipelines i stor skala. Använd dessa funktioner med Python-ramverk med öppen källkod, till exempel PyTorch, TensorFlow och scikit-learn.

Referensarkitekturer för maskininlärning för Azure

Automatiserad maskininlärning (AutoML)

Skapa ML-modeller i stor skala med autoML-funktionen i Azure Machine Learning för att automatisera uppgifter.

MLflow

Azure Machine Learning-arbetsytor är MLflow-kompatibla, vilket innebär att du kan använda en Azure Machine Learning-arbetsyta på samma sätt som du använder en MLflow-server. Den här kompatibiliteten har följande fördelar:

  • Azure Machine Learning är inte värd för MLflow-serverinstanser, men kan använda MLflow-API:erna direkt.
  • Du kan använda en Azure Machine Learning-arbetsyta som spårningsserver för valfri MLflow-kod, oavsett om den körs i Azure Machine Learning eller inte. Du behöver bara konfigurera MLflow så att det pekar på den arbetsyta där spårningen ska ske.
  • Du kan köra alla träningsrutiner som använder MLflow i Azure Machine Learning utan att göra några ändringar.

Mer information finns i MLflow och Azure Machine Learning

Generativa AI-verktyg

  • Prompt Flow är en uppsättning utvecklingsverktyg som utformats för att effektivisera utvecklingscykeln från slutpunkt till slutpunkt för generativa AI-program, från idésättning, prototyper, testning, utvärdering till produktionsdistribution och övervakning. Den stöder snabbteknik genom att uttrycka åtgärder i en modulär orkestrerings- och flödesmotor.

  • Azure AI Studio hjälper dig att experimentera, utveckla och distribuera generativa AI-appar och API:er på ett ansvarsfullt sätt med en omfattande plattform. Med Azure AI Studio har du åtkomst till Azure AI-tjänster, grundmodeller, lekplatser och resurser som hjälper dig att skapa, träna, finjustera och distribuera AI-modeller. Du kan också utvärdera modellsvar och samordna programkomponenter med promptflöde för bättre prestanda.

  • Azure Copilot Studio används för att utöka Microsoft Copilot i Microsoft 365 och skapa anpassade andrepiloter för interna och externa scenarier. Med Copilot Studio kan användarna designa, testa och publicera andrepiloter med hjälp av den omfattande redigeringsarbetsytan. Användare kan enkelt skapa generativa AI-aktiverade konversationer, ge större kontroll över svar för befintliga andrepiloter och påskynda produktiviteten med specifika automatiserade arbetsflöden.

Dataplattformar för AI

Microsoft Fabric

Microsoft Fabric är en analys- och dataplattform från slutpunkt till slutpunkt som är utformad för företag som behöver en enhetlig lösning. Arbetsbelastningsteam kan beviljas åtkomst till data i dessa system. Det omfattar dataförflyttning, bearbetning, inmatning, transformering, realtidshändelseroutning och rapportskapande. Det erbjuder en omfattande uppsättning tjänster som Dataingenjör ing, Data Factory, Datavetenskap, realtidsanalys, informationslager och databaser.

Microsoft Fabric integrerar separata komponenter i en sammanhängande stack. I stället för att förlita dig på olika databaser eller informationslager kan du centralisera datalagring med OneLake. AI-funktioner är inbäddade i Fabric, vilket eliminerar behovet av manuell integrering.

Andrepiloter i infrastrukturresurser

Med Copilot och andra generativa AI-funktioner kan du transformera och analysera data, generera insikter och skapa visualiseringar och rapporter i Microsoft Fabric och Power BI. Du kan antingen skapa en egen andrepilot eller välja någon av följande fördefinierade andrepiloter:

AI-kunskaper i Infrastruktur

Med en Microsoft Fabric AI-kompetens kan du konfigurera ett generativt AI-system för att generera frågor som svarar på frågor om dina data. När du har konfigurerat AI-kompetensen kan du dela den med dina kollegor, som sedan kan ställa sina frågor på vanlig engelska. Baserat på deras frågor genererar AI:n frågor om dina data som besvarar dessa frågor.

Apache Spark-baserade dataplattformar för AI

Apache Spark är ett ramverk för parallellbearbetning som stöder minnesintern bearbetning för att öka prestanda i program för stordataanalys. Spark tillhandahåller primitiver för klusterbearbetning i minnet. Ett Spark-jobb kan läsa in och cachelagrat data i minnet och köra frågor mot dem upprepade gånger, vilket är snabbare än diskbaserade program, till exempel Hadoop.

Apache Spark i Azure Fabric

Microsoft Fabric Runtime är en Azure-integrerad plattform baserad på Apache Spark som möjliggör körning och hantering av datateknik och datavetenskapsupplevelser. Den kombinerar viktiga komponenter från både interna källor och källor med öppen källkod, vilket ger kunderna en omfattande lösning.

Huvudkomponenter i Fabric Runtime:

  • Apache Spark – ett kraftfullt bibliotek med distribuerad databehandling med öppen källkod som möjliggör storskalig databearbetning och analysuppgifter. Apache Spark är en mångsidig och högpresterande plattform för datateknik och datavetenskap.

  • Delta Lake – ett lagringslager med öppen källkod som ger APACHE Spark acid-transaktioner och andra funktioner för datatillförlitlighet. Delta Lake är integrerat i Fabric Runtime och förbättrar databehandlingsfunktionerna och säkerställer datakonsekvens i flera samtidiga åtgärder.

  • Standardpaket för Java/Scala, Python och R – paket som stöder olika programmeringsspråk och miljöer. Dessa paket installeras och konfigureras automatiskt, vilket gör att utvecklare kan använda sina föredragna programmeringsspråk för databearbetningsuppgifter.

Microsoft Fabric Runtime bygger på ett robust operativsystem med öppen källkod som säkerställer kompatibilitet med olika maskinvarukonfigurationer och systemkrav.

Azure Databricks Runtime för Machine Learning

Azure Databricks är en Apache Spark-baserad analysplattform med enkel installation, effektiva arbetsflöden och en interaktiv arbetsyta för samarbete mellan dataforskare, tekniker och affärsanalytiker.

Med Databricks Runtime for Machine Learning (Databricks Runtime ML) kan du starta ett Databricks-kluster med alla bibliotek som krävs för distribuerad träning. Det ger en miljö för maskininlärning och datavetenskap. Dessutom innehåller den flera populära bibliotek, inklusive TensorFlow, PyTorch, Keras och XGBoost. Distribuerad träning med Horovod stöds.

Apache Spark i Azure HDInsight

Apache Spark i Azure HDInsight är Microsofts implementering av Apache Spark i molnet. Spark-kluster i HDInsight är kompatibla med Azure Storage och Azure Data Lake Storage, så du kan använda HDInsight Spark-kluster för att bearbeta dina data som lagras i Azure.

Microsofts maskininlärningsbibliotek för Apache Spark är SynapseML (tidigare kallat MMLSpark). Det här biblioteket med öppen källkod lägger till många verktyg för djupinlärning och datavetenskap, nätverksfunktioner och prestanda i produktionsklass i Spark-ekosystemet. Läs mer om SynapseML-funktioner.

Datalagring för AI

Microsoft Fabric OneLake

OneLake i Fabric är en enhetlig och logisk datasjö som är skräddarsydd för hela organisationen. Den fungerar som central hubb för alla analysdata och ingår i varje Microsoft Fabric-klientorganisation. OneLake i Fabric bygger på grunden för Data Lake Storage Gen2.

OneLake i Infrastruktur:

  • Stöder strukturerade och ostrukturerade filtyper.
  • Lagrar alla tabelldata i Delta Parquet-format.
  • Tillhandahåller en enda datasjö inom klientorganisationens gränser som styrs som standard.
  • Stöder skapandet av arbetsytor i en klientorganisation så att en organisation kan distribuera ägarskaps- och åtkomstprinciper.
  • Stöder skapandet av olika dataobjekt, till exempel sjöhus och lager, som du kan komma åt data från.

Mer information finns i OneLake, OneDrive för data.

Azure Data Lake Storage Gen2

Azure Data Lake Storage är en enda centraliserad lagringsplats där du kan lagra alla dina data, både strukturerade och ostrukturerade. Med en datasjö kan din organisation snabbt och enklare lagra, komma åt och analysera en mängd olika data på en enda plats. Med en datasjö behöver du inte anpassa dina data för att passa en befintlig struktur. I stället kan du lagra dina data i dess råa eller interna format, vanligtvis som filer eller som binära stora objekt (blobar).

Data Lake Storage Gen2 tillhandahåller filsystemssemantik, säkerhet på filnivå och skalning. Eftersom dessa funktioner bygger på Blob Storage får du även låg kostnad, nivåindelad lagring med hög tillgänglighet/haveriberedskapsfunktioner.

Data Lake Storage Gen2 gör Azure Storage till grunden för att skapa företagsdatasjöar i Azure. Data Lake Storage Gen2 har utformats från början till att betjäna flera petabyte med information och samtidigt upprätthålla hundratals gigabit dataflöde, så att du enkelt kan hantera enorma mängder data.

Databearbetning för AI

Microsoft Fabric Data Factory

Med Data Factory kan du mata in, förbereda och transformera data från flera datakällor (till exempel databaser, informationslager, Lakehouse, realtidsdata med mera). När du utformar arbetsbelastningar är detta ett verktyg som kan vara avgörande för att uppfylla dina DataOps-krav.

Data Factory stöder både kodlösningar och lösningar utan/låg kod:

  • Med datapipelines kan du skapa arbetsflödesfunktioner i molnskala. Med datapipelines kan du använda dra och släpp-gränssnittet för att skapa arbetsflöden som kan uppdatera ditt dataflöde, flytta petabyte-storleksdata och definiera kontrollflödespipelines.

  • Dataflöden ger ett lågkodsgränssnitt för att mata in data från hundratals datakällor och transformera dina data med hjälp av över 300 datatransformeringar.

Se även:

Azure Databricks

Med Databricks Data Intelligence Platform kan du skriva kod för att skapa ett arbetsflöde för maskininlärning med hjälp av funktionsutveckling:

  • Datapipelines matar in rådata, skapar funktionstabeller, tränar modeller och utför batchinferens. När du tränar och loggar en modell med funktionsutveckling i Unity Catalog paketeras modellen med funktionsmetadata. När du använder modellen för batchbedömning eller online-slutsatsdragning hämtar den automatiskt funktionsvärden. Anroparen behöver inte känna till dem eller inkludera logik för att söka efter eller ansluta funktioner för att poängsätta nya data.
  • Modell- och funktionsserverslutpunkter är tillgängliga med ett enda klick och ger millisekunder med svarstid.
  • Data- och modellövervakning.

Du kan också använda Mosaic AI Vector Search, som är optimerad för att lagra och hämta inbäddningar. Inbäddningar är avgörande för program som kräver likhetssökningar, till exempel RAG (Retrieval Augmented Generation), rekommendationssystem och bildigenkänning.

Dataanslutningar för AI

Azure Data Factory- och Azure Synapse Analytics-pipelines stöder många datalager och format via aktiviteterna Kopiera, Dataflöde, Leta upp, Hämta metadata och Ta bort. Information om tillgängliga anslutningsappar för datalager, vilka funktioner som stöds och motsvarande konfigurationer samt allmänna ODBC-anslutningsalternativ finns i Översikt över Anslutningsprogram för Azure Data Factory och Azure Synapse Analytics.

Anpassad AI

Azure Machine Learning

Azure Machine Learning är en molntjänst för att påskynda och hantera projektets livscykel för maskininlärning (ML). ML-proffs, dataforskare och tekniker kan använda dem i sina dagliga arbetsflöden för att träna och distribuera modeller och hantera maskininlärningsåtgärder (MLOps).

Azure Machine Learning erbjuder följande funktioner:

  • Algoritmval Vissa algoritmer gör särskilda antaganden om datastrukturen eller önskade resultat. Om du hittar en som passar dina behov kan det ge dig mer användbara resultat, mer exakta förutsägelser eller snabbare träningstider.

    Så här väljer du algoritmer för Azure Machine Learning

  • Justering eller optimering av hyperparametrar är processen att hitta konfigurationen av hyperparametrar som ger bästa prestanda. Processen är beräkningsmässigt dyr och manuell. Hyperparametrar är justerbara parametrar som gör att du kan styra modellträningsprocessen. Med neurala nätverk bestämmer du till exempel antalet dolda lager och antalet noder i varje lager. Modellprestanda är starkt beroende av hyperparametrar.

    Med Azure Machine Learning kan du automatisera hyperparameterjustering och köra experiment parallellt för att effektivt optimera hyperparametrar.

  • Modellträning. Med Azure Machine Learning kan du iterativt använda en algoritm för att skapa eller "lära ut" modeller. När de har tränats kan dessa modeller sedan användas för att analysera data från vilka förutsägelser kan göras. Under träningsfasen taggas en kvalitetsuppsättning med kända data så att enskilda fält kan identifieras. Taggade data matas till en algoritm som konfigurerats för att göra en viss förutsägelse. När den är klar matar algoritmen ut en modell som beskriver de mönster som den hittade som en uppsättning parametrar. Under valideringen taggas nya data och används för att testa modellen. Algoritmen justeras efter behov och kan genomgå mer träning. Slutligen använder testfasen verkliga data utan taggar eller förvalda mål. Förutsatt att modellens resultat är korrekta anses den vara redo att användas och kan distribueras.

  • Automatiserad maskininlärning (AutoML) är processen att automatisera de tidskrävande, iterativa uppgifterna för utveckling av maskininlärningsmodeller. Det kan avsevärt minska den tid det tar att hämta produktionsklara ML-modeller. Automatiserad ML kan hjälpa till med modellval, justering av hyperparametrar, modellträning och andra uppgifter, utan att kräva omfattande programmering eller domänkunskaper.

    Du kan använda automatiserad ML när du vill att Azure Machine Learning ska träna och finjustera en modell åt dig med hjälp av ett angivet målmått. Automatiserad ML kan användas oavsett datavetenskapsexpertis för att identifiera en maskininlärningspipeline från slutpunkt till slutpunkt för eventuella problem.

    ML-proffs och utvecklare i olika branscher kan använda automatiserad ML för att:

    • Implementera ML-lösningar utan omfattande programmerings- eller maskininlärningskunskaper

    • Spara tid och resurser

    • Tillämpa metodtips för datavetenskap

    • Tillhandahålla smidig problemlösning

    • Vad är automatiserad maskininlärning?

  • Bedömning kallas också förutsägelse och är processen att generera värden baserat på en tränad maskininlärningsmodell, med tanke på några nya indata. De värden, eller poäng, som skapas kan representera förutsägelser för framtida värden, men de kan också representera en sannolik kategori eller ett resultat.

  • Funktionsutveckling och funktionalisering. Träningsdata består av rader och kolumner. Varje rad är en observation eller post, och kolumnerna i varje rad är de funktioner som beskriver varje post. Vanligtvis väljs de funktioner som bäst kännetecknar mönstren i data för att skapa förutsägelsemodeller.

Även om många av rådatafälten kan användas direkt för att träna en modell, är det ofta nödvändigt att skapa andra (konstruerade) funktioner som ger information som bättre skiljer mönster i data. Den här processen kallas funktionsteknik, där användningen av domänkunskaper om data används för att skapa funktioner som i sin tur hjälper maskininlärningsalgoritmer att lära sig bättre.

I Azure Machine Learning används dataskalnings- och normaliseringstekniker för att göra funktionsframställning enklare. Tillsammans kallas dessa tekniker och den här funktionstekniken för funktionalisering i ml-experiment (automatiserad maskininlärning).

Azure OpenAI

Med Azure OpenAI Service kan du skräddarsy OpenAI-modeller efter dina personliga datamängder med hjälp av en process som kallas finjustering. Med det här anpassningssteget kan du få ut mer av tjänsten genom att tillhandahålla:

  • Resultat av högre kvalitet än vad du bara kan få från prompt engineering
  • Möjligheten att träna på fler exempel än vad som får plats i en modells maximala kontextgräns för begäranden.
  • Tokenbesparingar på grund av kortare frågor
  • Begäranden med kortare svarstid, särskilt när du använder mindre modeller.

Mer information finns i:

Azure AI-tjänster för anpassad AI

Azure AI-tjänster erbjuder funktioner som gör att du kan skapa anpassade AI-modeller och program. Det här avsnittet innehåller en översikt över några av dessa viktiga funktioner.

Anpassat tal

Anpassat tal är en funktion i Azure AI Speech-tjänsten. Med anpassat tal kan du utvärdera och förbättra noggrannheten för taligenkänning för dina program och produkter. En anpassad talmodell kan användas för tal till text i realtid, talöversättning och batch-transkription.

Direkt använder taligenkänning en universell språkmodell som basmodell som tränas med Microsoft-ägda data och återspeglar vanligt talat språk. Basmodellen är förtränad med dialekter och fonetik som representerar olika vanliga domäner. När du gör en begäran om taligenkänning används den senaste basmodellen för varje språk som stöds som standard. Basmodellen fungerar bra i de flesta taligenkänningsscenarier.

En anpassad modell kan användas för att utöka basmodellen för att förbättra igenkänningen av domänspecifik vokabulär som är specifik för programmet genom att tillhandahålla textdata för att träna modellen. Det kan också användas för att förbättra igenkänningen baserat på programmets specifika ljudvillkor genom att tillhandahålla ljuddata med referensavskrifter.

Du kan också träna en modell med strukturerad text när data följer ett mönster, ange anpassade uttal och anpassa visningstextformatering med anpassad inverterad textnormalisering, anpassad omskrivning och anpassad svordomsfiltrering.

Custom Translator

Custom Translator är en funktion i Azure AI Translator-tjänsten . Med Custom Translator kan företag, apputvecklare och språktjänstleverantörer skapa anpassade NMT-system (neural maskinöversättning). De anpassade översättningssystemen integreras sömlöst i befintliga program, arbetsflöden och webbplatser.

Plattformen gör det möjligt för användare att skapa och publicera anpassade översättningssystem till och från engelska. Custom Translator stöder mer än tre dussin språk som mappar direkt till de språk som är tillgängliga för NMT. En fullständig lista finns i Stöd för Translator-språk.

Custom Translator erbjuder följande funktioner:

Funktion beskrivning
Tillämpa neural maskinöversättningsteknik Förbättra översättningen genom att använda neural maskinöversättning (NMT) som tillhandahålls av custom translator.
Skapa system som känner till din affärsterminologi Anpassa och skapa översättningssystem med hjälp av parallella dokument som förstår de terminologier som används i ditt eget företag och din bransch.
Använda ordlista till att skapa dina modeller Om du inte har angett träningsdata kan du träna en modell med bara ordlistedata.
Samarbeta med andra Samarbeta med teamet genom att dela ditt arbete med olika personer.
Få åtkomst till din anpassade översättningsmodell Du kan komma åt din anpassade översättningsmodell när som helst med dina befintliga program/program via Microsoft Translator Text API V3.

Anpassade modeller för Dokumentinformation

Azure AI Document Intelligence använder avancerad maskininlärningsteknik för att identifiera dokument, identifiera och extrahera information från formulär och dokument och returnera extraherade data i en strukturerad JSON-utdata. Med Dokumentinformation kan du använda dokumentanalysmodeller, fördefinierade/förtränade eller dina tränade fristående anpassade modeller.

Anpassade modeller för dokumentinformation innehåller nu anpassade klassificeringsmodeller för scenarier där du behöver identifiera dokumenttypen innan du anropar extraheringsmodellen. En klassificeringsmodell kan paras ihop med en anpassad extraheringsmodell för att analysera och extrahera fält från formulär och dokument som är specifika för ditt företag. Fristående anpassade extraheringsmodeller kan kombineras för att skapa sammansatta modeller.

Anpassade AI-verktyg

Även om fördefinierade AI-modeller är användbara och alltmer flexibla är det bästa sättet att få det du behöver från AI att skapa en modell som är skräddarsydd för dina specifika behov. Det finns två primära verktyg för att skapa anpassade AI-modeller: Generativ AI och traditionell maskininlärning:

Azure Machine Learning Studio

Azure Machine Learning-studio är en molntjänst för att påskynda och hantera projektets livscykel för maskininlärning (ML). ML-proffs, dataexperter och tekniker kan använda det i sina dagliga arbetsflöden för att träna och distribuera modeller och hantera maskininlärningsåtgärder (MLOps).:

  • Skapa och träna Azure Machine Learning-modellen med alla typer av beräkning, inklusive Spark och GPU:er för stora AI-arbetsbelastningar i molnskala.
  • Kör automatiserad Azure Machine Learning (AutoML) och dra och släpp-användargränssnittet för Azure Machine Learning med låg kod.
  • Implementera Azure Machine LearningOps från slutpunkt till slutpunkt och repeterbara Azure Machine Learning-pipelines.
  • Använd en ansvarsfull AI-instrumentpanel för biasidentifiering och felanalys.
  • Samordna och hantera prompttekniker och LLM-flöden.
  • Distribuera modeller med REST API-slutpunkter, realtids- och batchinferens.
  • Använd Hubbar (förhandsversion) för att dela beräkning, kvot, säkerhet och anslutning till företagsresurser med en grupp arbetsytor, samtidigt som styrningen för IT centraliseras. Konfigurera en hubb en gång och skapa sedan säkra arbetsytor direkt från Studio för varje projekt. Använd hubbar för att hantera teamets arbete i både ML Studio och AI Studio.

Azure AI Studio

Azure AI Studio är utformat för att hjälpa dig att effektivt skapa och distribuera anpassade generativa AI-program med kraften i azures breda AI-erbjudanden:

  • Skapa tillsammans som ett team. Ai Studio-hubben ger säkerhet i företagsklass och en samarbetsmiljö med delade resurser och anslutningar till förtränad modeller, data och beräkning.
  • Organisera ditt arbete. Ditt AI Studio-projekt hjälper dig att spara tillstånd, så att du kan iterera från första idé till första prototyp och sedan första produktionsdistributionen. Bjud också enkelt in andra att samarbeta under den här resan.
  • Använd din önskade utvecklingsplattform och dina ramverk, inklusive GitHub, Visual Studio Code, LangChain, Semantic Kernel, AutoGen med mera.
  • Upptäck och jämför från över 1 600 modeller.
  • Etablera Modeller som en tjänst (MaaS) via serverlösa API:er och värdbaserad finjustering.
  • Införliva flera modeller, datakällor och modaliteter.
  • Skapa hämtningsförhöjd generation (RAG) med dina skyddade företagsdata utan att behöva finjustera.
  • Orkestrera och hantera flöden för teknik och stor språkmodell (LLM).
  • Utforma och skydda appar och API:er med konfigurerbara filter och kontroller.
  • Utvärdera modellsvar med inbyggda och anpassade utvärderingsflöden.
  • Distribuera AI-innovationer till den Azure-hanterade infrastrukturen med kontinuerlig övervakning och styrning i olika miljöer.
  • Övervaka kontinuerligt distribuerade appar för säkerhet, kvalitet och tokenförbrukning i produktion.|

En detaljerad jämförelse mellan Azure Machine Learning och Azure AI Studio finns i Azure Machine Learning jämfört med Azure AI Studio.

Fråga efter flöde i Azure AI Studio

Prompt flow i Azure AI Studio är ett utvecklingsverktyg som utformats för att effektivisera hela utvecklingscykeln för AI-program som drivs av stora språkmodeller (LLM). Promptflöde är en omfattande lösning som förenklar processen med prototyper, experimentering, iterering och distribution av dina AI-program.

  • Prompt flow är en funktion som kan användas för att generera, anpassa eller köra ett flöde.
  • Ett flöde är en körbar instruktionsuppsättning som kan implementera AI-logiken. Flöden kan skapas eller köras via flera verktyg, till exempel en fördefinierad arbetsyta, LangChain osv. Iterationer av ett flöde kan sparas som tillgångar. när ett flöde har distribuerats blir ett API. Alla flöden är inte promptflöden. i stället är promptflöde ett sätt att skapa ett flöde.
  • En fråga är ett paket med indata som skickas till en modell, som består av användarindata, systemmeddelande och eventuella exempel. Användarindata är text som skickas i chattfönstret. Systemmeddelande är en uppsättning instruktioner för modellen som beskriver dess beteenden och funktioner.
  • Ett exempelflöde är ett enkelt, fördefinierat orkestreringsflöde som visar hur flöden fungerar och kan anpassas.
  • En exempelprompt är en definierad fråga för ett specifikt scenario som kan kopieras från ett bibliotek och användas som är eller ändras i snabbdesign.

Anpassade AI-kodspråk

Huvudkonceptet med AI är användningen av algoritmer för att analysera data och generera modeller för att beskriva (eller poängsätta) dem på sätt som är användbara. Algoritmer skrivs av utvecklare och dataforskare (och ibland av andra algoritmer) med hjälp av programmeringskod. Två av de mest populära programmeringsspråken för AI-utveckling är för närvarande Python och R.

Python är ett allmänt programmeringsspråk på hög nivå. Den har en enkel, lättlärd syntax som betonar läsbarhet. Det finns inget kompileringssteg. Python har ett stort standardbibliotek, men det stöder också möjligheten att lägga till moduler och paket. Detta uppmuntrar modularitet och gör att du kan utöka funktionerna när det behövs. Det finns ett stort och växande ekosystem med AI- och ML-bibliotek för Python, inklusive många som är lättillgängliga i Azure.

R är ett språk och en miljö för statistisk databehandling och grafik. Det kan användas för allt från att mappa breda sociala trender och marknadsföringstrender online till att utveckla finansiella modeller och klimatmodeller.

Microsoft har helt anammat R-programmeringsspråket och erbjuder många olika alternativ för R-utvecklare att köra sin kod i Azure.

Allmän information om anpassad AI i Azure

Kundcase

Olika branscher tillämpar AI på innovativa och inspirerande sätt. Här följer några kundfallsstudier och framgångsberättelser:

Bläddra bland fler AI-kundberättelser

Allmän information om Microsoft AI

Läs mer om Microsoft AI och håll dig uppdaterad med relaterade nyheter:

Nästa steg