Udostępnij za pośrednictwem

Projektowanie architektury sztucznej inteligencji

  • Artykuł

Sztuczna inteligencja (AI) to technologia umożliwiająca maszynom naśladować inteligentne zachowanie człowieka. Dzięki sztucznej inteligencji maszyny mogą wykonywać następujące czynności:

  • Analizowanie danych w celu tworzenia obrazów i wideo.
  • Analizowanie i syntezowanie mowy.
  • Werbalne interakcje w naturalny sposób.
  • Przewidywanie i generowanie nowych danych.

Architekci projektują obciążenia korzystające ze sztucznej inteligencji do wykonywania funkcji lub podejmowania decyzji, w których tradycyjna logika lub przetwarzanie byłyby zbyt uciążliwe, a nawet prawie niemożliwe do zaimplementowania. Jako architekt projektu rozwiązania ważne jest zrozumienie krajobrazu sztucznej inteligencji i uczenia maszynowego oraz sposobu, w jaki platforma Azure oferuje rozwiązania do integracji z projektem obciążenia.

Pojęcia dotyczące sztucznej inteligencji

Algorytmy

Algorytmy lub algorytmy uczenia maszynowego to fragmenty kodu, które ułatwiają ludziom eksplorowanie, analizowanie i znajdowanie znaczenia w złożonych zestawach danych. Każdy algorytm to skończony zestaw jednoznacznych instrukcji krok po kroku, które może wykonać komputer, aby osiągnąć określony cel. W modelu uczenia maszynowego celem jest ustalenie lub odnalezienie wzorców, których ludzie mogą używać do przewidywania lub kategoryzowania informacji. Algorytm może opisać, jak określić, czy zwierzę jest kotem, psem, rybą, ptakem lub jaszczurką. Inny znacznie bardziej skomplikowany algorytm może opisywać sposób identyfikowania napisanego lub mówionego języka, analizowania jego słów, tłumaczenia ich na inny język, a następnie sprawdzania poprawności tłumaczenia.

Podczas projektowania obciążenia należy wybrać rodzinę algorytmów, która jest odpowiednia dla danego zadania, i ocenić różne dostępne algorytmy, aby znaleźć odpowiednie dopasowanie.

Uczenie maszynowe

Uczenie maszynowe to technika sztucznej inteligencji, która używa algorytmów do tworzenia modeli predykcyjnych. Algorytm jest używany do analizowania pól danych i "uczenia się" z tych danych przy użyciu wzorców znalezionych w nim do generowania modeli. Te modele są następnie używane do podejmowania świadomych przewidywań lub decyzji dotyczących nowych danych.

Modele predykcyjne są weryfikowane pod kątem znanych danych, mierzone przez metryki wydajności wybrane dla określonych scenariuszy biznesowych, a następnie dostosowane zgodnie z potrzebami. Ten proces uczenia się i walidacji jest nazywany szkoleniem. Dzięki okresowemu ponownemu trenowaniu modele uczenia maszynowego są ulepszane w czasie.

Jeśli chodzi o projektowanie obciążeń, rozważ użycie uczenia maszynowego w sytuacji, w której wcześniejsze obserwacje mogą być niezawodnie używane do przewidywania przyszłych sytuacji. Te obserwacje mogą być uniwersalnymi prawdami, takimi jak przetwarzanie obrazów, które wykrywa jedną formę zwierzęcia z innego, lub obserwacje te mogą być specyficzne dla Twojej sytuacji, takiej jak przetwarzanie obrazów, które wykrywa potencjalny błąd montażu na liniach montażowych na podstawie wcześniejszych danych oświadczeń gwarancji.

Uczenie głębokie

Uczenie głębokie to typ uczenia maszynowego, który może uczyć się za pomocą własnego przetwarzania danych. Podobnie jak uczenie maszynowe, używa również algorytmów do analizowania danych, ale korzysta z sztucznych sieci neuronowych, które zawierają wiele danych wejściowych, wyjściowych i warstw przetwarzania. Każda warstwa może przetwarzać dane w inny sposób, a dane wyjściowe jednej warstwy stają się danymi wejściowymi następnego. Dzięki temu uczenie głębokie może tworzyć bardziej złożone modele niż tradycyjne uczenie maszynowe.

Jako projektant obciążeń ta opcja wymaga dużej inwestycji w generowanie wysoce dostosowanych lub eksploracyjnych modeli. Ogólnie rzecz biorąc, przed dodaniem uczenia głębokiego do obciążenia należy wziąć pod uwagę inne rozwiązania przedstawione w tym artykule.

Generatywna AI

Generowanie sztucznej inteligencji to forma sztucznej inteligencji, w której modele są trenowane w celu generowania nowej oryginalnej zawartości na podstawie wielu form zawartości, takich jak język naturalny, przetwarzanie obrazów, dźwięk lub wprowadzanie obrazów. Dzięki generowaniu sztucznej inteligencji można opisać żądane dane wyjściowe w normalnym języku codziennym, a model może reagować, tworząc odpowiedni tekst, obraz, kod i nie tylko. Oto kilka przykładów aplikacji generacyjnych sztucznej inteligencji:

  • Microsoft Copilot to przede wszystkim interfejs użytkownika, który może pomóc użytkownikom w pisaniu kodu, dokumentów i innej zawartości opartej na tekście. Jest ona oparta na popularnych modelach OpenAI i jest zintegrowana z szeroką gamą aplikacji i środowisk użytkownika firmy Microsoft.

  • Azure OpenAI to platforma deweloperza jako usługa, która zapewnia dostęp do zaawansowanych modeli językowych openAI, takich jak o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo with Vision, GPT-4, GPT-3.5-Turbo i Osadzanie serii modeli. Te modele można dostosować do określonego zadania, takiego jak:

    • Generowanie zawartości
    • Podsumowanie zawartości
    • Rozpoznawanie obrazów
    • Wyszukiwanie semantyczne
    • Język naturalny do tłumaczenia kodu.

Modele językowe

Modele językowe to podzbiór generowania sztucznej inteligencji, który koncentruje się na zadaniach przetwarzania języka naturalnego (NLP), takich jak generowanie tekstu i analiza tonacji. Te modele reprezentują język naturalny na podstawie prawdopodobieństwa słów lub sekwencji wyrazów występujących w danym kontekście.

Konwencjonalne modele językowe używane w ustawieniach nadzorowanych do celów badawczych, w których modele są trenowane na dobrze oznaczonych zestawach danych tekstowych dla określonych zadań. Wstępnie wytrenowane modele językowe oferują dostępny sposób na rozpoczęcie pracy ze sztuczną inteligencją i w ostatnich latach stały się bardziej powszechnie używane. Te modele są szkolone w corpora tekstu na dużą skalę z Internetu przy użyciu sieci neuronowych uczenia głębokiego i mogą być dostosowane do mniejszych zestawów danych dla określonych zadań.

Rozmiar modelu językowego zależy od liczby parametrów lub wag, które określają sposób przetwarzania danych wejściowych i generowania danych wyjściowych przez model. Parametry są poznane podczas procesu trenowania, dostosowując wagi w warstwach modelu, aby zminimalizować różnicę między przewidywaniami modelu a rzeczywistymi danymi. Bardziej parametry, które ma model, tym bardziej złożone i wyraziste jest, ale także bardziej kosztowne obliczenia jest trenowanie i używanie.

Ogólnie rzecz biorąc, małe modele językowe mają mniej niż 10 miliardów parametrów, a duże modele językowe mają ponad 10 miliardów parametrów. Na przykład rodzina modeli Microsoft Phi-3 ma trzy wersje o różnych rozmiarach: mini (3,8 miliarda parametrów), małe (7 miliardów parametrów) i średnie (14 miliardów parametrów).

Copilots

Dostępność modeli językowych doprowadziła do powstania nowych sposobów interakcji z aplikacjami i systemami za pośrednictwem cyfrowych copilots i połączonych, specyficznych dla domeny agentów. Copilots są generowania asystentów sztucznej inteligencji, które są zintegrowane z aplikacjami często jako interfejsy czatu. Zapewniają one kontekstową obsługę typowych zadań w tych aplikacjach.

Rozwiązanie Microsoft Copilot jest zintegrowane z szeroką gamą aplikacji i środowisk użytkownika firmy Microsoft. Jest ona oparta na otwartej architekturze, która umożliwia deweloperom innych firm tworzenie własnych wtyczek w celu rozszerzenia lub dostosowania środowiska użytkownika za pomocą rozwiązania Microsoft Copilot. Ponadto deweloperzy innych firm mogą tworzyć własne copilots przy użyciu tej samej otwartej architektury.

Pobieranie rozszerzonej generacji (RAG)

Pobieranie rozszerzonej generacji (RAG) to wzorzec architektury, który rozszerza możliwości dużego modelu językowego, takiego jak ChatGPT, który został wytrenowany tylko na danych publicznych. Ten wzorzec umożliwia dodanie systemu pobierania, który udostępnia odpowiednie dane uziemione w kontekście z żądaniem użytkownika. Dodanie systemu pobierania informacji zapewnia kontrolę nad danymi uziemienia używanymi przez model językowy podczas formułowania odpowiedzi. Architektura RAG pomaga w zakresie generowania sztucznej inteligencji do zawartości pochodzącej z wektoryzowanych dokumentów, obrazów i innych formatów danych. Funkcja RAG nie jest ograniczona do magazynu wyszukiwania wektorowego, jednak wzorzec ma zastosowanie w połączeniu z dowolną technologią magazynu danych.

Zautomatyzowane uczenie maszynowe (AutoML)

Zautomatyzowane uczenie maszynowe, nazywane również zautomatyzowanym uczeniem maszynowym lub rozwiązaniem AutoML, to proces automatyzowania czasochłonnych, iteracyjnych zadań tworzenia modelu uczenia maszynowego. Umożliwia ona analitykom danych, analitykom i deweloperom tworzenie modeli uczenia maszynowego o wysokiej skali, wydajności i produktywności przy jednoczesnym utrzymaniu jakości modelu.

Usługi sztucznej inteligencji

Dzięki usługom sztucznej inteligencji platformy Azure deweloperzy i organizacje mogą tworzyć inteligentne, gotowe na rynek i odpowiedzialne aplikacje z wbudowanymi, wstępnie utworzonymi i dostosowywalnymi interfejsami API i modelami. Użycie obejmuje przetwarzanie języka naturalnego na potrzeby konwersacji, wyszukiwania, monitorowania, tłumaczenia, mowy, przetwarzania obrazów i podejmowania decyzji.

Modele języka sztucznej inteligencji

  • Duże modele językowe (LLM), takie jak modele GPT openAI, to zaawansowane narzędzia, które mogą generować język naturalny w różnych domenach i zadaniach. Rozważając użycie tych modeli, należy wziąć pod uwagę czynniki, takie jak prywatność danych, etyczne użycie, dokładność i stronniczość.

  • Otwarte modele Phi to małe, mniej intensywnie korzystające z obliczeń modele służące do generowania rozwiązań sztucznej inteligencji. Model małego języka (SLM) może być bardziej wydajny, czytelny i zrozumiały niż duży model językowy.

Podczas projektowania obciążenia można używać modeli językowych zarówno jako rozwiązania hostowanego, za mierzonym interfejsem API, jak i dla wielu małych modeli językowych, które można hostować w procesie lub przynajmniej na tych samych obliczeniach co użytkownik. W przypadku korzystania z modeli językowych w rozwiązaniu rozważ wybór modelu językowego i dostępnych opcji hostingu, aby upewnić się, że korzystasz ze zoptymalizowanego rozwiązania dla danego przypadku użycia.

Platformy i narzędzia programistyczne sztucznej inteligencji

Usługa Azure Machine Learning Service

Azure Machine Learning to usługa uczenia maszynowego służąca do tworzenia i wdrażania modeli. Usługa Azure Machine Learning oferuje interfejsy internetowe i zestawy SDK, dzięki czemu można trenować i wdrażać modele i potoki uczenia maszynowego na dużą skalę. Korzystaj z tych możliwości za pośrednictwem platform typu open source języka Python, takich jak PyTorch, TensorFlow i scikit-learn.

Architektury referencyjne uczenia maszynowego dla platformy Azure

Zautomatyzowane uczenie maszynowe (AutoML)

Tworzenie modeli uczenia maszynowego na dużą skalę przy użyciu funkcji automatycznego uczenia maszynowego w usłudze Azure Machine Learning w celu automatyzowania zadań.

MLflow

Obszary robocze usługi Azure Machine Learning są zgodne z platformą MLflow, co oznacza, że możesz użyć obszaru roboczego usługi Azure Machine Learning w taki sam sposób, jak w przypadku serwera MLflow. Ta zgodność ma następujące zalety:

  • Usługa Azure Machine Learning nie hostuje wystąpień serwera MLflow, ale może bezpośrednio używać interfejsów API platformy MLflow.
  • Obszar roboczy usługi Azure Machine Learning można użyć jako serwera śledzenia dla dowolnego kodu MLflow, niezależnie od tego, czy działa on w usłudze Azure Machine Learning. Wystarczy skonfigurować rozwiązanie MLflow tak, aby wskazywał obszar roboczy, w którym powinno nastąpić śledzenie.
  • Możesz uruchomić dowolną procedurę szkoleniową, która używa biblioteki MLflow w usłudze Azure Machine Learning bez wprowadzania żadnych zmian.

Aby uzyskać więcej informacji, zobacz MLflow i Azure Machine Learning

Narzędzia generowania sztucznej inteligencji

  • Przepływ monitów to zestaw narzędzi programistycznych zaprojektowanych w celu usprawnienia kompleksowego cyklu tworzenia aplikacji generacyjnych sztucznej inteligencji, od pomysłów, tworzenia prototypów, testowania, oceny do wdrożenia produkcyjnego i monitorowania. Obsługuje on monitowanie inżynierii poprzez wyrażanie akcji w modularnym aranżowaniu i asilniku przepływu.

  • Usługa Azure AI Studio ułatwia eksperymentowanie, opracowywanie i wdrażanie generowanych aplikacji i interfejsów API sztucznej inteligencji w sposób odpowiedzialny za pomocą kompleksowej platformy. Dzięki usłudze Azure AI Studio masz dostęp do usług sztucznej inteligencji platformy Azure, modeli podstawowych, placu zabaw i zasobów, aby ułatwić tworzenie, trenowanie, dostosowywanie i wdrażanie modeli sztucznej inteligencji. Ponadto możesz ocenić odpowiedzi modelu i zorganizować monitowania składników aplikacji przy użyciu przepływu monitowania w celu uzyskania lepszej wydajności.

  • Usługa Azure Copilot Studio służy do rozszerzania platformy Microsoft Copilot na platformę Microsoft 365 i tworzenia niestandardowych copilots dla scenariuszy wewnętrznych i zewnętrznych. Dzięki aplikacji Copilot Studio użytkownicy mogą projektować, testować i publikować copiloty przy użyciu kompleksowej kanwy tworzenia. Użytkownicy mogą łatwo tworzyć konwersacje z obsługą sztucznej inteligencji, zapewniać większą kontrolę nad odpowiedziami dla istniejących copilotów i przyspieszać produktywność przy użyciu określonych zautomatyzowanych przepływów pracy.

Platformy danych dla sztucznej inteligencji

Microsoft Fabric

Microsoft Fabric to kompleksowa platforma do analizy i danych przeznaczona dla przedsiębiorstw wymagających ujednoliconego rozwiązania. Zespoły obciążeń mogą mieć dostęp do danych w tych systemach. Obejmuje ona przenoszenie, przetwarzanie, pozyskiwanie, przekształcanie, routing zdarzeń w czasie rzeczywistym i tworzenie raportów. Oferuje kompleksowy pakiet usług, w tym inżynierowie danych, fabrykę danych, Nauka o danych, analizę w czasie rzeczywistym, magazyn danych i bazy danych.

Usługa Microsoft Fabric integruje oddzielne składniki z spójnym stosem. Zamiast polegać na różnych bazach danych lub magazynach danych, możesz scentralizować magazyn danych za pomocą usługi OneLake. Funkcje sztucznej inteligencji są osadzone w sieci szkieletowej, eliminując potrzebę ręcznej integracji.

Copilots w sieci szkieletowej

Copilot i inne funkcje generowania sztucznej inteligencji umożliwiają przekształcanie i analizowanie danych, generowanie szczegółowych informacji oraz tworzenie wizualizacji i raportów w usłudze Microsoft Fabric i Power BI. Możesz utworzyć własny copilot lub wybrać jeden z następujących wstępnie utworzonych copilots:

Umiejętności sztucznej inteligencji w usłudze Fabric

Dzięki umiejętnościom sztucznej inteligencji w usłudze Microsoft Fabric można skonfigurować system generowania sztucznej inteligencji w celu generowania zapytań, które odpowiadają na pytania dotyczące danych. Po skonfigurowaniu umiejętności sztucznej inteligencji możesz udostępnić ją współpracownikom, którzy mogą następnie zadawać pytania w języku angielskim. Na podstawie ich pytań sztuczna inteligencja generuje zapytania dotyczące danych, które odpowiadają na te pytania.

Platformy danych oparte na platformie Apache Spark dla sztucznej inteligencji

Apache Spark to platforma przetwarzania równoległego, która obsługuje przetwarzanie w pamięci w celu zwiększania wydajności aplikacji do analizy danych big data. Platforma Spark udostępnia typom pierwotnym możliwość używania klastrów obliczeniowych korzystających z funkcji przetwarzania w pamięci. Zadanie platformy Spark może ładować i buforować dane do pamięci i wykonywać zapytania wielokrotnie, co jest szybsze niż aplikacje oparte na dyskach, takie jak Hadoop.

Platforma Apache Spark w usłudze Azure Fabric

Microsoft Fabric Runtime to zintegrowana z platformą Azure platforma oparta na platformie Apache Spark, która umożliwia wykonywanie i zarządzanie środowiskami inżynierii danych i nauki o danych. Łączy kluczowe składniki zarówno ze źródeł wewnętrznych, jak i open source, zapewniając klientom kompleksowe rozwiązanie.

Główne składniki środowiska uruchomieniowego sieci szkieletowej:

  • Apache Spark — zaawansowana rozproszona biblioteka obliczeniowa typu open source, która umożliwia przetwarzanie i analizowanie danych na dużą skalę. Platforma Apache Spark udostępnia wszechstronną i wysokowydajną platformę do inżynierii danych i środowiska nauki o danych.

  • Delta Lake — warstwa magazynu typu open source, która zapewnia transakcje ACID i inne funkcje niezawodności danych na platformie Apache Spark. Zintegrowane w środowisku uruchomieniowym sieci szkieletowej usługa Delta Lake zwiększa możliwości przetwarzania danych i zapewnia spójność danych w wielu współbieżnych operacjach.

  • Pakiety na poziomie domyślnym dla języków Java/Scala, Python i R — pakiety obsługujące różne języki programowania i środowiska. Te pakiety są instalowane i konfigurowane automatycznie, co umożliwia deweloperom stosowanie preferowanych języków programowania na potrzeby zadań przetwarzania danych.

Środowisko uruchomieniowe usługi Microsoft Fabric jest oparte na niezawodnym systemie operacyjnym typu open source, zapewniając zgodność z różnymi konfiguracjami sprzętowymi i wymaganiami systemowymi.

Środowisko uruchomieniowe usługi Azure Databricks na potrzeby uczenia maszynowego

Azure Databricks to oparta na platformie Apache Spark platforma analityczna z jednym kliknięciem, usprawnione przepływy pracy i interaktywny obszar roboczy do współpracy między analitykami danych, inżynierami i analitykami biznesowymi.

Środowisko Databricks Runtime for Machine Learning (Databricks Runtime ML) umożliwia uruchomienie klastra usługi Databricks ze wszystkimi bibliotekami wymaganymi do trenowania rozproszonego. Zapewnia środowisko do uczenia maszynowego i nauki o danych. Ponadto zawiera wiele popularnych bibliotek, w tym TensorFlow, PyTorch, Keras i XGBoost. Obsługuje ono także trenowanie rozproszone przy użyciu struktury Horovod.

Platforma Apache Spark w usłudze Azure HDInsight

Platforma Apache Spark w usłudze Azure HDInsight to implementacja platformy Apache Spark w chmurze firmy Microsoft. Klastry Spark w usłudze HDInsight są zgodne z usługami Azure Storage i Azure Data Lake Storage, dzięki czemu można przetwarzać dane przechowywane na platformie Azure za pomocą klastrów spark usługi HDInsight.

Biblioteka uczenia maszynowego firmy Microsoft dla platformy Apache Spark to SynapseML (wcześniej znana jako MMLSpark). Ta biblioteka typu open source dodaje wiele narzędzi do uczenia głębokiego i nauki o danych, możliwości sieci i wydajności klasy produkcyjnej do ekosystemu platformy Spark. Dowiedz się więcej o funkcjach i możliwościach usługi SynapseML.

Magazyn danych dla sztucznej inteligencji

Microsoft Fabric OneLake

Usługa OneLake w sieci szkieletowej to ujednolicony i logiczny magazyn danych dostosowany do całej organizacji. Pełni ona rolę centralnego centrum dla wszystkich danych analitycznych i jest dołączana do każdej dzierżawy usługi Microsoft Fabric. Usługa OneLake w sieci szkieletowej jest oparta na podstawie usługi Data Lake Storage Gen2.

OneLake w sieci szkieletowej:

  • Obsługuje typy plików ze strukturą i bez struktury.
  • Przechowuje wszystkie dane tabelaryczne w formacie Delta Parquet.
  • Udostępnia pojedyncze magazyny danych w granicach dzierżawy, które są domyślnie zarządzane.
  • Obsługuje tworzenie obszarów roboczych w ramach dzierżawy, dzięki czemu organizacja może dystrybuować własność i zasady dostępu.
  • Obsługuje tworzenie różnych elementów danych, takich jak magazyny typu lakehouse i magazyny, z których można uzyskiwać dostęp do danych.

Aby uzyskać więcej informacji, zobacz OneLake, onedrive dla danych.

Azure Data Lake Storage Gen2

Usługa Azure Data Lake Storage to pojedyncze, scentralizowane repozytorium, w którym można przechowywać wszystkie dane, zarówno ustrukturyzowane, jak i nieustrukturyzowane. Usługa Data Lake umożliwia organizacji szybkie i łatwiejsze przechowywanie, uzyskiwanie dostępu i analizowanie szerokiej gamy danych w jednej lokalizacji. W przypadku magazynu data lake nie musisz dostosowywać danych do istniejącej struktury. Zamiast tego dane można przechowywać w formacie nieprzetworzonym lub natywnym, zwykle jako pliki lub jako obiekty binarne (obiekty blob).

Usługa Data Lake Storage Gen2 zapewnia semantyka systemu plików, zabezpieczenia na poziomie plików i skalowanie. Ponieważ te możliwości są oparte na usłudze Blob Storage, można również uzyskać niski koszt magazynu warstwowego z wysoką dostępnością/odzyskiwaniem po awarii.

Usługa Data Lake Storage Gen2 sprawia, że usługa Azure Storage stanowi podstawę do tworzenia magazynów danych przedsiębiorstwa na platformie Azure. Zaprojektowana od początku do obsługi wielu petabajtów informacji przy jednoczesnym utrzymaniu setek gigabitów przepływności, usługa Data Lake Storage Gen2 umożliwia łatwe zarządzanie ogromnymi ilościami danych.

Przetwarzanie danych dla sztucznej inteligencji

Microsoft Fabric Data Factory

Usługa Data Factory umożliwia pozyskiwanie, przygotowywanie i przekształcanie danych z wielu źródeł danych (na przykład baz danych, magazynu danych, usługi Lakehouse, danych w czasie rzeczywistym i innych). Podczas projektowania obciążeń jest to narzędzie, które może mieć kluczowe znaczenie dla wymagań metodyki DataOps.

Usługa Data Factory obsługuje zarówno rozwiązania kodu, jak i bez/niskiego poziomu kodu:

  • Potoki danych umożliwiają tworzenie możliwości przepływu pracy w skali chmury. Za pomocą potoków danych można użyć interfejsu przeciągania i upuszczania do tworzenia przepływów pracy, które mogą odświeżać przepływ danych, przenosić dane o rozmiarze petabajtów i definiować potoki przepływu sterowania.

  • Przepływy danych udostępniają interfejs z małą ilością kodu do pozyskiwania danych z setek źródeł danych, przekształcając dane przy użyciu 300+ przekształceń danych.

Zobacz również:

Azure Databricks

Za pomocą platformy analizy danych usługi Databricks można napisać kod w celu utworzenia przepływu pracy uczenia maszynowego przy użyciu inżynierii cech:

  • Potoki danych pozyskiwają nieprzetworzone dane, tworzą tabele funkcji, trenują modele i wykonują wnioskowanie wsadowe. Podczas trenowania i rejestrowania modelu przy użyciu inżynierii cech w wykazie aparatu Unity model jest spakowany z metadanymi funkcji. Gdy używasz modelu do oceniania wsadowego lub wnioskowania online, automatycznie pobiera wartości funkcji. Obiekt wywołujący nie musi wiedzieć o nich ani uwzględniać logiki, aby wyszukać lub dołączyć funkcje w celu oceny nowych danych.
  • Punkty końcowe obsługujące model i funkcje są dostępne za pomocą jednego kliknięcia i zapewniają milisekundy opóźnienia.
  • Monitorowanie danych i modeli.

Można również użyć narzędzia Mosaic AI Vector Search, które jest zoptymalizowane pod kątem przechowywania i pobierania osadzania. Osadzanie ma kluczowe znaczenie dla aplikacji, które wymagają wyszukiwania podobieństwa, takich jak RAG (pobieranie rozszerzonej generacji), systemy rekomendacji i rozpoznawanie obrazów.

Łączniki danych dla sztucznej inteligencji

Potoki usług Azure Data Factory i Azure Synapse Analytics obsługują wiele magazynów danych i formatów za pośrednictwem działań kopiowania, Przepływ danych, wyszukiwania, pobierania metadanych i usuwania. Aby wyświetlić dostępne łączniki magazynu danych, obsługiwane możliwości i odpowiednie konfiguracje oraz ogólne opcje połączenia ODBC, zobacz Omówienie łącznika usługi Azure Data Factory i usługi Azure Synapse Analytics.

Niestandardowa sztuczna inteligencja

Azure Machine Learning

Azure Machine Learning to usługa w chmurze służąca do przyspieszania cyklu życia projektu uczenia maszynowego (ML) i zarządzania nim. Specjaliści ds. uczenia maszynowego, analitycy danych i inżynierowie mogą używać ich w codziennych przepływach pracy do trenowania i wdrażania modeli oraz zarządzania operacjami uczenia maszynowego (MLOps).

Usługa Azure Machine Learning oferuje następujące możliwości:

  • Wybór algorytmu Niektóre algorytmy tworzą konkretne założenia dotyczące struktury danych lub żądanych wyników. Jeśli możesz znaleźć taki, który odpowiada Twoim potrzebom, może dać ci bardziej przydatne wyniki, dokładniejsze przewidywania lub szybsze czasy trenowania.

    Jak wybrać algorytmy dla usługi Azure Machine Learning

  • Dostrajanie hiperparametryczne lub optymalizacja to proces znajdowania konfiguracji hiperparametrów, które zapewniają najlepszą wydajność. Proces jest kosztowny obliczeniowo i ręczny. Hiperparametry są regulowanymi parametrami , które umożliwiają sterowanie procesem trenowania modelu. Na przykład w przypadku sieci neuronowych decydujesz o liczbie ukrytych warstw i liczbie węzłów w każdej warstwie. Wydajność modelu zależy w dużym stopniu od hiperparametrów.

    Usługa Azure Machine Learning umożliwia automatyzowanie dostrajania hiperparametrów i równoległe uruchamianie eksperymentów w celu wydajnego optymalizowania hiperparametrów.

  • Trenowanie modelu. Dzięki usłudze Azure Machine Learning można iteracyjnie używać algorytmu do tworzenia lub "uczenia" modeli. Po przeszkoleniu te modele mogą być następnie używane do analizowania danych, z których można wykonywać przewidywania. W fazie trenowania otagowany jest zestaw jakości znanych danych, dzięki czemu poszczególne pola są możliwe do zidentyfikowania. Oznakowane dane są przekazywane do algorytmu skonfigurowanego do tworzenia określonego przewidywania. Po zakończeniu algorytm generuje model, który opisuje wzorce znalezione jako zestaw parametrów. Podczas walidacji nowe dane są oznaczane i używane do testowania modelu. Algorytm jest dostosowywany zgodnie z potrzebami i ewentualnie wprowadzany przez więcej trenowania. Na koniec faza testowania używa danych rzeczywistych bez żadnych tagów ani wstępnie wybranych celów. Przy założeniu, że wyniki modelu są dokładne, jest uznawane za gotowe do użycia i można je wdrożyć.

  • Zautomatyzowane uczenie maszynowe (AutoML) to proces automatyzowania czasochłonnych, iteracyjnych zadań tworzenia modelu uczenia maszynowego. Może znacznie skrócić czas potrzebny na przygotowanie do produkcji modeli uczenia maszynowego. Zautomatyzowane uczenie maszynowe może pomóc w wyborze modelu, dostrajaniu hiperparametrów, trenowanie modelu i innych zadaniach bez konieczności obszernego programowania lub wiedzy na temat domeny.

    Możesz użyć zautomatyzowanego uczenia maszynowego, jeśli chcesz, aby usługa Azure Machine Learning trenowała i dostrajała model przy użyciu określonej metryki docelowej. Zautomatyzowane uczenie maszynowe może być używane niezależnie od wiedzy z zakresu nauki o danych w celu zidentyfikowania kompleksowego potoku uczenia maszynowego dla dowolnego problemu.

    Specjaliści ds. uczenia maszynowego i deweloperzy w różnych branżach mogą używać zautomatyzowanego uczenia maszynowego do:

    • Implementowanie rozwiązań uczenia maszynowego bez obszernej wiedzy na temat programowania lub uczenia maszynowego

    • Oszczędzaj czas i zasoby

    • Stosowanie najlepszych rozwiązań dotyczących nauki o danych

    • Zapewnianie elastycznego rozwiązywania problemów

    • Co to jest zautomatyzowane uczenie maszynowe?

  • Ocenianie jest również nazywane przewidywaniem i jest procesem generowania wartości na podstawie wytrenowanego modelu uczenia maszynowego, biorąc pod uwagę niektóre nowe dane wejściowe. Utworzone wartości lub wyniki mogą reprezentować przewidywania przyszłych wartości, ale mogą również reprezentować prawdopodobną kategorię lub wynik.

  • Inżynieria cech i cechowanie. Dane szkoleniowe składają się z wierszy i kolumn. Każdy wiersz jest obserwacją lub rekordem, a kolumny każdego wiersza to funkcje opisujące każdy rekord. Zazwyczaj funkcje, które najlepiej scharakteryzują wzorce w danych, są wybierane do tworzenia modeli predykcyjnych.

Chociaż wiele nieprzetworzonych pól danych może służyć bezpośrednio do trenowania modelu, często konieczne jest utworzenie innych (zaprojektowanych) funkcji, które zapewniają informacje, które lepiej rozróżniają wzorce w danych. Ten proces jest nazywany inżynierią cech, gdzie wykorzystanie wiedzy o domenie danych służy do tworzenia funkcji, które z kolei pomagają algorytmom uczenia maszynowego lepiej się uczyć.

W usłudze Azure Machine Learning stosowane są techniki skalowania danych i normalizacji w celu ułatwienia inżynierii cech. Łącznie te techniki i ta inżynieria cech są nazywane cechowaniem w eksperymentach zautomatyzowanego uczenia maszynowego (ML).

Azure OpenAI

Usługa Azure OpenAI Service umożliwia dostosowanie modeli OpenAI do osobistych zestawów danych przy użyciu procesu znanego jako dostrajanie. Ten etap dostosowywania pozwala w pełni wykorzystać usługę, zapewniając:

  • Wyniki o wyższej jakości niż to, co można uzyskać tylko z monitów inżynieryjnych
  • Możliwość trenowania na więcej przykładów niż może mieścić się w maksymalnym limicie kontekstu żądania modelu.
  • Oszczędności tokenów z powodu krótszych monitów
  • Żądania o mniejsze opóźnienia, szczególnie w przypadku korzystania z mniejszych modeli.

Aby uzyskać więcej informacji, zobacz:

Usługi azure AI dla niestandardowej sztucznej inteligencji

Usługi Azure AI oferują funkcje, które umożliwiają tworzenie niestandardowych modeli i aplikacji sztucznej inteligencji. Ta sekcja zawiera omówienie niektórych z tych kluczowych funkcji.

Mowa niestandardowa

Mowa niestandardowa to funkcja usługi Rozpoznawanie mowy w usłudze Azure AI. Dzięki usłudze Custom Speech można ocenić i poprawić dokładność rozpoznawania mowy dla aplikacji i produktów. Niestandardowy model mowy może służyć do zamiany mowy w czasie rzeczywistym na tekst, tłumaczenie mowy i transkrypcję wsadową.

Funkcja rozpoznawania mowy korzysta z modelu uniwersalnego języka jako modelu podstawowego, który jest trenowany przy użyciu danych należących do firmy Microsoft i odzwierciedla powszechnie używany język mówiony. Model podstawowy jest wstępnie wytrenowany dialektami i fonetykami reprezentującymi różne typowe domeny. Podczas tworzenia żądania rozpoznawania mowy najnowszy model podstawowy dla każdego obsługiwanego języka jest używany domyślnie. Model podstawowy działa dobrze w większości scenariuszy rozpoznawania mowy.

Model niestandardowy może służyć do rozszerzania modelu podstawowego w celu poprawy rozpoznawania słownictwa specyficznego dla domeny specyficznego dla aplikacji, dostarczając dane tekstowe do trenowania modelu. Może również służyć do ulepszania rozpoznawania na podstawie określonych warunków dźwiękowych aplikacji, dostarczając dane audio z transkrypcjami referencyjnymi.

Model można również wytrenować przy użyciu tekstu strukturalnego, gdy dane są zgodne ze wzorcem, aby określić niestandardową wymowę, oraz dostosować formatowanie tekstu wyświetlanego przy użyciu niestandardowej normalizacji tekstu odwrotnego, niestandardowego ponownego zapisywania i niestandardowego filtrowania wulgaryzmów.

Custom Translator

Custom Translator to funkcja usługi Azure AI Translator . Dzięki usłudze Custom Translator przedsiębiorstwa, deweloperzy aplikacji i dostawcy usług językowych mogą tworzyć niestandardowe systemy neuronowego tłumaczenia maszynowego (NMT). Dostosowane systemy tłumaczenia bezproblemowo integrują się z istniejącymi aplikacjami, przepływami pracy i witrynami internetowymi.

Platforma umożliwia użytkownikom tworzenie i publikowanie niestandardowych systemów tłumaczenia do i z języka angielskiego. Usługa Custom Translator obsługuje ponad trzy tuziny języków mapujących bezpośrednio na języki dostępne dla nmT. Aby uzyskać pełną listę, zobacz Obsługa języków w usłudze Translator.

Usługa Custom Translator oferuje następujące funkcje:

Funkcja opis
Stosowanie technologii neuronowego tłumaczenia maszynowego Popraw tłumaczenie, stosując neuronowe tłumaczenie maszynowe (NMT) dostarczone przez usługę Custom Translator.
Tworzenie systemów, które znają terminologię biznesową użytkownika Dostosowywanie i tworzenie systemów tłumaczenia przy użyciu dokumentów równoległych, które rozumieją terminologie używane we własnej firmie i branży.
Używanie słownika do tworzenia modeli Jeśli nie masz zestawu danych szkoleniowych, możesz trenować model przy użyciu tylko danych słownika.
Współpraca z innymi Współpracuj ze swoim zespołem, udostępniając swoją pracę różnym osobom.
Dostęp do niestandardowego modelu tłumaczenia Dostęp do niestandardowego modelu tłumaczenia można uzyskać w dowolnym momencie przy użyciu istniejących aplikacji/programów za pośrednictwem interfejsu API tłumaczenia tekstu w usłudze Microsoft Translator w wersji 3.

Niestandardowe modele analizy dokumentów

Usługa Azure AI Document Intelligence używa zaawansowanej technologii uczenia maszynowego do identyfikowania dokumentów, wykrywania i wyodrębniania informacji z formularzy i dokumentów oraz zwracania wyodrębnionych danych w danych wyjściowych ze strukturą JSON. Za pomocą analizy dokumentów można używać modeli analizy dokumentów, wstępnie utworzonych/wstępnie wytrenowanych lub wytrenowanych autonomicznych modeli niestandardowych.

Modele niestandardowe analizy dokumentów obejmują teraz niestandardowe modele klasyfikacji dla scenariuszy, w których należy zidentyfikować typ dokumentu przed wywołaniem modelu wyodrębniania. Model klasyfikacji może być sparowany z niestandardowym modelem wyodrębniania w celu analizowania i wyodrębniania pól z formularzy i dokumentów specyficznych dla Twojej firmy. Autonomiczne niestandardowe modele wyodrębniania można łączyć w celu utworzenia modeli złożonych.

Niestandardowe narzędzia sztucznej inteligencji

Chociaż wstępnie utworzone modele sztucznej inteligencji są przydatne i coraz bardziej elastyczne, najlepszym sposobem uzyskania potrzebnych rozwiązań od sztucznej inteligencji jest utworzenie modelu dostosowanego do konkretnych potrzeb. Istnieją dwa podstawowe narzędzia do tworzenia niestandardowych modeli sztucznej inteligencji: Generowanie sztucznej inteligencji i tradycyjnego uczenia maszynowego:

Azure Machine Learning Studio

Azure Machine Learning Studio to usługa w chmurze służąca do przyspieszania cyklu życia projektu uczenia maszynowego (ML) i zarządzania nim. Specjaliści ds. uczenia maszynowego, analitycy danych i inżynierowie mogą używać ich w codziennych przepływach pracy do trenowania i wdrażania modeli oraz zarządzania operacjami uczenia maszynowego (MLOps).

  • Tworzenie i trenowanie modelu usługi Azure Machine Learning przy użyciu dowolnego typu zasobów obliczeniowych, w tym platformy Spark i procesorów GPU na potrzeby dużych obciążeń sztucznej inteligencji w skali chmury.
  • Uruchamianie zautomatyzowanego interfejsu użytkownika usługi Azure Machine Learning (AutoML) i przeciągania i upuszczania na potrzeby usługi Azure Machine Learning o niskim kodzie.
  • Zaimplementuj kompleksowe potoki usługi Azure Machine LearningOps i powtarzalne potoki usługi Azure Machine Learning.
  • Użyj pulpitu nawigacyjnego odpowiedzialnego używania sztucznej inteligencji na potrzeby wykrywania stronniczych i analizy błędów.
  • Organizowanie przepływów inżynierii monitów i llM oraz zarządzanie nimi.
  • Wdrażanie modeli przy użyciu punktów końcowych interfejsu API REST, czasu rzeczywistego i wnioskowania wsadowego.
  • Usługa Hubs (wersja zapoznawcza) umożliwia udostępnianie zasobów obliczeniowych, limitów przydziału, zabezpieczeń i łączności z zasobami firmy z grupą obszarów roboczych przy jednoczesnym scentralizowaniu ładu dla działu IT. Skonfiguruj koncentrator raz, a następnie utwórz bezpieczne obszary robocze bezpośrednio z poziomu programu Studio dla każdego projektu. Użyj centrów, aby zarządzać pracą zespołu zarówno w programie ML Studio, jak i w programie AI Studio.

Azure AI Studio

Usługa Azure AI Studio została zaprojektowana w celu ułatwienia wydajnego tworzenia i wdrażania niestandardowych aplikacji generacyjnych sztucznej inteligencji dzięki możliwościom szerokiej oferty sztucznej inteligencji platformy Azure:

  • Twórz razem jako jeden zespół. Centrum AI Studio zapewnia zabezpieczenia klasy korporacyjnej oraz środowisko współpracy z udostępnionymi zasobami i połączeniami z wstępnie wytrenowanych modeli, danych i obliczeń.
  • Organizowanie pracy. Projekt AI Studio ułatwia zapisywanie stanu, dzięki czemu można iterować od pierwszego pomysłu do pierwszego prototypu, a następnie najpierw przeprowadzić wdrożenie produkcyjne. Możesz również łatwo zaprosić innych do współpracy w ramach tej podróży.
  • Użyj preferowanej platformy i struktur programistycznych, w tym GitHub, Visual Studio Code, LangChain, Semantic Kernel, AutoGen i nie tylko.
  • Odkryj i przeprowadź test porównawczy z ponad 1600 modeli.
  • Aprowizowanie modeli jako usługi (MaaS) za pomocą bezserwerowych interfejsów API i hostowanego dostrajania.
  • Uwzględnij wiele modeli, źródeł danych i modalności.
  • Tworzenie rozszerzonej generacji pobierania (RAG) przy użyciu chronionych danych przedsiębiorstwa bez konieczności dostrajania.
  • Organizowanie przepływów inżynieryjnych i dużych modeli językowych (LLM) i zarządzanie nimi.
  • Projektowanie i zabezpieczanie aplikacji i interfejsów API przy użyciu konfigurowalnych filtrów i kontrolek.
  • Ocenianie odpowiedzi modelu za pomocą wbudowanych i niestandardowych przepływów oceny.
  • Wdrażanie innowacji w zakresie sztucznej inteligencji w infrastrukturze zarządzanej platformy Azure przy użyciu ciągłego monitorowania i zapewniania ładu w różnych środowiskach.
  • Ciągłe monitorowanie wdrożonych aplikacji pod kątem bezpieczeństwa, jakości i użycia tokenów w środowisku produkcyjnym.|

Aby uzyskać szczegółowe porównanie usług Azure Machine Learning i Azure AI Studio, zobacz Azure Machine Learning vs. Azure AI Studio.

Przepływ monitów w usłudze Azure AI Studio

Przepływ monitów w usłudze Azure AI Studio to narzędzie programistyczne zaprojektowane w celu usprawnienia całego cyklu tworzenia aplikacji sztucznej inteligencji obsługiwanych przez duże modele językowe (LLMs). Przepływ monitów zapewnia kompleksowe rozwiązanie, które upraszcza proces tworzenia prototypów, eksperymentowania, iteracji i wdrażania aplikacji wykorzystujących sztuczną inteligencję.

  • Przepływ monitów to funkcja, która może służyć do generowania, dostosowywania lub uruchamiania przepływu.
  • Przepływ to zestaw instrukcji wykonywalnych, który może implementować logikę sztucznej inteligencji. Przepływy można tworzyć lub uruchamiać za pomocą wielu narzędzi, takich jak wstępnie utworzona kanwa, LangChain itp. Iteracji przepływu można zapisać jako zasoby; po wdrożeniu przepływu staje się interfejsem API. Nie wszystkie przepływy są przepływami monitów; zamiast tego przepływ monitu jest jednym ze sposobów tworzenia przepływu.
  • Monit to pakiet danych wejściowych wysyłanych do modelu, składający się z danych wejściowych użytkownika, komunikatu systemowego i wszystkich przykładów. Dane wejściowe użytkownika to tekst przesłany w oknie czatu. Komunikat systemowy to zestaw instrukcji dotyczących modelu określający zakres jego zachowań i funkcjonalności.
  • Przykładowy przepływ to prosty, wstępnie utworzony przepływ aranżacji, który pokazuje sposób działania przepływów i można go dostosować.
  • Przykładowy monit jest zdefiniowanym monitem dla określonego scenariusza, który można skopiować z biblioteki i używany jako jest lub modyfikowany w projekcie monitu.

Niestandardowe języki kodu sztucznej inteligencji

Podstawową koncepcją sztucznej inteligencji jest użycie algorytmów do analizowania danych i generowania modeli w celu opisania (lub oceny) w sposób przydatny. Algorytmy są pisane przez deweloperów i analityków danych (a czasami przez inne algorytmy) przy użyciu kodu programowania. Dwa z najpopularniejszych języków programowania na potrzeby programowania sztucznej inteligencji to obecnie Python i R.

Język Python to język programowania ogólnego przeznaczenia wysokiego poziomu. Ma prostą, łatwą w nauce składnię, która podkreśla czytelność. Nie ma kroku kompilowania. Język Python ma dużą bibliotekę standardową, ale obsługuje również możliwość dodawania modułów i pakietów. Zachęca to do modułowości i umożliwia rozszerzanie możliwości w razie potrzeby. Istnieje duży i rosnący ekosystem bibliotek sztucznej inteligencji i uczenia maszynowego dla języka Python, w tym wiele, które są łatwo dostępne na platformie Azure.

R to język i środowisko do obliczeń statystycznych i grafiki. Można go używać do wszystkiego, od mapowania szerokich trendów społecznych i marketingowych online na opracowywanie modeli finansowych i klimatycznych.

Firma Microsoft w pełni przyjęła język programowania R i oferuje wiele różnych opcji dla deweloperów języka R do uruchamiania kodu na platformie Azure.

Ogólne informacje na temat niestandardowej sztucznej inteligencji na platformie Azure

Historie klientów

Różne branże stosują sztuczną inteligencję w innowacyjny i inspirujący sposób. Poniżej przedstawiono kilka analiz przypadków klientów i scenariuszy sukcesu:

Przeglądaj więcej historii klientów sztucznej inteligencji

Ogólne informacje na temat sztucznej inteligencji firmy Microsoft

Dowiedz się więcej o sztucznej inteligencji firmy Microsoft i na bieżąco z powiązanymi wiadomościami:

Następne kroki