Udostępnij za pośrednictwem

Projekt architektury sztucznej inteligencji

  • Artykuł

Sztuczna inteligencja to technologia, która umożliwia maszynom naśladować inteligentne zachowanie człowieka. Maszyny mogą używać sztucznej inteligencji do:

  • Analizowanie danych w celu tworzenia obrazów i wideo.
  • Analizowanie i syntezowanie mowy.
  • Interaktuj werbalnie w naturalny sposób.
  • Przewidywanie i generowanie nowych danych.

Możesz dołączyć sztuczną inteligencję do aplikacji w celu wykonywania funkcji lub podejmowania decyzji, których tradycyjna logika lub przetwarzanie nie może skutecznie obsługiwać. Jako architekt, który projektuje rozwiązania, ważne jest zrozumienie krajobrazu sztucznej inteligencji i uczenia maszynowego oraz sposobu integrowania rozwiązań platformy Azure z projektem obciążenia.

Rozpocznij

Centrum architektury platformy Azure udostępnia przykładowe architektury, przewodniki dotyczące architektury, punkty odniesienia architektury i pomysły, które można zastosować do danego scenariusza. Obciążenia obejmujące składniki sztucznej inteligencji i uczenia maszynowego powinny być zgodne z wytycznymi Well-Architected Framework dotyczącymi obciążeń w obszarze sztucznej inteligencji usługi Azure. Te wskazówki obejmują zasady i przewodniki projektowe wpływające na obciążenie sztucznej inteligencji i uczenia maszynowego w pięciu filarach architektury. Te zalecenia należy zaimplementować w scenariuszach i zawartości w Centrum architektury platformy Azure.

Pojęcia dotyczące sztucznej inteligencji

Koncepcje sztucznej inteligencji obejmują szeroką gamę technologii i metodologii, które umożliwiają maszynom wykonywanie zadań, które zwykle wymagają analizy ludzkiej. Poniższe sekcje zawierają omówienie kluczowych pojęć związanych ze sztuczną inteligencją.

Algorytmy

Algorytmy lub algorytmy uczenia maszynowego to fragmenty kodu, które ułatwiają ludziom eksplorowanie, analizowanie i znajdowanie znaczenia w złożonych zestawach danych. Każdy algorytm jest skończonym zestawem jednoznacznych instrukcji krok po kroku, które maszyna może wykonać w celu osiągnięcia określonego celu. Celem modelu uczenia maszynowego jest ustalenie lub odnalezienie wzorców, których ludzie mogą używać do przewidywania lub kategoryzowania informacji. Algorytm może opisać, jak określić, czy zwierzę jest kotem, psem, rybą, ptakem lub jaszczurką. Inny znacznie bardziej skomplikowany algorytm może opisywać sposób identyfikowania napisanego lub mówionego języka, analizowania jego słów, tłumaczenia ich na inny język, a następnie sprawdzania poprawności tłumaczenia.

Wybierz rodzinę algorytmów, która najlepiej odpowiada Twojemu zadaniu. Oceń różne algorytmy w rodzinie, aby znaleźć odpowiednie dopasowanie do obciążenia. Aby uzyskać więcej informacji, zobacz Co to są algorytmy uczenia maszynowego?.

Uczenie maszynowe

Uczenie maszynowe to technika sztucznej inteligencji, która używa algorytmów do tworzenia modeli predykcyjnych. Te algorytmy analizują pola danych i "uczą się" na podstawie wzorców w danych w celu generowania modeli. Modele mogą następnie podejmować świadome przewidywania lub decyzje na podstawie nowych danych.

Modele predykcyjne są weryfikowane pod kątem znanych danych, mierzone według metryk wydajności dla określonych scenariuszy biznesowych, a następnie dostosowane zgodnie z potrzebami. Ten proces uczenia się i walidacji jest nazywany szkoleniem. W ramach okresowego ponownego trenowania modele uczenia maszynowego poprawiają się w czasie.

W projekcie obciążenia możesz użyć uczenia maszynowego, jeśli scenariusz zawiera wcześniejsze obserwacje, których można niezawodnie użyć do przewidywania przyszłych sytuacji. Obserwacje te mogą być uniwersalnymi prawdami, takimi jak przetwarzanie obrazów, które wykrywa jedną formę zwierzęcia z innego. Lub te obserwacje mogą być specyficzne dla Twojej sytuacji, takie jak przetwarzanie obrazów, które wykrywa potencjalny błąd montażu na liniach montażowych na podstawie przeszłych danych oświadczeń gwarancji.

Aby uzyskać więcej informacji, zobacz Co to jest uczenie maszynowe?.

Uczenie głębokie

uczenie głębokie to typ uczenia maszynowego, który może uczyć się za pomocą własnego przetwarzania danych. Podobnie jak uczenie maszynowe, używa również algorytmów do analizowania danych. Analizuje jednak dane za pośrednictwem sztucznych sieci neuronowych, które zawierają wiele danych wejściowych, wyjściowych i warstw przetwarzania. Każda warstwa może przetwarzać dane w inny sposób. Dane wyjściowe jednej warstwy stają się danymi wejściowymi dla następnej. Ten proces umożliwia tworzenie bardziej złożonych modeli za pomocą uczenia głębokiego niż tradycyjne uczenie maszynowe.

Uczenie głębokie wymaga dużej inwestycji w generowanie wysoce dostosowanych lub eksploracyjnych modeli. Zanim dodasz uczenie głębokie do swojego obciążenia, możesz najpierw rozważyć inne rozwiązania opisane w tym artykule.

Aby uzyskać więcej informacji, zobacz Co to jest uczenie głębokie?.

Generatywna sztuczna inteligencja

Generatywna sztuczna inteligencja trenuje modele w celu generowania oryginalnych treści na podstawie wielu form zawartości, takich jak język naturalny, widzenie komputerowe, dźwięk lub obrazy. Dzięki generowaniu sztucznej inteligencji można opisać żądane dane wyjściowe w codziennym języku, a model może reagować, tworząc odpowiedni tekst, obraz i kod. Przykłady generacyjnych aplikacji sztucznej inteligencji to Microsoft Copilot i Azure OpenAI Service.

  • copilot jest przede wszystkim interfejsem użytkownika, który ułatwia pisanie kodu, dokumentów i innej zawartości opartej na tekście. Jest ona oparta na popularnych modelach OpenAI i jest zintegrowana z szeroką gamą aplikacji i środowisk użytkownika firmy Microsoft.

  • Azure OpenAI to platforma jako usługa, która zapewnia dostęp do zaawansowanych modeli językowych OpenAI, takich jak o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo with Vision, GPT-4, GPT-3.5-Turbo i seria modeli Embeddings. Te modele można dostosować do określonych zadań, takich jak:

    • Generowanie zawartości.
    • Podsumowanie zawartości.
    • Zrozumienie obrazu.
    • Wyszukiwanie semantyczne.
    • Język naturalny do tłumaczenia kodu.

Modele językowe

Modele językowe to podzbiór generatywnej sztucznej inteligencji, który koncentruje się na zadaniach przetwarzania języka naturalnego, takich jak generowanie tekstu i analiza sentymentu. Te modele reprezentują język naturalny na podstawie prawdopodobieństwa słów lub sekwencji wyrazów występujących w danym kontekście.

Konwencjonalne modele językowe są używane w ustawieniach nadzorowanych do celów badawczych, w których modele są trenowane na dobrze oznaczonych zestawach danych tekstowych dla określonych zadań. Wstępnie wytrenowane modele językowe oferują dostępny sposób na rozpoczęcie pracy ze sztuczną inteligencją. Są one częściej używane w ostatnich latach. Te modele są szkolone na dużych zbiorach tekstowych z Internetu przez sieci neuronowe uczenia głębokiego. Można je dostosować do mniejszych zestawów danych pod kątem określonych zadań.

Liczba parametrów lub wag określa rozmiar modelu językowego. Parametry wpływają na sposób przetwarzania danych wejściowych przez model i generowania danych wyjściowych. Podczas trenowania model dostosowuje wagi, aby zminimalizować różnicę między przewidywaniami a rzeczywistymi danymi. W ten sposób model uczy się parametrów. Im więcej parametrów ma model, tym bardziej złożony i wyrazisty jest. Jednak trenowanie i korzystanie z nich jest również droższe pod względem obliczeniowym.

Ogólnie rzecz biorąc, małe modele językowe mają zazwyczaj mniej niż 10 miliardów parametrów, a duże modele językowe mają ponad 10 miliardów parametrów. Na przykład rodzina modeli Firmy Microsoft Phi-3 ma trzy wersje:

  • 3,8 miliarda parametrów w Mini
  • Małe, 7 miliardów parametrów
  • Średnie, 14 miliardów parametrów

Aby uzyskać więcej informacji, zobacz Katalog modeli językowych.

Kopiloci

Dostępność modeli językowych doprowadziła do powstania nowych sposobów interakcji z aplikacjami i systemami za pośrednictwem cyfrowych copilots i połączonych agentów specyficznych dla domeny. Copilots są generacyjnymi asystentami sztucznej inteligencji, które integrują się z aplikacjami, często jako interfejsy rozmów. Zapewniają one kontekstową obsługę typowych zadań w tych aplikacjach.

microsoft Copilot integruje się z szeroką gamą aplikacji i środowisk użytkownika firmy Microsoft. Jest ona oparta na otwartej architekturze, w której deweloperzy niebędący firmą Microsoft mogą tworzyć własne wtyczki, aby rozszerzyć lub dostosować środowisko użytkownika za pomocą platformy Copilot. Partnerzy-developerzy mogą również tworzyć własnych asystentów AI przy użyciu tej samej otwartej architektury.

Aby uzyskać więcej informacji, zobacz następujące zasoby:

Pobieranie rozszerzonej generacji

Retrieval Augmented Generation (RAG) to wzorzec architektury, który rozszerza możliwości dużego modelu językowego (LLM), na przykład ChatGPT, który jest trenowany tylko na danych publicznych. Tego wzorca można użyć do dodania systemu pobierania, który udostępnia odpowiednie dane podstawowe w kontekście wraz z żądaniem użytkownika. System pobierania informacji zapewnia kontrolę nad danymi uziemienia używanymi przez model językowy podczas formułowania odpowiedzi. Architektura RAG pomaga określić zakres użycia generatywnej sztucznej inteligencji na zawartość pochodzącą z wektoryzowanych dokumentów, obrazów i innych formatów danych. Funkcja RAG nie jest ograniczona do przechowywania wyszukiwań wektorowych. Możesz użyć dowolnej technologii magazynu danych.

Aby uzyskać więcej informacji, zobacz Zaprojektuj i opracuj rozwiązanie RAG i Wybierz usługę Azure do wyszukiwania wektorowego.

Usługi sztucznej inteligencji platformy Azure

Dzięki usługom Azure AIdeweloperzy i organizacje mogą używać gotowych, wstępnie utworzonych i dostosowywalnych interfejsów API oraz modeli do tworzenia inteligentnych, gotowych na rynek i odpowiedzialnych aplikacji. Przypadki użycia obejmują przetwarzanie języka naturalnego na potrzeby konwersacji, wyszukiwania, monitorowania, tłumaczenia, mowy, przetwarzania obrazów i podejmowania decyzji.

Aby uzyskać więcej informacji, zobacz następujące zasoby:

Modele języków sztucznej inteligencji

LLMs, takich jak modele GPT OpenAI, to zaawansowane narzędzia, które mogą generować teksty w języku naturalnym w różnych domenach i zadaniach. Aby wybrać model, rozważ czynniki, takie jak prywatność danych, etyczne użycie, dokładność i stronniczość.

Otwarte modele Phi to małe, mniej intensywnie korzystające z obliczeń modele służące do generowania rozwiązań sztucznej inteligencji. Mały model językowy może być bardziej wydajny, czytelny i objaśnialny niż LLM.

Podczas projektowania obciążenia można używać modeli językowych jako rozwiązania hostowanego za mierzonym interfejsem API. Alternatywnie, dla wielu małych modeli językowych, można hostować modele językowe w procesie lub przynajmniej na tej samej infrastrukturze, co użytkownik. Jeśli używasz modeli językowych w rozwiązaniu, rozważ wybór modelu językowego i dostępnych opcji hostingu, aby zapewnić zoptymalizowane rozwiązanie dla danego przypadku użycia.

Platformy i narzędzia programistyczne sztucznej inteligencji

Poniższe platformy i narzędzia programistyczne sztucznej inteligencji mogą pomóc w tworzeniu, wdrażaniu i zarządzaniu modelami uczenia maszynowego i sztucznej inteligencji.

Azure Machine Learning

Azure Machine Learning to usługa uczenia maszynowego, za pomocą której można tworzyć i wdrażać modele. Usługa Machine Learning oferuje interfejsy internetowe i zestawy SDK umożliwiające trenowanie i wdrażanie modeli i potoków uczenia maszynowego na dużą skalę. Korzystaj z tych możliwości za pośrednictwem platform typu open source języka Python, takich jak PyTorch, TensorFlow i scikit-learn.

Aby uzyskać więcej informacji, zobacz następujące zasoby:

Architektury referencyjne uczenia maszynowego dla platformy Azure

Zautomatyzowane uczenie maszynowe

Zautomatyzowane uczenie maszynowe (AutoML) to proces automatyzowania czasochłonnych, iteracyjnych zadań tworzenia modelu uczenia maszynowego. Analitycy danych, analitycy i deweloperzy mogą używać rozwiązania AutoML do tworzenia modeli uczenia maszynowego, które mają wysoką skalę, wydajność i produktywność przy jednoczesnym utrzymaniu jakości modelu.

Aby uzyskać więcej informacji, zobacz następujące zasoby:

MLflow

Obszary robocze usługi Machine Learning są zgodne z platformą MLflow, co oznacza, że można użyć obszaru roboczego usługi Machine Learning w taki sam sposób, w jaki używasz serwera MLflow. Ta zgodność zapewnia następujące korzyści:

  • Usługa Machine Learning nie hostuje wystąpień serwera MLflow, ale może bezpośrednio używać interfejsów API platformy MLflow.
  • Obszar roboczy usługi Machine Learning można użyć jako serwera śledzenia dla dowolnego kodu MLflow, niezależnie od tego, czy działa on w usłudze Machine Learning. Należy skonfigurować rozwiązanie MLflow, aby wskazywał obszar roboczy, w którym powinno nastąpić śledzenie.
  • Możesz uruchamiać procedury szkoleniowe korzystające z biblioteki MLflow w usłudze Machine Learning bez wprowadzania żadnych zmian.

Aby uzyskać więcej informacji, zobacz MLflow and Machine Learning i MLflow.

Narzędzia generowania sztucznej inteligencji

  • Przepływ zleceń to zestaw narzędzi programistycznych, które można użyć do usprawnienia kompleksowego cyklu tworzenia aplikacji generacyjnych sztucznej inteligencji, od fazy pomysłów, poprzez tworzenie prototypów, testowanie i ocenę, aż do wdrożenia do produkcji i monitorowania. Obsługuje inżynierię promptów poprzez wyrażanie działań w modularym silniku orkiestracji i przepływu.

  • Azure AI Foundry umożliwia eksperymentowanie, opracowywanie i wdrażanie aplikacji i interfejsów API generatywnej sztucznej inteligencji za pomocą kompleksowej platformy. Portal Azure AI Foundry zapewnia dostęp do usług sztucznej inteligencji platformy Azure, modeli podstawowych, placu zabaw i zasobów, które ułatwiają tworzenie, trenowanie, dostosowywanie i wdrażanie modeli sztucznej inteligencji. Możesz również ocenić odpowiedzi modelu i koordynować komponenty aplikacji związane z monitami, używając przepływu monitów w celu uzyskania lepszej wydajności.

  • Copilot Studio rozszerza Copilot w Microsoft 365. Program Copilot Studio umożliwia tworzenie niestandardowych copilots dla scenariuszy wewnętrznych i zewnętrznych. Użyj kompleksowej kanwy tworzenia, aby zaprojektować, przetestować i opublikować pomocników. Możesz łatwo tworzyć generacyjne konwersacje z obsługą sztucznej inteligencji, zapewniać większą kontrolę nad odpowiedziami dla istniejących copilotów i przyspieszać produktywność przy użyciu zautomatyzowanych przepływów pracy.

Platformy danych dla sztucznej inteligencji

Poniższe platformy oferują kompleksowe rozwiązania do przenoszenia, przetwarzania, pozyskiwania, przekształcania, analizy w czasie rzeczywistym i raportowania.

Microsoft Fabric

Microsoft Fabric to kompleksowa platforma do analizy i danych dla przedsiębiorstw, które wymagają ujednoliconego rozwiązania. Zespoły ds. obciążeń mogą udzielać dostępu do danych w usłudze Fabric. Platforma obejmuje transfer, przetwarzanie, integrację, przekształcanie, routing zdarzeń w czasie rzeczywistym i tworzenie raportów. Oferuje ona kompleksowy pakiet usług, w tym fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Real-Time Intelligence, Fabric Data Warehouse i Fabric Databases.

Platforma integruje oddzielne składniki w spójną strukturę. Zamiast polegać na różnych bazach danych lub magazynach danych, możesz scentralizować magazyn danych za pomocą usługi OneLake. Funkcje sztucznej inteligencji są osadzone w sieci szkieletowej, co eliminuje konieczność ręcznej integracji.

Aby uzyskać więcej informacji, zobacz następujące zasoby:

Copilots w sieci szkieletowej

Możesz użyć funkcji Copilot i innych funkcji generacyjnych sztucznej inteligencji do przekształcania i analizowania danych, generowania szczegółowych informacji oraz tworzenia wizualizacji i raportów w usłudze Fabric i Power BI. Możesz utworzyć własny copilot lub wybrać jeden z następujących wstępnie utworzonych copilots:

Kompetencje sztucznej inteligencji w usłudze Fabric

Możesz użyć funkcji umiejętności AI Fabric, aby skonfigurować system generatywnej sztucznej inteligencji do tworzenia zapytań odpowiadających na pytania dotyczące twoich danych. Po skonfigurowaniu umiejętności sztucznej inteligencji możesz udostępnić ją współpracownikom, którzy mogą następnie zadawać pytania w prostym języku. Na podstawie ich pytań sztuczna inteligencja generuje zapytania dotyczące danych, które odpowiadają na te pytania.

Aby uzyskać więcej informacji, zobacz następujące zasoby:

Platformy danych oparte na platformie Apache Spark dla sztucznej inteligencji

Apache Spark to platforma przetwarzania równoległego, która obsługuje przetwarzanie w pamięci w celu zwiększania wydajności aplikacji do analizy danych big data. Platforma Spark udostępnia podstawowe bloki konstrukcyjne do przetwarzania w klastrze w pamięci. Zadanie platformy Spark może ładować i buforować dane do pamięci i wykonywać zapytania wielokrotnie, co jest szybsze niż aplikacje oparte na dyskach, takie jak Hadoop.

Platforma Apache Spark w usłudze Microsoft Fabric

Środowisko uruchomieniowe Fabric to zintegrowana z Azure platforma oparta na Apache Spark, która umożliwia wdrażanie i zarządzanie środowiskami inżynierii danych i nauki o danych. Środowisko uruchomieniowe Fabric łączy kluczowe składniki z źródeł wewnętrznych i open-source, zapewniając kompleksowe rozwiązanie.

Środowisko wykonawcze Fabric ma następujące kluczowe składniki:

  • apache Spark to zaawansowana rozproszona biblioteka obliczeniowa typu open source, która umożliwia przetwarzanie i analizowanie danych na dużą skalę. Platforma Apache Spark udostępnia wszechstronną i wysokowydajną platformę do inżynierii danych i środowiska nauki o danych.

  • Delta Lake to warstwa magazynu typu open source, która integruje niepodzielność, spójność, izolację i trwałość transakcji (ACID) oraz inne funkcje niezawodności danych z platformą Apache Spark. Zintegrowane w środowisku uruchomieniowym Fabric, Delta Lake zwiększa możliwości przetwarzania danych i pomaga zapewnić spójność danych w wielu współbieżnych operacjach.

  • pakiety na poziomie domyślnym dla języków Java, Scala, Python i R to pakiety obsługujące różne języki programowania i środowiska. Te pakiety są instalowane i konfigurowane automatycznie, dzięki czemu deweloperzy mogą stosować preferowane języki programowania do zadań przetwarzania danych.

Środowisko uruchomieniowe Fabric jest oparte na niezawodnym systemie operacyjnym otwartoźródłowym, aby zapewnić zgodność z różnymi konfiguracjami sprzętowymi i wymaganiami systemowymi.

Aby uzyskać więcej informacji, zobacz środowiska uruchomieniowe platformy Apache Spark w usłudze Fabric.

Środowisko uruchomieniowe usługi Azure Databricks na potrzeby uczenia maszynowego

usługi Azure Databricks to platforma analityczna oparta na platformie Apache Spark, która ma konfigurację jednym kliknięciem, usprawnione przepływy pracy i interaktywny obszar roboczy do współpracy między analitykami danych, inżynierami i analitykami biznesowymi.

Możesz użyć Databricks Runtime for Machine Learning, aby uruchomić klaster usługi Databricks ze wszystkimi bibliotekami wymaganymi do trenowania rozproszonego. Ta funkcja zapewnia środowisko uczenia maszynowego i nauki o danych. Zawiera wiele popularnych bibliotek, w tym TensorFlow, PyTorch, Keras i XGBoost. Obsługuje również trenowanie rozproszone za pośrednictwem Horovod.

Aby uzyskać więcej informacji, zobacz następujące zasoby:

Platforma Apache Spark w usłudze Azure HDInsight

Platforma Apache Spark w usłudze Azure HDInsight to implementacja platformy Apache Spark w chmurze firmy Microsoft. Klastry Spark w usłudze HDInsight są zgodne z usługami Azure Storage i Azure Data Lake Storage, dzięki czemu można używać klastrów Spark usługi HDInsight do przetwarzania danych przechowywanych na platformie Azure.

SynapseML, dawniej znany jako MMLSpark, to biblioteka uczenia maszynowego Microsoftu przeznaczona dla Apache Spark. Ta biblioteka typu open source dodaje wiele narzędzi do uczenia głębokiego i nauki o danych, możliwości sieci i wydajności klasy produkcyjnej do ekosystemu platformy Spark.

Aby uzyskać więcej informacji, zobacz następujące zasoby:

Magazyn danych dla sztucznej inteligencji

Poniższe platformy umożliwiają efektywne przechowywanie, uzyskiwanie dostępu i analizowanie dużych ilości danych.

Sieć szkieletowa OneLake

OneLake w usłudze Fabric to ujednolicone i logiczne jezioro danych, które można dostosować do potrzeb całej organizacji. Pełni ona rolę centralnego centrum dla wszystkich danych analitycznych i jest dołączana do każdej dzierżawy usługi Fabric. Usługa OneLake w usłudze Fabric jest oparta na podstawach usługi Data Lake Storage.

OneLake w sieci szkieletowej:

  • Obsługuje typy plików ze strukturą i bez struktury.
  • Przechowuje wszystkie dane tabelaryczne w formacie Delta-Parquet.
  • Udostępnia pojedyncze jezioro danych w granicach dzierżawy, które jest zarządzane domyślnie.
  • Obsługuje tworzenie obszarów roboczych u klienta, aby organizacja mogła przekazywać własność i zasady dostępu.
  • Obsługuje tworzenie różnych elementów danych, takich jak lakehouse'y i magazyny, które umożliwiają dostęp do danych.

Aby uzyskać więcej informacji, zobacz OneLake, OneDrive dla danych.

Data Lake Storage

Usługa Data Lake Storage to jedno scentralizowane repozytorium, w którym można przechowywać dane ustrukturyzowane i nieustrukturyzowane. Usługa Data Lake umożliwia szybkie i łatwe przechowywanie, uzyskiwanie dostępu i analizowanie szerokiej gamy danych w jednej lokalizacji. Nie musisz dostosowywać danych do istniejącej struktury. Zamiast tego można przechowywać dane w formacie nieprzetworzonym lub natywnym, zwykle jako pliki lub jako duże obiekty binarne, tzw. bloby.

Usługa Data Lake Storage zapewnia semantykę systemu plików, bezpieczeństwo na poziomie plików i skalowanie. Ponieważ te możliwości są oparte na usłudze Azure Blob Storage, uzyskujesz również niski koszt magazynu warstwowego z wysoką dostępnością i możliwościami odzyskiwania po awarii.

Usługa Data Lake Storage używa infrastruktury usługi Azure Storage do utworzenia podstaw do tworzenia magazynów danych przedsiębiorstwa na platformie Azure. Usługa Data Lake Storage może obsługiwać wiele petabajtów informacji, jednocześnie utrzymując setki gigabitów przepływności, dzięki czemu można zarządzać ogromnymi ilościami danych.

Aby uzyskać więcej informacji, zobacz następujące zasoby:

Przetwarzanie danych dla sztucznej inteligencji

Poniższe narzędzia umożliwiają przygotowanie danych do uczenia maszynowego i aplikacji sztucznej inteligencji. Upewnij się, że dane są czyste i ustrukturyzowane, aby można było ich używać do zaawansowanej analizy.

Fabryka danych Fabric

Za pomocą usługi Fabric Data Factory można pozyskiwać, przygotowywać i przekształcać dane z wielu źródeł danych, takich jak bazy danych, magazyny danych, magazyny typu lakehouse i strumienie danych w czasie rzeczywistym. Ta usługa może pomóc spełnić wymagania dotyczące operacji danych podczas projektowania obciążeń.

Usługa Fabric Data Factory obsługuje rozwiązania kodu i rozwiązania bez kodu ani rozwiązań z małą ilością kodu:

  • Użyj potoków danych, aby tworzyć funkcje przepływu pracy w skali chmury. Użyj interfejsu przeciągania i upuszczania, aby tworzyć przepływy pracy, które mogą odświeżać przepływ danych, przenosić dane o rozmiarze petabajtów i definiować potoki przepływu sterowania.

  • Użyj przepływów danych jako interfejsu low-code, aby pozyskiwać dane z setek źródeł i przekształcać je za pomocą ponad 300 transformacji danych.

Aby uzyskać więcej informacji, zobacz Scenariusz kompleksowej usługi Data Factory: Wprowadzenie i architektura.

Azure Databricks

Platformę analizy danych usługi Databricks można użyć do pisania kodu w celu utworzenia przepływu pracy uczenia maszynowego przy użyciu inżynierii cech. inżynierii cech to proces przekształcania danych pierwotnych w funkcje, których można użyć do trenowania modeli uczenia maszynowego. Platforma Inteligencji Danych Databricks zawiera kluczowe funkcje, które wspierają inżynierię cech.

  • Potoki danych pochłaniają dane pierwotne, tworzą tabele cech, trenują modele i wykonują wnioskowanie wsadowe. Podczas korzystania z inżynierii cech w Unity Catalog do trenowania i rejestrowania modelu, model jest spakowany z metadanymi cech. Gdy używasz modelu do oceniania wsadowego lub wnioskowania online, automatycznie pobiera wartości cech. Dzwoniący nie musi wiedzieć o wartościach ani uwzględniać logiki, aby wyszukać lub zestawić cechy do oceny nowych danych.

  • Punkty końcowe obsługujące modele i funkcje są natychmiast dostępne i zapewniają opóźnienie liczone w milisekundach.

  • Monitorowanie pomaga zapewnić wydajność i dokładność danych oraz modeli.

Możesz również użyć Mosaic AI Vector Search do przechowywania i pobierania reprezentacji. Osadzanie ma kluczowe znaczenie dla aplikacji wymagających wyszukiwania podobieństw, takich jak RAG, systemy rekomendacji i rozpoznawanie obrazów.

Aby uzyskać więcej informacji, zobacz Azure Databricks: Obsługa danych na potrzeby uczenia maszynowego i sztucznej inteligencji.

Łączniki danych dla sztucznej inteligencji

Potoki usług Azure Data Factory i Azure Synapse Analytics obsługują wiele magazynów danych i formatów za pośrednictwem kopiowania, przepływu danych, wyszukiwania, pobierania metadanych i usuwania działań. Aby wyświetlić dostępne łączniki magazynu danych, obsługiwane funkcje, w tym odpowiadające konfiguracje, oraz ogólne opcje łączności Open Database Connectivity, zobacz Azure Data Factory i Azure Synapse Analytics connector overview.

Niestandardowa sztuczna inteligencja

Niestandardowe rozwiązania sztucznej inteligencji pomagają sprostać konkretnym potrzebom biznesowym i wyzwaniom. Poniższe sekcje zawierają omówienie różnych narzędzi i usług, których można użyć do tworzenia niestandardowych modeli sztucznej inteligencji i zarządzania nimi.

Azure Machine Learning

Azure Machine Learning to usługa w chmurze służąca do przyspieszania cyklu życia projektu uczenia maszynowego i zarządzania nim. Specjaliści ds. uczenia maszynowego, analitycy danych i inżynierowie mogą używać tej usługi w codziennych przepływach pracy do trenowania i wdrażania modeli oraz zarządzania operacjami uczenia maszynowego.

Usługa Machine Learning oferuje następujące możliwości:

  • Wybór algorytmu: Niektóre algorytmy tworzą konkretne założenia dotyczące struktury danych lub pożądanych wyników. Wybierz algorytm pasujący do Twoich potrzeb, aby uzyskać bardziej przydatne wyniki, dokładniejsze przewidywania i szybsze czasy trenowania. Aby uzyskać więcej informacji, zobacz How to select algorithms for Machine Learning.

  • dostrajanie lub optymalizacja hiperparametrów: Ten proces ręczny służy do znajdowania konfiguracji hiperparametrów, które zapewniają najlepszą wydajność. Ta optymalizacja wiąże się ze znacznymi kosztami obliczeniowymi. Hiperparametry są regulowanymi parametrami, które zapewniają kontrolę w procesie trenowania modelu. Można na przykład wybrać liczbę ukrytych warstw i liczbę węzłów w każdej warstwie sieci neuronowych. Wydajność modelu zależy w dużym stopniu od hiperparametrów.

    Usługa Machine Learning umożliwia automatyzowanie dostrajania hiperparametrów i równoległego uruchamiania eksperymentów w celu wydajnego optymalizowania hiperparametrów.

    Aby uzyskać więcej informacji, zobacz następujące zasoby:

  • Trenowanie modelu: Można iteracyjnie używać algorytmu do tworzenia lub uczenia modeli. Po wytrenowanym modelu można ich używać do analizowania danych i tworzenia przewidywań.

    W fazie trenowania:

    1. Zestaw jakości znanych danych jest oznaczany tak, aby możliwe było zidentyfikowanie poszczególnych pól.

    2. Algorytm skonfigurowany do tworzenia określonego przewidywania odbiera oznakowane dane.

    3. Algorytm generuje model, który przechwytuje wzorce zidentyfikowane w danych. Model używa zestawu parametrów do reprezentowania tych wzorców.

    Podczas walidacji:

    1. Nowe dane są oznaczane i używane do testowania modelu.

    2. Algorytm jest dostosowywany w miarę potrzeb i, jeśli to konieczne, wykonuje więcej szkolenia.

    3. Faza testowania używa danych rzeczywistych bez żadnych tagów ani wstępnie wybranych celów. Jeśli wyniki modelu są dokładne, jest gotowy do użycia i można go wdrożyć.

    Aby uzyskać więcej informacji, zobacz następujące zasoby:

  • AutoML: Ten proces automatyzuje czasochłonne, iteracyjne zadania tworzenia modelu uczenia maszynowego. Może znacznie skrócić czas potrzebny na tworzenie modeli uczenia maszynowego gotowych do produkcji. Rozwiązanie AutoML może pomóc w wyborze modelu, dostrajaniu hiperparametrów, trenowanie modelu i innych zadaniach bez konieczności obszernego programowania lub wiedzy na temat domeny.

    Możesz użyć rozwiązania AutoML, jeśli chcesz, aby uczenie maszynowe używało określonej metryki docelowej do trenowania i dostrajania modelu. Nie potrzebujesz wiedzy z zakresu nauki o danych, aby zidentyfikować kompleksowy przepływ uczenia maszynowego dla rozwiązywania problemów.

    Specjaliści i deweloperzy uczenia maszynowego w różnych branżach mogą używać rozwiązania AutoML do:

    • Implementowanie rozwiązań uczenia maszynowego bez obszernej wiedzy na temat programowania lub uczenia maszynowego.
    • Oszczędzaj czas i zasoby.
    • Stosowanie najlepszych rozwiązań dotyczących nauki o danych.
    • Zapewnianie elastycznego rozwiązywania problemów.

    Aby uzyskać więcej informacji, zobacz Co to jest rozwiązanie AutoML?.

  • Ocenianie: Ten proces, nazywany również przewidywaniem, wykorzystuje wytrenowany model uczenia maszynowego do generowania wartości na podstawie nowych danych wejściowych. Wartości lub wyniki mogą reprezentować przewidywania przyszłych wartości, ale mogą również reprezentować prawdopodobną kategorię lub wynik.

    Aby uzyskać więcej informacji, zobacz następujące zasoby:

  • Tworzenie cech i featuryzacja: Dane szkoleniowe składają się z wierszy i kolumn. Każdy wiersz jest obserwacją lub rekordem, a kolumny każdego wiersza to funkcje opisujące każdy rekord. Zazwyczaj funkcje, które najlepiej scharakteryzują wzorce w danych, są wybierane do tworzenia modeli predykcyjnych.

Chociaż można użyć wielu nieprzetworzonych pól danych do wytrenowania modelu, może być konieczne utworzenie innych zaprojektowanych funkcji, które dostarczają informacji w celu lepszego odróżnienia wzorców w danych. Ten proces jest nazywany inżynierią cech, w której używasz wiedzy o domenie danych do tworzenia funkcji, które pomagają algorytmom uczenia maszynowego uczyć się lepiej.

W usłudze Machine Learning stosowane są techniki skalowania danych i normalizacji w celu ułatwienia inżynierii cech. Łącznie te techniki i inżynieria cech są nazywane featuryzacją w eksperymentach AutoML. Aby uzyskać więcej informacji, zobacz Cechowanie danych w zautomatyzowanym uczeniu maszynowym.

Azure OpenAI

W usłudze Azure OpenAI możesz użyć procesu znanego jako fine-tuning, aby dostosować modele OpenAI do osobistych zestawów danych. Ten krok dostosowywania optymalizuje usługę, zapewniając:

  • Wyniki o wyższej jakości w porównaniu do zastosowania tylko inżynierii promptów .
  • Możliwość trenowania na większej liczbie przykładów niż zwykle pozwala maksymalny limit kontekstu żądania modelu.
  • Oszczędność tokenów dzięki krótszym komunikatom.
  • Żądania o mniejsze opóźnienia, szczególnie w przypadku korzystania z mniejszych modeli.

Aby uzyskać więcej informacji, zobacz następujące zasoby:

Usługi azure AI dla niestandardowej sztucznej inteligencji

usługi Azure AI udostępniają funkcje do tworzenia niestandardowych modeli i aplikacji sztucznej inteligencji. Poniższe sekcje zawierają omówienie tych kluczowych funkcji.

Mowa niestandardowa

Mowa niestandardowa to funkcja usługi mowy Azure AI. Możesz użyć niestandardowej mowy, aby ocenić i poprawić dokładność rozpoznawania mowy dla aplikacji i produktów. Użyj niestandardowego modelu mowy do przekształcania mowy w czasie rzeczywistym na tekst, translacji mowy i transkrypcji wsadowej.

Domyślnie rozpoznawanie mowy używa modelu języka uniwersalnego jako modelu podstawowego. Ten model jest trenowany przy użyciu danych należących do firmy Microsoft i odzwierciedla powszechnie używany język mówiony. Model podstawowy jest wstępnie trenowany z dialektami i fonetykami reprezentującymi różne wspólne domeny. Podczas tworzenia żądania rozpoznawania mowy najnowszy model podstawowy dla obsługiwanego języka jest używany domyślnie. Model podstawowy działa dobrze w większości scenariuszy rozpoznawania mowy.

Do rozszerzania modelu podstawowego można użyć modelu niestandardowego. Można na przykład poprawić rozpoznawanie słownictwa specyficznego dla domeny, które jest specyficzne dla aplikacji, dostarczając dane tekstowe do trenowania modelu. Można również poprawić rozpoznawanie określonych warunków dźwiękowych aplikacji, dostarczając dane audio, w tym transkrypcje referencyjne.

Jeśli dane są zgodne ze wzorcem, możesz użyć tekstu strukturalnego do wytrenowania modelu. Możesz określić niestandardową wymowę i dostosować formatowanie tekstu wyświetlanego za pomocą niestandardowej normalizacji tekstu odwrotnego, niestandardowego ponownego zapisywania i niestandardowego filtrowania wulgaryzmów.

Niestandardowy tłumacz

Custom Translator to funkcja usługi Azure AI Translator. Przedsiębiorstwa, deweloperzy aplikacji i dostawcy usług językowych mogą używać niestandardowego translatora do tworzenia dostosowanych systemów neuronowego tłumaczenia maszynowego (NMT). Dostosowane systemy tłumaczenia bezproblemowo integrują się z istniejącymi aplikacjami, przepływami pracy i witrynami internetowymi.

Tej funkcji można używać do tworzenia i publikowania niestandardowych systemów tłumaczenia do i z języka angielskiego. Niestandardowy tłumacz obsługuje ponad trzy tuziny języków, które bezpośrednio mapują na języki NMT. Aby uzyskać pełną listę języków, zobacz obsługa językowa Translatora.

Translator niestandardowy oferuje następujące funkcje.

Funkcja opis
zastosowanie technologii NMT Zastosuj protokół NMT z translatora niestandardowego, aby ulepszyć tłumaczenie.
Tworzenie systemów, które znają terminologię biznesową Dostosuj i buduj systemy tłumaczeniowe, używając dokumentów równoległych, które rozumieją terminologię w Twojej firmie i branży.
Używanie słownika do tworzenia modeli Trenowanie modelu przy użyciu tylko danych słownika, jeśli nie masz zestawu danych szkoleniowych.
Współpraca z innymi Współpracuj z zespołem, udostępniając swoją pracę różnym osobom.
Uzyskaj dostęp do niestandardowego modelu tłumaczenia Uzyskaj dostęp do niestandardowego modelu tłumaczenia w dowolnym momencie przy użyciu istniejących aplikacji lub programów za pośrednictwem interfejsu API tłumaczenia tekstu w usłudze Microsoft Translator w wersji 3.

Niestandardowe modele analizy dokumentów usługi Azure AI

Usługa Azure AI Document Intelligence używa zaawansowanej technologii uczenia maszynowego do identyfikowania dokumentów, wykrywania i wyodrębniania informacji z formularzy i dokumentów oraz zwracania wyodrębnionych danych w danych wyjściowych ze strukturą JSON. Wykorzystaj Inteligencję Dokumentową, aby skorzystać ze wstępnie zbudowanych lub wstępnie wytrenowanych modeli analizy dokumentów albo trenowanych autonomicznych modeli niestandardowych.

Spersonalizowane modele Inteligencji Dokumentów obejmują dostosowane modele klasyfikacji dla sytuacji, w których należy zidentyfikować typ dokumentu przed wywołaniem modelu wyodrębniania. Model klasyfikacji można sparować z niestandardowym modelem wyodrębniania, aby analizować i wyodrębniać pola z formularzy i dokumentów specyficznych dla Twojej firmy. Połącz samodzielne niestandardowe modele wyodrębniania, aby utworzyć modele skomponowane .

Niestandardowe narzędzia sztucznej inteligencji

Wstępnie utworzone modele sztucznej inteligencji są przydatne i coraz bardziej elastyczne, ale najlepszym sposobem optymalizacji sztucznej inteligencji jest dostosowanie modelu do konkretnych potrzeb. Dwa podstawowe narzędzia do tworzenia niestandardowych modeli sztucznej inteligencji to generowanie sztucznej inteligencji i tradycyjnego uczenia maszynowego.

Azure Machine Learning Studio

azure Machine Learning Studio to usługa w chmurze służąca do przyspieszania cyklu życia projektu uczenia maszynowego i zarządzania nim. Specjaliści ds. uczenia maszynowego, analitycy danych i inżynierowie mogą używać ich w codziennych przepływach pracy do trenowania i wdrażania modeli oraz zarządzania operacjami uczenia maszynowego.

  • Twórz i trenuj modele uczenia maszynowego przy użyciu dowolnego typu zasobów obliczeniowych, w tym platformy Spark i procesorów GPU na potrzeby dużych obciążeń sztucznej inteligencji w skali chmury.

  • Uruchom AutoML i użyj interfejsu typu przeciągnij i upuść do niskokodowego uczenia maszynowego.

  • Zaimplementuj kompleksowe operacje uczenia maszynowego i powtarzalne potoki.

  • Użyj pulpitu nawigacyjnego odpowiedzialnej sztucznej inteligencji do wykrywania stronniczości i analizy błędów.

  • Organizowanie i zarządzanie przepływami inżynierii promptów i LLM.

  • Wdrażanie modeli za pomocą punktów końcowych interfejsu API REST, wnioskowania w czasie rzeczywistym i wnioskowania wsadowego.

  • Obszary robocze hubu umożliwiają udostępnianie zasobów obliczeniowych, limitów przydziału, zabezpieczeń i połączeń z zasobami firmy przy jednoczesnym scentralizowaniu zarządzania IT. Skonfiguruj koncentrator raz, a następnie utwórz bezpieczne obszary robocze bezpośrednio z poziomu programu Studio dla każdego projektu. Użyj hubów, aby zarządzać pracą zespołu w studiu i portalu Azure AI Foundry .

AI Odlewnia

AI Foundry pomaga efektywnie budować i wdrażać niestandardowe aplikacje generatywnej sztucznej inteligencji, wykorzystując możliwości szerokiej oferty Azure AI.

  • Twórz razem jako jeden zespół. Centrum AI Foundry zapewnia zabezpieczenia klasy korporacyjnej i środowisko współpracy, które obejmuje współużytkowane zasoby i połączenia z wstępnie wytrenowanymi modelami, danymi i obliczeniami.

  • Organizowanie pracy. Projekt AI Foundry pomaga zachować stan projektu, dzięki czemu można iterować od pierwszego pomysłu do pierwszego prototypu i pierwszego wdrożenia produkcyjnego. Łatwe zapraszanie innych osób do współpracy z Tobą.

  • Użyj preferowanej platformy i struktur programistycznych, w tym GitHub, Visual Studio Code, LangChain, Semantic Kernel i AutoGen.

  • Odkryj i przeprowadź test porównawczy z ponad 1600 modeli.

  • Aprowizowanie modeli jako usługi (MaaS) za pomocą bezserwerowych interfejsów API i hostowanego dostrajania.

  • Uwzględnij wiele modeli, źródeł danych i modalności.

  • Skompiluj aplikację RAG przy użyciu chronionych danych przedsiębiorstwa bez konieczności dostrajania.

  • Organizowanie przepływów inżynierii podpowiedzi i LLM oraz zarządzanie nimi.

  • Projektowanie i zabezpieczanie aplikacji i interfejsów API za pomocą konfigurowalnych filtrów i kontrolek.

  • Oceń odpowiedzi modelu, używając wbudowanych i niestandardowych przepływów oceny.

  • Wdrażanie innowacji sztucznej inteligencji w infrastrukturze zarządzanej przez platformę Azure w celu zapewnienia ciągłego monitorowania i zapewniania ładu w różnych środowiskach.

  • Ciągłe monitorowanie wdrożonych aplikacji pod kątem bezpieczeństwa, jakości i użycia tokenów w środowisku produkcyjnym.

Aby uzyskać więcej informacji, zobacz portal AI Foundry kontra Machine Learning Studio.

Przepływ promptów w portalu AI Foundry

Przepływ pracy w portalu AI Foundry to narzędzie programistyczne, którego można użyć do usprawnienia całego cyklu tworzenia aplikacji sztucznej inteligencji obsługiwanych przez duże modele językowe. Mechanizm przepływu danych zapewnia kompleksowe rozwiązanie, które upraszcza proces tworzenia prototypów, eksperymentowania, iteracji i wdrażania aplikacji wykorzystujących sztuczną inteligencję.

  • Przepływ monitów to funkcjonalność, której można użyć do generowania, dostosowywania lub uruchamiania przepływu.

  • Przepływ to zestaw instrukcji, który może implementować logikę sztucznej inteligencji. Tworzenie lub uruchamianie przepływów za pomocą narzędzi, takich jak wstępnie utworzona kanwa lub LangChain. Iteracji przepływu można zapisywać jako zasoby. Po wdrożeniu przepływu, zamienia się w interfejs API. Nie wszystkie przepływy są przepływami natychmiastowymi. "Prompt flow to jeden ze sposobów tworzenia przepływu."

  • Monit to pakiet danych wejściowych wysyłanych do modelu. Składa się z danych wejściowych użytkownika, komunikatu systemowego i wszystkich przykładów. Dane wejściowe użytkownika to tekst przesłany w oknie czatu. Komunikat systemowy to zestaw instrukcji dla modelu, który określa zakres jego zachowań i funkcjonalności.

  • Przykładowy przepływ to prosty, wstępnie utworzony przepływ aranżacji, który pokazuje, jak działają przepływy. Możesz dostosować przykładowy przepływ.

  • Przykładowy monit jest zdefiniowanym monitem dla określonego scenariusza, który można skopiować z biblioteki i użyć as-is lub zmodyfikować go w projekcie monitu.

Niestandardowe języki kodu sztucznej inteligencji

Podstawową koncepcją sztucznej inteligencji jest użycie algorytmów do analizowania danych i generowania modeli do opisywania lub oceniania ich w przydatny sposób. Deweloperzy i analitycy danych, a czasami inni algorytmy, używają kodu programowania do pisania algorytmów. Dwa z najpopularniejszych języków programowania na potrzeby programowania sztucznej inteligencji to Python i R.

Język Python to język programowania ogólnego przeznaczenia wysokiego poziomu. Ma prostą, łatwą w nauce składnię, która podkreśla czytelność. Nie ma kroku kompilowania. Język Python ma dużą bibliotekę standardową i obsługuje możliwość dodawania modułów i pakietów. Ta funkcja zachęca do modułowości i umożliwia rozszerzanie możliwości w razie potrzeby. Istnieje duży i rosnący ekosystem bibliotek sztucznej inteligencji i uczenia maszynowego dla języka Python, w tym wiele na platformie Azure.

Aby uzyskać więcej informacji, zobacz następujące zasoby:

R to język i środowisko do obliczeń statystycznych i grafiki. Można go używać do wszystkiego, od mapowania szerokich trendów społecznych i marketingowych online na opracowywanie modeli finansowych i klimatycznych.

Firma Microsoft w pełni korzysta z języka programowania R i oferuje wiele opcji dla deweloperów języka R do uruchamiania kodu na platformie Azure.

Aby uzyskać więcej informacji, zobacz Używanie języka R interaktywnie w usłudze Machine Learning.

Aby uzyskać ogólne informacje na temat niestandardowej sztucznej inteligencji na platformie Azure, zobacz następujące zasoby:

Historie klientów

Wiele branż stosuje sztuczną inteligencję w innowacyjny i inspirujący sposób. Rozważ następujące analizy przypadków klientów i historie sukcesu:

Przeglądaj więcej historii klientów sztucznej inteligencji

Ogólne informacje o sztucznej inteligencji firmy Microsoft

Dowiedz się więcej o sztucznej inteligencji firmy Microsoft i bądź na bieżąco z powiązanymi wiadomościami:

Następny krok