Udostępnij za pośrednictwem

GenAIOps dla praktyków metodyki MLOps

  • Artykuł

Ten artykuł zawiera wskazówki dla zespołów obciążeń, które mają istniejące inwestycje w operacje uczenia maszynowego (MLOps) i chcą rozszerzyć te inwestycje, aby uwzględnić generowanie sztucznej inteligencji w obciążeniu. Aby operacjonalizować obciążenie robocze generatywnej sztucznej inteligencji, należy rozszerzyć inwestycje metodyki MLOps za pomocą operacji generatywnej sztucznej inteligencji (GenAIOps, czasami nazywanych LLMOps). W tym artykule opisano wzorce techniczne wspólne dla tradycyjnych obciążeń uczenia maszynowego i generowania sztucznej inteligencji oraz konkretne wzorce generowania sztucznej inteligencji. Artykuł pomaga zrozumieć, gdzie można zastosować istniejące inwestycje w operacjonalizacji i gdzie należy je rozszerzyć.

Wzorce techniczne generowania sztucznej inteligencji

Obciążenia generowania sztucznej inteligencji różnią się od tradycyjnych obciążeń uczenia maszynowego na kilka sposobów:

  • Skoncentruj się na modelach generowania. Tradycyjne obciążenia uczenia maszynowego koncentrują się na trenowaniu nowych modeli, które są trenowane w celu wykonywania określonych zadań. Generowanie obciążeń sztucznej inteligencji zużywa modele generowania, które mogą dotyczyć szerszej gamy przypadków użycia, a w niektórych przypadkach są wielomodalne.

  • Skoncentruj się na rozszerzaniu modeli. Kluczowym zasobem tradycyjnego uczenia maszynowego jest wdrożony model. Dostęp do modelu zostaje przekazany kodowi klienta w co najmniej jednej operacji, ale operacja nie jest częścią procesu MLOps. W przypadku rozwiązań z generatywną sztuczną inteligencją kluczowy aspekt rozwiązania to zapytanie dostarczone do modelu generowania. Monit musi być skomponowany i może zawierać dane z co najmniej jednego magazynu danych. System, który organizuje logikę, wywołuje różne zaplecza, generuje monit i wywołuje model generowania, jest częścią systemu generowania sztucznej inteligencji, który należy zarządzać za pomocą metody GenAIOps.

Chociaż niektóre rozwiązania generowania sztucznej inteligencji używają tradycyjnych praktyk uczenia maszynowego, takich jak trenowanie modeli i dostrajanie, wszystkie one wprowadzają nowe wzorce, które należy standaryzacji. Ta sekcja zawiera omówienie trzech szerokich kategorii wzorców technicznych dla generowania rozwiązań sztucznej inteligencji:

  • Wstępne trenowanie i dostrajanie
  • Inżynieria poleceń
  • Pobieranie rozszerzonej generacji (RAG)

Trenowanie i dostrajanie modeli językowych

Obecnie wiele generacyjnych rozwiązań sztucznej inteligencji używa istniejących podstawowych modeli językowych, które nie wymagają precyzyjnego dostrajania przed użyciem. Jednak niektóre przypadki użycia mogą korzystać z precyzyjnego dostrajania modelu podstawowego lub trenowania nowego modelu generowania sztucznej inteligencji, takiego jak mały model językowy (SLM).

Trenowanie nowego modelu SLM i dostrajanie modelu podstawy generowania są logicznie tymi samymi procesami co trenowanie tradycyjnych modeli uczenia maszynowego. Te procesy powinny korzystać z istniejących inwestycji w metodyki MLOps.

Inżynieria poleceń

Inżynieria promptu obejmuje wszystkie procesy związane z generowaniem promptu wysyłanego jako dane wejściowe do modelu generatywnego. Zazwyczaj istnieje orkiestrator, który kontroluje przepływ pracy, który generuje monit. Orkiestrator może wywołać dowolną liczbę magazynów danych, aby zebrać informacje, takie jak dane uziemienia, i zastosować wymaganą logikę w celu wygenerowania najbardziej efektywnego monitu. Orkiestrator jest następnie wdrażany jako punkt końcowy interfejsu API, do którego dostęp uzyskuje się przez kod klienta w inteligentnej aplikacji.

Na poniższym diagramie przedstawiono architekturę monitu inżynieryjnego.

Diagram przedstawiający architekturę inżynierii promptów.

Ta kategoria wzorców technicznych może dotyczyć wielu przypadków użycia, w tym:

  • Klasyfikacja.
  • Tłumaczenie.
  • Podsumowania.
  • Generowanie wspomagane wyszukiwaniem, omówione w następnej sekcji.

Generowanie rozszerzonego pobierania

Generowanie wspomagane wyszukiwaniem (RAG) to wzorzec architektury, który używa inżynierii podpowiedzi do uwzględnienia danych specyficznych dla domeny jako danych podstawowych dla modelu językowego. Model językowy jest trenowany względem określonego zestawu danych. Twoje obciążenie pracą może wymagać wnioskowania o danych, które są specyficzne dla Twojej firmy, klientów lub dziedziny. W rozwiązaniach RAG dane są odpytywane, a wyniki dostarczane do modelu językowego jako część komunikatu, zwykle za pośrednictwem warstwy orkiestracji.

Typową implementacją RAG jest podzielenie dokumentów na fragmenty i przechowywanie ich w magazynie wektorów wraz z metadanymi. Magazyny wektorowe, takie jak usługa Azure AI Search, umożliwiają wykonywanie wyszukiwań tekstowych i wektorowych w celu zwracania kontekstowo odpowiednich wyników. Rozwiązania RAG mogą również używać innych magazynów danych do zwracania danych uziemienia.

Na poniższym diagramie przedstawiono architekturę RAG:

Diagram przedstawiający architekturę RAG.

Rozszerzanie metodyki MLOps na potrzeby generowania wzorców technicznych sztucznej inteligencji

W tej sekcji opisano następujące kluczowe aspekty faz wewnętrznej i zewnętrznej pętli dla generatywnych wzorców technicznych AI i pomaga zrozumieć, gdzie można zastosować istniejące inwestycje MLOps i gdzie należy je rozszerzyć:

DataOps

Metodyki MLOps i GenAIOps stosują podstawy metodyki DataOps do tworzenia rozszerzalnych i powtarzalnych przepływów pracy, które zapewniają, że dane są czyszczone, przekształcane i sformatowane prawidłowo na potrzeby eksperymentowania i oceny. Powtarzalność przepływu pracy i przechowywanie wersji danych są ważnymi funkcjami metodyki DataOps dla wszystkich wzorców technicznych. Źródła, typy i intencje danych są zależne od wzorca.

Trenowanie i dostrajanie

Ten wzorzec techniczny powinien w pełni wykorzystać istniejące inwestycje w metodyki DataOps wykonane w ramach implementacji metodyki MLOps. Powtarzalność i przechowywanie wersji danych umożliwiają eksperymentowanie z różnymi danymi inżynierii cech, porównywanie wydajności różnych modeli i odtwarzanie wyników.

RAG i prompt engineering

Celem danych w rozwiązaniach RAG jest dostarczenie danych podstawowych przedstawionych modelowi językowemu jako część monitu. Rozwiązania RAG często wymagają przetwarzania dużych dokumentów w kolekcji fragmentów o odpowiednich rozmiarach, semantycznie odpowiednich fragmentów i utrwalania tych fragmentów w magazynie wektorów. Aby uzyskać szczegółowe informacje, zobacz Projektowanie i opracowywanie rozwiązania RAG. Powtarzalność i przechowywanie wersji danych dla rozwiązań RAG umożliwia eksperymentowanie z różnymi strategiami fragmentowania i osadzania, porównywaniem wydajności i wycofywaniem z poprzednich wersji.

Potoki danych do chunkingu dokumentów nie są częścią DataOps w tradycyjnym MLOps, więc trzeba rozszerzyć architekturę i operacje. Potoki danych mogą odczytywać dane z różnych źródeł, które obejmują zarówno dane ustrukturyzowane, jak i nieustrukturyzowane. Mogą również zapisywać przekształcone dane w różnych miejscach docelowych. Należy rozszerzyć architekturę, aby uwzględnić magazyny danych używane do obsługi danych podstawowych. Typowe magazyny danych dla tych wzorców to magazyny wektorów, takie jak wyszukiwanie sztucznej inteligencji.

Podobnie jak w przypadku trenowania i dostrajania, możesz użyć potoków usługi Azure Machine Learning lub innych narzędzi do potokowania danych, aby zorganizować etapy fragmentowania. Przepływy monitów w potokach usługi Azure Machine Learning umożliwiają przetwarzanie i wzbogacanie danych w spójny i powtarzalny sposób. Należy również rozszerzyć operacje, aby zachować świeżość i ważność indeksów wyszukiwania w magazynach danych.

Eksperymenty

Eksperymentowanie, część pętli wewnętrznej, to iteracyjny proces tworzenia, ocenianiai udoskonalania rozwiązania. W poniższych sekcjach omówiono eksperymenty dotyczące typowych wzorców technicznych generacyjnych sztucznej inteligencji.

Trenowanie i dostrajanie

Po dostrojeniu istniejącego modelu językowego lub wytrenowania małego modelu językowego możesz skorzystać z bieżących inwestycji w metodykę MLOps. Na przykład potoki usługi Azure Machine Learning udostępniają zestaw narzędzi do wydajnej i efektywnej realizacji eksperymentów. Te sekwencje przetwarzania umożliwiają zarządzanie całym procesem dostrajania (fine-tuning), od wstępnego przetwarzania danych do szkolenia i ewaluacji modelu.

RAG i prompt engineering

Eksperymentowanie z inżynierią promptów i obciążeniami RAG wymaga rozszerzenia inwestycji w MLOps. W przypadku tych wzorców technicznych obciążenie nie kończy się na modelu. Obciążenie wymaga orkiestratora, który jest systemem, który może uruchamiać logikę, wywoływać magazyny danych w celu uzyskania wymaganych informacji, takich jak dane uziemienia, generowanie monitów, wywoływanie modeli językowych i nie tylko. Magazyny danych i indeksy w magazynach są również częścią obciążenia. Musisz rozszerzyć operacje, aby zarządzać tymi aspektami obciążenia.

Możesz eksperymentować z wieloma wymiarami, aby uzyskać rozwiązania do tworzenia monitów inżynieryjnych, w tym różne instrukcje, osoby, przykłady, ograniczenia i zaawansowane techniki, takie jak łańcuch monitów. Podczas eksperymentowania z rozwiązaniami RAGmożna eksperymentować w dodatkowych obszarach.

  • Strategia fragmentowania
  • Co i jak wzbogacić fragmenty
  • Model osadzania
  • Konfiguracja indeksu wyszukiwania
  • Jakie wyszukiwania mają być wykonywane (wektor, pełny tekst, hybryda itd.)

Jak opisano w DataOps, powtarzalność i przechowywanie wersji danych są kluczem do eksperymentowania. Dobra struktura eksperymentowania umożliwia przechowywanie danych wejściowych, takich jak zmiany hiperparametrów lub monitów, wraz z danymi wyjściowymi, które mają być używane podczas oceniania eksperymentu.

Podobnie jak w istniejącym środowisku MLOps, możesz korzystać z frameworków, takich jak potoki Azure Machine Learning. Potoki usługi Azure Machine Learning mają funkcje, które obsługują indeksowanie dzięki integracji z magazynami wektorów, takimi jak wyszukiwanie sztucznej inteligencji. Środowisko GenAIOps może korzystać z tych funkcji potoku i łączyć je z funkcjami przepływu monitów, które zarządzają inżynierią monitów i niestandardową logiką przetwarzania wstępnego.

Ocena i eksperymentowanie

Ocena jest kluczowa w procesie iteracyjnym eksperymentowania podczas tworzenia, oceniania i udoskonalania rozwiązania. Ocena zmian dostarcza opinii potrzebnej do wprowadzenia poprawek lub potwierdzenia, że bieżąca wersja spełnia Twoje wymagania. W poniższych sekcjach omówiono ocenę w fazie eksperymentowania dla typowych wzorców technicznych generacyjnych sztucznej inteligencji.

Trenowanie i dostrajanie

W celu oceny dostrojonych lub wytrenowanych modeli generatywnej sztucznej inteligencji należy skorzystać z istniejących inwestycji w MLOps. Jeśli na przykład używasz potoków usługi Azure Machine Learning do organizowania trenowania modelu uczenia maszynowego, możesz użyć tych samych funkcji oceny, aby dostosować podstawowe modele językowe lub wytrenować nowe małe modele językowe. Te funkcje obejmują Evaluate Model component, który oblicza standardowe metryki oceny dla określonych typów modeli i porównuje wyniki między modelami.

RAG i prompt engineering

Aby ocenić generatywne rozwiązania sztucznej inteligencji, należy rozszerzyć istniejące inwestycje w metodykę MLOps. Możesz użyć narzędzi, takich jak przepływ monitów, który zapewnia platformę do oceny. Przepływ monitów umożliwia zespołom definiowanie niestandardowej logiki oceny przez określenie kryteriów i metryk w celu oceny wydajności różnych monitowania wariantów i dużych modeli językowych (LLMs). Takie podejście ustrukturyzowane umożliwia porównywanie różnych konfiguracji obok siebie, takich jak hiperparametr lub odmiany architektury, w celu zidentyfikowania optymalnej konfiguracji dla określonych zadań.

Zadania w przepływie monitów automatycznie przechwytują dane wejściowe i wyjściowe w całym procesie eksperymentowania, aby utworzyć kompleksowy rekord próbny. Możesz uzyskać szczegółowe informacje i zidentyfikować obiecujące konfiguracje, które mogą informować przyszłe iteracji, analizując te dane. Możesz przyspieszyć rozwój generacyjnych rozwiązań sztucznej inteligencji, korzystając z przepływów promptów do przeprowadzania wydajnych i systematycznych eksperymentów.

Proces eksperymentowania jest taki sam niezależnie od przypadku użycia rozwiązania do generowania sztucznej inteligencji. Te przypadki użycia obejmują klasyfikację, sumaryzację, tłumaczenie, a nawet RAG. Ważną różnicą jest metryki używane do oceny różnych przypadków użycia. Poniżej przedstawiono niektóre metryki oparte na przypadku użycia, które należy wziąć pod uwagę.

  • Tłumaczenie: BLEU
  • Podsumowanie: ROUGE. BLEU, BERTScore, METEOR
  • Klasyfikacja: precyzja, kompletność, dokładność, entropia krzyżowa
  • RAG: Groundedness, Relevancy

Uwaga

Aby uzyskać więcej informacji na temat oceny modeli językowych i rozwiązań RAG, zobacz LLM end-to-end evaluation.

Ogólnie rzecz biorąc, rozwiązania generatywnej sztucznej inteligencji rozszerzają zakres obowiązków zespołu uczenia maszynowego od trenowania modeli do projektowania promptów i zarządzania danymi referencyjnymi. Ponieważ inżynieria promptów oraz eksperymentowanie i ocena RAG niekoniecznie wymagają analityków danych, możesz być skuszony do użycia innych ról, takich jak inżynierowie oprogramowania i inżynierowie danych, do wykonywania tych funkcji. Możesz napotkać wyzwania, jeśli pominiesz data scientists w procesie eksperymentowania z inżynierią promptów i rozwiązaniami RAG. Inne role nie są zazwyczaj naukowo szkolone w zakresie oceny wyników, jak to ma miejsce w przypadku wielu naukowców danych. Przeczytaj siedmioczęściową serię artykułów Projektowanie i opracowywanie rozwiązania RAG, aby zrozumieć złożoność projektowania generacyjnych rozwiązań sztucznej inteligencji.

Inwestowanie w rozwiązania oparte na generatywnej sztucznej inteligencji pozwala zdjąć część presji z zasobów nauki o danych. Rola inżynierów oprogramowania rozszerza się w tych rozwiązaniach. Na przykład inżynierowie oprogramowania są doskonałymi zasobami do zarządzania procesem orkiestracji rozwiązań w generatywnej sztucznej inteligencji i są biegli w konfigurowaniu metryk oceny w takich narzędziach, jak Prompt Flow. Ważne jest, aby analitycy danych przejrzeli tę pracę. Mają doświadczenie i szkolenia, aby zrozumieć, jak prawidłowo ocenić eksperymenty.

Wdrożenie

Niektóre rozwiązania generowania sztucznej inteligencji obejmują wdrażanie niestandardowych wytrenowanych modeli lub dostrajanie istniejących modeli, ale inne nie. W przypadku rozwiązań generacyjnych sztucznej inteligencji należy uwzględnić dodatkowe zadania wdrażania orkiestratorów i wszystkich magazynów danych. W poniższych sekcjach omówiono wdrażanie typowych wzorców technicznych generacyjnych sztucznej inteligencji.

Trenowanie i dostrajanie

Aby wdrożyć modele generatywnej sztucznej inteligencji i dostrajać modele bazowe, należy używać istniejących inwestycji w metodykę MLOps, z ewentualnymi korektami. Aby na przykład dostosować duży model językowy w usłudze Azure OpenAI, musisz upewnić się, że zestawy danych szkoleniowych i weryfikacyjnych są w formacie JSONL i musisz przekazać dane za pośrednictwem interfejsu API REST. Należy również utworzyć zadanie dostrajania. Aby wdrożyć wytrenowany mały model językowy, możesz wykorzystać swoje istniejące inwestycje w metodykę MLOps.

RAG i prompt engineering

W przypadku inżynierii RAG i monitu należy wziąć pod uwagę dodatkowe kwestie, w tym logika orkiestracji, zmiany w repozytoriach danych, takie jak indeksy i schematy, oraz zmiany w logice potoku danych. Logika orkiestracji jest zwykle zawarta w strukturach, takich jak przepływ monitów, Semantyczne Jądro lub LangChain. Orkiestrator można wdrożyć w różnych zasobach obliczeniowych, w tym w zasobach, w których obecnie wdrażane są modele niestandardowe. Zobacz kompleksową architekturę czatu end-to-end Azure OpenAI, aby zapoznać się z przykładami wdrażania przepływu monitów do punktów końcowych online zarządzanych za pomocą Azure Machine Learning lub Azure App Service. Aby wdrożyć do usługi App Service, architektura czatu Azure OpenAI pakuje przepływ oraz jego zależności w kontener, co zwiększa przenośność i spójność między różnymi środowiskami.

Wdrożenia zmian w zasobach bazy danych, takie jak zmiany modeli danych lub indeksów, to nowe zadania, które muszą być obsługiwane w usłudze GenAIOps. Powszechną praktyką podczas pracy z dużymi modelami językowymi jest użycie bramy przed modułem LLM.

Wiele generacyjnych architektur sztucznej inteligencji korzystających z modeli językowych hostowanych na platformie, takich jak te obsługiwane w usłudze Azure OpenAI, obejmują bramę , na przykład azure API Management. Przypadki użycia bramy obejmują równoważenie obciążenia, uwierzytelnianie i monitorowanie. Brama może odgrywać rolę we wdrożeniu nowo wytrenowanych lub dostrojonych modeli, co pozwala na stopniowe wdrażanie nowych modeli. Użycie bramy wraz z przechowywaniem wersji modelu umożliwia zminimalizowanie ryzyka podczas wdrażania zmian i wycofywania do poprzednich wersji w przypadku wystąpienia problemów.

Wdrożenia elementów specyficznych dla generowania sztucznej inteligencji, takich jak orkiestrator, powinny postępować zgodnie z odpowiednimi procedurami operacyjnymi, takimi jak:

  • Rygorystyczne testy, w tym testy jednostkowe.
  • Testy integracji.
  • Testy A/B.
  • Kompleksowe testy.
  • Strategie wdrażania, takie jak wdrożenia kanarowe lub niebieskie/zielone.

Ponieważ obowiązki związane z wdrażaniem aplikacji generacyjnych sztucznej inteligencji wykraczają poza wdrożenie modelu, mogą być potrzebne dodatkowe role zadań do zarządzania wdrażaniem i monitorowaniem elementów, takich jak interfejs użytkownika, orkiestrator i magazyny danych. Te role są często dostosowane do zestawów umiejętności inżynierów devOps.

Wnioskowanie i monitorowanie

Wnioskowanie to proces przekazywania danych wejściowych do wytrenowanego i wdrożonego modelu, który następnie generuje odpowiedź. Należy monitorować zarówno tradycyjne rozwiązania uczenia maszynowego, jak i generacyjne rozwiązania sztucznej inteligencji z trzech perspektyw: monitorowanie operacyjne, uczenie się z produkcji i zarządzanie zasobami.

Monitorowanie operacyjne

Monitorowanie operacyjne to proces obserwacji bieżących operacji systemu, w tym operacji danych (DataOps) i trenowania modelu. Ten typ monitorowania wyszukuje odchylenia, w tym błędy, zmiany współczynników błędów i zmiany czasów przetwarzania.

W przypadku trenowania modelu i dostrajania zwykle obserwujesz działania związane z przetwarzaniem danych cech, trenowaniem modelu oraz dostrajaniem. Monitorowanie tych procesów pętli wewnętrznej powinno korzystać z istniejących inwestycji w metodykę MLOps i metodykę DataOps.

W przypadku monitowania inżynierii w rozwiązaniach generacyjnych sztucznej inteligencji masz dodatkowe obawy dotyczące monitorowania. Należy monitorować potoki danych, które przetwarzają dane wyjściowe lub inne dane używane do generowania wywołań. To przetwarzanie może obejmować operacje magazynu danych, takie jak kompilowanie lub ponowne kompilowanie indeksów.

Nauka z produkcji

Kluczowym aspektem monitorowania na etapie wnioskowania jest uczenie się z produkcji. Monitorowanie tradycyjnych modeli uczenia maszynowego śledzi metryki, takie jak dokładność, precyzja i czułość. Kluczowym celem jest uniknięcie dryfu w przewidywaniach. Rozwiązania wykorzystujące generatywne modele do prognozowania, na przykład przy użyciu modelu GPT do klasyfikacji, powinny wykorzystywać istniejące inwestycje w monitorowanie rozwiązań MLOps.

Rozwiązania wykorzystujące modele generatywne do wnioskowania na podstawie danych bazowych używają metryk , takich jak osadzenie, kompletność, wykorzystanie i trafność. Celem jest zapewnienie, że model w pełni odpowiada na zapytanie i opiera odpowiedź na jego kontekście. W tym miejscu należy spróbować zapobiec problemom, np. dryfowi danych. Chcesz mieć pewność, że dane podstawowe i prompt podany do modelu są maksymalnie istotne dla zapytania użytkownika.

Rozwiązania korzystające z generatywnych modeli dla zadań niepredykcyjnych, takich jak rozwiązania RAG, często czerpią korzyści z informacji zwrotnych od użytkowników końcowych w celu oceny przydatności. Interfejsy użytkownika mogą wychwytywać opinie, takie jak kciuki w górę lub w dół, a te dane można wykorzystywać do okresowej analizy opinii.

Typowym wzorcem dla generowania rozwiązań sztucznej inteligencji jest wdrożenie bramy przed modelami generowania. Jednym z przypadków użycia bramy jest monitorowanie podstawowych modeli. Możesz użyć bramy do rejestrowania poleceń wejściowych i danych wyjściowych.

Innym kluczowym obszarem monitorowania rozwiązań generujących jest bezpieczeństwo zawartości. Celem jest moderowanie odpowiedzi i wykrywanie szkodliwej lub niepożądanej zawartości. azure AI Content Safety Studio jest przykładem narzędzia, którego można użyć do moderowania zawartości.

Zarządzanie zasobami

Rozwiązania generowania, które korzystają z modeli uwidocznionych jako usługa, takich jak Azure OpenAI, mają inne problemy związane z zarządzaniem zasobami niż modele wdrażane samodzielnie. W przypadku modeli, które są uwidocznione jako usługa, nie interesuje Cię infrastruktura. Zamiast tego martwisz się o wydajność swoich usług, przydział i kontrolę przepustowości. Usługa Azure OpenAI używa tokenów do rozliczeń, ograniczania przepustowości i limitów przydziału. Należy monitorować użycie limitów przydziału na potrzeby zarządzania kosztami i wydajności. Usługa Azure OpenAI umożliwia rejestrowanie użycia tokenu.

Narzędzia

Wielu praktyków MLOps ustandaryzował zestaw narzędzi do organizowania różnych działań dotyczących automatyzacji, śledzenia, wdrażania, eksperymentowania itd., aby wyodrębnić typowe problemy i szczegóły implementacji tych procesów. Popularna ujednolicona platforma to MLflow. Przed wyszukaniem nowych narzędzi do obsługi wzorców GenAIOps należy przejrzeć istniejące narzędzia MLOps, aby ocenić jego obsługę generowania sztucznej inteligencji. Na przykład platforma MLflow obsługuje szeroką gamę funkcji dla modeli językowych.

Modele dojrzałości MLOps i GenAIOps

Być może użyłeś/łaś modelu dojrzałości MLOps , aby ocenić dojrzałość swoich bieżących operacji uczenia maszynowego i środowiska. W miarę rozszerzania inwestycji w metodykę MLOps na potrzeby obciążeń generowania sztucznej inteligencji należy użyć modelu dojrzałości GenAIOps do oceny tych operacji. Możesz być kuszony, aby połączyć dwa modele dojrzałości, ale zalecamy, aby mierzyć poszczególne niezależnie. Metodyki MLOps i GenAIOps będą ewoluować niezależnie od siebie. Na przykład możesz być na poziomie czwartym w modelu dojrzałości MLOps, ale na poziomie drugim dla generowania sztucznej inteligencji.

Podsumowanie

Po rozpoczęciu rozszerzania inwestycji w metodykę MLOps w celu uwzględnienia generowania sztucznej inteligencji ważne jest, aby zrozumieć, że nie musisz zaczynać od nowa. Możesz użyć istniejących inwestycji w metodykę MLOps dla niektórych wzorców technicznych generacyjnych sztucznej inteligencji. Dostrajanie modeli generowania jest doskonałym przykładem. Istnieją obszary generowania rozwiązań sztucznej inteligencji, takich jak inżynieria monitów i RAG, które są nowymi procesami, więc musisz rozszerzyć istniejące inwestycje operacyjne i zdobyć nowe umiejętności.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Aby wyświetlić niepubalne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Następne kroki