Zalecenia dotyczące zarządzania obciążeniami sztucznej inteligencji na platformie Azure
Ten artykuł zawiera zalecenia dotyczące zarządzania dla organizacji z obciążeniami sztucznej inteligencji na platformie Azure. Koncentruje się ona na rozwiązaniach PaaS (Azure AI Platform-as-a-Service), w tym Azure AI Studio, Azure OpenAI, Azure Machine Learning i Azure AI Services. Obejmuje ona zarówno obciążenia generowania, jak i niegeneracyjne sztuczną inteligencję.
Efektywne zarządzanie obciążeniami sztucznej inteligencji na platformie Azure obejmuje nadzorowanie wdrażania, wydajności modelu, operacji, danych i odzyskiwania po awarii w celu obsługi obciążeń sztucznej inteligencji. Właściwe zarządzanie pomaga zagwarantować, że obciążenia sztucznej inteligencji są niezawodne, godne zaufania i bezpieczne w całym cyklu życia.
Zarządzanie wdrożeniami sztucznej inteligencji
Zarządzanie wdrożeniami sztucznej inteligencji ułatwia zespołom obciążeń przejście od etapów weryfikacji koncepcji do środowisk produkcyjnych z spójnymi konfiguracjami, które zwiększają bezpieczeństwo i zgodność między zespołami. Platforma Azure oferuje narzędzia, takie jak centra i projekty usługi Azure AI Studio w celu wymuszania ładu i zabezpieczeń. Usługa Azure Machine Learning ma podobne możliwości w swoich obszarach roboczych centrum. Aby uzyskać więcej informacji, zobacz Zarządzanie wdrożeniami sztucznej inteligencji.
Zarządzanie modelami AI
Zarządzanie modelami sztucznej inteligencji obejmuje monitorowanie danych wyjściowych, wydajności i zgodności z zasadami odpowiedzialnej sztucznej inteligencji. Modele sztucznej inteligencji mogą dryfować w czasie z powodu zmiany danych, zachowań użytkowników lub innych czynników zewnętrznych. Te zmiany mogą prowadzić do niedokładnych wyników lub problemów etycznych, jeśli nie zostały rozwiązane.
Monitorowanie danych wyjściowych modelu. Zaimplementuj proces monitorowania i testowania, aby upewnić się, że te obciążenia pozostają zgodne z celami odpowiedzialnej sztucznej inteligencji.
Monitorowanie generowania sztucznej inteligencji. W przypadku obciążeń generowania sztucznej inteligencji użyj wbudowanych możliwości oceny i ręcznego monitorowania usługi Azure AI Studio. Jeśli używasz przepływu monitów, monitoruj wdrożenia przepływu monitów. Rozważ również użycie narzędzi odpowiedzialnego używania sztucznej inteligencji w celu uzupełnienia monitorowania modelu.
Monitoruj niegeneracyjną sztuczną inteligencję. W przypadku niegeneracyjnych obciążeń sztucznej inteligencji monitoruj etapy przetwarzania danych i metryki wydajności modelu, aby zapewnić, że przewidywania pozostaną dokładne i niezawodne. Włączanie monitorowania modelu w usłudze Azure Machine Learning. W przypadku usług azure AI włącz monitorowanie dla każdej używanej usługi sztucznej inteligencji.
Monitorowanie wydajności modelu. Po wykryciu spadku wydajności lub dokładności monitorowanie pomaga wskazać źródło problemu. Podobnie jak we wszystkich obciążeniach, użyj usług Azure Monitor i Application Insights do monitorowania wydajności obciążeń sztucznej inteligencji.
Monitorowanie wydajności generowania sztucznej inteligencji. W przypadku generowania sztucznej inteligencji monitoruj opóźnienie w czasie odpowiedzi lub dokładność wyników wyszukiwania wektorów w celu ulepszenia środowisk użytkownika. W usłudze Azure AI Studio włącz śledzenie w celu zbierania danych śledzenia dla każdego żądania, zagregowanych metryk i opinii użytkowników.
Monitoruj niegeneracyjną wydajność sztucznej inteligencji. Przechwytywanie metryk wydajności modeli wdrożonych w usłudze Azure Machine Learning. W przypadku usług azure AI włącz rejestrowanie diagnostyczne dla każdej usługi Azure AI.
Rozważ generowanie bramy sztucznej inteligencji na potrzeby monitorowania. Zwrotny serwer proxy, taki jak usługa Azure API Management, umożliwia zaimplementowanie rejestrowania i monitorowania, które nie są natywne dla platformy. Usługa API Management umożliwia zbieranie źródłowych adresów IP, tekstu wejściowego i tekstu wyjściowego. Aby uzyskać więcej informacji, zobacz Implementowanie rejestrowania i monitorowania modeli językowych usługi Azure OpenAI Service.
Zarządzanie operacjami sztucznej inteligencji
Zarządzanie operacjami sztucznej inteligencji obejmuje standaryzację zasobów obliczeniowych i zasobów platformy monitorowania dla obciążeń sztucznej inteligencji platformy Azure. Dzięki temu zespoły efektywnie wykorzystują odpowiednie zasoby obliczeniowe i przechwytują metryki i dzienniki z zasobów platformy.
Monitorowanie zasobów platformy. Użyj ustawień diagnostycznych, aby przechwytywać dzienniki i metryki dla wszystkich kluczowych usług, takich jak Azure AI Studio, Azure Machine Learning i Azure AI Services. Określone usługi powinny przechwytywać dzienniki inspekcji i odpowiednie dzienniki specyficzne dla usługi. Zaimplementuj niestandardowe alerty monitorowania na podstawie konkretnych potrzeb twojej architektury. Przykłady obejmują alerty dotyczące rejestrów kontenerów, usług Machine Learning i operacji usługi Azure OpenAI Service.
Standaryzacja zarządzania obliczeniami. Potrzebujesz zasobów obliczeniowych dla niektórych akcji, takich jak przepływy monitów i modele trenowania. Usługa, taka jak Machine Learning, ma różne opcje obliczeniowe, takie jak wystąpienia obliczeniowe, klastry i opcje bezserwerowe. Standaryzacja typu obliczeniowego, środowisk uruchomieniowych i okresów zamknięcia. Aby uzyskać informacje o opcjach obliczeniowych specyficznych dla usługi, zobacz Azure AI Studio i Machine Learning.
Zarządzanie danymi sztucznej inteligencji
Wysokiej jakości dane są podstawą dokładnych modeli sztucznej inteligencji. Śledzenie dryfu modelu pomaga zachować znaczenie przewidywań sztucznej inteligencji w czasie i umożliwia organizacjom dostosowanie modeli w razie potrzeby do odzwierciedlenia bieżących warunków.
Monitorowanie dryfu danych. Śledź dokładność i dryf danych w sposób ciągły w generowaniu i niegeneracyjnej sztucznej inteligencji, aby upewnić się, że modele pozostają istotne. Monitorowanie może otrzymywać alerty, gdy przewidywania modelu lub duże odpowiedzi modelu językowego odbiegają od oczekiwanego zachowania. To odchylenie wskazuje potrzebę ponownego trenowania lub korekty. Konfigurowanie alertów niestandardowych w celu wykrywania progów wydajności. Takie podejście umożliwia wczesną interwencję w przypadku wystąpienia problemów. Użyj ocen w usłudze Azure AI Studio i metryk obsługiwanych w usłudze Machine Learning.
Zapewnianie jakości przetwarzania danych. W przypadku uczenia maszynowego dane szkoleniowe muszą być sformatowane, czyste i gotowe do użycia modelu. W przypadku generowania sztucznej inteligencji dane uziemione muszą być w poprawnym formacie i prawdopodobnie fragmentowane, wzbogacone i osadzone na potrzeby użycia modelu sztucznej inteligencji. Aby uzyskać więcej informacji, zobacz Przewodnik po projektowaniu i opracowywaniu rozwiązania RAG.
Zarządzanie ciągłością działalności biznesowej
Zaimplementuj wdrożenia obejmujące wiele regionów, aby zapewnić wysoką dostępność i odporność zarówno dla systemów generacyjnych, jak i niegeneracyjnych sztucznej inteligencji. Aby uzyskać więcej informacji, zobacz wdrażanie w wielu regionach w usłudze Azure AI Studio, usłudze Azure Machine Learning i usłudze Azure OpenAI.