Zalecenia dotyczące ładu dla obciążeń sztucznej inteligencji na platformie Azure
Ten artykuł zawiera zalecenia dotyczące ładu dla organizacji z obciążeniami sztucznej inteligencji na platformie Azure. Koncentruje się ona na rozwiązaniach typu "platforma jako usługa" (PaaS), w tym azure AI Foundry, Azure OpenAI, Azure Machine Learning i Azure AI Services. Obejmuje ona zarówno obciążenia generowania, jak i niegeneracyjne sztuczną inteligencję.
Skuteczne zarządzanie obsługuje odpowiedzialne korzystanie ze sztucznej inteligencji. Umożliwia firmom optymalizowanie inwestycji w sztuczną inteligencję przy jednoczesnym zmniejszeniu ryzyka związanego z zabezpieczeniami, kosztami i zgodnością z przepisami.
Zarządzanie modelami sztucznej inteligencji
Ład modelu sztucznej inteligencji odnosi się do procesów zarządzania modelami sztucznej inteligencji w celu zapewnienia, że generują niezawodne, bezpieczne i etyczne dane wyjściowe. Kontrolki dotyczące danych wejściowych i wyjściowych modelu pomagają ograniczyć ryzyko. Te zagrożenia obejmują szkodliwą zawartość i niezamierzone użycie sztucznej inteligencji. Oba te elementy mogą mieć wpływ na użytkowników i organizację. Te procesy obsługują wdrażanie odpowiedzialnej sztucznej inteligencji i chronią przed potencjalnymi wyzwaniami prawnymi i etycznymi.
Ustanów proces wykrywania zagrożeń związanych ze sztuczną inteligencją. Użyj narzędzi, takich jak Defender dla Chmury, aby odnajdywać obciążenia generowania sztucznej inteligencji i eksplorować czynniki ryzyka w celu wstępnego wdrażania artefaktów sztucznej inteligencji. Ustanów zasady regularnego generowania modeli sztucznej inteligencji w czerwonym zespole. Dokumentowanie zidentyfikowanych czynników ryzyka i ciągłe aktualizowanie zasad ładu sztucznej inteligencji w celu wyeliminowania pojawiających się problemów.
Zdefiniuj filtry zawartości punktu odniesienia dla generowania modeli sztucznej inteligencji. Użyj bezpieczeństwa zawartości usługi Azure AI, aby zdefiniować filtr zawartości punktu odniesienia dla zatwierdzonych modeli sztucznej inteligencji. Ten system zabezpieczeń uruchamia zarówno monit, jak i uzupełnianie modelu za pośrednictwem grupy modeli klasyfikacji. Te modele klasyfikacji wykrywają i uniemożliwiają wyjście szkodliwej zawartości w wielu kategoriach. Bezpieczeństwo zawartości udostępnia funkcje, takie jak osłony monitów, wykrywanie uziemienia i wykrywanie tekstu chronionego materiału. Skanuje obrazy i tekst. Utwórz proces dla zespołów aplikacji, aby komunikować się z różnymi potrzebami dotyczącymi ładu.
Modele sztucznej inteligencji generowania naziemnego. Użyj komunikatów systemowych i wzorca rozszerzonej generacji (RAG), aby zarządzać danymi wyjściowymi modeli generacyjnych sztucznej inteligencji. Przetestuj skuteczność uziemienia przy użyciu narzędzi, takich jak przepływ monitów lub czerwona struktura tworzenia zespołu typu open source PyRIT.
Zarządzanie kosztami sztucznej inteligencji
Zarządzanie kosztami sztucznej inteligencji obejmuje zarządzanie kosztami związanymi z obciążeniami sztucznej inteligencji w celu zmaksymalizowania wydajności i zmniejszenia niepotrzebnych wydatków. Efektywna kontrola kosztów zapewnia, że inwestycje w sztuczną inteligencję są zgodne z celami biznesowymi, co uniemożliwia nieprzewidziane koszty związane z nadmierną aprowizacją lub niedostateczną alokacją. Te rozwiązania umożliwiają organizacjom finansowe optymalizowanie operacji sztucznej inteligencji.
Użyj odpowiedniego modelu rozliczeniowego. Jeśli masz przewidywalne obciążenia, użyj warstw zobowiązań sztucznej inteligencji w usługach Azure AI. W przypadku modeli usługi Azure OpenAI użyj aprowizowania jednostek przepływności (PTU), które mogą być tańsze niż ceny oparte na użyciu (płatność zgodnie z rzeczywistym użyciem). Typowe jest łączenie punktów końcowych jednostki PTU i punktów końcowych opartych na użyciu na potrzeby optymalizacji kosztów. Użyj jednostek PTU w podstawowym punkcie końcowym modelu sztucznej inteligencji i pomocniczym, opartym na użyciu punkcie końcowym sztucznej inteligencji na potrzeby wycieku. Aby uzyskać więcej informacji, zobacz Wprowadzenie bramy dla wielu wystąpień usługi Azure OpenAI.
Wybierz odpowiedni model dla twojego przypadku użycia. Wybierz model sztucznej inteligencji, który spełnia Twoje potrzeby bez ponoszenia nadmiernych kosztów. Używaj tańszych modeli, chyba że przypadek użycia wymaga droższego modelu. Aby uzyskać precyzyjne dostrajanie, maksymalizuj użycie czasu w każdym okresie rozliczeniowym, aby uniknąć dodatkowych opłat. Aby uzyskać więcej informacji, zobacz Modele i cennik usługi Azure OpenAI. Zobacz również wykaz modeli Azure AI Foundry
oraz informacje dotyczące rozliczeń dla wdrożeń modelu.Ustaw limity aprowizacji. Przydziel przydziały aprowizacji dla każdego modelu na podstawie oczekiwanych obciążeń, aby zapobiec niepotrzebnym kosztom. Ciągłe monitorowanie dynamicznych przydziałów w celu zapewnienia, że odpowiadają rzeczywistemu zapotrzebowaniu i odpowiednio dostosuj je, aby zachować optymalną przepływność bez nadmiernego zapotrzebowania.
Użyj odpowiedniego typu wdrożenia. Modele usługi Azure OpenAI umożliwiają korzystanie z różnych typów wdrożeń. Wdrożenie globalne oferuje niższe koszty za token w przypadku niektórych modeli OpenAI.
Ocena opcji hostingu. Wybierz odpowiednią infrastrukturę hostingu w zależności od potrzeb rozwiązania. Na przykład w przypadku obciążeń generowania sztucznej inteligencji opcje obejmują zarządzane punkty końcowe online, usługę Azure Kubernetes Service (AKS) i usługę aplikacja systemu Azure Service, z których każdy ma własny model rozliczeń. Wybierz opcję, która zapewnia najlepszą równowagę między wydajnością a kosztami dla określonych wymagań.
Kontrolowanie zachowania klienta w usługach opartych na użyciu. Ogranicz dostęp klienta do usługi sztucznej inteligencji, wymuszając protokoły zabezpieczeń, takie jak mechanizmy kontroli sieci, klucze i kontrola dostępu oparta na rolach (RBAC). Upewnij się, że klienci używają ograniczeń interfejsu API, takich jak maksymalne tokeny i maksymalne ukończenia. Jeśli to możliwe, żądania wsadowe w celu zoptymalizowania wydajności. Zachowaj zwięzłość monitów, ale podaj niezbędny kontekst, aby zmniejszyć użycie tokenu.
Rozważ użycie bramy generowania sztucznej inteligencji. Brama generowania sztucznej inteligencji umożliwia śledzenie użycia tokenów, ograniczanie użycia tokenu, stosowanie wyłączników i kierowanie do różnych punktów końcowych sztucznej inteligencji w celu kontrolowania kosztów.
Utwórz zasady zamykania wystąpień obliczeniowych. Określenie i egzekwowanie polityki, która stwierdza, że zasoby AI muszą używać funkcji automatycznego zamykania na maszynach wirtualnych i instancjach obliczeniowych w usłudze Azure AI Foundry i Azure Machine Learning. Automatyczne zamykanie ma zastosowanie do środowisk nieprodukcyjnych i obciążeń produkcyjnych, które można przejąć w tryb offline przez określony czas.
Aby uzyskać więcej wskazówek dotyczących zarządzania kosztami, zobacz Zarządzanie kosztami sztucznej inteligencji i optymalizacją kosztów w architekturze punktu odniesienia usługi Azure OpenAI.
Zarządzanie platformami sztucznej inteligencji
Nadzór nad platformą sztucznej inteligencji obejmuje stosowanie mechanizmów kontroli zasad do różnych usług sztucznej inteligencji na platformie Azure, takich jak Azure AI Foundry i Azure Machine Learning. Korzystanie z ładu na poziomie platformy wymusza spójne zabezpieczenia, zgodność i zasady operacyjne w ekosystemie sztucznej inteligencji. To dostosowanie wspiera skuteczny nadzór, co wzmacnia ogólne zarządzanie sztuczną inteligencją i niezawodność.
Użyj wbudowanych zasad ładu. Użyj usługi Azure Policy, aby zastosować wbudowane definicje zasad dla każdej używanej platformy sztucznej inteligencji. Obejmuje ona Azure AI Foundry, Azure Machine Learning, usługi Azure AI, Azure AI Searchi inne.
Włączanie zasad sztucznej inteligencji strefy docelowej platformy Azure. W przypadku użytkowników strefy docelowej platformy Azure wdrożenie obejmuje wyselekcjonowany zestaw zalecanych wbudowanych zasad dla usług platformy Azure AI. Wybierz inicjatywę zasad, której chcesz użyć w kategorii Zgodność specyficzna dla obciążenia podczas wdrażania strefy docelowej platformy Azure. Zestawy zasad obejmują usługi Azure OpenAI, Azure Machine Learning i Azure AI Search oraz Azure Bot.
Zarządzanie zabezpieczeniami sztucznej inteligencji
Nadzór nad zabezpieczeniami sztucznej inteligencji eliminuje konieczność ochrony obciążeń sztucznej inteligencji przed zagrożeniami, które mogłyby naruszyć bezpieczeństwo danych, modeli lub infrastruktury. Niezawodne rozwiązania w zakresie zabezpieczeń chronią te systemy przed nieautoryzowanym dostępem i naruszeniami danych. Ta ochrona zapewnia integralność i niezawodność rozwiązań sztucznej inteligencji, co jest niezbędne do utrzymania zaufania użytkowników i zgodności z przepisami.
Włącz Defender dla Chmury dla każdej subskrypcji. Defender dla Chmury zapewnia ekonomiczne podejście do wykrywania konfiguracji we wdrożonych zasobach, które nie są bezpieczne. Należy również włączyć ochronę przed zagrożeniami w usłudze AI.
Konfigurowanie kontroli dostępu. Udzielanie dostępu użytkowników o najniższych uprawnieniach do scentralizowanych zasobów sztucznej inteligencji. Na przykład zacznij od roli Czytelnik platformy Azure i podnieś poziom uprawnień do roli Współautor na platformie Azure, jeśli ograniczone uprawnienia spowalniają tworzenie aplikacji.
Użyj tożsamości zarządzanych. Użyj tożsamości zarządzanej we wszystkich obsługiwanych usługach platformy Azure. Udziel dostępu do najniższych uprawnień do zasobów aplikacji, które muszą uzyskiwać dostęp do punktów końcowych modelu sztucznej inteligencji.
Użyj dostępu just in time. Użyj usługi Privileged Identity Management (PIM) na potrzeby dostępu just in time.
Zarządzanie operacjami sztucznej inteligencji
Zarządzanie operacjami sztucznej inteligencji koncentruje się na zarządzaniu i utrzymywaniu stabilnych usług sztucznej inteligencji. Te operacje obsługują długoterminową niezawodność i wydajność. Scentralizowane plany nadzoru i ciągłości pomagają organizacjom uniknąć przestojów, co zapewnia spójną wartość biznesową sztucznej inteligencji. Te wysiłki przyczyniają się do wydajnego wdrażania sztucznej inteligencji i trwałej skuteczności operacyjnej.
Przeglądanie modeli sztucznej inteligencji i zarządzanie nimi. Opracuj zasady zarządzania przechowywaniem wersji modelu, szczególnie w przypadku uaktualniania lub wycofywania modeli. Należy zachować zgodność z istniejącymi systemami i zapewnić bezproblemowe przejście między wersjami modelu.
Zdefiniuj plan ciągłości działania i odzyskiwania po awarii. Ustanów zasady dotyczące ciągłości działania i odzyskiwania po awarii dla punktów końcowych sztucznej inteligencji i danych sztucznej inteligencji. Skonfiguruj podstawowe odzyskiwanie po awarii dla zasobów hostujących punkty końcowe modelu AI. Te zasoby obejmują azure AI Foundry, azure Machine Learning, azure OpenAIlub usług Azure AI. Wszystkie magazyny danych platformy Azure, takie jak Azure Blob Storage, Azure Cosmos DB i Azure SQL Database, zapewniają wskazówki dotyczące niezawodności i odzyskiwania po awarii, które należy wykonać.
Zdefiniuj metryki punktu odniesienia dla zasobów sztucznej inteligencji. Włącz zalecane reguły alertów, aby otrzymywać powiadomienia o odchyleniach, które wskazują na spadek kondycji obciążenia. Aby zapoznać się z przykładami, zobacz Azure AI Search, Azure Machine Learning, wdrożenia przepływów monitów Azure AI Foundryi wskazówki dotyczące poszczególnych usług Azure AI.
Zarządzanie zgodnością z przepisami dotyczącymi sztucznej inteligencji
Zgodność z przepisami w sztucznej inteligencji wymaga od organizacji przestrzegania standardów branżowych i zobowiązań prawnych, które zmniejszają ryzyko związane z zobowiązaniami i budowania zaufania. Środki zgodności pomagają organizacjom uniknąć kar i zwiększyć wiarygodność klientów i organów regulacyjnych. Przestrzeganie tych standardów stanowi solidną podstawę do odpowiedzialnego i zgodnego użycia sztucznej inteligencji.
Automatyzowanie zgodności. Użyj Menedżera zgodności usługi Microsoft Purview, aby ocenić zgodność w środowiskach chmury i zarządzać nimi. Użyj odpowiednich inicjatyw dotyczących zgodności z przepisami w usłudze Azure Policy dla Twojej branży. Zastosuj inne zasady w zależności od używanych usług sztucznej inteligencji, takich jak Azure AI Foundry i Azure Machine Learning.
Opracowywanie list kontrolnych zgodności specyficznych dla branży. Przepisy i standardy różnią się w zależności od branży i lokalizacji. Musisz znać wymagania prawne i skompilować listy kontrolne, które odzwierciedlają wymagania prawne, które są istotne dla Twojej branży. Użyj standardów, takich jak ISO/IEC 23053:2022 (Framework for Artificial Intelligence Systems Using Machine Learning), do inspekcji zasad stosowanych do obciążeń sztucznej inteligencji.
Zarządzanie danymi sztucznej inteligencji
Nadzór nad danymi sztucznej inteligencji obejmuje zasady zapewniające, że przekazywanie danych do modeli sztucznej inteligencji jest odpowiednie, zgodne i bezpieczne. Nadzór nad danymi chroni prywatność i własność intelektualną, co zwiększa niezawodność i jakość danych wyjściowych sztucznej inteligencji. Środki te pomagają ograniczyć ryzyko związane z nieprawidłowym użyciem danych i są zgodne ze standardami prawnymi i etycznymi.
Ustanów proces katalogowania danych. Użyj narzędzia, takiego jak Microsoft Purview , aby zaimplementować ujednolicony system wykazu danych i klasyfikacji w całej organizacji. Zintegruj te zasady z potokami ciągłej integracji/ciągłego wdrażania na potrzeby opracowywania sztucznej inteligencji.
Zachowaj granice zabezpieczeń danych. Katalogowanie danych pomaga zapewnić, że dane poufne nie są wprowadzane do publicznych punktów końcowych sztucznej inteligencji. Podczas tworzenia indeksów z określonych źródeł danych proces indeksowania może usunąć granice zabezpieczeń wokół danych. Upewnij się, że wszystkie dane pozyskane do modeli sztucznej inteligencji są klasyfikowane i weryfikowane zgodnie ze scentralizowanymi standardami.
Zapobieganie naruszeniu praw autorskich. Użyj systemu filtrowania zawartości, takiego jak wykrywanie chronionych materiałów w usłudze Azure AI Content Safety , aby odfiltrować materiał chroniony prawem autorskim. W przypadku uziemienia, trenowania lub dostrajania modelu sztucznej inteligencji upewnij się, że używasz legalnie uzyskanych i właściwie licencjonowanych danych oraz zaimplementuj zabezpieczenia, aby zapobiec naruszeniu praw autorskich przez model. Regularnie przeglądaj dane wyjściowe pod kątem zgodności z własnością intelektualną.
Zaimplementuj kontrolę wersji na potrzeby uziemienia danych. Ustanów proces kontroli wersji na potrzeby uziemienia danych, na przykład w systemie RAG. Przechowywanie wersji zapewnia możliwość śledzenia wszelkich zmian w danych źródłowych lub ich strukturze. W razie potrzeby możesz przywrócić zmiany, pomagając zachować spójność we wszystkich wdrożeniach.