Gotowe do użycia sztucznej inteligencji — zalecenia dotyczące organizacji tworzących obciążenia sztucznej inteligencji na platformie Azure
W tym artykule opisano proces organizacyjny tworzenia obciążeń sztucznej inteligencji na platformie Azure. Artykuł zawiera zalecenia dotyczące podejmowania kluczowych decyzji projektowych i procesów dotyczących wdrażania obciążeń sztucznej inteligencji na dużą skalę. Koncentruje się on na wskazówkach specyficznych dla sztucznej inteligencji dotyczących wyboru regionów, organizacji zasobów i sieci.
Ustanawianie niezawodności sztucznej inteligencji
Niezawodność sztucznej inteligencji obejmuje wybór odpowiednich regionów do hostowania modeli sztucznej inteligencji w celu zapewnienia spójnej wydajności, zgodności i dostępności. Organizacje muszą rozwiązywać problemy z nadmiarowością, trybem failover i optymalizacją wydajności w celu utrzymania niezawodnych usług sztucznej inteligencji.
Hostowanie punktów końcowych modelu sztucznej inteligencji przy użyciu wielu regionów. W przypadku obciążeń produkcyjnych punkty końcowe sztucznej inteligencji hostu w co najmniej dwóch regionach zapewniają nadmiarowość i zapewniają wysoką dostępność. Chociaż generowanie modeli sztucznej inteligencji jest bezstanowe, hostowanie ich w wielu regionach zapewnia szybsze przechodzenie w tryb failover i odzyskiwanie podczas awarii regionalnych. W przypadku modeli usługi Azure OpenAI można używać wdrożeń globalnych. Te wdrożenia wieloregionowe mogą automatycznie i w sposób przezroczysty kierować żądania do regionu, w którym jest wystarczająca pojemność. Jeśli wybierzesz wdrożenie nieglobalne, znane również jako wdrożenie regionalne, użyj usługi Azure API Management do równoważenia obciążenia żądań interfejsu API do punktów końcowych sztucznej inteligencji.
Potwierdź dostępność usługi. Przed wdrożeniem upewnij się, że w regionie jest dostępna dostępność potrzebnych zasobów sztucznej inteligencji. Niektóre regiony mogą nie udostępniać określonych usług sztucznej inteligencji lub mieć ograniczone funkcje, które mogą mieć wpływ na funkcjonalność rozwiązania. To ograniczenie może również mieć wpływ na skalowalność wdrożenia. Na przykład dostępność usługi Azure OpenAI może się różnić w zależności od modelu wdrażania. Te modele wdrażania obejmują globalny standard, globalną aprowizację, standard regionalny i aprowizację regionalną. Sprawdź usługę sztucznej inteligencji, aby potwierdzić, że masz dostęp do niezbędnych zasobów.
Ocena limitu przydziału i pojemności regionu. Rozważ limit przydziału lub subskrypcji w wybranym regionie w miarę wzrostu obciążeń sztucznej inteligencji. Usługi platformy Azure mają regionalne limity subskrypcji. Te limity mogą mieć wpływ na wdrożenia modeli sztucznej inteligencji na dużą skalę, takie jak duże obciążenia wnioskowania. Aby zapobiec zakłóceniom, skontaktuj się z pomoc techniczna platformy Azure z wyprzedzeniem, jeśli przewidujesz potrzebę dodatkowej pojemności.
Ocena wydajności. Podczas tworzenia aplikacji, które muszą pobierać dane, takie jak aplikacje generacji rozszerzonej (RAG), należy wziąć pod uwagę lokalizacje przechowywania danych w celu zoptymalizowania wydajności. Nie musisz kolokować danych z modelami w aplikacjach RAG, ale może to poprawić wydajność, zmniejszając opóźnienia i zapewniając wydajne pobieranie danych.
Przygotuj się na ciągłość operacji. Aby zapewnić ciągłość działania i odzyskiwanie po awarii, zreplikuj krytyczne zasoby, takie jak modele dostosowane, dane RAG, wytrenowane modele i zestawy danych szkoleniowych w regionie pomocniczym. Ta nadmiarowość umożliwia szybsze odzyskiwanie, jeśli wystąpi awaria i zapewni ciągłą dostępność usług.
Ustanawianie ładu w zakresie sztucznej inteligencji
Nadzór nad sztuczną inteligencją obejmuje organizowanie zasobów i stosowanie zasad w celu zarządzania obciążeniami i kosztami sztucznej inteligencji. Obejmuje ona strukturyzowanie grup zarządzania i subskrypcji w celu zapewnienia zgodności i zabezpieczeń w różnych obciążeniach. Odpowiedni nadzór nad sztuczną inteligencją zapobiega nieautoryzowanemu dostępowi, zarządza ryzykiem i zapewnia wydajne działanie zasobów sztucznej inteligencji w organizacji.
Oddzielne obciążenia internetowe i wewnętrzne obciążenia sztucznej inteligencji. Co najmniej użyj grup zarządzania, aby oddzielić obciążenia sztucznej inteligencji do internetu ("online") i tylko wewnętrzne ("firmowe"). Rozróżnienie zapewnia ważną granicę ładu danych. Pomaga ona zachować wewnętrzną separację od danych publicznych. Nie chcesz, aby użytkownicy zewnętrzni uzyskiwali dostęp do poufnych informacji biznesowych wymaganych do pracy wewnętrznej. To rozróżnienie między obciążeniami internetowymi i wewnętrznymi jest zgodne z grupami zarządzania strefami docelowymi platformy Azure.
Stosowanie zasad sztucznej inteligencji do każdej grupy zarządzania. Zacznij od zasad punktu odniesienia dla każdego typu obciążenia, takich jak te zasady używane w strefach docelowych platformy Azure. Dodaj więcej definicji usługi Azure Policy do punktu odniesienia, aby zapewnić jednolity ład dla usług azure AI, Azure AI Search, Azure Machine Learning i Azure Virtual Machines.
Wdrażanie zasobów sztucznej inteligencji w subskrypcjach obciążeń. Zasoby sztucznej inteligencji muszą dziedziczyć zasady ładu obciążenia z grupy zarządzania obciążeniami (wewnętrznej lub internetowej). Zachowaj je oddzielnie od zasobów platformy. Zasoby sztucznej inteligencji kontrolowane przez zespoły platformy zwykle tworzą wąskie gardła programistyczne. W kontekście strefy docelowej platformy Azure wdróż obciążenia sztucznej inteligencji w subskrypcjach strefy docelowej aplikacji.
Ustanawianie sieci sztucznej inteligencji
Sieć sztucznej inteligencji odnosi się do projektowania i implementacji infrastruktury sieciowej dla obciążeń sztucznej inteligencji, w tym zabezpieczeń i łączności. Obejmuje korzystanie z topologii, takich jak piasta i szprycha, stosowanie środków zabezpieczeń, takich jak ochrona przed atakami DDoS i zapewnienie wydajnego transferu danych. Efektywna sieć sztucznej inteligencji ma kluczowe znaczenie dla bezpiecznej i niezawodnej komunikacji, zapobiegając przerwom w działaniu sieci i utrzymywaniu wydajności.
Aktywuj usługę Azure DDoS Protection dla obciążeń sztucznej inteligencji dostępnych z Internetu. Usługa Azure DDoS Protection chroni usługi sztucznej inteligencji przed potencjalnymi zakłóceniami i przestojami spowodowanymi przez rozproszone ataki typu "odmowa usługi". Włącz ochronę przed atakami DDoS platformy Azure na poziomie sieci wirtualnej, aby chronić przed powodziami ruchu skierowanymi do aplikacji internetowych.
Nawiąż połączenie z danymi lokalnymi. W przypadku organizacji przesyłających duże ilości danych ze źródeł lokalnych do środowisk w chmurze należy użyć połączenia o wysokiej przepustowości.
Rozważ użycie usługi Azure ExpressRoute. Usługa Azure ExpressRoute jest idealna w przypadku dużych ilości danych, przetwarzania w czasie rzeczywistym lub obciążeń wymagających spójnej wydajności. Ma funkcję FastPath , która poprawia wydajność ścieżki danych.
Rozważ użycie usługi Azure VPN Gateway. Użyj usługi Azure VPN Gateway do obsługi umiarkowanych woluminów danych, rzadko używanego transferu danych lub gdy wymagany jest publiczny dostęp do Internetu. Łatwiej jest skonfigurować i ekonomicznie korzystać z mniejszych zestawów danych niż usługa ExpressRoute. Użyj poprawnej topologii i projektu dla obciążeń sztucznej inteligencji. Użyj sieci VPN typu lokacja-lokacja na potrzeby połączeń obejmujących wiele lokalizacji i połączeń hybrydowych. Użyj sieci VPN typu punkt-lokacja w celu zapewnienia bezpiecznej łączności urządzenia. Aby uzyskać więcej informacji, zobacz Łączenie sieci lokalnej z platformą Azure.
Przygotowywanie usług rozpoznawania nazw domen. W przypadku korzystania z prywatnych punktów końcowych należy zintegrować prywatne punkty końcowe z systemem DNS w celu prawidłowego rozpoznawania nazw DNS i pomyślnej funkcjonalności prywatnego punktu końcowego. Wdróż infrastrukturę usługi Azure DNS w ramach strefy docelowej platformy Azure i skonfiguruj usługi przesyłania dalej warunkowego z istniejących usług DNS dla odpowiednich stref. Aby uzyskać więcej informacji, zobacz Integracja usługi Private Link i DNS na dużą skalę dla stref docelowych platformy Azure.
Konfigurowanie kontroli dostępu do sieci. Użyj sieciowych grup zabezpieczeń, aby zdefiniować i zastosować zasady dostępu, które zarządzają ruchem przychodzącym i wychodzącym do i z obciążeń sztucznej inteligencji. Te mechanizmy kontroli mogą służyć do implementowania zasady najniższych uprawnień, zapewniając, że tylko niezbędna komunikacja jest dozwolona.
Korzystanie z usług monitorowania sieci. Użyj usług, takich jak Azure Monitor Network Insights i Azure Network Watcher, aby uzyskać wgląd w wydajność i kondycję sieci. Ponadto użyj usługi Microsoft Sentinel do zaawansowanego wykrywania zagrożeń i reagowania na nie w sieci platformy Azure.
Wdróż usługę Azure Firewall, aby sprawdzić i zabezpieczyć wychodzący ruch obciążenia platformy Azure. Usługa Azure Firewall wymusza zasady zabezpieczeń dla ruchu wychodzącego przed dotarciem do Internetu. Służy do kontrolowania i monitorowania ruchu wychodzącego oraz włączania protokołu SNAT do ukrywania wewnętrznych adresów IP przez tłumaczenie prywatnych adresów IP na publiczny adres IP zapory. Zapewnia bezpieczny i rozpoznawalny ruch wychodzący w celu lepszego monitorowania i zabezpieczeń.
Użyj usługi Azure Web Application Firewall (WAF) dla obciążeń internetowych. Zapora aplikacji internetowej platformy Azure pomaga chronić obciążenia sztucznej inteligencji przed typowymi lukami w zabezpieczeniach internetowych, w tym iniekcjami SQL i atakami skryptowymi między witrynami. Skonfiguruj zaporę aplikacji internetowej platformy Azure w usłudze Application Gateway pod kątem obciążeń wymagających zwiększonych zabezpieczeń przed złośliwym ruchem internetowym.
Ustanawianie podstawy sztucznej inteligencji
Podstawy sztucznej inteligencji udostępnia podstawową infrastrukturę i hierarchię zasobów, która obsługuje obciążenia sztucznej inteligencji na platformie Azure. Obejmuje ona konfigurowanie skalowalnych, bezpiecznych środowisk, które są zgodne z potrzebami ładu i operacyjnymi. Silna podstawa sztucznej inteligencji umożliwia wydajne wdrażanie obciążeń sztucznej inteligencji i zarządzanie nimi. Zapewnia również bezpieczeństwo i elastyczność przyszłego wzrostu.
Korzystanie ze strefy docelowej platformy Azure
Strefa docelowa platformy Azure to zalecany punkt początkowy, który przygotowuje środowisko platformy Azure. Zapewnia wstępnie zdefiniowaną konfigurację dla zasobów platformy i aplikacji. Po wdrożeniu platformy można wdrażać obciążenia sztucznej inteligencji w dedykowanych strefach docelowych aplikacji. Rysunek 2 poniżej ilustruje sposób integrowania obciążeń sztucznej inteligencji w strefie docelowej platformy Azure.
Rysunek 2. Obciążenie sztucznej inteligencji w strefie docelowej platformy Azure.
Tworzenie środowiska sztucznej inteligencji
Jeśli nie używasz strefy docelowej platformy Azure, postępuj zgodnie z zaleceniami w tym artykule, aby utworzyć środowisko sztucznej inteligencji. Na poniższym diagramie przedstawiono hierarchię zasobów punktu odniesienia. Segmentuje wewnętrzne obciążenia sztucznej inteligencji i obciążenia sztucznej inteligencji dostępne z Internetu, zgodnie z opisem w artykule Ustanawianie ładu w zakresie sztucznej inteligencji. Obciążenia wewnętrzne używają zasad do odmowy dostępu online od klientów. To oddzielenie chroni wewnętrzne dane przed ujawnieniem użytkownikom zewnętrznym. Tworzenie sztucznej inteligencji używa serwera przesiadkowego do zarządzania zasobami i danymi sztucznej inteligencji.
Rysunek 3. Hierarchia zasobów punktu odniesienia dla obciążeń sztucznej inteligencji.
Następne kroki
Następnym krokiem jest kompilowanie i wdrażanie obciążeń sztucznej inteligencji w środowisku sztucznej inteligencji. Skorzystaj z poniższych linków, aby znaleźć wskazówki dotyczące architektury, które spełniają Twoje potrzeby. Zacznij od architektur paaS (platform-as-a-service). Rozwiązanie PaaS to zalecane przez firmę Microsoft podejście do wdrażania sztucznej inteligencji.