Použití bezserverových grafických procesorů v Azure Container Apps (Preview)
Azure Container Apps poskytuje přístup k grafickým procesorům na vyžádání, aniž byste museli spravovat základní infrastrukturu. Jako bezserverová funkce platíte jenom za gpu, které se používají. Pokud je tato možnost povolená, zvýší se počet grafických procesorů používaných pro vaši aplikaci a klesne tak, aby splňoval požadavky vaší aplikace na zatížení. Bezserverové gpu umožňují bezproblémově spouštět úlohy pomocí automatického škálování, optimalizovaného studeného startu, fakturace za sekundu s vertikálním snížením kapacity na nulu, pokud se nepoužívá, a snížit provozní režii.
Bezserverové gpu jsou podporovány pouze pro profily úloh Consumption. Tato funkce není podporována pro prostředí jen pro spotřebu.
Poznámka:
Přístup k grafickým procesorům je k dispozici až po vyžádání kvót GPU. Žádost o kvótu GPU můžete odeslat prostřednictvím případu zákaznické podpory.
Zaměstnanecké výhody
Bezserverové gpu urychlují vývoj umělé inteligence tím, že vám umožní soustředit se na základní kód AI a méně na správu infrastruktury při použití GPU. Tato funkce poskytuje možnost střední vrstvy mezi bezserverovými rozhraními API katalogu modelů Azure AI a hostujícími modely na spravovaných výpočetních prostředcích.
Podpora bezserverového GPU služby Container Apps poskytuje úplné zásady správného řízení dat, protože vaše data nikdy neopustí hranice vašeho kontejneru a zároveň poskytuje spravovanou bezserverovou platformu, ze které se vytvářejí vaše aplikace.
Když v Container Apps používáte bezserverové grafické procesory, vaše aplikace získají tyto možnosti:
Gpu GPU se škálováním na nulu: Podpora automatického bezserverového škálování grafických procesorů NVIDIA A100 a NVIDIA T4.
Fakturace za sekundu: Platíte jenom za výpočetní výkon GPU, který používáte.
Předdefinované zásady správného řízení dat: Vaše data nikdy neopustí hranice kontejneru.
Flexibilní výpočetní možnosti: Můžete si vybrat mezi typy GPU NVIDIA A100 nebo T4.
Střední vrstva pro vývoj umělé inteligence: Používání vlastního modelu na spravované bezserverové výpočetní platformě
Obvyklé scénáře
Následující scénáře, i když nejsou komplexní, popisují běžné případy použití bezserverových gpu.
Odvozování v reálném čase a dávek: Použití vlastních opensourcových modelů s rychlými časy spuštění, automatickým škálováním a modelem fakturace za sekundu Bezserverové gpu jsou ideální pro dynamické aplikace. Platíte jenom za výpočetní prostředky, které používáte, a vaše aplikace se automaticky škáluje podle poptávky.
Scénáře strojového učení: Výrazně urychlí aplikace, které implementují jemně vyladěné vlastní modely AI, hluboké učení, neurální sítě nebo rozsáhlé analýzy dat.
Vysokovýkonné výpočetní prostředí (HPC): Aplikace, které vyžadují složité výpočty a simulace, jako jsou vědecké výpočty, finanční modelování nebo prognózování počasí, používají gpu jako prostředky pro vysoké výpočetní požadavky.
Vykreslování a vizualizace: Aplikace, které zahrnují 3D vykreslování, zpracování obrázků nebo překódování videa, často používají grafické procesory k urychlení procesu vykreslování a povolení vizualizace v reálném čase.
Analýza velkých objemů dat: Gpu můžou zrychlit zpracování a analýzu dat mezi obrovskými datovými sadami.
Důležité informace
Při používání bezserverových grafických procesorů mějte na paměti následující položky:
Verze CUDA: Bezserverové gpu podporují nejnovější verzi CUDA.
Omezení podpory:
- Gpu může současně používat jenom jeden kontejner v aplikaci.
- Stejný profil úlohy GPU může sdílet více aplikací, ale každý vyžaduje vlastní repliku.
- Repliky GPU s více a zlomky se nepodporují.
- První kontejner ve vaší aplikaci získá přístup k GPU.
IP adresy: Spotřeba GPU používá při nastavování integrace s vlastní virtuální sítí jednu IP adresu na repliku.
Vyžádání kvóty gpu bez serveru
Přístup k této funkci je k dispozici až po dosažení kvóty gpu bez serveru. Žádost o kvótu GPU můžete odeslat prostřednictvím případu zákaznické podpory. Při otevírání případu podpory pro žádost o kvótu GPU vyberte typ problému Technické.
Poznámka:
Zákazníci se smlouvami Enterprise mají ve výchozím nastavení povolenou jednu kvótu GPU T4.
Podporované oblasti
Bezserverové gpu jsou dostupné ve verzi Preview v oblastech USA – západ 3 a Austrálie – východ .
Použití bezserverových grafických procesorů
Když vytvoříte aplikaci typu kontejner prostřednictvím webu Azure Portal, můžete kontejner nastavit tak, aby používal prostředky GPU.
Na kartě Kontejner procesu vytvoření nastavte následující nastavení:
V části Přidělení prostředků kontejneru zaškrtněte políčko GPU.
Pro typ GPU*vyberte možnost NVIDIA A100 nebo NVIDIA T4.
Správa profilu úloh GPU bez serveru
Bezserverové gpu se spouštějí na profilech úloh GPU spotřeby. Profil úloh GPU consumption spravujete stejným způsobem jako jakýkoli jiný profil úlohy. Profil úlohy můžete spravovat pomocí rozhraní příkazového řádku nebo webu Azure Portal.
Vylepšení studeného startu GPU
Studené spuštění kontejnerů s podporou GPU můžete zlepšit povolením streamování artefaktů ve službě Azure Container Registry.
Poznámka:
Pokud chcete použít streamování artefaktů, musí být image kontejneru hostované ve službě Azure Container Registry.
Streamování obrázků povolíte pomocí následujících kroků:
Otevřete službu Azure Container Registry na webu Azure Portal.
Vyhledejte úložiště a vyberte Úložiště.
Vyberte název úložiště.
V okně Úložiště vyberte Spustit streamování artefaktů.
Vyberte značku obrázku, kterou chcete streamovat.
V okně, které se zobrazí, vyberte Vytvořit artefakt streamování.
Odeslat názor
Odešlete problém do úložiště Azure Container Apps na GitHubu.