Nejčastější dotazy ke službě Azure OpenAI Service

Azure OpenAI nepoužívá zákaznická data k přetrénování modelů. Další informace najdete v části Přehled dat, ochrany osobních údajů a zabezpečení služby Azure OpenAI.

Naše aktuální rozhraní API umožňují až 10 vlastních hlaviček, které se předávají kanálem a vrací se. Všimli jsme si, že někteří zákazníci teď tento počet hlaviček překračují, což vede k chybám HTTP 431. Pro tuto chybu neexistuje žádné řešení, kromě zmenšení svazku záhlaví. V budoucích verzích rozhraní API už nebudeme předávat vlastní hlavičky. Zákazníkům doporučujeme, aby v budoucích systémových architekturách nezávisí na vlastních hlavičkách.

Nejnovější verze knihovny OpenAI Pythonu pro OpenAI (verze>=1.0) podporuje Azure OpenAI. Je ale důležité si uvědomit, že migrace základu kódu se openai migrate nepodporuje a nebude fungovat s kódem, který cílí na Azure OpenAI.

GPT-4 Turbo Preview je gpt-4 model (1106-Preview). Pokud chcete tento model nasadit, vyberte v části Nasazení model gpt-4. V případě verze modelu vyberte 1106-Preview. Pokud chcete zkontrolovat, ve kterých oblastech je tento model dostupný, podívejte se na stránku modelů.

Azure OpenAI podporuje nejnovější modely GPT-4. Podporuje GPT-4 i GPT-4-32K.

Služba Azure OpenAI poskytuje zákazníkům pokročilou jazykovou AI s modely OpenAI GPT-3, Codex a DALL-E s příslibem zabezpečení a podniku v Azure. Azure OpenAI codevelops rozhraní API s OpenAI zajišťuje kompatibilitu a hladký přechod z jednoho na druhý.

Zákazníci s Azure OpenAI získají možnosti zabezpečení Microsoft Azure a zároveň spouštět stejné modely jako OpenAI.

Ano, v rámci služeb Azure AI podporuje Azure OpenAI virtuální sítě a privátní koncové body. Další informace najdete v doprovodných materiálech k virtuálním sítím služeb Azure AI.

Ne, GPT-4 je navržen OpenAI, aby byl multimodální, ale v současné době je podporován pouze textový vstup a výstup.

Dříve proces přidání nových případů použití vyžadoval, aby se zákazníci znovu použili ke službě. Nyní vydáváme nový proces, který umožňuje rychle přidat nové případy použití do vašeho používání služby. Tento proces se řídí zavedeným procesem omezeného přístupu v rámci služeb Azure AI. Stávající zákazníci můžou otestovat všechny a všechny nové případy použití. Mějte na paměti, že to se vyžaduje vždy, když chcete službu použít pro nový případ použití, na který jste původně nepožádali.

K této chybě obvykle dochází při pokusu o odeslání dávky textu pro vložení do jednoho požadavku rozhraní API jako pole. Azure OpenAI v současné době podporuje pouze pole vkládání s více vstupy pro text-embedding-ada-002 model verze 2. Tato verze modelu podporuje pole, které se skládá z až 16 vstupů na požadavek rozhraní API. Pole může mít délku až 8 191 tokenů při použití modelu pro vložení textu ada-002 (verze 2).

Podívejte se na náš úvod k výzvě k technickému zpracování. I když jsou tyto modely výkonné, jejich chování je také velmi citlivé na výzvy, které od uživatele obdrží. Proto je konstrukce dotazů důležitou dovedností, kterou je potřeba rozvíjet. Po dokončení úvodu se podívejte na náš článek o systémových zprávách.

Toto chování se očekává při použití výchozího přihlašovacího prostředí pro Azure AI Studio.

Přístup k Azure AI Studiu z účtu hosta, kterému byl udělen přístup k prostředku Azure OpenAI:

1. Otevřete relaci privátního prohlížeče a přejděte na https://ai.azure.com.
2. Místo okamžitého zadání přihlašovacích údajů k vašemu účtu hosta vyberte Sign-in options
3. Teď vyberte Přihlásit se k organizaci.
4. Zadejte název domény organizace, která udělila vašemu účtu hosta přístup k prostředku Azure OpenAI.
5. Teď se přihlaste pomocí přihlašovacích údajů účtu hosta.

Teď byste měli mít přístup k prostředku přes Azure AI Studio.

Případně pokud jste přihlášení k webu Azure Portal z podokna Přehled prostředku Azure OpenAI, můžete vybrat Přejít do Azure AI Studia a automaticky se přihlásit pomocí příslušného kontextu organizace.

Modely Azure OpenAI (včetně GPT-4) nemůžou správně identifikovat, jaký model běží, očekávané chování.

Proč k tomu dochází?

V konečném důsledku model v reakci na vaši otázku provádí další predikci tokenu . Model nemá žádnou nativní schopnost dotazovat, jaká verze modelu se právě spouští, aby odpovídala na vaši otázku. Pokud chcete odpovědět na tuto otázku, můžete kdykoli přejít na nasazení> správy>azure AI Studio>a zkontrolovat, který model je aktuálně přidružený k danému názvu nasazení.

Otázky typu "Jaký model používáte?" nebo "Co je nejnovější model z OpenAI?" vytváří podobné výsledky kvality, aby se zeptal modelu, jaký bude počasí dnes. Může vrátit správný výsledek, ale čistě náhodou. Model sám nemá žádné informace z reálného světa než to, co bylo součástí trénovacích a trénovacích dat. V případě GPT-4 platí, že od srpna 2023 podkladová trénovací data přejdou pouze do září 2021. GPT-4 se nedaly vydat až do března 2023, takže pokud openAI vydá novou verzi s aktualizovanými trénovacími daty, nebo novou verzi, která je vyladěná tak, aby odpovídala na tyto konkrétní otázky, je očekávané chování gpT-4 reagovat na to, že GPT-3 je nejnovější verze modelu od OpenAI.

Pokud byste chtěli pomoct modelu založenému na GPT, aby přesně odpovídal na otázku "jaký model spouštíte?", budete muset poskytnout dané informace modelu prostřednictvím technik, jako je třeba výzva k vytvoření systémové zprávy modelu, načtení rozšířené generace (RAG), což je technika používaná službou Azure OpenAI na vašich datech, kde aktuální informace se vloží do systémové zprávy v době dotazu. nebo prostřednictvím jemného ladění, kde byste mohli vyladit konkrétní verze modelu, abyste na tuto otázku odpověděli určitým způsobem na základě verze modelu.

Další informace o trénování modelů GPT a práci doporučujeme sledovat Andrej Karpatie v buildu 2023 o stavu GPT.

Toto chování je očekávané. Modely nemůžou odpovídat na otázky týkající se sebe sama. Pokud chcete vědět, kdy je výstřižek znalostí pro trénovací data modelu, projděte si stránku modelů.

Toto chování je očekávané. Za prvé neexistuje žádná záruka, že každá nedávná událost byla součástí trénovacích dat modelu. A i když byly informace součástí trénovacích dat, aniž by se používaly další techniky, jako je načítání rozšířené generace (RAG), které pomáhají uzemnit odpovědi modelu, vždy existuje šance, že dojde k nezemřeným odpovědím. Obě funkce Azure OpenAI používají vaši datovou funkci i chat Bingu, používají modely Azure OpenAI v kombinaci s načítáním rozšířené generace, aby pomohly dalším odpovědím na základní model.

Frekvence, kterou se daná část informací objevila v trénovacích datech, může mít vliv také na pravděpodobnost, že model bude reagovat určitým způsobem.

Ptejte se nejnovějšího modelu GPT-4 Turbo Preview o něčem, co se nedávno změnilo, například "Kdo je premiérem Nového Zélandu?", bude pravděpodobně výsledkem zkompilované reakce Jacinda Ardern. Nicméně, ptát se modelu "Kdy se Jacinda Ardern odstoupil jako premiér?" Má tendenci poskytovat přesnou odpověď, která ukazuje znalosti trénovacích dat, které se budou provádět nejméně v lednu 2023.

Takže i když je možné model testovat s otázkami, abyste odhadli odříznutí trénovacích dat, je stránka modelu nejlepším místem pro kontrolu odříznutí znalostí modelu.

Starší informace o cenách jsou k dispozici prostřednictvím souboru PDF ke stažení. Pro všechny ostatní modely se podívejte na oficiální stránku s cenami.

Výskyt těchto chyb můžete minimalizovat snížením teploty výzev na méně než 1 a zajištěním, že používáte klienta s logikou opakování. Opětovné nahrazování požadavku často vede k úspěšné odpovědi.

Pokud služba provádí zpracování, budou se vám účtovat poplatky i v případě, že stavový kód není úspěšný (ne 200). Mezi běžné příklady patří chyba 400 z důvodu filtru obsahu nebo vstupního limitu nebo chyby 408 kvůli vypršení časového limitu. K poplatkům dojde také v případě, že status 200 je přijat s content_filterfinish_reason V tomto případě výzva neměla žádné problémy, ale dokončení vygenerované modelem bylo zjištěno, že porušuje pravidla filtrování obsahu, což vede k filtrování dokončení. Pokud služba neprovádí zpracování, nebude se vám nic účtovat. Například chyba 401 kvůli ověření nebo chybě 429 kvůli překročení limitu rychlosti.

Pro přístup k většině modelů Azure OpenAI se nevyžaduje registrační formulář s omezeným přístupem. Další informace najdete na stránce s omezeným přístupem k Azure OpenAI.

Měsíční aktualizace najdete na naší nové stránce.

Podívejte se na náš úvod do školicího kurzu Azure OpenAI.

• Doporučujeme publikovat otázky na webu Microsoft Q&A.
• Případně můžete publikovat dotazy na Stack Overflow.

Azure OpenAI je součástí služeb Azure AI. Všechny možnosti podpory pro služby Azure AI najdete v průvodci možnostmi podpory a nápovědy.

Projděte si průvodce dostupností modelu Azure OpenAI.

Informace o dostupnosti v oblastech najdete v průvodci dostupností modelu Azure OpenAI.

Pro všechny prostředky nabízíme smlouvu SLA o dostupnosti a smlouvu SLA latence pro zřízená nasazení spravovaná prostřednictvím. Další informace o smlouvě SLA pro službu Azure OpenAI najdete na stránce Smlouvy o úrovni služeb (SLA) pro online služby.

Abyste mohli úspěšně získat přístup k jemnému ladění, potřebujete přiřazeného přispěvatele OpenAI služeb Cognitive Services. I někdo s oprávněními správce služeb vysoké úrovně by tento účet stále potřeboval explicitně nastavit, aby mohl získat přístup k jemnému ladění. Další informace najdete v pokynech k řízení přístupu na základě role.

Základní model je model, který nebyl přizpůsobený nebo vyladěný pro konkrétní případ použití. Jemně vyladěné modely jsou přizpůsobené verze základních modelů, ve kterých se vytrénují váhy modelu na jedinečné sadě výzev. Jemně vyladěné modely umožňují dosáhnout lepších výsledků u širšího počtu úkolů, aniž byste museli v rámci výzvy k dokončení poskytnout podrobné příklady pro výuku v kontextu. Další informace najdete v našem podrobném průvodci laděním.

100

Pokud je přizpůsobený (jemně vyladěný) model nasazený po dobu delší než 15 dnů, během kterého se do něj neprovedou žádná volání dokončení nebo dokončení chatu, nasazení se automaticky odstraní (a za toto nasazení se neúčtují žádné další poplatky za hostování). Základní přizpůsobený model zůstane dostupný a můžete ho kdykoli znovu nasadit. Další informace najdete v článku s postupy.

Aktuálně existují dvě různá rozhraní REST API, která umožňují nasazení modelu. Nejnovější funkce nasazení modelu, jako je možnost určit verzi modelu během nasazování pro modely, jako je vkládání textu ada-002 verze 2, použijte volání Nasazení – Vytvoření nebo aktualizace rozhraní REST API.

Ne, přidělení tokenů kvót za minutu (TPM) nesouvisí s limitem maximálního vstupního tokenu modelu. Omezení vstupního tokenu modelu jsou definována v tabulce modelů a nejsou ovlivněna změnami čipu TPM.

Ne, v tuto chvíli nepodporujeme vyladění možností obrázků GPT-4.

Ne, můžete použít dall-e-3 k vygenerování obrázků a gpt-4-vision-preview pochopení imagí.

V současné době podporujeme formát PNG (.png), JPEG (.jpeg a .jpg), WEBP (.webp) a nonanimated GIF (.gif).

Ano, nahrávání obrázků omezujeme na 20 MB na obrázek.

Ne, image pro vás odstraníme automaticky po jeho zpracování modelem.

Image zpracováváme na úrovni tokenu, takže každá image se počítá do limitu vašich tokenů za minutu (TPM). Podrobnosti o vzorci použitém k určení počtu tokenů na obrázku najdete v části Přehled.

Ne, model nepřijímá metadata obrázků.

Pokud je obrázek nejednoznačný nebo nejasný, model ho nejlépe interpretuje. Výsledky ale můžou být méně přesné. Dobrým pravidlem je, že pokud průměrný člověk neuvidí informace na obrázku v rozlišeních použitých v režimu s nízkým/vysokým rozlišením, model ani jeden z těchto možností nemůže.

Podívejte se na část omezení příručky GPT-4 Turbo s koncepty vision.

Ve výchozím nastavení mají GPT-4 vision-preview a GPT-4 turbo-2024-04-09 hodnotu 16.max_tokens V závislosti na požadavku je tato hodnota často příliš nízká a může vést ke zkrácení odpovědí. Pokud chcete tento problém vyřešit, předejte v rámci požadavků rozhraní API pro dokončování chatu větší max_tokens hodnotu. Výchozí hodnota GPT-4o je 4096 max_tokens.

Ano. Na rozdíl od rozhraní API pro dokončování chatu jsou asistenti Azure OpenAI stavovým rozhraním API, což znamená, že uchovává data. V rozhraní API asistentů jsou uložené dva typy dat:

• Stavové entity: Vlákna, zprávy a spuštění vytvořená během používání asistentů.
• Soubory: Nahrání během nastavení pomocníků nebo jako součást zprávy

Data se ukládají v zabezpečeném účtu úložiště spravovaném Microsoftem, který je logicky oddělený.

Všechna použitá data se v tomto systému uchovávají, pokud tato data explicitně neodstraníte. Použijte funkci delete s ID vlákna vlákna, které chcete odstranit. Vymazání spuštění v pomocníkech Playground neodstraní vlákna, ale odstranění pomocí funkce delete je nebude vypisovat na stránce vlákna.

Ne. V současné době asistenti podporují jenom místní soubory nahrané do úložiště spravovaného asistenty. S asistenty nemůžete používat svůj privátní účet úložiště.

Dnes podporujeme CMK pro vlákna a soubory v asistentech. Podívejte se na stránku Co je nového pro dostupné oblasti této funkce.

Ne. Data se nepoužívají pro Microsoft, který se nepoužívá pro trénovací modely. Další informace najdete v dokumentaci k zodpovědné umělé inteligenci.

Koncové body pomocníků Azure OpenAI jsou regionální a data se ukládají ve stejné oblasti jako koncový bod. Další informace najdete v dokumentaci k rezidenci dat Azure.

• Odvozování nákladů (vstup a výstup) základního modelu, který používáte pro každého asistenta (například gpt-4-0125). Pokud jste vytvořili více asistentů, bude se vám účtovat základní model připojený ke každému asistentovi.
• Pokud jste povolili nástroj Interpret kódu. Pokud váš asistent například volá interpret kódu současně ve dvou různých vláknech, vytvoří se dvě relace interpretu kódu, z nichž každý se bude účtovat. Každá relace je ve výchozím nastavení aktivní po dobu jedné hodiny, což znamená, že byste tento poplatek zaplatili pouze jednou, pokud uživatel bude poskytovat pokyny interpretovi kódu ve stejném vlákně až jednu hodinu.
• Hledání souborů se účtuje na základě použitého vektorového úložiště.

Další informace naleznete v části Stránka s cenami.

Ne. Všechny kvóty se vztahují na použití modelů s asistenty.

Rozhraní API asistentů podporuje pouze modely Azure OpenAI.

Rozhraní API asistentů je aktuálně ve verzi Public Preview. Mějte přehled o našich nejnovějších aktualizacích produktů tím, že pravidelně navštívíte naši stránku Co je nového .

Informace o tom, jak začít a používat asistenty, najdete v článcích s postupy v koncepčním, rychlém startu. Na GitHubu si také můžete prohlédnout ukázky kódu Pro Azure OpenAI Assistants.

Publikovanou webovou aplikaci můžete přizpůsobit na webu Azure Portal. Zdrojový kód publikované webové aplikace je k dispozici na GitHubu, kde najdete informace o změně front-endu aplikace a také pokyny k sestavení a nasazení aplikace.

Kód aplikace se při aktualizaci aplikace nepřepíše. Aplikace se aktualizuje tak, aby používala prostředek Azure OpenAI, index Azure AI Search (pokud ve vašich datech používáte Azure OpenAI) a nastavení modelu vybraná v Azure AI Studiu beze změny vzhledu nebo funkčnosti.

Azure OpenAI ve vašich datech je funkce služeb Azure OpenAI, která organizacím pomáhá generovat přizpůsobené přehledy, obsah a vyhledávání pomocí určených zdrojů dat. Funguje s možnostmi modelů OpenAI v Azure OpenAI a poskytuje přesnější a relevantnější odpovědi na dotazy uživatelů v přirozeném jazyce. Azure OpenAI na vašich datech je možné integrovat se stávajícími aplikacemi a pracovními postupy zákazníka, nabízí přehledy o klíčových ukazatelích výkonu a může bezproblémově pracovat s uživateli.

Všichni zákazníci Azure OpenAI můžou na vašich datech používat Azure OpenAI přes Azure AI Studio a rozhraní REST API.

Azure OpenAI na vašich datech podporuje příjem dat z Azure AI Search, Azure Blob Storage a nahrávání místních souborů. Další informace o Azure OpenAI najdete v koncepčním článku a rychlém startu.

Při používání Azure OpenAI na vašich datech se vám účtují náklady, když používáte Azure AI Search, Azure Blob Storage, Azure Web App Service, sémantické vyhledávání a modely OpenAI. Používání funkce "vaše data" v Nástroji Azure AI Studio nemá žádné další náklady.

Index můžete připravit sami pomocí skriptu poskytnutého na GitHubu. Pomocí tohoto skriptu vytvoříte index Služby Azure AI Search se všemi informacemi potřebnými k lepšímu používání dat s dokumenty rozdělenými do spravovatelných bloků dat. Podrobnosti o tom, jak ho spustit, najdete v souboru README s kódem pro přípravu dat.

Můžete naplánovat automatickou aktualizaci indexu nebo nahrát další data do kontejneru objektů blob Azure a použít je jako zdroj dat při vytváření nového indexu. Nový index bude obsahovat všechna data v kontejneru.

Další informace o podporovaných typech souborů najdete v tématu Použití dat .

Ano, Azure OpenAI na vašich datech je součástí služby Azure OpenAI a pracuje s modely dostupnými v Azure OpenAI. Funkce monitorování filtrování obsahu a zneužití Azure OpenAI stále platí. Další informace najdete v přehledu postupů zodpovědné umělé inteligence pro modely Azure OpenAI a poznámky transparentnosti pro Azure OpenAI, kde najdete další pokyny k zodpovědnému používání Azure OpenAI na vašich datech.

Ano, limit tokenu pro systémovou zprávu je 400. Pokud je systémová zpráva větší než 400 tokenů, ostatní tokeny nad rámec prvních 400 se budou ignorovat. Toto omezení platí jenom pro azure OpenAI ve vaší funkci dat.

Azure OpenAI na vašich datech aktuálně nepodporuje volání funkcí.

Dotazy musíte posílat ve stejném jazyce jako data. Vaše data můžou být v libovolném jazyce podporovaném službou Azure AI Search.

Když jako zdroj dat vyberete Azure AI Search, můžete použít sémantické vyhledávání. Pokud jako zdroj dat vyberete "Kontejner objektů blob Azure" nebo "Nahrát soubory", můžete index vytvořit obvyklým způsobem. Potom byste znovu použili možnost Azure AI Search k výběru stejného indexu a použití sémantického vyhledávání. Pak budete připraveni chatovat s daty pomocí sémantického vyhledávání.

Když jako zdroj dat vyberete "Azure Blob Container", "Azure AI Search" nebo "Upload files", můžete také vybrat nasazení modelu vkládání Ada, které se použije při ingestování dat. Tím se vytvoří index Azure AI Search s vektorovými vkládáními.

Vytvoření indexu může selhat při přidávání vkládání do indexu, pokud je omezení rychlosti nasazení modelu vkládání Ada příliš nízké nebo pokud máte velmi velkou sadu dokumentů. Tento skript poskytnutý na GitHubu můžete použít k ručnímu vytvoření indexu s vkládáním.

Závazek k autorským právům zákazníka je ustanovení, které se má zahrnout do 1. prosince 2023 podmínek produktu společnosti Microsoft, které popisují povinnost společnosti Microsoft bránit zákazníkům proti určitým nárokům duševního vlastnictví třetích stran týkajících se výstupního obsahu. Pokud je předmětem deklarace identity výstupní obsah vygenerovaný ze služby Azure OpenAI (nebo jakéhokoli jiného zahrnutého produktu, který zákazníkům umožňuje konfigurovat bezpečnostní systémy), musí zákazník implementovat všechna omezení rizik vyžadovaná dokumentací ke službě Azure OpenAI v nabídce, která doručuje výstupní obsah. Požadovaná omezení rizik jsou zde zdokumentovaná a průběžně se aktualizují. U nových služeb, funkcí, modelů nebo případů použití se zveřejní nové požadavky CCC a projeví se na spuštění této služby, funkce, modelu nebo případu použití. V opačném případě budou mít zákazníci šest měsíců od doby zveřejnění, aby implementovali nová zmírnění rizik, aby zachovali pokrytí v rámci CCC. Pokud zákazník nabídne žádost, bude zákazník muset prokázat splnění příslušných požadavků. Tato omezení rizik jsou vyžadována pro zahrnuté produkty, které zákazníkům umožňují konfigurovat bezpečnostní systémy, včetně služby Azure OpenAI; nemají vliv na pokrytí zákazníků, kteří používají jiné zahrnuté produkty.

Další kroky

• Kvóty a limity služby Azure OpenAI
• Co je nového v Azure OpenAI
• Rychlé zprovoznění Azure OpenAI