Nasazení JAIS s využitím studio Azure Machine Learning
V tomto článku se dozvíte, jak pomocí studio Azure Machine Learning nasadit model JAIS jako službu s průběžnými platbami.
Model JAIS je k dispozici v studio Azure Machine Learning s fakturací na základě tokenů založených na průběžných platbách pomocí modelů jako služby.
Model JAIS najdete v katalogu modelů filtrováním podle kolekce JAIS.
Požadavky
Předplatné Azure s platným způsobem platby. Bezplatná nebo zkušební předplatná Azure nebudou fungovat. Pokud nemáte předplatné Azure, vytvořte si placený účet Azure, abyste mohli začít.
Pracovní prostor služby Azure Machine Learning. Pokud tyto možnosti nemáte, vytvořte je pomocí kroků v rychlém startu : Vytvoření článku o prostředcích pracovního prostoru. Nabídka nasazení bezserverového modelu rozhraní API pro JAIS je k dispozici pouze u pracovních prostorů vytvořených v těchto oblastech:
- East US
- USA – východ 2
- USA – středosever
- Středojižní USA
- USA – západ
- USA – západ 3
- Švédsko – střed
Seznam oblastí dostupných pro každý z modelů podporujících nasazení koncových bodů bez serveru najdete v tématu Dostupnost oblastí pro modely v koncových bodech bezserverového rozhraní API.
Řízení přístupu na základě role v Azure (Azure RBAC) se používá k udělení přístupu k operacím v Azure AI Studiu. Pokud chcete provést kroky v tomto článku, musí být vašemu uživatelskému účtu přiřazena role Vývojář Azure AI ve skupině prostředků. Další informace o oprávněních najdete v tématu Řízení přístupu na základě role v nástroji Azure AI Studio.
JAIS 30b Chat
JAIS 30b Chat je automaticky regresní bi-lingual LLM pro arabštinu a angličtinu. Vyladěné verze používají jemné ladění pod dohledem (SFT). Model je vyladěn pomocí arabského i anglického páru prompt-response. Podrobné ladění datových sad zahrnovalo širokou škálu instrukčních dat napříč různými doménami. Model se zabývá širokou škálou běžných úloh, mezi které patří zodpovězení otázek, generování kódu a odůvodnění textového obsahu. Pro zvýšení výkonu v arabštině vyvinul tým Core42 interní arabskou datovou sadu a přeložil některé opensourcové anglické instrukce do arabštiny.
Délka kontextu: JAIS 30b Chat podporuje délku kontextu 8 tisíc.
Vstup: Vstup modelu je pouze text.
Výstup: Model generuje pouze text.
Důležité
Tato funkce je v současné době ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti.
Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.
Nasazení s průběžnými platbami
Určité modely v katalogu modelů je možné nasadit jako službu s průběžnými platbami, což poskytuje způsob, jak je využívat jako rozhraní API, aniž byste je hostovali ve vašem předplatném, a přitom udržovat organizace zabezpečení a dodržování předpisů podniku potřebné. Tato možnost nasazení nevyžaduje kvótu z vašeho předplatného.
Dříve zmíněný model chatu JAIS 30b je možné nasadit jako službu s průběžnými platbami a core42 nabízí Microsoft Azure Marketplace. Core42 může změnit nebo aktualizovat podmínky použití a ceny tohoto modelu.
Vytvoření nového nasazení
Vytvoření nasazení:
Přejděte na studio Azure Machine Learning.
Vyberte pracovní prostor, ve kterém chcete modely nasadit. Pokud chcete použít nabídku nasazení modelu s průběžným platbami, musí váš pracovní prostor patřit do oblasti Usa – východ 2 nebo Švédsko – střed.
Vyhledejte JAIS a v katalogu modelů vyberte model chatu Jais-30b.
Na stránce přehledu modelu v katalogu modelů vyberte Nasadit.
V průvodci nasazením vyberte odkaz na podmínky Azure Marketplace, kde najdete další informace o podmínkách použití.
Můžete také vybrat kartu Ceny a podmínky , kde se dozvíte o cenách vybraného modelu.
Pokud model nasazujete v pracovním prostoru poprvé, musíte se přihlásit k odběru pracovního prostoru pro konkrétní nabídku modelu. Tento krok vyžaduje, aby váš účet má oprávnění role Azure AI Developer ve skupině prostředků, jak je uvedeno v požadavcích. Každý pracovní prostor má vlastní předplatné konkrétní nabídky Azure Marketplace, která umožňuje řídit a monitorovat útratu. Vyberte Přihlášení k odběru a nasazení. V současné době můžete mít v rámci pracovního prostoru pouze jedno nasazení pro každý model.
Po přihlášení k odběru pracovního prostoru pro konkrétní nabídku Azure Marketplace nevyžadují následná nasazení stejné nabídky ve stejném pracovním prostoru opětovné přihlášení k odběru. Pokud se tento scénář týká vás, můžete vybrat možnost Pokračovat k nasazení .
Pojmenujte nasazení. Tento název se stane součástí adresy URL rozhraní API nasazení. Tato adresa URL musí být v každé oblasti Azure jedinečná.
Vyberte Nasadit. Počkejte, až se nasazení dokončí, a budete přesměrováni na stránku bezserverových koncových bodů.
Výběrem koncového bodu otevřete stránku s podrobnostmi.
Vyberte kartu Test a začněte s modelem pracovat.
Podrobnosti koncového bodu, adresu URL a přístupové klíče můžete kdykoli najít tak, že přejdete na koncové body bezserverové>koncové body pracovního prostoru.>
Poznamenejte si cílovou adresu URL a tajný klíč. Další informace o používání rozhraní API najdete v referenční části.
Další informace o fakturaci modelů nasazených s průběžnými platbami najdete v tématu Aspekty nákladů a kvót pro modely JAIS nasazené jako služba.
Využívání modelu chatu JAIS 30b jako služby
Tyto modely je možné využívat pomocí rozhraní API chatu.
V pracovním prostoru vyberte na levé straně kartu Koncové body .
Přejděte na kartu Bezserverové koncové body.
Vyberte nasazení pro chat JAIS 30b.
Nasazení můžete otestovat na kartě Test .
Pokud chcete použít rozhraní API, zkopírujte cílovou adresu URL a hodnotu klíče .
Další informace o používání rozhraní API najdete v referenční části.
Referenční informace k rozhraní API chatu pro JAIS nasazené jako služba
v1/ chat/ dokončení
Žádost
POST /v1/chat/completions HTTP/1.1
Host: <DEPLOYMENT_URI>
Authorization: Bearer <TOKEN>
Content-type: application/json
v1/chat/completions request schema
JAIS 30b Chat přijímá následující parametry pro v1/chat/completions volání odvozování odpovědí:
| Vlastnost | Typ | Výchozí | Popis |
|---|---|---|---|
messages |
array |
None |
Textové zadání, na které má model reagovat. |
max_tokens |
integer |
None |
Maximální počet tokenů, které model vygeneruje jako součást odpovědi. Poznámka: Nastavení nízké hodnoty může vést k neúplným generacím. Pokud ho nezadáte, vygeneruje tokeny až do konce sekvence. |
temperature |
float |
0.3 |
Řídí náhodnost v modelu. Nižší hodnoty zajistí, že model bude determinističtější a vyšší hodnoty způsobí, že model bude více náhodný. |
top_p |
float |
None |
Kumulativní pravděpodobnost tokenů slovníku nejvyšší pravděpodobnosti parametru, která se má zachovat pro vzorkování jádra, výchozí hodnota je null. |
top_k |
integer |
None |
Počet tokenů slovníku s nejvyšší pravděpodobností, které se mají zachovat pro filtrování top-k, výchozí hodnota je null. |
Systémová nebo uživatelská zpráva podporuje následující vlastnosti:
| Vlastnost | Typ | Výchozí | Popis |
|---|---|---|---|
role |
enum |
Povinní účastníci | role=system nebo role=user. |
content |
string |
Požaduje se | Textové zadání, na které má model reagovat. |
Zpráva pomocníka podporuje následující vlastnosti:
| Vlastnost | Typ | Výchozí | Popis |
|---|---|---|---|
role |
enum |
Povinní účastníci | role=assistant |
content |
string |
Požaduje se | Obsah zprávy asistenta. |
v1/chat/completions response schema
Datová část odpovědi je slovník s následujícími poli:
| Klíč | Typ | Popis |
|---|---|---|
id |
string |
Jedinečný identifikátor dokončení. |
choices |
array |
Seznam voleb dokončení, které model vygeneroval pro vstupní zprávy. |
created |
integer |
Časové razítko unixu (v sekundách) doby vytvoření dokončení. |
model |
string |
Model_id použité k dokončení. |
object |
string |
chat.completion. |
usage |
object |
Statistiky využití žádosti o dokončení |
Objekt choices je slovník s následujícími poli:
| Klíč | Typ | Popis |
|---|---|---|
index |
integer |
Index voleb. |
messages nebo delta |
string |
Dokončení chatu vede k objektu zpráv. Při použití režimu streamování se použije rozdílový klíč. |
finish_reason |
string |
Důvod, proč model přestal generovat tokeny |
Objekt usage je slovník s následujícími poli:
| Klíč | Typ | Popis |
|---|---|---|
prompt_tokens |
integer |
Počet tokenů v příkazovém řádku |
completion_tokens |
integer |
Počet tokenů vygenerovaných v dokončení |
total_tokens |
integer |
Celkový počet tokenů |
Příklady
Arabština
Požadavek:
"messages": [
{
"role": "user",
"content": "ما هي الأماكن الشهيرة التي يجب زيارتها في الإمارات؟"
}
]
Odpověď:
{
"id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
"choices": [
{
"index": 0,
"finish_reason": "stop",
"message": {
"role": "assistant",
"content": "هناك العديد من الأماكن المذهلة للزيارة في الإمارات! ومن أشهرها برج خليفة في دبي وهو أطول مبنى في العالم ، ومسجد الشيخ زايد الكبير في أبوظبي والذي يعد أحد أجمل المساجد في العالم ، وصحراء ليوا في الظفرة والتي تعد أكبر صحراء رملية في العالم وتجذب الكثير من السياح لتجربة ركوب الجمال والتخييم في الصحراء. كما يمكن للزوار الاستمتاع بالشواطئ الجميلة في دبي وأبوظبي والشارقة ورأس الخيمة، وزيارة متحف اللوفر أبوظبي للتعرف على تاريخ الفن والثقافة العالمية"
}
}
],
"created": 1711734274,
"model": "jais-30b-chat",
"object": "chat.completion",
"usage": {
"prompt_tokens": 23,
"completion_tokens": 744,
"total_tokens": 767
}
}
Angličtina
Požadavek:
"messages": [
{
"role": "user",
"content": "List the emirates of the UAE."
}
]
Odpověď:
{
"id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
"choices": [
{
"index": 0,
"finish_reason": "stop",
"message": {
"role": "assistant",
"content": "The seven emirates of the United Arab Emirates are: Abu Dhabi, Dubai, Sharjah, Ajman, Umm Al-Quwain, Fujairah, and Ras Al Khaimah."
}
}
],
"created": 1711734274,
"model": "jais-30b-chat",
"object": "chat.completion",
"usage": {
"prompt_tokens": 23,
"completion_tokens": 60,
"total_tokens": 83
}
}
Další příklady odvození
| Ukázkový typ | Ukázkový poznámkový blok |
|---|---|
| Rozhraní příkazového řádku s využitím webových požadavků CURL a Pythonu | webrequests.ipynb |
| OpenAI SDK (experimentální) | openaisdk.ipynb |
| LiteLLM | litellm.ipynb |
Náklady a kvóty
Důležité informace o nákladech a kvótách pro modely nasazené jako služba
JAIS 30b Chat je nasazený jako služba, kterou nabízí Core42 prostřednictvím Azure Marketplace a integrovanou se sadou Azure AI Studio pro použití. Ceny na Azure Marketplace najdete při nasazení modelu.
Pokaždé, když si projekt předplatí danou nabídku z tržiště Azure Marketplace, vytvoří se nový prostředek pro sledování nákladů spojených s jeho spotřebou. Stejný zdroj se používá ke sledování nákladů spojených s odvozováním; Pro nezávislé sledování jednotlivých scénářů je však k dispozici více měřičů.
Další informace o sledování nákladů naleznete v části Sledování nákladů na modely nabízené prostřednictvím služby Azure Marketplace.
Kvóta se spravuje podle nasazení. Každé nasazení má limit rychlosti 200 000 tokenů za minutu a 1 000 požadavků rozhraní API za minutu. V současné době ale omezujeme jedno nasazení na model na jeden projekt. Pokud aktuální limity sazeb pro vaše scénáře nestačí, obraťte se na podporu Microsoft Azure.
Filtrování obsahu
Modely nasazené jako služba s průběžnými platbami jsou chráněné službou Azure AI Content Safety. S bezpečností obsahu Azure AI prochází výzva i dokončení souborem klasifikačních modelů určených k detekci a zabránění výstupu škodlivého obsahu. Systém filtrování obsahu (Preview) detekuje a provádí akce s konkrétními kategoriemi potenciálně škodlivého obsahu ve vstupních výzev i dokončení výstupu. Další informace o filtrování obsahu najdete tady.