JAIS implementeren met Azure Machine Learning-studio

Artikel
10/16/2024

In dit artikel leert u hoe u Azure Machine Learning-studio kunt gebruiken om het JAIS-model als een service te implementeren met betalen per gebruik facturering.

Het JAIS-model is beschikbaar in Azure Machine Learning-studio met facturering op basis van betalen per gebruik met modellen als een service.

U vindt het JAIS-model in de modelcatalogus door te filteren op de JAIS-verzameling.

Vereisten

Een Azure-abonnement met een geldige betalingswijze. Gratis of proefversie van Azure-abonnementen werkt niet. Als u geen Azure-abonnement hebt, maakt u eerst een betaald Azure-account .
Een Azure Machine Learning-werkruimte. Als u deze niet hebt, gebruikt u de stappen in de quickstart: artikel Werkruimtebronnen maken om deze te maken. De aanbieding voor serverloze API-modelimplementatie voor JAIS is alleen beschikbaar met werkruimten die in deze regio's zijn gemaakt:
- VS - oost
- VS - oost 2
- VS - noord-centraal
- VS - zuid-centraal
- VS - west
- US - west 3
- Zweden - centraal
Zie Regio-beschikbaarheid voor modellen in serverloze API-eindpunten voor een lijst met regio's die beschikbaar zijn voor elk van de modellen die ondersteuning bieden voor serverloze API-eindpuntimplementaties.
Op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) wordt gebruikt om toegang te verlenen tot bewerkingen in Azure AI Studio. Als u de stappen in dit artikel wilt uitvoeren, moet aan uw gebruikersaccount de Azure AI Developer-rol voor de resourcegroep zijn toegewezen. Zie Op rollen gebaseerd toegangsbeheer in Azure AI Studio voor meer informatie over machtigingen.

JAIS 30b Chat

JAIS 30b Chat is een automatisch regressieve bigressieve bilingual LLM voor Arabisch en Engels. De afgestemde versies maken gebruik van SFT (Fine-Tuning onder supervisie). Het model is afgestemd op zowel Arabische als Engelse prompt-responseparen. De verfijnde gegevenssets bevatten een breed scala aan instructiegegevens in verschillende domeinen. Het model behandelt een breed scala aan algemene taken, waaronder het beantwoorden van vragen, het genereren van code en het redeneren van tekstuele inhoud. Om de prestaties in het Arabisch te verbeteren, heeft het Core42-team een interne Arabische gegevensset ontwikkeld en enkele opensource-Engelse instructies vertaald in het Arabisch.

Contextlengte: JAIS 30b Chat ondersteunt een contextlengte van 8K.

Invoer: Modelinvoer is alleen tekst.

Uitvoer: Model genereert alleen tekst.

Belangrijk

Deze functie is momenteel beschikbaar als openbare preview-versie. Deze preview-versie wordt geleverd zonder een service level agreement en we raden deze niet aan voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt.

Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.

Implementeren met betalen per gebruik

Bepaalde modellen in de modelcatalogus kunnen worden geïmplementeerd als een service met betalen per gebruik en bieden een manier om ze als API te gebruiken zonder ze te hosten in uw abonnement, terwijl de bedrijfsbeveiligings- en nalevingsorganisaties nodig blijven. Voor deze implementatieoptie is geen quotum van uw abonnement vereist.

Het eerder genoemde JAIS 30b Chat-model kan worden geïmplementeerd als een service met betalen per gebruik en wordt aangeboden door Core42 via Microsoft Azure Marketplace. Core42 kan de gebruiksvoorwaarden en prijzen van dit model wijzigen of bijwerken.

Een nieuwe implementatie maken

Een implementatie maken:

Ga naar Azure Machine Learning-studio.
Selecteer de werkruimte waarin u uw modellen wilt implementeren. Als u het implementatieaanbod voor betalen per gebruik-model wilt gebruiken, moet uw werkruimte deel uitmaken van de regio EastUS2 of Zweden - centraal.
Zoek naar JAIS en selecteer het Jais-30b-chatmodel in de modelcatalogus.
Selecteer Implementeren op de overzichtspagina van het model in de modelcatalogus.
Selecteer in de implementatiewizard de koppeling naar azure Marketplace-voorwaarden voor meer informatie over de gebruiksvoorwaarden.
U kunt ook het tabblad Prijzen en voorwaarden selecteren voor meer informatie over prijzen voor het geselecteerde model.
Als dit de eerste keer is dat u het model in de werkruimte implementeert, moet u zich abonneren op uw werkruimte voor het specifieke aanbod van het model. Voor deze stap is vereist dat uw account beschikt over de rolmachtigingen voor Azure AI Developer voor de resourcegroep, zoals vermeld in de vereisten. Elke werkruimte heeft een eigen abonnement op de specifieke Azure Marketplace-aanbieding, waarmee u uitgaven kunt beheren en bewaken. Selecteer Abonneren en implementeren. Op dit moment kunt u slechts één implementatie voor elk model in een werkruimte hebben.
Nadat u zich hebt geabonneerd op de werkruimte voor het specifieke Azure Marketplace-aanbod, hoeven volgende implementaties van dezelfde aanbieding in dezelfde werkruimte zich niet opnieuw te abonneren. Als dit scenario op u van toepassing is, is er een optie Voor continue implementatie om deze te selecteren.
Geef de implementatie een naam. Deze naam maakt deel uit van de URL van de implementatie-API. Deze URL moet uniek zijn in elke Azure-regio.
Selecteer Implementeren. Wacht totdat de implementatie is voltooid en u wordt omgeleid naar de pagina met serverloze eindpunten.
Selecteer het eindpunt om de pagina Details te openen.
Selecteer het tabblad Testen om te beginnen met interactie met het model.
U kunt altijd de details, URL en toegangssleutels van het eindpunt vinden door naar serverloze eindpunten van werkruimte-eindpunten>> te navigeren.
Noteer de doel-URL en de geheime sleutel. Zie de naslagsectie voor meer informatie over het gebruik van de API's.

Zie Kosten- en quotumoverwegingen voor JAIS-modellen die zijn geïmplementeerd als een service voor meer informatie over facturering voor modellen die zijn geïmplementeerd met betalen per gebruik.

Het JAIS 30b Chat-model als een service gebruiken

Deze modellen kunnen worden gebruikt met behulp van de chat-API.

Selecteer het tabblad Eindpunten aan de linkerkant in uw werkruimte.
Ga naar het tabblad Serverloze eindpunten .
Selecteer uw implementatie voor JAIS 30b Chat.
U kunt de implementatie testen op het tabblad Testen .
Als u de API's wilt gebruiken, kopieert u de doel-URL en de sleutelwaarde .

Zie de naslagsectie voor meer informatie over het gebruik van de API's.

Naslaginformatie over chat-API's voor JAIS geïmplementeerd als een service

v1/chat/voltooiingen

Aanvraag

    POST /v1/chat/completions HTTP/1.1
    Host: <DEPLOYMENT_URI>
    Authorization: Bearer <TOKEN>
    Content-type: application/json

v1/chat/voltooiingsaanvraagschema

JAIS 30b Chat accepteert de volgende parameters voor een v1/chat/completions antwoorddeductie-aanroep:

Eigenschap	Type	Default	Beschrijving
`messages`	`array`	`None`	Tekstinvoer voor het model om op te reageren.
`max_tokens`	`integer`	`None`	Het maximum aantal tokens dat het model genereert als onderdeel van het antwoord. Opmerking: het instellen van een lage waarde kan leiden tot onvolledige generaties. Als dit niet is opgegeven, genereert u tokens tot het einde van de reeks.
`temperature`	`float`	`0.3`	Bepaalt willekeurigheid in het model. Lagere waarden maken het model meer deterministisch en hogere waarden maken het model willekeuriger.
`top_p`	`float`	`None`	De cumulatieve waarschijnlijkheid van parametertokens met de hoogste waarschijnlijkheid die moet worden bewaard voor kernsampling, wordt standaard ingesteld op null.
`top_k`	`integer`	`None`	Het aantal hoogst waarschijnlijke woordenlijsttokens dat moet worden bewaard voor top-k-filtering, wordt standaard ingesteld op null.

Een systeem- of gebruikersbericht ondersteunt de volgende eigenschappen:

Eigenschap	Type	Default	Beschrijving
`role`	`enum`	Vereist	`role=system` of `role=user`.
`content`	`string`	Vereist	Tekstinvoer voor het model om op te reageren.

Een assistentbericht ondersteunt de volgende eigenschappen:

Eigenschap	Type	Default	Beschrijving
`role`	`enum`	Vereist	`role=assistant`
`content`	`string`	Vereist	De inhoud van het assistentbericht.

antwoordschema voor v1/chat/voltooiingen

De nettolading van het antwoord is een woordenlijst met de volgende velden:

Sleutel	Type	Description
`id`	`string`	Een unieke id voor de voltooiing.
`choices`	`array`	De lijst met voltooiingskeuzen die het model heeft gegenereerd voor de invoerberichten.
`created`	`integer`	De Unix-tijdstempel (in seconden) van het moment waarop de voltooiing is gemaakt.
`model`	`string`	De model_id gebruikt voor voltooiing.
`object`	`string`	chat.completion.
`usage`	`object`	Gebruiksstatistieken voor de voltooiingsaanvraag.

Het choices object is een woordenlijst met de volgende velden:

Sleutel	Type	Description
`index`	`integer`	Keuzeindex.
`messages` of `delta`	`string`	Voltooiing van chat resulteert in berichtenobject. Wanneer de streamingmodus wordt gebruikt, wordt deltasleutel gebruikt.
`finish_reason`	`string`	De reden waarom het model geen tokens meer genereert.

Het usage object is een woordenlijst met de volgende velden:

Sleutel	Type	Description
`prompt_tokens`	`integer`	Aantal tokens in de prompt.
`completion_tokens`	`integer`	Het aantal tokens dat is gegenereerd tijdens de voltooiing.
`total_tokens`	`integer`	Totaal aantal tokens.

Voorbeelden

Arabisch

Aanvraag:

    "messages": [
        {
        "role": "user",
        "content": "ما هي الأماكن الشهيرة التي يجب زيارتها في الإمارات؟"
        }
    ]

Respons:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "هناك العديد من الأماكن المذهلة للزيارة في الإمارات! ومن أشهرها برج خليفة في دبي وهو أطول مبنى في العالم ، ومسجد الشيخ زايد الكبير في أبوظبي والذي يعد أحد أجمل المساجد في العالم ، وصحراء ليوا في الظفرة والتي تعد أكبر صحراء رملية في العالم وتجذب الكثير من السياح لتجربة ركوب الجمال والتخييم في الصحراء. كما يمكن للزوار الاستمتاع بالشواطئ الجميلة في دبي وأبوظبي والشارقة ورأس الخيمة، وزيارة متحف اللوفر أبوظبي للتعرف على تاريخ الفن والثقافة العالمية"
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 744,
            "total_tokens": 767
        }
    }

Engels

Aanvraag:

    "messages": [
        {
        "role": "user",
        "content": "List the emirates of the UAE."
        }
    ]

Respons:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "The seven emirates of the United Arab Emirates are: Abu Dhabi, Dubai, Sharjah, Ajman, Umm Al-Quwain, Fujairah, and Ras Al Khaimah."
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 60,
            "total_tokens": 83
        }
    }

Meer deductievoorbeelden

Voorbeeldtype	Sample notebook
CLI met behulp van CURL- en Python-webaanvragen	webrequests.ipynb
OpenAI SDK (experimenteel)	openaisdk.ipynb
LiteLLM	litellm.ipynb

Kosten en quota

Kosten- en quotumoverwegingen voor modellen die als een service zijn geïmplementeerd

JAIS 30b Chat wordt geïmplementeerd als een service die wordt aangeboden door Core42 via Azure Marketplace en is geïntegreerd met Azure AI Studio voor gebruik. U krijgt de prijzen voor de Azure Marketplace wanneer u het model implementeert.

Telkens wanneer een project zich abonneert op een bepaalde aanbieding vanuit Azure Marketplace, wordt er een nieuwe resource gemaakt om de kosten te traceren die zijn gekoppeld aan het verbruik. Dezelfde resource wordt gebruikt om de kosten te traceren die zijn gekoppeld aan deductie; er zijn echter meerdere meters beschikbaar om elk scenario onafhankelijk te traceren.

Zie Monitoring van kosten voor modellen die worden aangeboden in de Azure Marketplace voor meer informatie over het traceren van kosten.

Het quotum wordt beheerd per implementatie. Elke implementatie heeft een frequentielimiet van 200.000 tokens per minuut en 1000 API-aanvragen per minuut. Momenteel beperken we echter tot één implementatie per model per project. Neem contact op met de ondersteuning voor Microsoft Azure als de huidige frequentielimieten niet voldoende zijn voor uw scenario's.

Inhoud filteren

Modellen die zijn geïmplementeerd als een service met betalen per gebruik, worden beveiligd door Azure AI Content Safety. Met azure AI-inhoudsveiligheid passeert zowel de prompt als de voltooiing een ensemble van classificatiemodellen die zijn gericht op het detecteren en voorkomen van de uitvoer van schadelijke inhoud. Het systeem voor inhoudsfiltering (preview) detecteert en onderneemt actie op specifieke categorieën van mogelijk schadelijke inhoud in invoerprompts en uitvoervoltooiingen. Meer informatie over het filteren van inhoud vindt u hier.

Delen via