Jak używać rodziny modeli Meta Llama
Ważne
Elementy oznaczone (wersja zapoznawcza) w tym artykule są obecnie dostępne w publicznej wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.
Z tego artykułu dowiesz się więcej o rodzinie modeli Meta Llama i sposobie ich używania. Modele i narzędzia Meta Llama to kolekcja wstępnie wytrenowanych i dostrojonych modeli generowania tekstu i obrazów sztucznej inteligencji — począwszy od skali od umów SLA (1B, Modele 3B Base i Instruct) dla wnioskowania na urządzeniu i brzegu — do średnich rozmiarów LLMs (7B, 8B i 70B Base and 70B Base and Poinstruuj modele) i wysokiej jakości modele, takie jak Meta Llama 3.1 405B Poinstruowanie dla syntetycznych przypadków generowania danych i destylowania.
Zobacz nasze ogłoszenia dotyczące modeli rodziny Llama 3.2 firmy Meta dostępnych teraz w katalogu modeli sztucznej inteligencji platformy Azure za pośrednictwem bloga Meta i bloga Microsoft Tech Community.
Ważne
Modele, które są w wersji zapoznawczej, są oznaczone jako wersja zapoznawcza na kartach modeli w wykazie modeli.
Rodzina modeli Meta Llama
Rodzina modeli Meta Llama obejmuje następujące modele:
Kolekcja llama 3.2 slms i modeli rozumowania obrazów są teraz dostępne. Wkrótce llama 3.2 11B Vision Poinstruowanie i Llama 3.2 90B Vision Poinstruowanie będą dostępne jako punkt końcowy bezserwerowego interfejsu API za pośrednictwem modeli jako usługa. Począwszy od dzisiaj, następujące modele będą dostępne do wdrożenia za pośrednictwem zarządzanych zasobów obliczeniowych:
- Llama 3.2 1B
- Llama 3.2 3B
- Llama 3.2 1B Poinstruuj
- Llama 3.2 3B Poinstruuj
- Llama Guard 3 1B
- Llama Guard 11B Vision
- Llama 3.2 11B Vision Poinstruowanie
- Llama 3.2 90B Vision Poinstruowanie są dostępne dla zarządzanego wdrożenia obliczeniowego.
Wymagania wstępne
Aby korzystać z modeli Meta Llama z usługą Azure AI Foundry, potrzebne są następujące wymagania wstępne:
Wdrożenie modelu
Wdrażanie do bezserwerowych interfejsów API
Modele Meta Llama można wdrożyć w punktach końcowych bezserwerowego interfejsu API z rozliczeniami płatności zgodnie z rzeczywistym użyciem. Tego rodzaju wdrożenie umożliwia korzystanie z modeli jako interfejsu API bez hostowania ich w ramach subskrypcji, przy jednoczesnym zachowaniu bezpieczeństwa i zgodności przedsiębiorstwa, których potrzebują organizacje.
Wdrożenie do punktu końcowego bezserwerowego interfejsu API nie wymaga limitu przydziału z subskrypcji. Jeśli model nie został jeszcze wdrożony, użyj portalu usługi Azure AI Foundry, zestawu AZURE Machine Learning SDK dla języka Python, interfejsu wiersza polecenia platformy Azure lub szablonów usługi ARM, aby wdrożyć model jako bezserwerowy interfejs API.
Wdrażanie w zarządzanym samodzielnie zarządzanym środowisku obliczeniowym
Modele Meta Llama można wdrożyć w naszym rozwiązaniu do wnioskowania zarządzanego przez siebie, co umożliwia dostosowywanie i kontrolowanie wszystkich szczegółów dotyczących sposobu obsługi modelu.
W przypadku wdrożenia w zarządzanym samodzielnie zarządzanym środowisku obliczeniowym musisz mieć wystarczający limit przydziału w ramach subskrypcji. Jeśli nie masz wystarczającego limitu przydziału, możesz użyć naszego tymczasowego dostępu do limitu przydziału, wybierając opcję Chcę użyć udostępnionego limitu przydziału i potwierdzam, że ten punkt końcowy zostanie usunięty w ciągu 168 godzin.
Zainstalowany pakiet wnioskowania
Przewidywania z tego modelu można używać przy użyciu azure-ai-inference
pakietu w języku Python. Aby zainstalować ten pakiet, potrzebne są następujące wymagania wstępne:
- Zainstalowano środowisko Python w wersji 3.8 lub nowszej, w tym narzędzie.
- Adres URL punktu końcowego. Aby utworzyć bibliotekę klienta, należy przekazać adres URL punktu końcowego. Adres URL punktu końcowego ma postać
https://your-host-name.your-azure-region.inference.ai.azure.com
, gdzieyour-host-name
jest unikatową nazwą hosta wdrożenia modelu iyour-azure-region
regionem świadczenia usługi Azure, w którym wdrożono model (na przykład eastus2). - W zależności od preferencji wdrażania modelu i uwierzytelniania potrzebny jest klucz do uwierzytelniania względem usługi lub poświadczeń identyfikatora Entra firmy Microsoft. Klucz jest ciągiem 32-znakowym.
Po spełnieniu tych wymagań wstępnych zainstaluj pakiet wnioskowania usługi Azure AI za pomocą następującego polecenia:
pip install azure-ai-inference
Dowiedz się więcej na temat pakietu wnioskowania i dokumentacji dotyczącej wnioskowania na platformie Azure.
Praca z ukończeniami czatu
W tej sekcji użyjesz interfejsu API wnioskowania modelu AI platformy Azure z modelem uzupełniania czatów na potrzeby czatu.
Napiwek
Interfejs API wnioskowania modelu sztucznej inteligencji platformy Azure umożliwia komunikację z większością modeli wdrożonych w portalu Azure AI Foundry przy użyciu tego samego kodu i struktury, w tym Meta Llama Poinstruuj modele — tylko tekst lub modele rozumowania obrazów.
Tworzenie klienta do korzystania z modelu
Najpierw utwórz klienta, aby korzystać z modelu. Poniższy kod używa adresu URL punktu końcowego i klucza przechowywanego w zmiennych środowiskowych.
import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential
client = ChatCompletionsClient(
endpoint=os.environ["AZURE_INFERENCE_ENDPOINT"],
credential=AzureKeyCredential(os.environ["AZURE_INFERENCE_CREDENTIAL"]),
)
Podczas wdrażania modelu w własnym punkcie końcowym online z obsługą identyfikatora Entra firmy Microsoft możesz użyć następującego fragmentu kodu, aby utworzyć klienta.
import os
from azure.ai.inference import ChatCompletionsClient
from azure.identity import DefaultAzureCredential
client = ChatCompletionsClient(
endpoint=os.environ["AZURE_INFERENCE_ENDPOINT"],
credential=DefaultAzureCredential(),
)
Uwaga
Obecnie punkty końcowe bezserwerowego interfejsu API nie obsługują używania identyfikatora Entra firmy Microsoft do uwierzytelniania.
Uzyskiwanie możliwości modelu
Trasa /info
zwraca informacje o modelu wdrożonym w punkcie końcowym. Zwróć informacje o modelu, wywołując następującą metodę:
model_info = client.get_model_info()
Odpowiedź jest następująca:
print("Model name:", model_info.model_name)
print("Model type:", model_info.model_type)
print("Model provider name:", model_info.model_provider_name)
Model name: Meta-Llama-3.1-405B-Instruct
Model type: chat-completions
Model provider name: Meta
Tworzenie żądania ukończenia czatu
W poniższym przykładzie pokazano, jak utworzyć podstawowe żądanie ukończenia czatu do modelu.
from azure.ai.inference.models import SystemMessage, UserMessage
response = client.complete(
messages=[
SystemMessage(content="You are a helpful assistant."),
UserMessage(content="How many languages are in the world?"),
],
)
Odpowiedź jest następująca, gdzie można zobaczyć statystyki użycia modelu:
print("Response:", response.choices[0].message.content)
print("Model:", response.model)
print("Usage:")
print("\tPrompt tokens:", response.usage.prompt_tokens)
print("\tTotal tokens:", response.usage.total_tokens)
print("\tCompletion tokens:", response.usage.completion_tokens)
Response: As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.
Model: Meta-Llama-3.1-405B-Instruct
Usage:
Prompt tokens: 19
Total tokens: 91
Completion tokens: 72
Sprawdź sekcję usage
w odpowiedzi, aby zobaczyć liczbę tokenów używanych dla monitu, łączną liczbę wygenerowanych tokenów oraz liczbę tokenów używanych do ukończenia.
Przesyłanie strumieniowe zawartości
Domyślnie interfejs API uzupełniania zwraca całą wygenerowaną zawartość w pojedynczej odpowiedzi. Jeśli generujesz długie zakończenia, oczekiwanie na odpowiedź może potrwać wiele sekund.
Możesz przesyłać strumieniowo zawartość, aby pobrać ją podczas jego generowania. Zawartość strumieniowa umożliwia rozpoczęcie przetwarzania ukończenia w miarę dostępności zawartości. Ten tryb zwraca obiekt, który przesyła strumieniowo odpowiedź jako zdarzenia wysyłane tylko do serwera. Wyodrębnij fragmenty z pola różnicowego, a nie z pola komunikatu.
result = client.complete(
messages=[
SystemMessage(content="You are a helpful assistant."),
UserMessage(content="How many languages are in the world?"),
],
temperature=0,
top_p=1,
max_tokens=2048,
stream=True,
)
Aby przesłać strumieniowo uzupełnienia, ustaw stream=True
podczas wywoływania modelu.
Aby zwizualizować dane wyjściowe, zdefiniuj funkcję pomocnika, aby wydrukować strumień.
def print_stream(result):
"""
Prints the chat completion with streaming.
"""
import time
for update in result:
if update.choices:
print(update.choices[0].delta.content, end="")
Możesz zwizualizować sposób generowania zawartości przez przesyłanie strumieniowe:
print_stream(result)
Poznaj więcej parametrów obsługiwanych przez klienta wnioskowania
Zapoznaj się z innymi parametrami, które można określić w kliencie wnioskowania. Aby uzyskać pełną listę wszystkich obsługiwanych parametrów i odpowiedniej dokumentacji, zobacz Dokumentacja interfejsu API wnioskowania modelu AI platformy Azure.
from azure.ai.inference.models import ChatCompletionsResponseFormatText
response = client.complete(
messages=[
SystemMessage(content="You are a helpful assistant."),
UserMessage(content="How many languages are in the world?"),
],
presence_penalty=0.1,
frequency_penalty=0.8,
max_tokens=2048,
stop=["<|endoftext|>"],
temperature=0,
top_p=1,
response_format={ "type": ChatCompletionsResponseFormatText() },
)
Ostrzeżenie
Modele Meta Llama nie obsługują formatowania danych wyjściowych JSON (response_format = { "type": "json_object" }
). Zawsze możesz monitować model o wygenerowanie danych wyjściowych JSON. Jednak takie dane wyjściowe nie mają gwarancji, że są prawidłowe dane JSON.
Jeśli chcesz przekazać parametr, który nie znajduje się na liście obsługiwanych parametrów, możesz przekazać go do modelu bazowego przy użyciu dodatkowych parametrów. Zobacz Przekazywanie dodatkowych parametrów do modelu.
Przekazywanie dodatkowych parametrów do modelu
Interfejs API wnioskowania modelu AI platformy Azure umożliwia przekazywanie dodatkowych parametrów do modelu. Poniższy przykład kodu pokazuje, jak przekazać dodatkowy parametr logprobs
do modelu.
Przed przekazaniem dodatkowych parametrów do interfejsu API wnioskowania modelu AI platformy Azure upewnij się, że model obsługuje te dodatkowe parametry. Po wysłaniu żądania do modelu bazowego nagłówek extra-parameters
jest przekazywany do modelu z wartością pass-through
. Ta wartość informuje punkt końcowy o przekazaniu dodatkowych parametrów do modelu. Użycie dodatkowych parametrów z modelem nie gwarantuje, że model może je faktycznie obsłużyć. Przeczytaj dokumentację modelu, aby dowiedzieć się, które dodatkowe parametry są obsługiwane.
response = client.complete(
messages=[
SystemMessage(content="You are a helpful assistant."),
UserMessage(content="How many languages are in the world?"),
],
model_extras={
"logprobs": True
}
)
Do modeli Meta Llama można przekazać następujące dodatkowe parametry:
Nazwa/nazwisko | opis | Type |
---|---|---|
n |
Ile uzupełniania ma być generowanych dla każdego monitu. Uwaga: ponieważ ten parametr generuje wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. | integer |
best_of |
Generuje best_of uzupełniania po stronie serwera i zwraca najlepsze wyniki (ten z najniższym prawdopodobieństwem dziennika na token). Nie można przesyłać strumieniowo wyników. W przypadku użycia z n programem best_of kontroluje liczbę ukończonych kandydatów, a n określa liczbę zwracanych elementów — best_of musi być większa niż n . Uwaga: ponieważ ten parametr generuje wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. |
integer |
logprobs |
Liczba wskazująca na uwzględnienie prawdopodobieństwa dziennika w dziennikach najprawdopodobniej tokenów i wybranych tokenów. Jeśli na przykład logprobs ma wartość 10, interfejs API zwraca listę 10 najbardziej prawdopodobnych tokenów. Interfejs API zawsze zwraca logprob przykładowego tokenu, więc w odpowiedzi może istnieć maksymalnie 1 element logprobs+1. | integer |
ignore_eos |
Czy zignorować EOS token i kontynuować generowanie tokenów po wygenerowaniu tokenu EOS . |
boolean |
use_beam_search |
Czy używać wyszukiwania belki zamiast próbkowania. W takim przypadku musi być większa niż 1, best_of a temperatura musi być 0. |
boolean |
stop_token_ids |
Lista identyfikatorów tokenów, które po wygenerowaniu zatrzymają dalsze generowanie tokenów. Zwrócone dane wyjściowe zawierają tokeny zatrzymania, chyba że tokeny zatrzymania są specjalnymi tokenami. | array |
skip_special_tokens |
Czy pominąć specjalne tokeny w danych wyjściowych. | boolean |
Stosowanie bezpieczeństwa zawartości
Interfejs API wnioskowania modelu AI platformy Azure obsługuje bezpieczeństwo zawartości usługi Azure AI. W przypadku korzystania z wdrożeń z włączonym bezpieczeństwem zawartości sztucznej inteligencji platformy Azure dane wejściowe i wyjściowe przechodzą przez zespół modeli klasyfikacji mających na celu wykrywanie i zapobieganie wystąpieniu szkodliwej zawartości. System filtrowania zawartości (wersja zapoznawcza) wykrywa i podejmuje działania dotyczące określonych kategorii potencjalnie szkodliwej zawartości zarówno w monitach wejściowych, jak i w przypadku uzupełniania danych wyjściowych.
W poniższym przykładzie pokazano, jak obsługiwać zdarzenia, gdy model wykryje szkodliwą zawartość w monicie wejściowym i włączono bezpieczeństwo zawartości.
from azure.ai.inference.models import AssistantMessage, UserMessage, SystemMessage
try:
response = client.complete(
messages=[
SystemMessage(content="You are an AI assistant that helps people find information."),
UserMessage(content="Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."),
]
)
print(response.choices[0].message.content)
except HttpResponseError as ex:
if ex.status_code == 400:
response = ex.response.json()
if isinstance(response, dict) and "error" in response:
print(f"Your request triggered an {response['error']['code']} error:\n\t {response['error']['message']}")
else:
raise
raise
Napiwek
Aby dowiedzieć się więcej na temat konfigurowania i kontrolowania ustawień bezpieczeństwa zawartości usługi Azure AI, zapoznaj się z dokumentacją dotyczącą bezpieczeństwa zawartości usługi Azure AI.
Uwaga
Bezpieczeństwo zawartości sztucznej inteligencji platformy Azure jest dostępne tylko dla modeli wdrożonych jako punkty końcowe bezserwerowego interfejsu API.
Modele Meta Llama
Modele Meta Llama obejmują następujące modele:
Kolekcja meta llama 3.1 wielojęzycznych modeli językowych (LLMs) to kolekcja wstępnie wytrenowanych i dostrojonych modeli generowania instrukcji w rozmiarach 8B, 70B i 405B (tekst w/tekst wył.). Instrukcja Llama 3.1 dostroiła modele tylko tekstu (8B, 70B, 405B) są zoptymalizowane pod kątem wielojęzycznych przypadków użycia dialogu i przewyższają wiele dostępnych modeli czatów typu open source i zamkniętych na wspólnych branżowych testach porównawczych.
Są dostępne następujące modele:
Wymagania wstępne
Aby korzystać z modeli Meta Llama z usługą Azure AI Foundry, potrzebne są następujące wymagania wstępne:
Wdrożenie modelu
Wdrażanie do bezserwerowych interfejsów API
Modele Meta Llama można wdrożyć w punktach końcowych bezserwerowego interfejsu API z rozliczeniami płatności zgodnie z rzeczywistym użyciem. Tego rodzaju wdrożenie umożliwia korzystanie z modeli jako interfejsu API bez hostowania ich w ramach subskrypcji, przy jednoczesnym zachowaniu bezpieczeństwa i zgodności przedsiębiorstwa, których potrzebują organizacje.
Wdrożenie do punktu końcowego bezserwerowego interfejsu API nie wymaga limitu przydziału z subskrypcji. Jeśli model nie został jeszcze wdrożony, użyj portalu usługi Azure AI Foundry, zestawu AZURE Machine Learning SDK dla języka Python, interfejsu wiersza polecenia platformy Azure lub szablonów usługi ARM, aby wdrożyć model jako bezserwerowy interfejs API.
Wdrażanie w zarządzanym samodzielnie zarządzanym środowisku obliczeniowym
Modele Meta Llama można wdrożyć w naszym rozwiązaniu do wnioskowania zarządzanego przez siebie, co umożliwia dostosowywanie i kontrolowanie wszystkich szczegółów dotyczących sposobu obsługi modelu.
W przypadku wdrożenia w zarządzanym samodzielnie zarządzanym środowisku obliczeniowym musisz mieć wystarczający limit przydziału w ramach subskrypcji. Jeśli nie masz wystarczającego limitu przydziału, możesz użyć naszego tymczasowego dostępu do limitu przydziału, wybierając opcję Chcę użyć udostępnionego limitu przydziału i potwierdzam, że ten punkt końcowy zostanie usunięty w ciągu 168 godzin.
Zainstalowany pakiet wnioskowania
Przewidywania z tego modelu można używać przy użyciu @azure-rest/ai-inference
pakietu z pliku npm
. Aby zainstalować ten pakiet, potrzebne są następujące wymagania wstępne:
- Wersje LTS programu z programem
Node.js
npm
. - Adres URL punktu końcowego. Aby utworzyć bibliotekę klienta, należy przekazać adres URL punktu końcowego. Adres URL punktu końcowego ma postać
https://your-host-name.your-azure-region.inference.ai.azure.com
, gdzieyour-host-name
jest unikatową nazwą hosta wdrożenia modelu iyour-azure-region
regionem świadczenia usługi Azure, w którym wdrożono model (na przykład eastus2). - W zależności od preferencji wdrażania modelu i uwierzytelniania potrzebny jest klucz do uwierzytelniania względem usługi lub poświadczeń identyfikatora Entra firmy Microsoft. Klucz jest ciągiem 32-znakowym.
Po spełnieniu tych wymagań wstępnych zainstaluj bibliotekę wnioskowania platformy Azure dla języka JavaScript za pomocą następującego polecenia:
npm install @azure-rest/ai-inference
Praca z ukończeniami czatu
W tej sekcji użyjesz interfejsu API wnioskowania modelu AI platformy Azure z modelem uzupełniania czatów na potrzeby czatu.
Napiwek
Interfejs API wnioskowania modelu sztucznej inteligencji platformy Azure umożliwia komunikację z większością modeli wdrożonych w portalu Azure AI Foundry przy użyciu tego samego kodu i struktury, w tym modeli Meta Llama.
Tworzenie klienta do korzystania z modelu
Najpierw utwórz klienta, aby korzystać z modelu. Poniższy kod używa adresu URL punktu końcowego i klucza przechowywanego w zmiennych środowiskowych.
import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";
const client = new ModelClient(
process.env.AZURE_INFERENCE_ENDPOINT,
new AzureKeyCredential(process.env.AZURE_INFERENCE_CREDENTIAL)
);
Podczas wdrażania modelu w własnym punkcie końcowym online z obsługą identyfikatora Entra firmy Microsoft możesz użyć następującego fragmentu kodu, aby utworzyć klienta.
import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { DefaultAzureCredential } from "@azure/identity";
const client = new ModelClient(
process.env.AZURE_INFERENCE_ENDPOINT,
new DefaultAzureCredential()
);
Uwaga
Obecnie punkty końcowe bezserwerowego interfejsu API nie obsługują używania identyfikatora Entra firmy Microsoft do uwierzytelniania.
Uzyskiwanie możliwości modelu
Trasa /info
zwraca informacje o modelu wdrożonym w punkcie końcowym. Zwróć informacje o modelu, wywołując następującą metodę:
var model_info = await client.path("/info").get()
Odpowiedź jest następująca:
console.log("Model name: ", model_info.body.model_name)
console.log("Model type: ", model_info.body.model_type)
console.log("Model provider name: ", model_info.body.model_provider_name)
Model name: Meta-Llama-3.1-405B-Instruct
Model type: chat-completions
Model provider name: Meta
Tworzenie żądania ukończenia czatu
W poniższym przykładzie pokazano, jak utworzyć podstawowe żądanie ukończenia czatu do modelu.
var messages = [
{ role: "system", content: "You are a helpful assistant" },
{ role: "user", content: "How many languages are in the world?" },
];
var response = await client.path("/chat/completions").post({
body: {
messages: messages,
}
});
Odpowiedź jest następująca, gdzie można zobaczyć statystyki użycia modelu:
if (isUnexpected(response)) {
throw response.body.error;
}
console.log("Response: ", response.body.choices[0].message.content);
console.log("Model: ", response.body.model);
console.log("Usage:");
console.log("\tPrompt tokens:", response.body.usage.prompt_tokens);
console.log("\tTotal tokens:", response.body.usage.total_tokens);
console.log("\tCompletion tokens:", response.body.usage.completion_tokens);
Response: As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.
Model: Meta-Llama-3.1-405B-Instruct
Usage:
Prompt tokens: 19
Total tokens: 91
Completion tokens: 72
Sprawdź sekcję usage
w odpowiedzi, aby zobaczyć liczbę tokenów używanych dla monitu, łączną liczbę wygenerowanych tokenów oraz liczbę tokenów używanych do ukończenia.
Przesyłanie strumieniowe zawartości
Domyślnie interfejs API uzupełniania zwraca całą wygenerowaną zawartość w pojedynczej odpowiedzi. Jeśli generujesz długie zakończenia, oczekiwanie na odpowiedź może potrwać wiele sekund.
Możesz przesyłać strumieniowo zawartość, aby pobrać ją podczas jego generowania. Zawartość strumieniowa umożliwia rozpoczęcie przetwarzania ukończenia w miarę dostępności zawartości. Ten tryb zwraca obiekt, który przesyła strumieniowo odpowiedź jako zdarzenia wysyłane tylko do serwera. Wyodrębnij fragmenty z pola różnicowego, a nie z pola komunikatu.
var messages = [
{ role: "system", content: "You are a helpful assistant" },
{ role: "user", content: "How many languages are in the world?" },
];
var response = await client.path("/chat/completions").post({
body: {
messages: messages,
}
}).asNodeStream();
Aby przesłać strumieniowo uzupełnienia, użyj .asNodeStream()
polecenia podczas wywoływania modelu.
Możesz zwizualizować sposób generowania zawartości przez przesyłanie strumieniowe:
var stream = response.body;
if (!stream) {
stream.destroy();
throw new Error(`Failed to get chat completions with status: ${response.status}`);
}
if (response.status !== "200") {
throw new Error(`Failed to get chat completions: ${response.body.error}`);
}
var sses = createSseStream(stream);
for await (const event of sses) {
if (event.data === "[DONE]") {
return;
}
for (const choice of (JSON.parse(event.data)).choices) {
console.log(choice.delta?.content ?? "");
}
}
Poznaj więcej parametrów obsługiwanych przez klienta wnioskowania
Zapoznaj się z innymi parametrami, które można określić w kliencie wnioskowania. Aby uzyskać pełną listę wszystkich obsługiwanych parametrów i odpowiedniej dokumentacji, zobacz Dokumentacja interfejsu API wnioskowania modelu AI platformy Azure.
var messages = [
{ role: "system", content: "You are a helpful assistant" },
{ role: "user", content: "How many languages are in the world?" },
];
var response = await client.path("/chat/completions").post({
body: {
messages: messages,
presence_penalty: "0.1",
frequency_penalty: "0.8",
max_tokens: 2048,
stop: ["<|endoftext|>"],
temperature: 0,
top_p: 1,
response_format: { type: "text" },
}
});
Ostrzeżenie
Modele Meta Llama nie obsługują formatowania danych wyjściowych JSON (response_format = { "type": "json_object" }
). Zawsze możesz monitować model o wygenerowanie danych wyjściowych JSON. Jednak takie dane wyjściowe nie mają gwarancji, że są prawidłowe dane JSON.
Jeśli chcesz przekazać parametr, który nie znajduje się na liście obsługiwanych parametrów, możesz przekazać go do modelu bazowego przy użyciu dodatkowych parametrów. Zobacz Przekazywanie dodatkowych parametrów do modelu.
Przekazywanie dodatkowych parametrów do modelu
Interfejs API wnioskowania modelu AI platformy Azure umożliwia przekazywanie dodatkowych parametrów do modelu. Poniższy przykład kodu pokazuje, jak przekazać dodatkowy parametr logprobs
do modelu.
Przed przekazaniem dodatkowych parametrów do interfejsu API wnioskowania modelu AI platformy Azure upewnij się, że model obsługuje te dodatkowe parametry. Po wysłaniu żądania do modelu bazowego nagłówek extra-parameters
jest przekazywany do modelu z wartością pass-through
. Ta wartość informuje punkt końcowy o przekazaniu dodatkowych parametrów do modelu. Użycie dodatkowych parametrów z modelem nie gwarantuje, że model może je faktycznie obsłużyć. Przeczytaj dokumentację modelu, aby dowiedzieć się, które dodatkowe parametry są obsługiwane.
var messages = [
{ role: "system", content: "You are a helpful assistant" },
{ role: "user", content: "How many languages are in the world?" },
];
var response = await client.path("/chat/completions").post({
headers: {
"extra-params": "pass-through"
},
body: {
messages: messages,
logprobs: true
}
});
Do modeli Meta Llama można przekazać następujące dodatkowe parametry:
Nazwa/nazwisko | opis | Type |
---|---|---|
n |
Ile uzupełniania ma być generowanych dla każdego monitu. Uwaga: ponieważ ten parametr generuje wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. | integer |
best_of |
Generuje best_of uzupełniania po stronie serwera i zwraca najlepsze wyniki (ten z najniższym prawdopodobieństwem dziennika na token). Nie można przesyłać strumieniowo wyników. W przypadku użycia z n programem best_of kontroluje liczbę ukończonych kandydatów, a n określa liczbę zwracanych elementów — best_of musi być większa niż n . Uwaga: ponieważ ten parametr generuje wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. |
integer |
logprobs |
Liczba wskazująca na uwzględnienie prawdopodobieństwa dziennika w dziennikach najprawdopodobniej tokenów i wybranych tokenów. Jeśli na przykład logprobs ma wartość 10, interfejs API zwraca listę 10 najbardziej prawdopodobnych tokenów. Interfejs API zawsze zwraca logprob przykładowego tokenu, więc w odpowiedzi może istnieć maksymalnie 1 element logprobs+1. | integer |
ignore_eos |
Czy zignorować EOS token i kontynuować generowanie tokenów po wygenerowaniu tokenu EOS . |
boolean |
use_beam_search |
Czy używać wyszukiwania belki zamiast próbkowania. W takim przypadku musi być większa niż 1, best_of a temperatura musi być 0. |
boolean |
stop_token_ids |
Lista identyfikatorów tokenów, które po wygenerowaniu zatrzymają dalsze generowanie tokenów. Zwrócone dane wyjściowe zawierają tokeny zatrzymania, chyba że tokeny zatrzymania są specjalnymi tokenami. | array |
skip_special_tokens |
Czy pominąć specjalne tokeny w danych wyjściowych. | boolean |
Stosowanie bezpieczeństwa zawartości
Interfejs API wnioskowania modelu AI platformy Azure obsługuje bezpieczeństwo zawartości usługi Azure AI. W przypadku korzystania z wdrożeń z włączonym bezpieczeństwem zawartości sztucznej inteligencji platformy Azure dane wejściowe i wyjściowe przechodzą przez zespół modeli klasyfikacji mających na celu wykrywanie i zapobieganie wystąpieniu szkodliwej zawartości. System filtrowania zawartości (wersja zapoznawcza) wykrywa i podejmuje działania dotyczące określonych kategorii potencjalnie szkodliwej zawartości zarówno w monitach wejściowych, jak i w przypadku uzupełniania danych wyjściowych.
W poniższym przykładzie pokazano, jak obsługiwać zdarzenia, gdy model wykryje szkodliwą zawartość w monicie wejściowym i włączono bezpieczeństwo zawartości.
try {
var messages = [
{ role: "system", content: "You are an AI assistant that helps people find information." },
{ role: "user", content: "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills." },
];
var response = await client.path("/chat/completions").post({
body: {
messages: messages,
}
});
console.log(response.body.choices[0].message.content);
}
catch (error) {
if (error.status_code == 400) {
var response = JSON.parse(error.response._content);
if (response.error) {
console.log(`Your request triggered an ${response.error.code} error:\n\t ${response.error.message}`);
}
else
{
throw error;
}
}
}
Napiwek
Aby dowiedzieć się więcej na temat konfigurowania i kontrolowania ustawień bezpieczeństwa zawartości usługi Azure AI, zapoznaj się z dokumentacją dotyczącą bezpieczeństwa zawartości usługi Azure AI.
Uwaga
Bezpieczeństwo zawartości sztucznej inteligencji platformy Azure jest dostępne tylko dla modeli wdrożonych jako punkty końcowe bezserwerowego interfejsu API.
Modele Meta Llama
Modele Meta Llama obejmują następujące modele:
Kolekcja meta llama 3.1 wielojęzycznych modeli językowych (LLMs) to kolekcja wstępnie wytrenowanych i dostrojonych modeli generowania instrukcji w rozmiarach 8B, 70B i 405B (tekst w/tekst wył.). Instrukcja Llama 3.1 dostroiła modele tylko tekstu (8B, 70B, 405B) są zoptymalizowane pod kątem wielojęzycznych przypadków użycia dialogu i przewyższają wiele dostępnych modeli open source i zamkniętych na wspólnych branżowych testach porównawczych.
Są dostępne następujące modele:
Wymagania wstępne
Aby korzystać z modeli Meta Llama z usługą Azure AI Foundry, potrzebne są następujące wymagania wstępne:
Wdrożenie modelu
Wdrażanie do bezserwerowych interfejsów API
Modele Meta Llama można wdrożyć w punktach końcowych bezserwerowego interfejsu API z rozliczeniami płatności zgodnie z rzeczywistym użyciem. Tego rodzaju wdrożenie umożliwia korzystanie z modeli jako interfejsu API bez hostowania ich w ramach subskrypcji, przy jednoczesnym zachowaniu bezpieczeństwa i zgodności przedsiębiorstwa, których potrzebują organizacje.
Wdrożenie do punktu końcowego bezserwerowego interfejsu API nie wymaga limitu przydziału z subskrypcji. Jeśli model nie został jeszcze wdrożony, użyj portalu usługi Azure AI Foundry, zestawu AZURE Machine Learning SDK dla języka Python, interfejsu wiersza polecenia platformy Azure lub szablonów usługi ARM, aby wdrożyć model jako bezserwerowy interfejs API.
Wdrażanie w zarządzanym samodzielnie zarządzanym środowisku obliczeniowym
Modele Meta Llama można wdrożyć w naszym rozwiązaniu do wnioskowania zarządzanego przez siebie, co umożliwia dostosowywanie i kontrolowanie wszystkich szczegółów dotyczących sposobu obsługi modelu.
W przypadku wdrożenia w zarządzanym samodzielnie zarządzanym środowisku obliczeniowym musisz mieć wystarczający limit przydziału w ramach subskrypcji. Jeśli nie masz wystarczającego limitu przydziału, możesz użyć naszego tymczasowego dostępu do limitu przydziału, wybierając opcję Chcę użyć udostępnionego limitu przydziału i potwierdzam, że ten punkt końcowy zostanie usunięty w ciągu 168 godzin.
Zainstalowany pakiet wnioskowania
Przewidywania z tego modelu można używać przy użyciu Azure.AI.Inference
pakietu z pakietu NuGet. Aby zainstalować ten pakiet, potrzebne są następujące wymagania wstępne:
- Adres URL punktu końcowego. Aby utworzyć bibliotekę klienta, należy przekazać adres URL punktu końcowego. Adres URL punktu końcowego ma postać
https://your-host-name.your-azure-region.inference.ai.azure.com
, gdzieyour-host-name
jest unikatową nazwą hosta wdrożenia modelu iyour-azure-region
regionem świadczenia usługi Azure, w którym wdrożono model (na przykład eastus2). - W zależności od preferencji wdrażania modelu i uwierzytelniania potrzebny jest klucz do uwierzytelniania względem usługi lub poświadczeń identyfikatora Entra firmy Microsoft. Klucz jest ciągiem 32-znakowym.
Po spełnieniu tych wymagań wstępnych zainstaluj bibliotekę wnioskowania usługi Azure AI przy użyciu następującego polecenia:
dotnet add package Azure.AI.Inference --prerelease
Możesz również uwierzytelnić się za pomocą identyfikatora Entra firmy Microsoft (dawniej Azure Active Directory). Aby użyć dostawców poświadczeń dostarczanych z zestawem Azure SDK, zainstaluj Azure.Identity
pakiet:
dotnet add package Azure.Identity
Zaimportuj następujące przestrzenie nazw:
using Azure;
using Azure.Identity;
using Azure.AI.Inference;
W tym przykładzie są również używane następujące przestrzenie nazw, ale mogą nie zawsze być potrzebne:
using System.Text.Json;
using System.Text.Json.Serialization;
using System.Reflection;
Praca z ukończeniami czatu
W tej sekcji użyjesz interfejsu API wnioskowania modelu AI platformy Azure z modelem uzupełniania czatów na potrzeby czatu.
Napiwek
Interfejs API wnioskowania modelu sztucznej inteligencji platformy Azure umożliwia komunikację z większością modeli wdrożonych w portalu Azure AI Foundry przy użyciu tego samego kodu i struktury, w tym modeli czatów Meta Llama.
Tworzenie klienta do korzystania z modelu
Najpierw utwórz klienta, aby korzystać z modelu. Poniższy kod używa adresu URL punktu końcowego i klucza przechowywanego w zmiennych środowiskowych.
ChatCompletionsClient client = new ChatCompletionsClient(
new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);
Podczas wdrażania modelu w własnym punkcie końcowym online z obsługą identyfikatora Entra firmy Microsoft możesz użyć następującego fragmentu kodu, aby utworzyć klienta.
client = new ChatCompletionsClient(
new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
new DefaultAzureCredential(includeInteractiveCredentials: true)
);
Uwaga
Obecnie punkty końcowe bezserwerowego interfejsu API nie obsługują używania identyfikatora Entra firmy Microsoft do uwierzytelniania.
Uzyskiwanie możliwości modelu
Trasa /info
zwraca informacje o modelu wdrożonym w punkcie końcowym. Zwróć informacje o modelu, wywołując następującą metodę:
Response<ModelInfo> modelInfo = client.GetModelInfo();
Odpowiedź jest następująca:
Console.WriteLine($"Model name: {modelInfo.Value.ModelName}");
Console.WriteLine($"Model type: {modelInfo.Value.ModelType}");
Console.WriteLine($"Model provider name: {modelInfo.Value.ModelProviderName}");
Model name: Meta-Llama-3.1-405B-Instruct
Model type: chat-completions
Model provider name: Meta
Tworzenie żądania ukończenia czatu
W poniższym przykładzie pokazano, jak utworzyć podstawowe żądanie ukończenia czatu do modelu.
ChatCompletionsOptions requestOptions = new ChatCompletionsOptions()
{
Messages = {
new ChatRequestSystemMessage("You are a helpful assistant."),
new ChatRequestUserMessage("How many languages are in the world?")
},
};
Response<ChatCompletions> response = client.Complete(requestOptions);
Odpowiedź jest następująca, gdzie można zobaczyć statystyki użycia modelu:
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");
Console.WriteLine($"Model: {response.Value.Model}");
Console.WriteLine("Usage:");
Console.WriteLine($"\tPrompt tokens: {response.Value.Usage.PromptTokens}");
Console.WriteLine($"\tTotal tokens: {response.Value.Usage.TotalTokens}");
Console.WriteLine($"\tCompletion tokens: {response.Value.Usage.CompletionTokens}");
Response: As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.
Model: Meta-Llama-3.1-405B-Instruct
Usage:
Prompt tokens: 19
Total tokens: 91
Completion tokens: 72
Sprawdź sekcję usage
w odpowiedzi, aby zobaczyć liczbę tokenów używanych dla monitu, łączną liczbę wygenerowanych tokenów oraz liczbę tokenów używanych do ukończenia.
Przesyłanie strumieniowe zawartości
Domyślnie interfejs API uzupełniania zwraca całą wygenerowaną zawartość w pojedynczej odpowiedzi. Jeśli generujesz długie zakończenia, oczekiwanie na odpowiedź może potrwać wiele sekund.
Możesz przesyłać strumieniowo zawartość, aby pobrać ją podczas jego generowania. Zawartość strumieniowa umożliwia rozpoczęcie przetwarzania ukończenia w miarę dostępności zawartości. Ten tryb zwraca obiekt, który przesyła strumieniowo odpowiedź jako zdarzenia wysyłane tylko do serwera. Wyodrębnij fragmenty z pola różnicowego, a nie z pola komunikatu.
static async Task StreamMessageAsync(ChatCompletionsClient client)
{
ChatCompletionsOptions requestOptions = new ChatCompletionsOptions()
{
Messages = {
new ChatRequestSystemMessage("You are a helpful assistant."),
new ChatRequestUserMessage("How many languages are in the world? Write an essay about it.")
},
MaxTokens=4096
};
StreamingResponse<StreamingChatCompletionsUpdate> streamResponse = await client.CompleteStreamingAsync(requestOptions);
await PrintStream(streamResponse);
}
Aby przesłać strumieniowo uzupełnienia, użyj CompleteStreamingAsync
metody podczas wywoływania modelu. Zwróć uwagę, że w tym przykładzie wywołanie jest opakowane w metodę asynchroniczną.
Aby zwizualizować dane wyjściowe, zdefiniuj metodę asynchroniczną, aby wydrukować strumień w konsoli programu .
static async Task PrintStream(StreamingResponse<StreamingChatCompletionsUpdate> response)
{
await foreach (StreamingChatCompletionsUpdate chatUpdate in response)
{
if (chatUpdate.Role.HasValue)
{
Console.Write($"{chatUpdate.Role.Value.ToString().ToUpperInvariant()}: ");
}
if (!string.IsNullOrEmpty(chatUpdate.ContentUpdate))
{
Console.Write(chatUpdate.ContentUpdate);
}
}
}
Możesz zwizualizować sposób generowania zawartości przez przesyłanie strumieniowe:
StreamMessageAsync(client).GetAwaiter().GetResult();
Poznaj więcej parametrów obsługiwanych przez klienta wnioskowania
Zapoznaj się z innymi parametrami, które można określić w kliencie wnioskowania. Aby uzyskać pełną listę wszystkich obsługiwanych parametrów i odpowiedniej dokumentacji, zobacz Dokumentacja interfejsu API wnioskowania modelu AI platformy Azure.
requestOptions = new ChatCompletionsOptions()
{
Messages = {
new ChatRequestSystemMessage("You are a helpful assistant."),
new ChatRequestUserMessage("How many languages are in the world?")
},
PresencePenalty = 0.1f,
FrequencyPenalty = 0.8f,
MaxTokens = 2048,
StopSequences = { "<|endoftext|>" },
Temperature = 0,
NucleusSamplingFactor = 1,
ResponseFormat = new ChatCompletionsResponseFormatText()
};
response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");
Ostrzeżenie
Modele Meta Llama nie obsługują formatowania danych wyjściowych JSON (response_format = { "type": "json_object" }
). Zawsze możesz monitować model o wygenerowanie danych wyjściowych JSON. Jednak takie dane wyjściowe nie mają gwarancji, że są prawidłowe dane JSON.
Jeśli chcesz przekazać parametr, który nie znajduje się na liście obsługiwanych parametrów, możesz przekazać go do modelu bazowego przy użyciu dodatkowych parametrów. Zobacz Przekazywanie dodatkowych parametrów do modelu.
Przekazywanie dodatkowych parametrów do modelu
Interfejs API wnioskowania modelu AI platformy Azure umożliwia przekazywanie dodatkowych parametrów do modelu. Poniższy przykład kodu pokazuje, jak przekazać dodatkowy parametr logprobs
do modelu.
Przed przekazaniem dodatkowych parametrów do interfejsu API wnioskowania modelu AI platformy Azure upewnij się, że model obsługuje te dodatkowe parametry. Po wysłaniu żądania do modelu bazowego nagłówek extra-parameters
jest przekazywany do modelu z wartością pass-through
. Ta wartość informuje punkt końcowy o przekazaniu dodatkowych parametrów do modelu. Użycie dodatkowych parametrów z modelem nie gwarantuje, że model może je faktycznie obsłużyć. Przeczytaj dokumentację modelu, aby dowiedzieć się, które dodatkowe parametry są obsługiwane.
requestOptions = new ChatCompletionsOptions()
{
Messages = {
new ChatRequestSystemMessage("You are a helpful assistant."),
new ChatRequestUserMessage("How many languages are in the world?")
},
AdditionalProperties = { { "logprobs", BinaryData.FromString("true") } },
};
response = client.Complete(requestOptions, extraParams: ExtraParameters.PassThrough);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");
Do modeli Meta Llama można przekazać następujące dodatkowe parametry:
Nazwa/nazwisko | opis | Type |
---|---|---|
n |
Ile uzupełniania ma być generowanych dla każdego monitu. Uwaga: ponieważ ten parametr generuje wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. | integer |
best_of |
Generuje best_of uzupełniania po stronie serwera i zwraca najlepsze wyniki (ten z najniższym prawdopodobieństwem dziennika na token). Nie można przesyłać strumieniowo wyników. W przypadku użycia z n programem best_of kontroluje liczbę ukończonych kandydatów, a n określa liczbę zwracanych elementów — best_of musi być większa niż n . Uwaga: ponieważ ten parametr generuje wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. |
integer |
logprobs |
Liczba wskazująca na uwzględnienie prawdopodobieństwa dziennika w dziennikach najprawdopodobniej tokenów i wybranych tokenów. Jeśli na przykład logprobs ma wartość 10, interfejs API zwraca listę 10 najbardziej prawdopodobnych tokenów. Interfejs API zawsze zwraca logprob przykładowego tokenu, więc w odpowiedzi może istnieć maksymalnie 1 element logprobs+1. | integer |
ignore_eos |
Czy zignorować EOS token i kontynuować generowanie tokenów po wygenerowaniu tokenu EOS . |
boolean |
use_beam_search |
Czy używać wyszukiwania belki zamiast próbkowania. W takim przypadku musi być większa niż 1, best_of a temperatura musi być 0. |
boolean |
stop_token_ids |
Lista identyfikatorów tokenów, które po wygenerowaniu zatrzymają dalsze generowanie tokenów. Zwrócone dane wyjściowe zawierają tokeny zatrzymania, chyba że tokeny zatrzymania są specjalnymi tokenami. | array |
skip_special_tokens |
Czy pominąć specjalne tokeny w danych wyjściowych. | boolean |
Stosowanie bezpieczeństwa zawartości
Interfejs API wnioskowania modelu AI platformy Azure obsługuje bezpieczeństwo zawartości usługi Azure AI. W przypadku korzystania z wdrożeń z włączonym bezpieczeństwem zawartości sztucznej inteligencji platformy Azure dane wejściowe i wyjściowe przechodzą przez zespół modeli klasyfikacji mających na celu wykrywanie i zapobieganie wystąpieniu szkodliwej zawartości. System filtrowania zawartości (wersja zapoznawcza) wykrywa i podejmuje działania dotyczące określonych kategorii potencjalnie szkodliwej zawartości zarówno w monitach wejściowych, jak i w przypadku uzupełniania danych wyjściowych.
W poniższym przykładzie pokazano, jak obsługiwać zdarzenia, gdy model wykryje szkodliwą zawartość w monicie wejściowym i włączono bezpieczeństwo zawartości.
try
{
requestOptions = new ChatCompletionsOptions()
{
Messages = {
new ChatRequestSystemMessage("You are an AI assistant that helps people find information."),
new ChatRequestUserMessage(
"Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
),
},
};
response = client.Complete(requestOptions);
Console.WriteLine(response.Value.Choices[0].Message.Content);
}
catch (RequestFailedException ex)
{
if (ex.ErrorCode == "content_filter")
{
Console.WriteLine($"Your query has trigger Azure Content Safety: {ex.Message}");
}
else
{
throw;
}
}
Napiwek
Aby dowiedzieć się więcej na temat konfigurowania i kontrolowania ustawień bezpieczeństwa zawartości usługi Azure AI, zapoznaj się z dokumentacją dotyczącą bezpieczeństwa zawartości usługi Azure AI.
Uwaga
Bezpieczeństwo zawartości sztucznej inteligencji platformy Azure jest dostępne tylko dla modeli wdrożonych jako punkty końcowe bezserwerowego interfejsu API.
Modele czatów Meta Llama
Modele czatów Meta Llama obejmują następujące modele:
Kolekcja meta llama 3.1 wielojęzycznych modeli językowych (LLMs) to kolekcja wstępnie wytrenowanych i dostrojonych modeli generowania instrukcji w rozmiarach 8B, 70B i 405B (tekst w/tekst wył.). Instrukcja Llama 3.1 dostroiła modele tylko tekstu (8B, 70B, 405B) są zoptymalizowane pod kątem wielojęzycznych przypadków użycia dialogu i przewyższają wiele dostępnych modeli czatów typu open source i zamkniętych na wspólnych branżowych testach porównawczych.
Są dostępne następujące modele:
Wymagania wstępne
Aby korzystać z modeli Meta Llama z usługą Azure AI Foundry, potrzebne są następujące wymagania wstępne:
Wdrożenie modelu
Wdrażanie do bezserwerowych interfejsów API
Modele czatów Meta Llama można wdrożyć w punktach końcowych bezserwerowego interfejsu API z rozliczeniami płatności zgodnie z rzeczywistym użyciem. Tego rodzaju wdrożenie umożliwia korzystanie z modeli jako interfejsu API bez hostowania ich w ramach subskrypcji, przy jednoczesnym zachowaniu bezpieczeństwa i zgodności przedsiębiorstwa, których potrzebują organizacje.
Wdrożenie do punktu końcowego bezserwerowego interfejsu API nie wymaga limitu przydziału z subskrypcji. Jeśli model nie został jeszcze wdrożony, użyj portalu usługi Azure AI Foundry, zestawu AZURE Machine Learning SDK dla języka Python, interfejsu wiersza polecenia platformy Azure lub szablonów usługi ARM, aby wdrożyć model jako bezserwerowy interfejs API.
Wdrażanie w zarządzanym samodzielnie zarządzanym środowisku obliczeniowym
Modele Meta Llama można wdrożyć w naszym rozwiązaniu do wnioskowania zarządzanego przez siebie, co umożliwia dostosowywanie i kontrolowanie wszystkich szczegółów dotyczących sposobu obsługi modelu.
W przypadku wdrożenia w zarządzanym samodzielnie zarządzanym środowisku obliczeniowym musisz mieć wystarczający limit przydziału w ramach subskrypcji. Jeśli nie masz wystarczającego limitu przydziału, możesz użyć naszego tymczasowego dostępu do limitu przydziału, wybierając opcję Chcę użyć udostępnionego limitu przydziału i potwierdzam, że ten punkt końcowy zostanie usunięty w ciągu 168 godzin.
Klient REST
Modele wdrożone za pomocą interfejsu API wnioskowania modelu AI platformy Azure można używać przy użyciu dowolnego klienta REST. Do korzystania z klienta REST potrzebne są następujące wymagania wstępne:
- Aby utworzyć żądania, należy przekazać adres URL punktu końcowego. Adres URL punktu końcowego ma postać
https://your-host-name.your-azure-region.inference.ai.azure.com
, gdzie twój-region-azure-region'' to region świadczenia usługi Azure, w którymyour-host-name`` is your unique model deployment host name and
wdrożono model (na przykład eastus2). - W zależności od preferencji wdrażania modelu i uwierzytelniania potrzebny jest klucz do uwierzytelniania względem usługi lub poświadczeń identyfikatora Entra firmy Microsoft. Klucz jest ciągiem 32-znakowym.
Praca z ukończeniami czatu
W tej sekcji użyjesz interfejsu API wnioskowania modelu AI platformy Azure z modelem uzupełniania czatów na potrzeby czatu.
Napiwek
Interfejs API wnioskowania modelu sztucznej inteligencji platformy Azure umożliwia komunikację z większością modeli wdrożonych w portalu Azure AI Foundry przy użyciu tego samego kodu i struktury, w tym modeli czatów Meta Llama.
Tworzenie klienta do korzystania z modelu
Najpierw utwórz klienta, aby korzystać z modelu. Poniższy kod używa adresu URL punktu końcowego i klucza przechowywanego w zmiennych środowiskowych.
Podczas wdrażania modelu w własnym punkcie końcowym online z obsługą identyfikatora Entra firmy Microsoft możesz użyć następującego fragmentu kodu, aby utworzyć klienta.
Uwaga
Obecnie punkty końcowe bezserwerowego interfejsu API nie obsługują używania identyfikatora Entra firmy Microsoft do uwierzytelniania.
Uzyskiwanie możliwości modelu
Trasa /info
zwraca informacje o modelu wdrożonym w punkcie końcowym. Zwróć informacje o modelu, wywołując następującą metodę:
GET /info HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json
Odpowiedź jest następująca:
{
"model_name": "Meta-Llama-3.1-405B-Instruct",
"model_type": "chat-completions",
"model_provider_name": "Meta"
}
Tworzenie żądania ukończenia czatu
W poniższym przykładzie pokazano, jak utworzyć podstawowe żądanie ukończenia czatu do modelu.
{
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "How many languages are in the world?"
}
]
}
Odpowiedź jest następująca, gdzie można zobaczyć statystyki użycia modelu:
{
"id": "0a1234b5de6789f01gh2i345j6789klm",
"object": "chat.completion",
"created": 1718726686,
"model": "Meta-Llama-3.1-405B-Instruct",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.",
"tool_calls": null
},
"finish_reason": "stop",
"logprobs": null
}
],
"usage": {
"prompt_tokens": 19,
"total_tokens": 91,
"completion_tokens": 72
}
}
Sprawdź sekcję usage
w odpowiedzi, aby zobaczyć liczbę tokenów używanych dla monitu, łączną liczbę wygenerowanych tokenów oraz liczbę tokenów używanych do ukończenia.
Przesyłanie strumieniowe zawartości
Domyślnie interfejs API uzupełniania zwraca całą wygenerowaną zawartość w pojedynczej odpowiedzi. Jeśli generujesz długie zakończenia, oczekiwanie na odpowiedź może potrwać wiele sekund.
Możesz przesyłać strumieniowo zawartość, aby pobrać ją podczas jego generowania. Zawartość strumieniowa umożliwia rozpoczęcie przetwarzania ukończenia w miarę dostępności zawartości. Ten tryb zwraca obiekt, który przesyła strumieniowo odpowiedź jako zdarzenia wysyłane tylko do serwera. Wyodrębnij fragmenty z pola różnicowego, a nie z pola komunikatu.
{
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "How many languages are in the world?"
}
],
"stream": true,
"temperature": 0,
"top_p": 1,
"max_tokens": 2048
}
Możesz zwizualizować sposób generowania zawartości przez przesyłanie strumieniowe:
{
"id": "23b54589eba14564ad8a2e6978775a39",
"object": "chat.completion.chunk",
"created": 1718726371,
"model": "Meta-Llama-3.1-405B-Instruct",
"choices": [
{
"index": 0,
"delta": {
"role": "assistant",
"content": ""
},
"finish_reason": null,
"logprobs": null
}
]
}
Ostatni komunikat w strumieniu został finish_reason
ustawiony, wskazujący przyczynę zatrzymania procesu generowania.
{
"id": "23b54589eba14564ad8a2e6978775a39",
"object": "chat.completion.chunk",
"created": 1718726371,
"model": "Meta-Llama-3.1-405B-Instruct",
"choices": [
{
"index": 0,
"delta": {
"content": ""
},
"finish_reason": "stop",
"logprobs": null
}
],
"usage": {
"prompt_tokens": 19,
"total_tokens": 91,
"completion_tokens": 72
}
}
Poznaj więcej parametrów obsługiwanych przez klienta wnioskowania
Zapoznaj się z innymi parametrami, które można określić w kliencie wnioskowania. Aby uzyskać pełną listę wszystkich obsługiwanych parametrów i odpowiedniej dokumentacji, zobacz Dokumentacja interfejsu API wnioskowania modelu AI platformy Azure.
{
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "How many languages are in the world?"
}
],
"presence_penalty": 0.1,
"frequency_penalty": 0.8,
"max_tokens": 2048,
"stop": ["<|endoftext|>"],
"temperature" :0,
"top_p": 1,
"response_format": { "type": "text" }
}
{
"id": "0a1234b5de6789f01gh2i345j6789klm",
"object": "chat.completion",
"created": 1718726686,
"model": "Meta-Llama-3.1-405B-Instruct",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.",
"tool_calls": null
},
"finish_reason": "stop",
"logprobs": null
}
],
"usage": {
"prompt_tokens": 19,
"total_tokens": 91,
"completion_tokens": 72
}
}
Ostrzeżenie
Modele Meta Llama nie obsługują formatowania danych wyjściowych JSON (response_format = { "type": "json_object" }
). Zawsze możesz monitować model o wygenerowanie danych wyjściowych JSON. Jednak takie dane wyjściowe nie mają gwarancji, że są prawidłowe dane JSON.
Jeśli chcesz przekazać parametr, który nie znajduje się na liście obsługiwanych parametrów, możesz przekazać go do modelu bazowego przy użyciu dodatkowych parametrów. Zobacz Przekazywanie dodatkowych parametrów do modelu.
Przekazywanie dodatkowych parametrów do modelu
Interfejs API wnioskowania modelu AI platformy Azure umożliwia przekazywanie dodatkowych parametrów do modelu. Poniższy przykład kodu pokazuje, jak przekazać dodatkowy parametr logprobs
do modelu.
Przed przekazaniem dodatkowych parametrów do interfejsu API wnioskowania modelu AI platformy Azure upewnij się, że model obsługuje te dodatkowe parametry. Po wysłaniu żądania do modelu bazowego nagłówek extra-parameters
jest przekazywany do modelu z wartością pass-through
. Ta wartość informuje punkt końcowy o przekazaniu dodatkowych parametrów do modelu. Użycie dodatkowych parametrów z modelem nie gwarantuje, że model może je faktycznie obsłużyć. Przeczytaj dokumentację modelu, aby dowiedzieć się, które dodatkowe parametry są obsługiwane.
POST /chat/completions HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json
extra-parameters: pass-through
{
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "How many languages are in the world?"
}
],
"logprobs": true
}
Następujące dodatkowe parametry można przekazać do modeli czatów Meta Llama:
Nazwa/nazwisko | opis | Type |
---|---|---|
n |
Ile uzupełniania ma być generowanych dla każdego monitu. Uwaga: ponieważ ten parametr generuje wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. | integer |
best_of |
Generuje best_of uzupełniania po stronie serwera i zwraca najlepsze wyniki (ten z najniższym prawdopodobieństwem dziennika na token). Nie można przesyłać strumieniowo wyników. W przypadku użycia z n programem best_of kontroluje liczbę ukończonych kandydatów, a n określa liczbę zwracanych elementów — best_of musi być większa niż n . Uwaga: ponieważ ten parametr generuje wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. |
integer |
logprobs |
Liczba wskazująca na uwzględnienie prawdopodobieństwa dziennika w dziennikach najprawdopodobniej tokenów i wybranych tokenów. Jeśli na przykład logprobs ma wartość 10, interfejs API zwraca listę 10 najbardziej prawdopodobnych tokenów. Interfejs API zawsze zwraca logprob przykładowego tokenu, więc w odpowiedzi może istnieć maksymalnie 1 element logprobs+1. | integer |
ignore_eos |
Czy zignorować EOS token i kontynuować generowanie tokenów po wygenerowaniu tokenu EOS . |
boolean |
use_beam_search |
Czy używać wyszukiwania belki zamiast próbkowania. W takim przypadku musi być większa niż 1, best_of a temperatura musi być 0. |
boolean |
stop_token_ids |
Lista identyfikatorów tokenów, które po wygenerowaniu zatrzymają dalsze generowanie tokenów. Zwrócone dane wyjściowe zawierają tokeny zatrzymania, chyba że tokeny zatrzymania są specjalnymi tokenami. | array |
skip_special_tokens |
Czy pominąć specjalne tokeny w danych wyjściowych. | boolean |
Stosowanie bezpieczeństwa zawartości
Interfejs API wnioskowania modelu AI platformy Azure obsługuje bezpieczeństwo zawartości usługi Azure AI. W przypadku korzystania z wdrożeń z włączonym bezpieczeństwem zawartości sztucznej inteligencji platformy Azure dane wejściowe i wyjściowe przechodzą przez zespół modeli klasyfikacji mających na celu wykrywanie i zapobieganie wystąpieniu szkodliwej zawartości. System filtrowania zawartości (wersja zapoznawcza) wykrywa i podejmuje działania dotyczące określonych kategorii potencjalnie szkodliwej zawartości zarówno w monitach wejściowych, jak i w przypadku uzupełniania danych wyjściowych.
W poniższym przykładzie pokazano, jak obsługiwać zdarzenia, gdy model wykryje szkodliwą zawartość w monicie wejściowym i włączono bezpieczeństwo zawartości.
{
"messages": [
{
"role": "system",
"content": "You are an AI assistant that helps people find information."
},
{
"role": "user",
"content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
}
]
}
{
"error": {
"message": "The response was filtered due to the prompt triggering Microsoft's content management policy. Please modify your prompt and retry.",
"type": null,
"param": "prompt",
"code": "content_filter",
"status": 400
}
}
Napiwek
Aby dowiedzieć się więcej na temat konfigurowania i kontrolowania ustawień bezpieczeństwa zawartości usługi Azure AI, zapoznaj się z dokumentacją dotyczącą bezpieczeństwa zawartości usługi Azure AI.
Uwaga
Bezpieczeństwo zawartości sztucznej inteligencji platformy Azure jest dostępne tylko dla modeli wdrożonych jako punkty końcowe bezserwerowego interfejsu API.
Więcej przykładów wnioskowania
Aby uzyskać więcej przykładów używania modeli Meta Llama, zobacz następujące przykłady i samouczki:
opis | Language | Przykład |
---|---|---|
Żądanie CURL | Bash | Link |
Pakiet wnioskowania usługi Azure AI dla języka JavaScript | JavaScript | Link |
Pakiet wnioskowania usługi Azure AI dla języka Python | Python | Link |
Żądania internetowe języka Python | Python | Link |
Zestaw OPENAI SDK (eksperymentalny) | Python | Link |
LangChain | Python | Link |
LiteLLM | Python | Link |
Zagadnienia dotyczące kosztów i limitów przydziału dla modeli Meta Llama wdrożonych jako punkty końcowe bezserwerowego interfejsu API
Limit przydziału jest zarządzany na wdrożenie. Każde wdrożenie ma limit szybkości wynoszący 200 000 tokenów na minutę i 1000 żądań interfejsu API na minutę. Obecnie jednak ograniczamy jedno wdrożenie na model na projekt. Skontaktuj się z pomocą techniczną platformy Microsoft Azure, jeśli bieżące limity szybkości nie są wystarczające dla Twoich scenariuszy.
Meta Llama modele wdrożone jako bezserwerowy interfejs API są oferowane przez meta za pośrednictwem witryny Azure Marketplace i zintegrowane z usługą Azure AI Foundry do użycia. Cennik witryny Azure Marketplace można znaleźć podczas wdrażania modelu.
Za każdym razem, gdy projekt subskrybuje daną ofertę z witryny Azure Marketplace, tworzony jest nowy zasób w celu śledzenia kosztów związanych z jej zużyciem. Ten sam zasób służy do śledzenia kosztów skojarzonych z wnioskowaniem; jednak w ramach śledzenia każdego scenariusza można niezależnie śledzić wiele mierników.
Aby uzyskać więcej informacji na temat śledzenia kosztów, zobacz Monitorowanie kosztów modeli oferowanych w witrynie Azure Marketplace.
Zagadnienia dotyczące kosztów i limitów przydziału dla modeli Meta Llama wdrożonych w zarządzanych obliczeniach
Modele Meta Llama wdrożone w zarządzanych obliczeniach są rozliczane na podstawie godzin podstawowych skojarzonego wystąpienia obliczeniowego. Koszt wystąpienia obliczeniowego zależy od rozmiaru wystąpienia, liczby uruchomionych wystąpień i czasu trwania przebiegu.
Dobrym rozwiązaniem jest rozpoczęcie od niewielkiej liczby wystąpień i skalowanie w górę zgodnie z potrzebami. Koszt wystąpienia obliczeniowego można monitorować w witrynie Azure Portal.
Powiązana zawartość
- Interfejs API wnioskowania modelu Azure AI
- Wdrażanie modeli jako bezserwerowych interfejsów API
- Korzystanie z bezserwerowych punktów końcowych interfejsu API z innego projektu lub centrum rozwiązania Azure AI Foundry
- Dostępność regionów dla modeli w punktach końcowych bezserwerowego interfejsu API
- Planowanie kosztów i zarządzanie nimi (marketplace)