Mosaic AI 모델 제공의 외부 모델
Important
이 문서의 코드 예제는 공개 미리 보기 MLflow 배포 CRUD API의 사용법을 보여줍니다.
이 문서에서는 Mosaic AI Model Serving의 외부 모델과 지원되는 모델 공급자 및 제한 사항을 설명합니다.
외부 모델이란?
Important
이제 외부 모델을 제공하는 모델 제공 엔드포인트에서 Mosaic AI Gateway를 구성할 수 있습니다. AI Gateway는 이러한 모델 제공 엔드포인트에 거버넌스, 모니터링 및 프로덕션 준비 상태를 제공합니다. Mosaic AI 게이트웨이를 참조하세요.
외부 모델은 Databricks 외부에 호스팅된 타사 모델입니다. Model Serving의 지원을 받는 외부 모델을 사용하면 조직 내에서 OpenAI 및 Anthropic과 같은 다양한 대규모 언어 모델(LLM) 공급자의 사용 및 관리를 간소화할 수 있습니다. Mosaic AI Model Serving을 공급자로 사용하여 사용자 지정 모델을 제공할 수 있으며, 이를 통해 해당 엔드포인트에 대한 속도 제한이 제공됩니다. 이 지원의 일환으로 Model Serving은 특정 LLM 관련 요청을 처리하기 위한 통합 엔드포인트를 제공함으로써 이러한 서비스와의 상호작용을 간소화하는 높은 수준의 인터페이스를 제공합니다.
또한 Azure Databricks는 외부 모델을 지원하여 중앙 집중화된 자격 증명 관리를 제공합니다. 조직은 API 키를 하나의 안전한 위치에 저장함으로써 시스템 전체에서 중요한 API 키의 노출을 최소화하여 보안 태세를 향상시킬 수 있습니다. 또한 코드 내에서 이러한 키를 노출하거나 최종 사용자가 키를 안전하게 관리하도록 요구하는 것을 방지할 수 있습니다.
MLflow 배포 SDK를 사용하여 외부 모델 엔드포인트를 생성하고, 해당 엔드포인트에서 제공하는 지원 모델을 쿼리하는 방법에 대한 단계별 지침은 자습서: OpenAI 모델을 쿼리하기 위한 외부 모델 엔드포인트 만들기를 참조하세요. 서비스 UI 및 REST API를 사용하는 방법에 대한 지침은 다음 가이드를 참조하세요.
요구 사항
- 모델 공급자에 대한 API 키 또는 인증 필드입니다.
- 외부 모델 지원 하위 지역의 Databricks 작업 영역입니다.
모델 공급자
모델 서비스 내의 외부 모델은 다양한 모델 공급자를 지원하도록 설계되었습니다. 공급자는 OpenAI, Anthropic 등과 같은 기계 학습 모델의 원본을 나타냅니다. 각 공급자에는 external_model의 필드에 캡슐화된 특정 특성과 구성이 있습니다.
다음과 같은 공급자가 지원됩니다.
- openai: OpenAI에서 제공하는 모델과 Azure OpenAI 및 AAD가 포함된 Azure OpenAI에 대한 Azure 통합의 경우
- anthropic: Anthropic에서 제공하는 모델의 경우
- cohere: Cohere에서 제공하는 모델의 경우
- amazon-bedrock: Amazon Bedrock에서 제공하는 모델의 경우
- google-cloud-vertex-ai: Google Cloud Vertex AI에서 제공하는 모델의 경우
- databricks-model-serving: 호환되는 스키마를 갖춘 Mosaic AI Model Serving 엔드포인트의 경우 엔드포인트 구성을 참조하세요.
여기에 나열되지 않은 공급자에 대한 지원을 요청하려면 Databricks 계정 팀에 문의하세요.
지원되는 모델
선택한 모델은 API 호출에서 가져오는 응답의 결과에 직접적인 영향을 미칩니다. 따라서 사용 사례 요구 사항에 맞는 모델을 선택하세요. 예를 들어 대화형 답변을 생성하려면 채팅 모델을 선택할 수 있습니다. 반대로 텍스트 포함을 생성하기 위해 포함 모델을 선택할 수 있습니다.
지원되는 모델참조하세요.
Mosaic AI 모델 서비스 엔드포인트에서 제공되는 모델 사용
Mosaic AI Model Serving 엔드포인트는 공급자로서 llm/v1/completions, llm/v1/chat 및 llm/v1/embeddings 엔드포인트 유형에 대한 지원을 받습니다. 이러한 엔드포인트는 필수로 표시된 표준 쿼리 매개 변수를 허용해야 하며, Mosaic AI Model Serving 엔드포인트에서 지원하는지 여부에 따라 다른 매개 변수는 무시될 수 있습니다.
표준 쿼리 매개 변수는 API 참조의 POST /serving-endpoints/{name}/invocations를 참조하세요.
이러한 엔드포인트는 다음 OpenAI 형식으로 응답을 생성해야 합니다.
완료 작업의 경우
{
"id": "123", # Not Required
"model": "test_databricks_model",
"choices": [
{
"text": "Hello World!",
"index": 0,
"logprobs": null, # Not Required
"finish_reason": "length" # Not Required
}
],
"usage": {
"prompt_tokens": 8,
"total_tokens": 8
}
}
채팅 작업의 경우
{
"id": "123", # Not Required
"model": "test_chat_model",
"choices": [{
"index": 0,
"message": {
"role": "assistant",
"content": "\n\nHello there, how may I assist you today?",
},
"finish_reason": "stop"
},
{
"index": 1,
"message": {
"role": "human",
"content": "\n\nWhat is the weather in San Francisco?",
},
"finish_reason": "stop"
}],
"usage": {
"prompt_tokens": 8,
"total_tokens": 8
}
}
포함 작업의 경우
{
"data": [
{
"embedding": [
0.0023064255,
-0.009327292,
.... # (1536 floats total for ada-002)
-0.0028842222,
],
"index": 0
},
{
"embedding": [
0.0023064255,
-0.009327292,
.... #(1536 floats total for ada-002)
-0.0028842222,
],
"index": 0
}
],
"model": "test_embedding_model",
"usage": {
"prompt_tokens": 8,
"total_tokens": 8
}
}
엔드포인트 구성
외부 모델을 제공하고 쿼리하려면 서비스 엔드포인트를 구성해야 합니다. 엔드포인트를 제공하는 외부 모델 만들기를 참조하세요.
엔드포인트를 제공하는 외부 모델의 경우 엔드포인트 구성의 external_model 섹션에 served_entities 필드와 해당 매개 변수를 포함해야 합니다. 서비스 엔드포인트에 여러 개의 외부 모델을 구성하는 경우 각 외부 모델에 대한 트래픽 라우팅 비율을 정의하기 위한 traffic_config을(를) 제공해야 합니다.
external_model 필드는 이 엔드포인트가 요청을 전달하는 대상 모델을 정의합니다. 모델을 지정할 때 공급자가 사용자가 요청하는 모델을 지원하는지 확인하는 것이 중요합니다. 예를 들어, 공급자 openai은(는) text-embedding-ada-002과(와) 같은 모델을 지원하지만 다른 공급자는 그렇지 않을 수 있습니다. 모델이 공급자에 의해 지원되지 않는 경우 Databricks는 해당 모델에 대한 요청을 라우팅하려고 할 때 HTTP 4xx 오류를 반환합니다.
아래 테이블에는 external_model 필드 매개 변수가 요약되어 있습니다. 엔드포인트 구성 매개 변수는 POST /api/2.0/serving-endpoints를 참조하세요.
| 매개 변수 | 설명 |
|---|---|
name |
사용할 모델의 이름. 예를 들어 OpenAI gpt-3.5-turbo 모델의 경우는 GPT-3.5-Turbo입니다. |
provider |
이 모델의 공급자 이름을 지정합니다. 이 스트링 값은 지원되는 외부 모델 공급자와 일치해야 합니다. 예를 들어 OpenAI openai 모델의 경우는 GPT-3.5입니다. |
task |
해당 작업은 사용자가 원하는 언어 모델 상호작용의 유형에 대응됩니다. 지원되는 작업은 지원되는 작업은 “llm/v1/completions”, “llm/v1/chat”, “llm/v1/embeddings”입니다. |
<provider>_config |
모델에 필요한 추가 구성 세부 정보가 포함되어 있습니다. 여기에는 API 기본 URL 및 API 키 지정이 포함됩니다. 엔드포인트에 대한 공급자 구성을 참조하세요. |
다음은 create_endpoint() API를 사용하여 외부 모델 엔드포인트를 생성하는 예입니다. 이 예제에서 완료 엔드포인트로 전송된 요청은 claude-2에서 제공한 anthropic 모델로 전달됩니다.
import mlflow.deployments
client = mlflow.deployments.get_deploy_client("databricks")
client.create_endpoint(
name="anthropic-completions-endpoint",
config={
"served_entities": [
{
"name": "test",
"external_model": {
"name": "claude-2",
"provider": "anthropic",
"task": "llm/v1/completions",
"anthropic_config": {
"anthropic_api_key": "{{secrets/my_anthropic_secret_scope/anthropic_api_key}}"
}
}
}
]
}
)
엔드포인트에 대한 공급자 구성
엔드포인트를 생성할 때에는 지정된 모델 공급자에 필요한 구성을 제공해야 합니다. 다음 섹션에는 각 모델 공급자에 대해 사용 가능한 엔드포인트 구성 매개 변수가 요약되어 있습니다.
참고 항목
Databricks는 각 모델 공급자에 대해 제공된 자격 증명을 암호화하고 안전하게 저장합니다. 이러한 자격 증명은 연결된 엔드포인트가 삭제되면 자동으로 삭제됩니다.
OpenAI
| 구성 매개 변수 | 설명 | 필수 항목 | 기본값 |
|---|---|---|---|
openai_api_key |
OpenAI Service를 사용하는 OpenAI API 키에 대한 Azure Databricks 비밀 키 참조입니다. API 키를 직접 붙여넣으려면 openai_api_key_plaintext을(를) 참조하세요. |
openai_api_key 또는 openai_api_key_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
openai_api_key_plaintext |
일반 텍스트 스트링으로 제공된 OpenAI 서비스를 사용하는 OpenAI API 키입니다. Azure Databricks 비밀을 사용하여 키를 참조하려면 openai_api_key을(를) 참조하세요. |
다음 openai_api_key 또는 openai_api_key_plaintext가 필수로 제공되는 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
openai_api_type |
사용할 OpenAI API 유형을 지정하는 선택적 필드입니다. | 아니요 | openai |
openai_api_base |
OpenAI API의 기본 URL입니다. | 아니요 | https://api.openai.com/v1 |
openai_api_version |
OpenAI API 버전을 지정하는 선택적 필드입니다. | 아니요 | |
openai_organization |
OpenAI에서 조직을 지정하는 선택적 필드입니다. | 아니요 |
Cohere
| 구성 매개 변수 | 설명 | 필수 항목 | 기본값 |
|---|---|---|---|
cohere_api_key |
Cohere API 키에 대한 Azure Databricks 비밀 키 참조입니다. API 키를 직접 붙여넣으려면 cohere_api_key_plaintext을(를) 참조하세요. |
cohere_api_key 또는 cohere_api_key_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
cohere_api_key_plaintext |
일반 텍스트 스트링으로 제공되는 Cohere API 키입니다. Azure Databricks 비밀을 사용하여 키를 참조하려면 cohere_api_key을(를) 참조하세요. |
cohere_api_key 또는 cohere_api_key_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
cohere_api_base |
Cohere 서비스의 기준 URL입니다. | 아니요 |
Anthropic
| 구성 매개 변수 | 설명 | 필수 항목 | 기본값 |
|---|---|---|---|
anthropic_api_key |
Anthropic API 키에 대한 Azure Databricks 비밀 키 참조입니다. API 키를 직접 붙여넣으려면 anthropic_api_key_plaintext을(를) 참조하세요. |
anthropic_api_key 또는 anthropic_api_key_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
anthropic_api_key_plaintext |
일반 텍스트 스트링으로 제공되는 Anthropic API 키입니다. Azure Databricks 비밀을 사용하여 키를 참조하려면 anthropic_api_key을(를) 참조하세요. |
anthropic_api_key 또는 anthropic_api_key_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
Azure OpenAI
Azure OpenAI에는 OpenAI 직접 서비스와 비교할 때 고유한 특징이 있습니다. 개요를 보려면 비교 설명서를 참조하세요.
| 구성 매개 변수 | 설명 | 필수 항목 | 기본값 |
|---|---|---|---|
openai_api_key |
Azure 서비스를 사용하는 OpenAI API 키에 대한 Azure Databricks 비밀 키 참조입니다. API 키를 직접 붙여넣으려면 openai_api_key_plaintext을(를) 참조하세요. |
openai_api_key 또는 openai_api_key_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
openai_api_key_plaintext |
일반 텍스트 스트링으로 제공된 OpenAI 서비스를 사용하는 Azure API 키입니다. Azure Databricks 비밀을 사용하여 키를 참조하려면 openai_api_key을(를) 참조하세요. |
openai_api_key 또는 openai_api_key_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
openai_api_type |
액세스 토큰 유효성 검사에 azure을(를) 사용하세요. |
예 | |
openai_api_base |
Azure에서 제공하는 Azure OpenAI API 서비스의 기준 URL입니다. | 예 | |
openai_api_version |
날짜로 지정하여 활용할 Azure OpenAI 서비스의 버전입니다. | 예 | |
openai_deployment_name |
Azure OpenAI 서비스의 배포 리소스 이름입니다. | 예 | |
openai_organization |
OpenAI에서 조직을 지정하는 선택적 필드입니다. | 아니요 |
Microsoft Entra ID와 함께 Azure OpenAI를 사용하는 경우 엔드포인트 구성에서 다음 매개 변수를 사용합니다.
| 구성 매개 변수 | 설명 | 필수 항목 | 기본값 |
|---|---|---|---|
microsoft_entra_tenant_id |
Microsoft Entra ID 인증에 대한 테넌트 ID입니다. | 예 | |
microsoft_entra_client_id |
Microsoft Entra ID 인증을 위한 클라이언트 ID입니다. | 예 | |
microsoft_entra_client_secret |
Microsoft Entra ID 인증에 사용되는 클라이언트 암호에 대한 Azure Databricks 비밀 키 참조입니다. 클라이언트 암호를 직접 붙여넣으려면 microsoft_entra_client_secret_plaintext을(를) 참조하세요. |
microsoft_entra_client_secret 또는 microsoft_entra_client_secret_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
microsoft_entra_client_secret_plaintext |
Microsoft Entra ID 인증에 사용되는 클라이언트 암호는 일반 텍스트 스트링으로 제공됩니다. Azure Databricks 비밀을 사용하여 키를 참조하려면 microsoft_entra_client_secret을(를) 참조하세요. |
microsoft_entra_client_secret 또는 microsoft_entra_client_secret_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
openai_api_type |
Microsoft Entra ID를 사용하는 인증에 azuread을(를) 사용합니다. |
예 | |
openai_api_base |
Azure에서 제공하는 Azure OpenAI API 서비스의 기준 URL입니다. | 예 | |
openai_api_version |
날짜로 지정하여 활용할 Azure OpenAI 서비스의 버전입니다. | 예 | |
openai_deployment_name |
Azure OpenAI 서비스의 배포 리소스 이름입니다. | 예 | |
openai_organization |
OpenAI에서 조직을 지정하는 선택적 필드입니다. | 아니요 |
다음 예제에서는 Azure OpenAI를 사용하여 엔드포인트를 만드는 방법을 보여줍니다.
client.create_endpoint(
name="openai-chat-endpoint",
config={
"served_entities": [{
"external_model": {
"name": "gpt-3.5-turbo",
"provider": "openai",
"task": "llm/v1/chat",
"openai_config": {
"openai_api_type": "azure",
"openai_api_key": "{{secrets/my_openai_secret_scope/openai_api_key}}",
"openai_api_base": "https://my-azure-openai-endpoint.openai.azure.com",
"openai_deployment_name": "my-gpt-35-turbo-deployment",
"openai_api_version": "2023-05-15"
}
}
}]
}
)
Google Cloud Vertex AI
| 구성 매개 변수 | 설명 | 필수 항목 | 기본값 |
|---|---|---|---|
private_key |
Google Cloud Vertex AI Service에 대한 액세스 권한이 있는 서비스 계정의 프라이빗 키에 대한 Azure Databricks 비밀 키 참조입니다.
서비스 계정 키 관리 모범 사례를 참조하세요. API 키를 직접 붙여넣으려면 private_key_plaintext을(를) 참조하세요. |
private_key 또는 private_key_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
private_key_plaintext |
일반 텍스트 비밀로 제공된 Google Cloud Vertex AI Service에 대한 액세스 권한이 있는 서비스 계정의 프라이빗 키입니다.
서비스 계정 키 관리 모범 사례를 참조하세요. Azure Databricks 비밀을 사용하여 키를 참조하려면 private_key을(를) 참조하세요. |
private_key 또는 private_key_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
region |
Google Cloud Vertex AI Service의 지역입니다. 자세한 내용은 지원되는 지역을 참조하세요. 일부 모델은 특정 하위 지역에서만 사용할 수 있습니다. | 예 | |
project_id |
이는 서비스 계정이 연결된 Google Cloud 프로젝트 ID입니다. | 예 |
Amazon Bedrock
Amazon Bedrock을 외부 모델 공급자로 사용하려면 고객은 Bedrock이 지정된 AWS 하위 지역에서 사용되고 있는지 확인해야 하며, 지정된 AWS 키 쌍에 Bedrock 서비스와 상호 작용할 수 있는 적절한 권한이 있는지 확인해야 합니다. 자세한 내용은 AWS ID 및 액세스 관리를 참조하세요.
| 구성 매개 변수 | 설명 | 필수 항목 | 기본값 |
|---|---|---|---|
aws_region |
사용할 AWS 지역입니다. Bedrock은 해당 위치에서 사용되어야 합니다. | 예 | |
aws_access_key_id |
Bedrock 서비스와 상호 작용할 수 있는 권한이 있는 액세스 키 ID와 쌍을 이루는 AWS 액세스 키에 대한 Azure Databricks 비밀 키 참조입니다. API 키를 직접 붙여넣으려면 aws_access_key_id_plaintext을(를) 참조하세요. |
aws_access_key_id 또는 aws_access_key_id_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
aws_access_key_id_plaintext |
일반 텍스트 스트링으로 제공된 Bedrock 서비스와 상호 작용할 수 있는 권한이 있는 AWS 액세스 키 ID입니다. Azure Databricks 비밀을 사용하여 키를 참조하려면 aws_access_key_id을(를) 참조하세요. |
aws_access_key_id 또는 aws_access_key_id_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
aws_secret_access_key |
Bedrock 서비스와 상호 작용할 수 있는 권한이 있는 액세스 키 ID와 쌍을 이루는 AWS 비밀 액세스 키에 대한 Azure Databricks 비밀 키 참조입니다. API 키를 직접 붙여넣으려면 aws_secret_access_key_plaintext을(를) 참조하세요. |
aws_secret_access_key 또는 aws_secret_access_key_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
aws_secret_access_key_plaintext |
Bedrock 서비스와 상호 작용할 수 있는 권한을 일반 텍스트 스트링으로 제공하는 액세스 키 ID와 쌍을 이루는 AWS 비밀 액세스 키입니다. Azure Databricks 비밀을 사용하여 키를 참조하려면 aws_secret_access_key을(를) 참조하세요. |
aws_secret_access_key 또는 aws_secret_access_key_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
bedrock_provider |
Amazon Bedrock의 기본 공급자입니다. 지원되는 값(대소문자 구분 없음)에는 Anthropic, Cohere, AI21Labs, Amazon이 포함됩니다. | 예 |
다음 예제는 액세스 키를 사용하여 Amazon Break로 엔드포인트를 만드는 방법을 보여줍니다.
client.create_endpoint(
name="bedrock-anthropic-completions-endpoint",
config={
"served_entities": [
{
"external_model": {
"name": "claude-v2",
"provider": "amazon-bedrock",
"task": "llm/v1/completions",
"amazon_bedrock_config": {
"aws_region": "<YOUR_AWS_REGION>",
"aws_access_key_id": "{{secrets/my_amazon_bedrock_secret_scope/aws_access_key_id}}",
"aws_secret_access_key": "{{secrets/my_amazon_bedrock_secret_scope/aws_secret_access_key}}",
"bedrock_provider": "anthropic",
},
}
}
]
},
)
AWS 권한 문제가 있는 경우 Databricks에서는 Amazon Bedrock API를 사용하여 자격 증명을 직접 확인할 것을 권장합니다.
AI21 Labs
| 구성 매개 변수 | 설명 | 필수 항목 | 기본값 |
|---|---|---|---|
ai21labs_api_key |
AI21 Labs API 키에 대한 Azure Databricks 비밀 키 참조입니다. API 키를 직접 붙여넣으려면 ai21labs_api_key_plaintext을(를) 참조하세요. |
ai21labs_api_key 또는 ai21labs_api_key_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
|
ai21labs_api_key_plaintext |
일반 텍스트 스트링으로 제공되는 AI21 Labs API 키입니다. Azure Databricks 비밀을 사용하여 키를 참조하려면 ai21labs_api_key을(를) 참조하세요. |
ai21labs_api_key 또는 ai21labs_api_key_plaintext 필드 중 하나를 사용하여 API 키를 제공해야 합니다. |
엔드포인트에서 AI Gateway 구성
속도 제한, 사용 추적, 가드레일 등과 같은 Mosaic AI Gateway 기능을 사용하도록 엔드포인트를 구성할 수도 있습니다.
엔드포인트를 제공하는 모델에서 AI 게이트웨이 구성을 참조하세요.
외부 모델 엔드포인트 쿼리
외부 모델 엔드포인트를 만들면 사용자로부터 트래픽을 수신할 수 있는 상태가 됩니다.
OpenAI 클라이언트, REST API 또는 MLflow Deployments SDK를 사용하여 엔드포인트에 채점 요청을 보낼 수 있습니다.
- POST /serving-endpoints/{name}/invocations에서 채점 요청에 대한 표준 쿼리 매개 변수를 참조하세요.
- 쿼리 기본 모델
다음 예제에서는 OpenAI 클라이언트를 사용하여 Anthropic이 호스팅하는 claude-2 완성 모델을 쿼리합니다. 이 예제에서는 OpenAI 클라이언트를 사용하여 쿼리하려는 모델을 호스트하는 모델 서빙 엔드포인트의 이름으로 model 필드를 채워 모델을 쿼리합니다.
이 예제에서는 Anthropic 모델 공급자에서 외부 모델에 액세스하도록 구성된 이전에 만든 엔드포인트 anthropic-completions-endpoint을(를) 사용합니다.
외부 모델 엔드포인트 생성 방법을 참조하세요.
쿼리할 수 있는 추가 모델 및 해당 공급자는 지원되는 모델을 참조하세요.
import os
import openai
from openai import OpenAI
client = OpenAI(
api_key="dapi-your-databricks-token",
base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)
completion = client.completions.create(
model="anthropic-completions-endpoint",
prompt="what is databricks",
temperature=1.0
)
print(completion)
예상 출력 응답 형식:
{
"id": "123", # Not Required
"model": "anthropic-completions-endpoint",
"choices": [
{
"text": "Hello World!",
"index": 0,
"logprobs": null, # Not Required
"finish_reason": "length" # Not Required
}
],
"usage": {
"prompt_tokens": 8,
"total_tokens": 8
}
}
추가 쿼리 매개 변수
쿼리의 일부로 엔드포인트 공급자가 지원하는 추가 매개 변수를 전달할 수 있습니다.
예시:
-
logit_bias(OpenAI, Cohere에서 지원됨). -
top_k(Anthropic, Cohere에서 지원됨). -
frequency_penalty(OpenAI, Cohere에서 지원됨). -
presence_penalty(OpenAI, Cohere에서 지원됨). -
stream(OpenAI, Anthropic, Cohere, Anthropic용 Amazon Bedrock에서 지원됨). 이 항목은 채팅 및 완료 요청에만 사용할 수 있습니다.
외부 모델에 대한 네트워크 연결 구성 지원
Azure 프라이빗 링크를 비롯한 외부 모델에 대한 NCC(네트워크 연결 구성) 지원은 현재 프라이빗 미리 보기로 제공됩니다. 미리 보기에 참여하려면 Databricks 계정 팀에 문의하세요.
제한 사항
선택한 외부 모델에 따라, 사용자의 구성으로 인해 사용자의 데이터가 해당 데이터가 생성된 하위 지역 외부에서 처리될 수 있습니다. 모델 서비스 제한 및 하위 지역을 참조하세요.