토큰당 지불에 지원되는 모델
Important
토큰당 지불 방식이 지원되는 유럽 및 미국 지역에서는 GTE 대형(영어) 및 Meta Llama 3.1 70B Instruct 모델만 사용할 수 있습니다.
미국 지역에서만 지원되는 토큰당 종량제 모델에 대한 기본 모델 API 한도를 참조하세요.
이 문서에서는 토큰당 종량제 모드에서 Databricks Foundation 모델 API에서 지원하는 최신 개방형 모델에 대해 설명합니다.
Databricks 작업 영역에서 사용할 수 있는 토큰당 종량제 엔드포인트를 사용하여 이러한 모델에 쿼리 요청을 보낼 수 있습니다. 사용할 모델 엔드포인트의 이름은 쿼리 생성 AI 모델 및 토큰당 종량제 지원 모델 테이블을 참조하세요.
토큰당 종량제 모드에서 모델을 지원하는 것 외에도 Foundation Model API는 프로비전된 처리량 모드를 제공합니다. Databricks는 프로덕션 워크로드에 프로비전된 처리량을 권장합니다. 이 모드는 토큰당 종량제 모드에서 지원되는 미세 조정된 모델 및 사용자 지정 미리 학습된 모델을 포함하여 모델 아키텍처 제품군의 모든 모델(예: DBRX 모델)을 지원합니다. 지원되는 아키텍처 목록은 프로비전된 처리량 Foundation Model API를 참조하세요.
AI Playground를 사용하여 지원되는 이러한 모델과 상호 작용할 수 있습니다.
Meta Llama 3.1 405B 지시
Important
파운데이션 모델 API와 함께 이 모델을 사용하는 방법은 공개 미리 보기로 제공됩니다. 이 모델을 사용할 때 엔드포인트 오류 또는 안정화 오류가 발생하는 경우 Databricks 계정 팀에 문의하세요.
Important
Meta Llama 3.1은 LLAMA 3.1 Community License(Copyright © Meta Platforms, Inc. All Rights Reserved)에 따라 라이선스가 부여됩니다. 고객은 해당 모델 라이선스를 준수할 책임이 있습니다.
Meta-Llama-3.1-405B-Instruct는 메타에서 빌드 및 학습한 가장 큰 공개적으로 사용 가능한 최신 대형 언어 모델이며 AzureML 모델 카탈로그를 사용하여 Azure Machine Learning에서 배포합니다. 이 모델을 사용하면 고객이 고급 다단계 추론 및 고품질 가상 데이터 생성과 같은 새로운 기능을 잠금 해제할 수 있습니다. 이 모델은 품질 측면에서 GPT-4-Turbo와 경쟁력이 있습니다.
Meta-Llama-3.1-70B-Instruct와 마찬가지로 이 모델은 10개 언어에서 128,000개의 토큰 및 지원 컨텍스트를 가지고 있습니다. 이는 유용성과 안전을 위한 인간의 선호도에 부합하며 대화 사용 사례에 최적화되어 있습니다. Meta Llama 3.1 모델에 대해 자세히 알아봅니다.
다른 큰 언어 모델과 마찬가지로, Llama-3.1의 출력은 일부 사실을 생략하고 때때로 거짓 정보를 생성할 수 있습니다. Databricks는 정확도가 특히 중요한 시나리오에서 RAG(검색 보강 생성)를 사용하는 것이 좋습니다.
DBRX 지시
Important
DBRX는 Databricks 오픈 모델 라이선스, Copyright © Databricks, Inc.에 따라 제공되며 적용됩니다. 모든 권한이 예약되어 있습니다. 고객은 Databricks 사용 제한 정책을 포함하여 해당 모델 라이선스를 준수할 책임이 있습니다.
DBRX 지시는 Databricks에서 학습한 MoE(전문가) 언어 모델의 최신 혼합물입니다.
이 모델은 표준 벤치마크에서 설정된 오픈 소스 모델을 능가하며 텍스트 요약, 질문 답변, 추출 및 코딩과 같은 광범위한 자연어 작업 집합에서 뛰어난 성능을 발휘합니다.
DBRX 지시는 입력 길이의 최대 32k 토큰을 처리할 수 있으며 최대 4k 토큰의 출력을 생성합니다. MoE 아키텍처 덕분에 DBRX Instruct는 유추에 매우 효율적이며 총 132B 학습된 매개 변수 중 36B 매개 변수만 활성화합니다. 이 모델을 제공하는 토큰당 종량제 엔드포인트의 속도 제한은 초당 쿼리 1개입니다. 모델 서비스 제한 및 하위 지역을 참조하세요.
다른 큰 언어 모델과 마찬가지로 DBRX 지시 출력은 일부 사실을 생략하고 때때로 거짓 정보를 생성할 수 있습니다. Databricks는 정확도가 특히 중요한 시나리오에서 RAG(검색 보강 생성)를 사용하는 것이 좋습니다.
DBRX 모델은 다음 기본 시스템 프롬프트를 사용하여 모델 응답에서 관련성과 정확도를 보장합니다.
You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.
Meta Llama 3.1 70B 지시
Important
2024년 7월 23일부터 Meta-Llama-3.1-70B-Instruct는 토큰당 지불 엔드포인트에서 Meta-Llama-3-70B-Instruct에 대한 지원을 대체합니다.
Important
Meta Llama 3.1은 LLAMA 3.1 Community License(Copyright © Meta Platforms, Inc. All Rights Reserved)에 따라 라이선스가 부여됩니다. 고객은 해당 모델 라이선스를 준수할 책임이 있습니다.
Meta-Llama-3.1-70B-Instruct는 메타가 빌드하고 학습한 128,000개의 토큰 컨텍스트를 가진 최첨단 대규모 언어 모델입니다. 이 모델은 10개 언어를 지원하며, 유용성과 안전을 위한 인간의 선호도에 부합하며 대화 사용 사례에 최적화되어 있습니다. Meta Llama 3.1 모델에 대해 자세히 알아봅니다.
다른 큰 언어 모델과 마찬가지로, Llama-3의 출력은 일부 사실을 생략하고 때때로 거짓 정보를 생성할 수 있습니다. Databricks는 정확도가 특히 중요한 시나리오에서 RAG(검색 보강 생성)를 사용하는 것이 좋습니다.
Mixtral-8x7B 지시
Mixtral-8x7B 지시는 Mistral AI에서 학습한 SMoE(전문가 모델)의 고품질 스파스 혼합물입니다. Mixtral-8x7B 지시는 질문 답변, 요약 및 추출과 같은 다양한 작업에 사용할 수 있습니다.
Mixtral은 최대 32k 토큰의 컨텍스트 길이를 처리할 수 있습니다. Mixtral은 영어, 프랑스어, 이탈리아어, 독일어 및 스페인어를 처리할 수 있습니다. Mixtral은 대부분의 벤치마크(Mixtral 성능)에서 라마 2 70B 및 GPT3.5를 일치하거나 능가하는 반면 유추 중에는 Llama 70B보다 4배 더 빠릅니다.
다른 큰 언어 모델과 마찬가지로 Mixtral-8x7B 지시 모델은 실제로 정확한 정보를 생성하는 데 의존해서는 안 됩니다. 사전 학습 데이터를 정리하기 위해 많은 노력을 기울였지만, 이 모델은 음란하거나 편향되거나 공격적인 출력을 생성할 수 있습니다. 위험을 줄이기 위해 Databricks는 기본적으로 Mistral의 안전 모드 시스템 프롬프트 변형을 사용합니다.
GTE Large(En)
Important
GTE Large(En)는 Apache 2.0 라이선스, Copyright © The Apache Software Foundation, All rights reserved에 따라 제공됩니다. 고객은 해당 모델 라이선스를 준수할 책임이 있습니다.
GTE(일반 텍스트 포함) 는 텍스트를 1024차원 포함 벡터와 8192 토큰의 포함 창에 매핑할 수 있는 텍스트 포함 모델입니다. 이러한 벡터는 LLM용 벡터 데이터베이스 및 검색, 분류, 질문 답변, 클러스터링 또는 의미 체계 검색과 같은 작업에 사용할 수 있습니다. 이 엔드포인트는 영어 버전의 모델을 제공하며 정규화된 포함을 생성하지 않습니다.
모델 포함은 RAG(검색 보강 생성) 사용 사례에 대해 LLM과 함께 사용할 때 특히 효과적입니다. GTE를 사용하여 LLM의 컨텍스트에서 사용할 수 있는 큰 문서 청크에서 관련 텍스트 조각을 찾을 수 있습니다.
BGE Large(En)
BAAI BGE(일반 포함) 는 모든 텍스트를 1024차원 포함 벡터 및 512 토큰의 포함 창에 매핑할 수 있는 텍스트 포함 모델입니다. 이러한 벡터는 LLM용 벡터 데이터베이스 및 검색, 분류, 질문 답변, 클러스터링 또는 의미 체계 검색과 같은 작업에 사용할 수 있습니다. 이 엔드포인트는 영어 버전의 모델을 제공하고 정규화된 포함을 생성합니다.
모델 포함은 RAG(검색 보강 생성) 사용 사례에 대해 LLM과 함께 사용할 때 특히 효과적입니다. BGE를 사용하여 LLM의 컨텍스트에서 사용할 수 있는 큰 문서 청크에서 관련 텍스트 조각을 찾을 수 있습니다.
RAG 애플리케이션에서는 명령 매개 변수를 포함하여 검색 시스템의 성능을 향상시킬 수 있습니다. BGE 작성자는 성능에 미치는 영향이 도메인에 따라 달라지지만 쿼리 포함에 대한 지침을 "Represent this sentence for searching relevant passages:" 시도하는 것이 좋습니다.