Mosaic AI 모델 서비스에서 지원되는 기본 모델

아티클
03/11/2025

이 문서에서는 Mosaic AI 모델 서비스사용하여 제공할 수 있는 기본 모델을 설명합니다.

기초 모델은 대규모 및 광범위한 데이터 모두에서 학습된 대규모 미리 학습된 신경망입니다. 이러한 모델은 언어, 이미지 또는 기타 데이터 형식의 일반적인 패턴을 학습하도록 설계되었으며 추가 학습을 통해 특정 작업에 대해 미세 조정할 수 있습니다.

Model Serving는 필요에 따라 기본 모델을 호스팅하고 쿼리하기 위한 유연한 옵션을 제공합니다.

토큰당 종량제: 실험 및 빠른 탐색에 적합합니다. 이 옵션을 사용하면 선행 인프라 약정 없이 Databricks 작업 영역에서 미리 구성된 엔드포인트를 쿼리할 수 있습니다.
프로비전된 처리량: 성능 보장이 필요한 프로덕션 사용 사례에 권장됩니다. 이 옵션을 사용하면 최적화된 서비스 엔드포인트를 사용하여 미세 조정된 기본 모델을 배포할 수 있습니다.
외부 모델: 이 옵션을 사용하면 OpenAI 또는 Anthropic에서 제공하는 모델과 같이 Databricks 외부에서 호스트되는 기본 모델에 액세스할 수 있습니다. 이러한 모델은 간소화된 거버넌스를 위해 Databricks 내에서 중앙에서 관리할 수 있습니다.

Databricks에서 호스트되는 기본 모델

Databricks는 메타 라마와 같은 최신 오픈 파운데이션 모델을 호스트합니다. 이러한 모델은 Foundation Model API 사용하여 사용할 수 있으며 토큰당 지불 또는 프로비전된 처리량을 사용하여 액세스할 수 있습니다.

토큰당 종량제

시작 및 빠른 탐색을 위해 토큰당 종량제 기본 모델 API를 사용하는 것이 좋습니다. 파운데이션 모델 API 종량제 토큰을 사용하여 모델을 지원하는 경우 Databricks는 Azure Databricks 작업 영역에서 테스트 및 쿼리할 수 있는 미리 구성된 엔드포인트를 제공합니다. AI Playground사용하여 이러한 모델과 상호 작용하고 채팅할 수도 있습니다.

다음 표에서는 토큰당 종량제에 대해 지원되는 모델을 요약합니다. 모델별 지역 가용성에 대한 Foundation Model API 제한 참조하세요.

중요하다

2024년 12월 11일부터 Meta-Llama-3.3-70B-Instruct는 토큰당 종량제 API에서 Meta-Llama-3.1-70B-Instruct에 대한 지원을 대체합니다.
Meta-Llama-3.1-405B-Instruct는 AzureML 모델 카탈로그를 사용하여 Meta에서 빌드 및 학습하고 Azure Machine Learning에서 배포하는 가장 큰 공개적으로 사용 가능한 최신 대형 언어 모델입니다.
이제 다음 모델이 사용 중지됩니다. 권장되는 교체 모델은 사용 중지된 모델 참조하세요.
- Llama 2 70B 챗봇
- MPT 7B 인스트럭트
- MPT 30B 설명서

모델	작업 유형	끝점	노트
GTE Large(영어)	임베딩	`databricks-gte-large-en`	정규화된 임베딩을 생성하지 않습니다.
Meta-Llama-3.3-70B-Instruct	채팅	`databricks-meta-llama-3-3-70b-instruct`
Meta-Llama-3.1-405B-Instruct*	채팅	`databricks-meta-llama-3-1-405b-instruct`
DBRX 지시	채팅	`databricks-dbrx-instruct`	이 모델은 2025년 4월 30일 이후에 더 이상 지원되지 않습니다.
Mixtral-8x7B 사용 설명서	채팅	`databricks-mixtral-8x7b-instruct`	이 모델은 2025년 4월 30일 이후에 더 이상 지원되지 않습니다.
BGE Large(영어)	삽입	`databricks-bge-large-en`

* 이 모델을 사용할 때 엔드포인트 오류 또는 안정화 오류가 발생하는 경우 Databricks 계정 팀에 문의하세요.

프로비전된 처리량

프로비전된 처리량 Foundation Model API는 프로덕션 사례에 권장됩니다. 프로비전된 처리량을 사용하여 미세 조정된 기본 모델 아키텍처를 배포하는 엔드포인트를 만들 수 있습니다. 프로비전된 처리량을 사용하는 경우 서비스 엔드포인트는 성능 보장이 필요한 기본 모델 워크로드에 최적화됩니다.

다음 표에는 프로비전된 처리량에 대해 지원되는 모델 아키텍처가 요약되어 있습니다. Databricks는 프로비전된 처리량 워크로드에 대해 Unity 카탈로그 미리 학습된 기본 모델을 사용하는 것이 좋습니다. 지원되는 메타 라마 모델 변형 및 지역 가용성에 대한 프로비전된 처리량 제한 참조하세요.

중요하다

모델 아키텍처	작업 유형	노트
DeepSeek R1	채팅	이러한 모델을 다운로드하고, Unity 카탈로그에 등록하고, 프로비전된 처리량을 사용하여 배포할 수 있습니다.
메타 라마 3.3	채팅 또는 완료
메타 라마 3.2 3B	채팅 또는 완료
메타 라마 3.2 1B	채팅 또는 완료
메타 라마 3.1	채팅 또는 완료
메타 라마 3	채팅 또는 완료
메타 라마 2	채팅 또는 완료
DBRX	채팅 또는 완료
미스트랄	채팅 또는 완료
Mixtral	채팅 또는 완료
MPT	채팅 또는 완료
GTE v1.5(영어)	임베딩	정규화된 임베딩을 생성하지 않습니다.
BGE v1.5(영어)	임베딩

Databricks 외부에서 호스트되는 Access 기본 모델

OpenAI 및 Anthropic과 같은 LLM 공급자가 만든 기본 모델은 외부 모델을 사용하여 Databricks에서도 액세스할 수 있습니다. 이러한 모델은 Databricks 외부에서 호스트되며 쿼리할 엔드포인트를 만들 수 있습니다. 이러한 엔드포인트는 조직 내의 다양한 LLM 공급자의 사용 및 관리를 간소화하는 Azure Databricks에서 중앙에서 제어할 수 있습니다.

다음 표는 지원되는 모델의 전체 목록이 아니며, 해당 엔드포인트 유형을 포함합니다. 나열된 모델 연결을 사용하여 지정된 공급자가 새로 릴리스한 모델 형식을 사용할 수 있게 되면 이를 위한 엔드포인트를 구성할 수 있습니다. 고객은 해당 모델 라이선스를 준수할 책임이 있습니다.

메모

LLM의 급속한 개발로 이 목록이 항상 최신 상태라는 보장은 없습니다. 동일한 공급자의 새 모델 버전은 일반적으로 목록에 없는 경우에도 지원됩니다.

모델 공급자	llm/v1/completions	llm/v1/chat	llm/v1/embeddings
OpenAI**	gpt-3.5-turbo-instruct babbage-002 davinci-002	o1 o1-mini o1-mini-2024-09-12 gpt-3.5 터보 gpt-4 gpt-4-turbo gpt-4-turbo-2024-04 gpt-4o gpt-4o-2024-05-13 gpt-4o-mini	text-embedding-ada-002 text-embedding-3-large text-embedding-3-small
Azure OpenAI**	text-davinci-003 gpt-35-turbo-instruct	o1 o1-mini gpt-35-turbo gpt-35-turbo-16k gpt-4 gpt-4-turbo gpt-4-32k gpt-4o gpt-4o-mini	text-embedding-ada-002 text-embedding-3-large text-embedding-3-small
인위적	claude-1 claude-1.3-100k claude-2 claude-2.1 claude-2.0 claude-instant-1.2	클로드-3-5-소네트-최신 버전 claude-3-5-haiku-latest claude-3-5-opus-latest claude-3-5-sonnet-20241022 claude-3-5-haiku-20241022 claude-3-5-sonnet-20240620 claude-3-haiku-20240307 claude-3-opus-20240229 claude-3-sonnet-20240229
Cohere**	명령 명령 표시등	command-r7b-12-2024 command-r-plus-08-2024 command-r-08-2024 커맨드-R-플러스 커맨드-R 명령 명령 조명-야간 명령 표시등 명령-나이트리	embed-english-v2.0 embed-multilingual-v2.0 embed-english-light-v2.0 embed-english-v3.0 임베드-잉글리시-라이트-v3.0 embed-multilingual-v3.0 embed-multilingual-light-v3.0
모자이크 AI 모델 서비스	엔드포인트를 제공하는 Databricks	엔드포인트를 제공하는 Databricks	엔드포인트를 제공하는 Databricks
아마존 암반	인류: claude-instant-v1 claude-v2 코헤어: command-text-v14 command-light-text-v14 AI21 랩: j2-grande-instruct j2-jumbo-instruct j2-mid j2-mid-v1 j2-ultra j2-ultra-v1	인류: claude-3-5-sonnet-20241022-v2:0 claude-3-5-haiku-20241022-v1:0 claude-3-opus-20240229-v1:0 claude-3-sonnet-20240229-v1:0 claude-3-5-sonnet-20240620-v1:0 코헤어: command-r-plus-v1:0 command-r-v1:0	아마존: titan-embed-text-v1 titan-embed-g1-text-02 코헤어: embed-english-v3 embed-multilingual-v3
AI21 Labs†	j2-mid j2-light j2-ultra
Google Cloud Vertex AI	text-bison	채팅 봇 gemini-pro gemini-1.0-pro gemini-1.5-pro gemini-1.5-flash gemini-2.0-flash	텍스트 임베딩-004 text-embedding-005 textembedding-gecko

** 모델 공급자는 미세 조정된 완성 및 채팅 모델을 지원합니다. 미세 조정된 모델을 쿼리하려면 name 구성의 external model 필드를 미세 조정된 모델의 이름으로 채웁다.

† 모델 공급자는 사용자 지정 완성 모델을 지원합니다.

엔드포인트를 제공하는 기본 모델 만들기

AI 애플리케이션에서 기본 모델을 쿼리하고 사용하려면 먼저 엔드포인트를 제공하는 모델을 만들어야 합니다. Model Serving는 엔드포인트를 제공하는 기본 모델을 만들고 업데이트하기 위해 통합 API 및 UI를 사용합니다.

파운데이션 모델 API 프로비전된 처리량을 사용하여 사용할 수 있는 기본 모델의 미세 조정된 변형을 제공하는 엔드포인트를 만들려면 REST API사용하여 프로비전된 처리량 엔드포인트 만들기를 참조하세요.
외부 모델 제공을 통해 사용할 수 있는 기본 모델에 액세스하는 서비스 엔드포인트를 생성하려면 외부 모델 서비스 엔드포인트 생성을 참조하세요.

엔드포인트를 제공하는 쿼리 기초 모델

서비스 엔드포인트를 만든 후에는 기본 모델을 쿼리할 수 있습니다. Model Serving는 기본 모델을 쿼리하기 위해 통합 OpenAI 호환 API 및 SDK를 사용합니다. 이 통합 환경은 지원되는 클라우드 및 공급자에서 프로덕션을 위한 기본 모델을 실험하고 사용자 지정하는 방법을 간소화합니다.

Query 기본 모델을 참조하세요.

다음을 통해 공유