생성 AI 모델 유지 관리 정책
이 문서에서는 Foundation Model API 토큰당 종량제 및 Foundation Model 미세 조정 제품에 대한 모델 유지 관리 정책을 설명합니다.
가장 최신 모델을 계속 지원하기 위해 Databricks는 지원되는 모델을 update 토큰당 종량제 및 파운데이션 모델 미세 조정 제품에 대한 이전 모델을 사용 중지할 수 있습니다.
모델 사용 중지 정책
다음 사용 중지 정책은 Foundation Model API 토큰당 종량제 및 파운데이션 모델 미세 조정 제품의 지원되는 채팅 및 완성 모델에만 적용됩니다.
모델이 사용 중지되면 더 이상 사용할 수 없으며 표시된 기능 제품에서 제거됩니다. Databricks는 사용 중지를 위해 set 모델에 대해 고객에게 알리기 위해 다음 단계를 수행합니다.
- 모델 사용 중지가 계획되었음을 나타내는 경고 메시지가 Databricks 작업 공간의 서빙 페이지의 모델 카드에 표시됩니다.
- 모델 사용 중지가 계획되었음을 나타내는 경고 메시지가 실험 탭의 파운데이션 모델 미세 조정 드롭다운 메뉴에 표시됩니다.
- 해당 설명서에는 모델이 퇴역이 계획되어 있으며 지원이 중단되는 시작 날짜를 나타내는 알림이 포함되어 있습니다.
예정된 모델 사용 중지에 대한 알림을 받은 후 Databricks는 3개월 후에 모델을 사용 중지합니다. 이 3개월 기간 동안 고객은 다음 중 하나를 수행할 수 있습니다.
- 프로비전된 처리량 엔드포인트로 마이그레이션하여 수명 종료 날짜가 지난 모델을 계속 사용하도록 선택합니다.
- 권장 대체 모델을 사용하도록 기존 워크플로를 마이그레이션합니다.
사용 중지 날짜에 모델이 제품에서 제거되고 해당 설명서가 업데이트되어 대체 모델을 사용하는 것이 좋습니다.
사용 중지된 모델에 관해서는 현재 사용 중지된 모델 및 계획된 사용 중지 날짜의 list를 참조하세요.
모델 업데이트
Databricks는 최적화를 제공하기 위해 토큰당 종량제 모델에 증분 업데이트를 제공할 수 있습니다. 모델이 업데이트되면 엔드포인트 URL은 동일하게 유지되지만 응답 개체의 모델 ID는 update날짜를 반영하도록 변경됩니다. 예를 들어 2024년 3월 4일에 update이 meta-llama/Meta-Llama-3.1-405B으로 배송되는 경우, 응답 개체의 모델 이름이 meta-llama/Meta-Llama-3.1-405B-030424로 업데이트됩니다. Databricks는 참조할 수 있는 업데이트의 버전 기록을 유지 관리합니다.
사용 중지된 모델
다음 섹션에서는 파운데이션 모델 API의 토큰당 종량제 및 파운데이션 모델 미세 조정 옵션과 관련하여 현재와 앞으로 예정된 모델 단종을 요약합니다.
파운데이션 모델 미세 조정 사용 중지
다음 table 사용 중지된 모델 패밀리, 사용 중지 날짜 및 파운데이션 모델 미세 조정 워크로드에 사용할 권장 교체 모델 패밀리를 보여 줍니다. Databricks는 지정된 사용 중지 날짜 이전에 대체 모델을 사용하도록 애플리케이션을 마이그레이션하는 것이 좋습니다.
| 모델 패밀리 | 은퇴 날짜 | 권장되는 대체 모델 패밀리 |
|---|---|---|
| Meta-Llama-3 | 2025년 1월 7일 | Meta-Llama-3.1 |
| Meta-Llama-2 | 2025년 1월 7일 | Meta-Llama-3.1 |
| 코드 라마 | 2025년 1월 7일 | Meta-Llama-3.1 |
파운데이션 모델 API 토큰당 종량제 사용 중지
다음 table는 모델 사용 중단, 사용 중단 날짜 및 Foundation Model API의 토큰당 종량제 워크로드에 사용할 권장 대체 모델을 보여줍니다. Databricks는 지정된 사용 중지 날짜 이전에 대체 모델을 사용하도록 애플리케이션을 마이그레이션하는 것이 좋습니다.
중요하다
2024년 12월 11일, Meta-Llama-3.3-70B-Instruct는 Foundation Model API의 토큰당 요금이 부과되는 엔드포인트에서 Meta-Llama-3.1-70B-Instruct에 대한 지원을 대체했습니다.
| 모델 | 퇴직 날짜 | 권장되는 대체 모델 |
|---|---|---|
| Meta-Llama-3.1-70B-Instruct | 2024년 12월 11일 | Meta-Llama-3.3-70B-Instruct |
| Meta-Llama-3-70B-Instruct | 2024년 7월 23일 | Meta-Llama-3.1-70B-Instruct |
| 메타-라마-2-70B-채팅 | 2024년 10월 30일 | Meta-Llama-3.1-70B-Instruct |
| MPT 7B 인스트럭트 | 2024년 8월 30일 | Mixtral-8x7B |
| MPT 30B 지시 | 2024년 8월 30일 | Mixtral-8x7B |
특정 모델 버전에 대한 장기 지원이 필요한 경우, Databricks는 고객의 서비스 워크로드에 적합한 프로비전된 처리량 을 통해 Foundation Model API을 사용할 것을 권장합니다.