일괄 유추 및 예측을 위한 모델 배포

이 문서에서는 일괄 처리 유추에 대해 Databricks가 권장하는 사항에 대해 설명합니다.

Azure Databricks에서 실시간 모델 서비스를 위해, Mosaic AI 모델 서빙을 사용하여 모델을 배포하는 방법을 보려면 과을 참조하세요.

일괄 처리 유추에 ai_query 사용

Important

이 기능은 공개 미리 보기 상태입니다.

Databricks는 일괄 처리 유추에 모델 서비스 제공을 사용하는 ai_query것이 좋습니다. ai_query 는 SQL을 사용하여 엔드포인트를 제공하는 기존 모델을 쿼리할 수 있는 기본 제공 Databricks SQL 함수입니다. 수십억 개의 토큰 범위에서 데이터 세트를 안정적이고 일관되게 처리하는 것으로 확인되었습니다. 이 AI 함수에 대한 자세한 내용은 ai_query 함수를 참조하세요.

빠른 실험을 ai_query 위해 이러한 엔드포인트는 작업 영역에서 미리 구성되므로 토큰당 종량제 엔드포인트와 함께 사용할 수 있습니다.

대규모 또는 프로덕션 데이터에서 일괄 처리 유추를 실행할 준비가 되면 Databricks는 더 빠른 성능을 위해 프로비전된 처리량 엔드포인트를 사용하는 것이 좋습니다. 프로비저닝된 처리량 기반 모델 API 을 참조하여 프로비전된 처리량 엔드포인트를 만드세요.

• ai_query를 사용하여 일괄 처리 LLM 유추를 수행합니다. 을 참조하세요.