APIs de Modelo Fundacional de Databricks
En este artículo se proporciona información general sobre las API de Foundation Model en Azure Databricks. Incluye requisitos para usar, modelos admitidos y limitaciones.
¿Qué son las API de modelo de Databricks Foundation?
Mosaic AI Model Serving ahora admite las API de Foundation Model, lo que permite acceder y consultar modelos abiertos de última generación desde un punto de conexión de servicio. Estos modelos se hospedan en Databricks y puede compilar aplicaciones de forma rápida y sencilla que las usan sin mantener su propia implementación de modelos. Las API de Foundation Model son un servicio designado de Databricks, lo que significa que usan Databricks Geos para administrar la residencia de datos al procesar el contenido del cliente.
Las API de Foundation Model se proporcionan en los siguientes modos de precios:
- Pago por token: esta es la manera más fácil de empezar a acceder a los modelos de base en Databricks y se recomienda para comenzar su recorrido con las API de Foundation Model. Este modo no está diseñado para aplicaciones de alto rendimiento ni cargas de trabajo de producción de alto rendimiento.
- Rendimiento aprovisionado: este modo se recomienda para todas las cargas de trabajo de producción, especialmente aquellas que requieren un alto rendimiento, garantías de rendimiento, modelos optimizados o requisitos de seguridad adicionales. Los puntos de conexión de rendimiento aprovisionados están disponibles con certificaciones de cumplimiento como HIPAA.
Consulte Use Foundation Model API para obtener instrucciones sobre cómo usar estos modos y los modelos admitidos.
Con las API de Foundation Model, puede hacer lo siguiente:
- Consulte un LLM generalizado para comprobar la validez de un proyecto antes de invertir más recursos.
- Consulte un LLM generalizado para crear una prueba de concepto rápida para una aplicación basada en LLM antes de invertir en el entrenamiento e implementar un modelo personalizado.
- Use un modelo de base, junto con una base de datos vectorial, para crear un bot de chat mediante la generación aumentada de recuperación (RAG).
- Reemplace los modelos propietarios por alternativas abiertas para optimizar el costo y el rendimiento.
- Compare eficazmente las LLM para ver el mejor candidato para su caso de uso o intercambiar un modelo de producción con un mejor rendimiento.
- Desarrolle una aplicación LLM para desarrollo o producción sobre una solución LLM escalable respaldada por un SLA que pueda gestionar los picos de tráfico de producción.
Requisitos
- Token de API de Databricks para autenticar solicitudes de punto de conexión.
- Proceso sin servidor (para modelos de rendimiento aprovisionados).
- Un área de trabajo en una de las siguientes regiones admitidas:
Uso de las API de Foundation Model
Tiene varias opciones para usar las API de Foundation Model.
Las API son compatibles con OpenAI, por lo que puede usar el cliente de OpenAI para realizar consultas. También puede usar la interfaz de usuario, el SDK de Python de las API de Foundation Models, el SDK de implementaciones de MLflow o la API REST para consultar los modelos admitidos. Databricks recomienda usar el SDK de cliente de OpenAI o la API para interacciones extendidas y la interfaz de usuario para probar la característica.
Vea Consulta de modelos de base para obtener ejemplos de puntuación.
API de Foundation Model de pago por token
Los puntos de conexión preconfigurados que sirven a los modelos de pago por token son accesibles en el área de trabajo de Azure Databricks. Estos modelos de pago por token se recomiendan para empezar. Para acceder a ellos en el área de trabajo, vaya a la pestaña Servicio de la barra lateral izquierda. Las API de Foundation Model se encuentran en la parte superior de la vista de lista Puntos de conexión.
- Modelos de pago por token admitidos.
- Consulte Modelos de base de consultas para obtener instrucciones sobre cómo consultar las API de Foundation Model.
- Consulte la referencia de la API REST del modelo de Foundation en para conocer los parámetros y la sintaxis necesarios.
API de Foundation Model de rendimiento aprovisionado
El rendimiento aprovisionado proporciona puntos de conexión con inferencia optimizada para cargas de trabajo del modelo de base que requieren garantías de rendimiento. Databricks recomienda el rendimiento aprovisionado para cargas de trabajo de producción.
- Modelos de arquitecturas compatibles con el rendimiento aprovisionado.
- Consulte API de Foundation Model de rendimiento aprovisionado para obtener instrucciones paso a paso sobre cómo implementar las API de Foundation Model en el modo de rendimiento aprovisionado.
La compatibilidad con el rendimiento aprovisionado incluye:
- Modelos base de todos los tamaños. Se puede acceder a los modelos base mediante Databricks Marketplace, o bien puede descargarlos desde Hugging Face u otro origen externo y registrarlos en el Catálogo de Unity. Este último enfoque funciona con cualquier variante optimizada de los modelos admitidos.
- Variantes ajustadas de los modelos base, como los modelos que están ajustados con datos de su propiedad.
- Ponderaciones y tokenizadores totalmente personalizados, como los entrenados desde cero o entrenados previamente u otras variaciones mediante la arquitectura del modelo base (por ejemplo, CodeLlama).
Limitaciones
Consulte los Límites de las API de Foundation Model.