Поделиться через

Введение в создание приложений генеративного ИИ на Databricks

  • Статья

Мозаичный ИИ предоставляет комплексную платформу для создания, развертывания и управления созданными приложениями ИИ. В этой статье описаны основные компоненты и процессы, участвующие в разработке приложений ИИ поколения в Databricks.

Развертывание и запросы к моделям генеративного ИИ

Для простых вариантов использования можно напрямую обслуживать и запрашивать модели ИИ поколения, включая высококачественные модели с открытым исходным кодом, а также сторонние модели от поставщиков LLM, таких как OpenAI и Anthropic.

Поддержка моделирования ИИ Mosaic включает в себя обслуживание и запрос генеративных моделей ИИ с использованием следующих возможностей:

  • API моделей Foundation. Эта функция делает передовые открытые модели и точно настроенные варианты моделей доступными для вашей конечной точки развертывания модели. Эти модели являются кураторскими архитектурами моделей-основ, поддерживающими оптимизированный вывод. Базовые модели, такие как DBRX Instruct, Meta-Llama-3.1-70B-Instruct, GTE-Large и Mistral-7B, доступны для немедленного использования с моделью ценообразования оплата за токен, а рабочие нагрузки, требующие гарантии производительности, например, варианты настроенных моделей, могут быть развернуты с зарезервированной пропускной способностью.
  • Внешние модели. Это генеривные модели ИИ, размещенные за пределами Databricks. Конечные точки, обслуживающие внешние модели, могут централизованно управляться, и клиенты могут устанавливать ограничения скорости и управление доступом для них. Примеры включают базовые модели, такие как GPT-4 от OpenAI, Claude от Anthropic и другие.

См. раздел Создание базовой модели, обслуживающей конечные точки.

Mosaic AI Фреймворк агента ИИ

Платформа Mosaic AI Agent Framework состоит из набора инструментов на Databricks, предназначенных для создания, развертывания и оценки агентов производственного качества, таких как приложения с дополненной генерацией информации (RAG).

Она совместима с сторонними платформами, такими как LangChain и LlamaIndex, что позволяет разрабатывать с помощью предпочтительной платформы и использовать управляемый каталог Unity Databricks, платформу оценки агентов и другие преимущества платформы.

Быстро выполните итерацию по разработке агента с помощью следующих функций:

  • Создайте агентов ИИ с помощью любых библиотек разработки агентов и MLflow. Параметризируйте агентов для быстрого эксперимента и итерации в разработке агентов.
  • создать инструменты агента для расширения возможностей LLM за пределами генерации языкового контента.
  • Трассировка агента позволяет выполнять журнал, анализ и сравнение трассировок в коде агента для отладки и понимания того, как агент отвечает на запросы.
  • оценка агента помогает оценить качество, стоимость и задержку агентов для выявления проблем качества и определения основной причины этих проблем.
  • Повышение качества агента с помощью DSPy. DSPy может автоматизировать проектирование запросов и тонкую настройку, чтобы повысить качество ваших генеративных ИИ агентов.
  • Разверните агентов в рабочую среду с встроенной поддержкой потоковой передачи токенов и логгирования запросов и ответов, а также интегрированным приложением для получения отзывов пользователей об агенте.