Поделиться через

Шлюз ИИ мозаики

  • Статья

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии.

В этой статье описывается Шлюз ИИ Мозаики, решение Databricks для управления и мониторинга доступа к поддерживаемым моделям создания ИИ и связанным с ними конечным точкам обслуживания моделей.

Что такое Шлюз ИИ Для Мозаики?

Шлюз ИИ мозаики предназначен для упрощения использования и управления генерируемыми моделями искусственного интеллекта в организации. Это централизованная служба, которая обеспечивает управление, мониторинг и готовность рабочей среды к модели конечных точек обслуживания. Он также позволяет выполнять, защищать и управлять трафиком ИИ для демократизации и ускорения внедрения ИИ для вашей организации.

Все данные вошли в разностные таблицы в каталоге Unity.

Чтобы начать визуализацию аналитических сведений из данных шлюза ИИ, скачайте пример панели мониторинга шлюза ИИ из GitHub. Эта панель мониторинга использует данные из таблиц вывода журналов отслеживания использования и полезных данных.

После скачивания JSON-файла импортируйте панель мониторинга в рабочую область. Инструкции по импорту панелей мониторинга см. в разделе "Импорт файла панели мониторинга".

Шлюз искусственного интеллекта поддерживает следующие функции:

  • Разрешение и ограничение скорости для управления доступом и количеством доступа.
  • Ведение журнала полезных данных для отслеживания и аудита, отправляемых в API модели с помощью таблиц вывода.
  • Отслеживание использования для отслеживания оперативного использования конечных точек и связанных затрат с помощью системных таблиц.
  • AI Guardrails для предотвращения нежелательных данных и небезопасных данных в запросах и ответах.
  • Маршрутизация трафика для минимизации рабочих сбоев во время и после развертывания.

Шлюз мозаичного искусственного интеллекта взимает плату за включенную функцию. Во время предварительной версии эти платные функции включают AI Guardrails, ведение журнала полезных данных и отслеживание использования. Такие функции, как разрешения запросов, ограничение скорости и маршрутизация трафика, бесплатны. Плата за любые новые функции взимается.

В следующей таблице представлены единицы databricks (DBUs) на миллион (M) токенов для платных функций шлюза искусственного интеллекта. Расходы перечислены в номере Serverless Real-time Inference SKU.

Функция Скорость DBU
AI Guardrails 21.429 СУБД на токены M
Ведение журнала полезных данных 2.857 СУБД на токены M
Отслеживание использования 0.571 DBUs per M token

AI Guardrails

AI Guardrails позволяет пользователям настраивать и применять соответствие данным на уровне конечной точки обслуживания модели и уменьшать вредное содержимое по любым запросам, отправленным базовой модели. Недопустимые запросы и ответы блокируются, а сообщение по умолчанию возвращается пользователю. Узнайте , как настроить ограждения в конечной точке обслуживания модели.

Внимание

Ai Guardrails доступны только в регионах, поддерживающих API-интерфейсы Модели Foundation за токен.

В следующей таблице перечислены настраиваемые охранники.

Проверка Определение
Фильтрация безопасности Фильтрация безопасности предотвращает взаимодействие модели с небезопасным и вредным контентом, такими как насильственные преступления, самоубийство и речь о ненависти.

Фильтр безопасности шлюза ИИ создается с помощью Meta Llama 3. Databricks использует Llama Guard 2-8b в качестве фильтра безопасности. Дополнительные сведения о фильтре безопасности Llama Guard и о том, какие темы применяются к фильтру безопасности, см. в карточке модели Meta Llama Guard 2 8B.

Meta Llama 3 лицензирован в соответствии с лицензией сообщества LLAMA 3, Метаплатформами, © Inc. Все права зарезервированы. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.
Обнаружение личных сведений (PII) Клиенты могут обнаруживать конфиденциальную информацию, например имена, адреса, номера кредитных карт для пользователей.

Для этой функции шлюз ИИ использует Guidio для обнаружения следующих категорий личных данных США: номера кредитной карты, адреса электронной почты, номера телефонов, банковские номера счетов и номера социального страхования.

Классификатор PII может помочь определить конфиденциальную информацию или ЛИЧНЫЕ данные в структурированных и неструктурированных данных. Тем не менее, поскольку он использует механизмы автоматического обнаружения, нет никаких гарантий, что служба найдет всю конфиденциальную информацию. Следовательно, следует использовать дополнительные системы и защиту.

Эти методы классификации в основном относятся к категориям персональных данных США, таким как номера телефонов США и номера социального страхования.
Модерация раздела Возможность перечисления набора разрешенных разделов. При выполнении запроса чата этот запрос помечает запрос, если его раздел не указан в разрешенных разделах.
Фильтрация ключевых слов Клиенты могут указать различные наборы недопустимых ключевых слов для входных и выходных данных. Один из возможных вариантов использования для фильтрации ключевых слов заключается в том, что модель не говорит о конкурентах.

Этот guardrail использует ключевое слово или строковое сопоставление, чтобы определить, существует ли ключевое слово в содержимом запроса или ответа.

Использование шлюза искусственного интеллекта

Функции шлюза искусственного интеллекта можно настроить на конечных точках обслуживания модели с помощью пользовательского интерфейса обслуживания. См. раздел "Настройка шлюза ИИ" в конечных точках обслуживания моделей.

Ограничения

Ниже приведены ограничения во время предварительной версии:

  • Шлюз искусственного интеллекта поддерживается только для конечных точек обслуживания моделей, обслуживающих внешние модели.
  • Если используются средства защиты, размер пакета запроса, то есть размер пакета внедрения, размер пакета завершения или n параметр запросов чата, не может превышать 16.