Поделиться через

Шлюз ИИ мозаики

  • Статья

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии.

Что такое Шлюз ИИ Для Мозаики?

Шлюз ИИ мозаики предназначен для упрощения использования и управления генерируемыми моделями искусственного интеллекта в организации. Это централизованная служба, которая обеспечивает управление, мониторинг и готовность рабочей среды к модели конечных точек обслуживания. Он также позволяет выполнять, защищать и управлять трафиком ИИ для демократизации и ускорения внедрения ИИ для вашей организации.

Все данные вошли в таблицы Delta в каталоге Unity.

Чтобы начать визуализацию аналитических сведений из данных шлюза ИИ, скачайте пример панели мониторинга шлюза ИИ из GitHub. Эта панель мониторинга использует данные из таблиц для отслеживания использования и журналирования полезной нагрузки.

После скачивания JSON-файла импортируйте панель мониторинга в рабочую область. Инструкции по импорту панелей мониторинга см. в разделе "Импорт файла панели мониторинга".

Поддерживаемые функции

В следующей таблице перечислены доступные функции шлюза ИИ и указаны типы конечных точек для обслуживания моделей, которые их поддерживают.

Функция Определение Конечная точка внешней модели Конечная точка предоставленной пропускной способности API модели Foundation
Ограничение разрешений и скорости Управление доступом и объемом доступа. ✓ ✓
Ведение журнала полезных данных Мониторьте и проверяйте данные, отправляемые в API модели, с помощью таблиц интерпретации . ✓ ✓
Отслеживание использования Отслеживайте оперативное использование конечных точек и связанных затрат с помощью системных таблиц . ✓ ✓
AI Guardrails Предотвращение нежелательных данных и небезопасных данных в запросах и ответах. См. AI Guardrails. ✓ ✓
Маршрутизация трафика Свести к минимуму производственные сбои во время и после развертывания. ✓ ✓

Шлюз мозаичного искусственного интеллекта взимает плату за включенную функцию. Во время предварительной версии эти платные функции включают AI Guardrails, ведение журнала полезных данных и отслеживание использования. Такие функции, как разрешения запросов, ограничение скорости и маршрутизация трафика, бесплатны. Плата за любые новые функции взимается.

В следующей таблице представлены единицы Databricks (DBUs) на миллион (M) токенов для функций платного AI-шлюза. Расходы перечислены в номере Serverless Real-time Inference SKU.

Функция Скорость DBU
AI Guardrails 21.429 СУБД на токены M
Ведение журнала полезных данных 2.857 СУБД на токены M
Отслеживание использования 0.571 DBUs per M token

AI Guardrails

AI Guardrails позволяет пользователям настраивать и применять соответствие данным на уровне конечной точки обслуживания модели и уменьшать вредное содержимое по любым запросам, отправленным базовой модели. Недопустимые запросы и ответы блокируются, а сообщение по умолчанию возвращается пользователю. Узнайте , как настроить ограждения в конечной точке обслуживания модели.

Внимание

Ai Guardrails доступны только в регионах, поддерживающих API-интерфейсы Модели Foundation за токен.

В следующей таблице перечислены настраиваемые ограничения. См. ограничения.

Проверка Определение
Фильтрация безопасности Фильтрация безопасности предотвращает взаимодействие модели с небезопасным и вредным контентом, такими как насильственные преступления, самоубийство и речь о ненависти.

Фильтр безопасности шлюза ИИ создается с помощью Meta Llama 3. Databricks использует Llama Guard 2-8b в качестве фильтра безопасности. Дополнительные сведения о фильтре безопасности Llama Guard и о том, какие темы применяются к фильтру безопасности, см. в карточке модели Meta Llama Guard 2 8B.

Meta Llama 3 лицензирован в соответствии с лицензией сообщества LLAMA 3, Метаплатформами, © Inc. Все права зарезервированы. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.
Обнаружение личных сведений (PII) Клиенты могут обнаруживать конфиденциальную информацию, например имена, адреса, номера кредитных карт для пользователей.

Для этой функции шлюз ИИ использует Guidio для обнаружения следующих категорий личных данных США: номера кредитной карты, адреса электронной почты, номера телефонов, банковские номера счетов и номера социального страхования.

Классификатор PII может помочь определить конфиденциальную информацию или ЛИЧНЫЕ данные в структурированных и неструктурированных данных. Тем не менее, поскольку он использует механизмы автоматического обнаружения, нет никаких гарантий, что служба найдет всю конфиденциальную информацию. Следовательно, следует использовать дополнительные системы и защиту.

Эти методы классификации в основном относятся к категориям персональных данных США, таким как номера телефонов США и номера социального страхования.
Модерация раздела Возможность перечисления набора разрешенных разделов. При выполнении запроса чата этот запрос помечает запрос, если его раздел не указан в разрешенных разделах.
Фильтрация ключевых слов Клиенты могут указать различные наборы недопустимых ключевых слов для входных и выходных данных. Один из возможных вариантов использования для фильтрации ключевых слов заключается в том, что модель не говорит о конкурентах.

Этот guardrail использует ключевое слово или строковое сопоставление, чтобы определить, существует ли ключевое слово в содержимом запроса или ответа.

Использование шлюза искусственного интеллекта

Функции шлюза искусственного интеллекта можно настроить на конечных точках обслуживания модели с помощью пользовательского интерфейса обслуживания. См. раздел "Настройка шлюза ИИ" в конечных точках обслуживания моделей.

Ограничения

Ниже приведены ограничения во время предварительной версии:

  • Шлюз искусственного интеллекта поддерживается только для следующих вариантов:
  • Если используются средства защиты ИИ, размер пакета запроса, то есть размер пакета внедрения, размер пакета завершения или параметр n запросов чата, не может превышать 16.
  • Для выделенных рабочих нагрузок по пропускной способности поддерживаются только ограничения скорости и ведение журнала полезных данных с помощью таблиц инференции с поддержкой шлюза ИИ.
  • См. ограничения для таблицы вывода, поддерживаемой шлюзом ИИ.
  • Если вы используете функцию , вызывая и указывая меры защиты ИИ, они не применяются к запросам и промежуточным ответам функции. Однако ограничители применяются к окончательному выходному ответу.