Мониторинг качества модели и работоспособности конечных точек
Служба модели ИИ Мозаики предоставляет расширенные средства для мониторинга качества и работоспособности моделей и их развертываний. В следующей таблице представлен обзор каждого средства мониторинга.
| Инструмент | Description | Целевые назначения | Открыть |
|---|---|---|---|
| Журналы служб |
stdout Записывает и stderr передает потоки из конечной точки обслуживания модели. |
Полезно для отладки во время развертывания модели. Используется print(..., flush=true) для немедленного отображения в журналах. |
Доступно с помощью вкладки "Журналы" в пользовательском интерфейсе обслуживания. Журналы передаются в режиме реального времени и могут экспортироваться через API. |
| Создание журналов | Отображает выходные данные процесса, который автоматически создает рабочую среду Python для конечной точки обслуживания модели. | Полезно для диагностики проблем с развертыванием модели и зависимостей. | Доступно после завершения сборки модели в разделе "Журналы сборки " на вкладке "Журналы ". Журналы можно экспортировать через API. |
| Метрики работоспособности конечных точек | Предоставляет аналитические сведения о метриках инфраструктуры, таких как задержка, скорость запросов, скорость ошибок, использование ЦП и использование памяти. | Важно понимать производительность и работоспособность инфраструктуры обслуживания. | Доступно по умолчанию в пользовательском интерфейсе обслуживания за последние 14 дней. Данные также можно передавать в средства наблюдения в режиме реального времени. |
| таблицы вывода заключений | Автоматически регистрирует онлайн-запросы прогнозирования и ответы в таблицы Delta, управляемые каталогом Unity для пользовательских моделей. | Используйте это средство для мониторинга и отладки качества модели или ответов, создания наборов данных обучения или проведения аудита соответствия требованиям. | Можно включить для существующих и новых конечных точек обслуживания моделей с помощью одного щелчка в пользовательском интерфейсе обслуживания или программно с помощью API-интерфейсов обслуживания. |
| таблицы вывода с поддержкой шлюза ИИ | Автоматически регистрирует онлайн-запросы и ответы в таблицах Delta, которыми управляет каталог Unity, для конечных узлов, обслуживающих внешние модели или подготовленные рабочие нагрузки. | Используйте это средство для мониторинга и отладки качества модели или ответов, создания наборов данных обучения или проведения аудита соответствия требованиям. | Можно включить для существующих и новых конечных точек обслуживания моделей при активации функций шлюза ИИ с помощью интерфейса обслуживания (UI) или REST API. |