Рекомендации по управлению для рабочих нагрузок ИИ в Azure
В этой статье представлены рекомендации по управлению для организаций, работающих с рабочими нагрузками искусственного интеллекта в Azure. Он посвящен решениям Azure AI platform-as-service (PaaS), включая Azure AI Foundry, Azure OpenAI, Машинное обучение Azure и службы искусственного интеллекта Azure. Она охватывает как рабочие нагрузки генерирующих, так и негенеративных ИИ.
Эффективное управление рабочими нагрузками искусственного интеллекта в Azure включает надзор за развертыванием, производительностью модели, операциями, данными и аварийного восстановления для поддержки рабочих нагрузок ИИ. Надлежащее управление помогает обеспечить надежную, надежную, надежную и безопасную рабочую нагрузку ИИ на протяжении всего жизненного цикла.
Управление развертываниями ИИ
Управление развертываниями искусственного интеллекта помогает командам рабочей нагрузки переходить от этапов проверки концепции к рабочим средам с согласованными конфигурациями, которые повышают безопасность и соответствие между командами. Azure предлагает такие инструменты, как центры Azure AI Foundry и проекты, для обеспечения управления и безопасности. Машинное обучение Azure имеет аналогичные возможности со своими рабочими областями концентратора. Дополнительные сведения см. в разделе "Управление развертываниями ИИ".
Управление моделями ИИ
Управление моделями ИИ включает мониторинг выходных данных, производительности и выравнивания с принципами ответственного искусственного интеллекта. Модели искусственного интеллекта могут дрейфовать с течением времени из-за изменения данных, поведения пользователей или других внешних факторов. Эти изменения могут привести к неточным результатам или этическим проблемам, если они не устранены.
Мониторинг выходных данных модели. Реализуйте процесс мониторинга и тестирования, чтобы обеспечить соответствие этих рабочих нагрузок целевым объектам ИИ.
Мониторинг генерируемого искусственного интеллекта. Для создания рабочих нагрузок ИИ используйте встроенные
оценки Azure и возможности мониторинга вручную. Если вы используете поток запросов, отслеживайте развертывания потока запросов. Кроме того, рекомендуется использовать ответственные средства ИИ для дополнения мониторинга моделей.Мониторинг негенеративного ИИ. Для негенеративных рабочих нагрузок ИИ отслеживайте этапы обработки данных и метрики производительности модели, чтобы гарантировать, что прогнозы остаются точными и надежными. Включите мониторинг моделей в Машинное обучение Azure. Для служб ИИ Azure включите мониторинг для каждой используемой службы ИИ.
Мониторинг производительности модели. При обнаружении снижения производительности или точности мониторинг помогает определить источник проблемы. Как и во всех рабочих нагрузках, используйте Azure Monitor и Application Insights для мониторинга производительности рабочих нагрузок ИИ.
Отслеживайте производительность создания искусственного интеллекта. В генерируемом ИИ отслеживайте задержку во время отклика или точность результатов векторного поиска, чтобы улучшить взаимодействие с пользователем. В Azure AI Foundry включите трассировку для сбора данных о каждом запросе, агрегированных метриках и отзывах пользователей.
Отслеживайте негенеративную производительность ИИ. Запись метрик производительности моделей, развернутых в Машинное обучение Azure. Для служб ИИ Azure включите ведение журнала диагностики для каждой службы ИИ Azure.
Рассмотрите возможность создания шлюза искусственного интеллекта для мониторинга. Обратный прокси-сервер, например Azure Управление API, позволяет реализовать ведение журнала и мониторинг, которые не являются собственными для платформы. Управление API позволяет собирать исходные IP-адреса, входной текст и выходной текст. Дополнительные сведения см. в статье "Реализация ведения журнала и мониторинга для языковых моделей службы Azure OpenAI".
Управление операциями искусственного интеллекта
Управление операциями искусственного интеллекта включает стандартизацию вычислительных ресурсов и ресурсов платформы мониторинга для рабочих нагрузок ИИ Azure. Это гарантирует, что команды используют правильные вычислительные ресурсы эффективно и фиксируют метрики и журналы из ресурсов платформы.
Мониторинг ресурсов платформы. Используйте параметры диагностики для захвата логов и метрик всех ключевых служб, таких как Azure AI Foundry, Azure Machine Learningи службах Azure ИИ . Определенные службы должны записывать журналы аудита и соответствующие журналы, относящиеся к службе. Реализуйте пользовательские оповещения мониторинга на основе конкретных потребностей вашей архитектуры. Примерами являются оповещения для реестров контейнеров, Машинного обучения Azure и Azure OpenAI. Настройте рекомендуемые оповещения мониторинга для каждой службы в архитектуре ИИ. Дополнительные сведения см. в разделе базовые оповещения Azure Monitor.
Стандартизация управления вычислительными ресурсами. Необходимы вычислительные ресурсы для определенных действий, таких как потоки запросов и модели обучения. Служба, например Машинное обучение, имеет различные варианты вычислений, такие как вычислительные экземпляры, кластеры и бессерверные параметры. Стандартизируйте тип вычислений, среды выполнения и периоды завершения работы. Сведения о параметрах вычислений, специфичных для служб, см. в Azure AI Foundry и Machine Learning.
Управление данными ИИ
Высококачественные данные являются основой точных моделей искусственного интеллекта. Отслеживание смещения моделей помогает поддерживать актуальность прогнозов искусственного интеллекта с течением времени, и позволяет организациям адаптировать модели по мере необходимости в соответствии с текущими условиями.
Мониторинг смещения данных. Отслеживайте точность и смещение данных непрерывно в генерирующих и негенеративных ИИ, чтобы гарантировать, что модели остаются актуальными. Мониторинг может оповещать вас, когда прогнозы модели или ответы на большие языковые модели отклоняют от ожидаемого поведения. Это отклонение указывает на необходимость переобучения или корректировки. Настройте пользовательские оповещения для обнаружения пороговых значений производительности. Этот подход обеспечивает раннее вмешательство при возникновении проблем. Используйте оценки в Azure AI Foundry и поддерживаемые метрики в машинном обучении.
Обеспечение обработки качественных данных. Для машинного обучения данные обучения должны быть отформатированы, очистить и подготовиться к использованию модели. Для генерированного искусственного интеллекта данные приземления должны находиться в правильном формате и, скорее всего, фрагментированы, обогащены и внедрены для использования моделей ИИ. Дополнительные сведения см. в руководстве по проектированию и разработке решения RAG.
Управление непрерывностью бизнес-процессов
Реализуйте развертывание в нескольких регионах, чтобы обеспечить высокий уровень доступности и устойчивости как для генеративных, так и для негенеративных систем ИИ. Информация находится в разделе Azure AI Foundry, Azure Machine Learningи Azure OpenAI.