Идеи решения
В этой статье описывается идея решения. Ваш архитектор облака может использовать это руководство, чтобы визуализировать основные компоненты для типичной реализации этой архитектуры. Используйте эту статью в качестве отправной точки для разработки хорошо спроектированного решения, которое соответствует конкретным требованиям рабочей нагрузки.
В этой статье представлено решение для автоматизации анализа данных и визуализации с помощью искусственного интеллекта (ИИ). Основными компонентами решения являются Функции Azure, службы ИИ Azure и База данных Azure для PostgreSQL.
Архитектура
Скачайте файл Visio для этой архитектуры.
Поток данных
- Действие функции Azure позволяет активировать приложение Функции Azure в конвейере Фабрика данных Azure. Вы создаете подключение связанной службы и используете связанную службу с действием, чтобы указать функцию Azure, которую вы хотите выполнить.
- Данные из нескольких источников, включая служба хранилища Azure и Центры событий Azure для данных с большим объемом. Когда конвейер получает новые данные, он активирует приложение Функции Azure.
- Приложение Функции Azure вызывает API служб искусственного интеллекта Azure для анализа данных.
- API служб ИИ Azure возвращает результаты анализа в формате JSON в приложение Функции Azure.
- Приложение Функции Azure сохраняет данные и результаты из API служб искусственного интеллекта Azure в База данных Azure для PostgreSQL.
- Машинное обучение Azure использует пользовательские алгоритмы машинного обучения для получения дополнительных сведений о данных.
- Если вы приближаетесь к шагу машинного обучения с точки зрения без кода, вы можете реализовать дополнительные операции анализа текста для данных, такие как хэширование функций, Word2Vector и извлечение n-грамм.
- Если вы предпочитаете подход на основе кода, вы можете запустить модель обработки естественного языка с открытым кодом (NLP) в качестве эксперимента в Машинное обучение studio.
- Соединитель PostgreSQL для Power BI позволяет изучить аналитические сведения, которые можно интерпретировать в Power BI или пользовательском веб-приложении.
Компоненты
- служба приложение Azure предоставляет полностью управляемую платформу для быстрого создания, развертывания и масштабирования веб-приложений и API.
- Функции — это управляемая событиями бессерверная вычислительная платформа. Сведения об использовании действия для запуска функции в рамках конвейера Фабрики данных см. в разделе "Действие функции Azure" в Фабрика данных Azure.
- Центры событий — это полностью управляемая платформа потоковой передачи больших данных.
- Cognitive Services предоставляет набор служб ИИ и API, которые можно использовать для создания когнитивной аналитики в приложениях.
- База данных Azure для PostgreSQL — это полностью управляемая служба реляционных баз данных. Она обеспечивает возможности высокой доступности, гибкого масштабирования, установки исправлений и другие функции управления для PostgreSQL.
- Машинное обучение Azure — это облачная служба, которую можно использовать для обучения, развертывания и автоматизации моделей машинного обучения. Студия поддерживает подходы к коду и без кода.
- Power BI — это коллекция программных служб и приложений, которые отображают аналитические сведения и помогают извлекать аналитические сведения из данных.
Подробности сценария
Автоматизированный конвейер использует следующие службы для анализа данных:
- Службы искусственного интеллекта Azure используют ИИ для ответа на вопросы, анализа тональности и перевода текста.
- Машинное обучение Azure предоставляет средства машинного обучения для прогнозной аналитики.
Для хранения данных и результатов решение использует База данных Azure для PostgreSQL. База данных PostgreSQL поддерживает неструктурированные данные, параллельные запросы и декларативное секционирование. Эта поддержка делает База данных Azure для PostgreSQL эффективным выбором для высокоемких задач искусственного интеллекта и машинного обучения.
Решение автоматизирует доставку анализа данных. Соединитель связывает База данных Azure для MySQL с такими средствами визуализации, как Power BI.
Архитектура использует приложение Функции Azure для приема данных из нескольких источников данных. Это бессерверное решение, которое предлагает следующие преимущества:
- Обслуживание инфраструктуры: Функции Azure — это управляемая служба, которая позволяет разработчикам сосредоточиться на инновационных работах, которые обеспечивают ценность для бизнеса.
- Масштабируемость: Функции Azure предоставляет вычислительные ресурсы по запросу, поэтому экземпляры функций масштабируется по мере необходимости. По мере падения запросов ресурсы и экземпляры приложений автоматически сбрасываются.
Потенциальные варианты использования
База данных Azure для PostgreSQL — это облачное решение. В результате это решение не рекомендуется для мобильных приложений. Более подходящим для нижестоящего анализа в следующих отраслях и других отраслях:
- Транспорт: прогноз обслуживания
- Финансы: оценка рисков и обнаружение мошенничества
- Электронная коммерция: механизмы прогнозирования и рекомендаций клиентов
- Телекоммуникации: оптимизация производительности
- Служебные программы: предотвращение сбоев
Рекомендации
Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая является набором руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.
Для большинства функций API языка ИИ Azure имеет максимальный размер 5120 символов для одного документа. Для всех функций максимальный размер запроса составляет 1 МБ. Дополнительные сведения об ограничениях данных и скорости см. в разделе "Ограничения службы" для Azure Cognitive Service для языка.
В База данных Azure для PostgreSQL объем и скорость входящего трафика определяют выбор режима обслуживания и развертывания. Доступны две службы:
- База данных Azure для PostgreSQL
- Azure Cosmos DB для PostgreSQL, который ранее был известен как режим гипермасштабирования (Citus)
Если вы минуете большие рабочие нагрузки отзывов и отзывов клиентов, используйте Azure Cosmos DB для PostgreSQL. В База данных Azure для PostgreSQL доступны два режима: один сервер и гибкий сервер. Сведения об использовании каждого режима развертывания см. в статье "Что такое База данных Azure для PostgreSQL?".
Предыдущие версии этого решения использовали службы ИИ Azure Анализ текста API. Теперь язык ИИ Azure объединяет три отдельные языковые службы в службах ИИ Azure: Анализ текста, QnA Maker и Распознавание речи (LUIS). Вы можете легко перейти из API Анализ текста в API языка ИИ Azure. Инструкции см. в статье "Миграция на последнюю версию Azure Cognitive Service для языка".
Безопасность
Безопасность обеспечивает гарантии от преднамеренного нападения и злоупотребления ценными данными и системами. Дополнительные сведения см. в разделе "Общие сведения о компоненте безопасности".
Все данные в База данных Azure для PostgreSQL автоматически шифруются и резервируются. Вы можете настроить Microsoft Defender для облака для дальнейшего устранения угроз. Дополнительные сведения см. в разделе "Включение Microsoft Defender для реляционных баз данных с открытым исходным кодом" и реагирование на оповещения.
DevOps
Вы можете настроить GitHub Actions для подключения к базе данных База данных Azure для PostgreSQL с помощью строка подключения и настройки рабочего процесса. Дополнительные сведения см . в кратком руководстве. Использование GitHub Actions для подключения к Azure PostgreSQL.
Вы также можете автоматизировать жизненный цикл машинного обучения с помощью Azure Pipelines. Сведения о реализации рабочего процесса MLOps и создании конвейера CI/CD для проекта см. в репозитории GitHub MLOps с помощью Azure MLOps.
Оптимизация затрат
Оптимизация затрат заключается в поиске способов уменьшения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в разделе Обзор критерия "Оптимизация затрат".
Язык ИИ Azure предлагает различные ценовые категории. Количество текстовых записей, которые вы обрабатываете, влияет на стоимость. Дополнительные сведения см. в разделе " Когнитивный сервис" для цен на язык.
Следующие шаги
- обзор Функции Azure
- Действие функции Azure в Фабрика данных Azure
- Центры событий Azure — платформа потоковой передачи больших данных и служба приема событий
- Общие сведения об Azure Cognitive Services
- Что такое Azure Cognitive Service for Language?
- Асинхронное использование функций языковой службы
- Консоль тестирования API Azure Cognitive Services для языка
- Использование DirectQuery для связывания PostgreSQL с Power BI
- Создание кластера Azure Cosmos DB for PostgreSQL на портале Azure
- Руководство. Использование моделей Машинное обучение Azure в Power BI
- Извлечение аналитических сведений из текста с помощью языковой службы
- Microsoft Certified: Azure AI Engineer Associate