ИИ гражданина с Помощью Power Platform и Azure Synapse Analytics

Машинное обучение Azure

Microsoft Power Platform

Power Apps

Power Automate

Power BI

Следующая архитектура расширяет возможности аналитики с помощью сценария Azure Synapse Analytics. Используйте эту архитектуру для обучения пользовательской модели машинного обучения в Машинном обучении Azure и реализации ее с помощью пользовательского приложения, созданного с помощью Microsoft Power Platform.

Архитектура

Скачайте файл Visio этой архитектуры.

Рабочий процесс

Следующий поток данных соответствует предыдущей схеме.

Прием
Store (Сохранить)
Обучение и развертывание модели
Потребление

Прием

Используйте конвейеры Azure Synapse Analytics для извлечения пакетных данных из различных источников, как локальных, так и в облаке. Эта лямбда-архитектура имеет два потока приема данных: потоковую передачу и пакет.

Потоковая передача: потоки данных потоковой передачи, такие как потоки больших данных и устройства Интернета вещей, находятся в верхней половине предыдущей схемы архитектуры.

Для приема потоков данных, создаваемых клиентскими приложениями или устройствами Интернета вещей, можно использовать Центры событий Azure или Центры Интернета вещей Azure. Центры событий или Центр Интернета вещей принимают и хранят потоковую передачу данных и сохраняют последовательность получаемых событий. Потребители могут подключаться к конечным точкам центра для получения сообщений для обработки.
пакетной службы: в нижней половине схемы архитектуры данные обрабатываются и обрабатываются в пакетах, в том числе:
- Неструктурированные данные, такие как видео, изображения, звук и бесплатный текст.
- Полуструктурированные данные, такие как JSON, XML, CSV и журналы.
- Структурированные данные, такие как реляционные базы данных и службы данных Azure.

Azure Synapse Link легко интегрирует Azure Cosmos DB и Azure Synapse Analytics.

конвейеры Azure Synapse Analytics можно активировать на основе предопределенного расписания или в ответ на событие. Их также можно активировать путем вызовов интерфейсы REST API.

Store (Сохранить)

Данные приема могут приземлиться непосредственно в необработанном формате, а затем преобразоваться в Azure Data Lake Storage. После того как данные будут проверены и преобразованы в реляционные структуры, их можно представить для использования в Azure Synapse Analytics.

Обучение и развертывание модели

машинное обучение предоставляет службу машинного обучения корпоративного уровня, которую можно использовать для быстрого создания и развертывания моделей. Он предоставляет конструктор низкокодов, автоматизированное машинное обучение и размещенную среду записной книжки Jupyter для пользователей на любом уровне навыков. Модели можно развертывать как конечные точки в режиме реального времени в службе Azure Kubernetes (AKS) или как управляемую конечную точку машинного обучения. Для пакетного вывода моделей машинного обучения можно использовать конвейеры машинного обучения.

Потребление

Пакетная или модель в режиме реального времени, опубликованная в Машинном обучении, может создать конечную точку REST, которую можно использовать в пользовательском приложении, созданном с помощью платформы Power Apps с низким кодом. Для представления прогнозов в бизнес-отчетах можно также вызвать конечную точку Машинного обучения для прогнозирования в реальном времени из отчета Power BI.

Примечание.

Как машинное обучение, так и стеки Microsoft Power Platform имеют ряд встроенных соединителей для прямого приема данных. Эти соединители могут быть полезны для минимального жизнеспособного продукта (MVP). Однако прием и Store разделах архитектуры описывают роль стандартизированных конвейеров данных для источника и хранения данных из разных источников в масштабе. Группы корпоративной платформы данных обычно реализуют и поддерживают эти шаблоны.

Компоненты

Можно использовать следующие компоненты.

Службы Microsoft Power Platform

Power Platform — это набор средств для анализа данных, создания решений, автоматизации процессов и создания виртуальных агентов. Она включает в себя Power Apps, Power Automate, Power BI и Microsoft Copilot Studio (ранее — Power Virtual Agent). Используйте эти средства с низким кодом для разработки пользовательского интерфейса и интеграции с источниками данных.
Power Apps — это набор приложений, служб, соединителей и платформы данных. Он предоставляет среду быстрой разработки приложений для создания настраиваемых приложений в соответствии с потребностями бизнеса. Используйте среду разработки с низким кодом для разработки пользовательского интерфейса, сбора входных данных от пользователя и представления выходных данных прогнозирования.
Power Automate — это служба, которая помогает создавать автоматизированные рабочие процессы между любимыми приложениями и службами. Используйте его для синхронизации файлов, получения уведомлений и сбора данных. Рабочий процесс использует входные данные из пользовательского интерфейса для выполнения действий машинного обучения, таких как прогнозирование и возврат результатов, отображаемых в Power Apps.
Power BI — это коллекция программных служб, приложений и соединителей, которые работают вместе, чтобы превратить несвязанные источники данных в последовательные, визуально иммерсивные и интерактивные аналитические сведения. В этой среде вы разрабатываете отчеты и панели мониторинга и размещаете их для пользователей.

Службы Azure;

машинное обучение — это служба машинного обучения корпоративного уровня, которую можно использовать для быстрого создания и развертывания моделей. Используйте его конструктор с низким кодом, автоматизированное машинное обучение и размещенную среду записной книжки Jupyter для разработки моделей машинного обучения.
управляемые конечные точки машинного обучения — это сетевые конечные точки, позволяющие развертывать модель без необходимости создавать базовую инфраструктуру и управлять ими. Такие приложения, как Power Apps, используют размещенную конечную точку для интерактивных прогнозов.
Data Lake Storage — это файловая система, совместимая с Hadoop. Она располагает интегрированным иерархическим пространством имен, ей присущ огромный масштаб и экономичность Хранилища BLOB-объектов Azure. Он предоставляет уровень хранилища для использования данных в процессе обучения модели машинного обучения.
Azure Synapse Analytics — это безграничная служба аналитики, которая объединяет интеграцию данных, хранение корпоративных данных и аналитику больших данных. Эта интегрированная возможность хранит и преобразует данные, используемые в действиях по созданию машинного обучения и отчетов.
Центры событий и Центр Интернета вещей приема потоков данных, создаваемых клиентскими приложениями или устройствами Интернета вещей. Затем они принимают и хранят потоковые данные при сохранении последовательности полученных событий. Потребители могут подключаться к конечным точкам центра для получения сообщений для обработки.

Службы платформы

Чтобы улучшить качество решений Azure, следуйте рекомендациям в Azure Well-Architected Framework. Платформа состоит из пяти основных компонентов качественной архитектуры:

Надежность
Безопасность
Оптимизация затрат
Эффективность работы
Эффективность производительности

Чтобы создать дизайн, который следует этим рекомендациям, рассмотрите следующие службы:

Идентификатор Microsoft Entra предоставляет службы удостоверений, единый вход и многофакторную проверку подлинности в рабочих нагрузках Azure.
microsoft Cost Management обеспечивает финансовое управление рабочими нагрузками Azure.
Azure Key Vault помогает безопасно управлять учетными данными и сертификатами.
Azure Monitor собирает, анализирует и отображает данные телеметрии из ресурсов Azure. Используйте Azure Monitor для упреждающего выявления проблем для повышения производительности и надежности.
Microsoft Defender для Облака помогает укрепить и отслеживать безопасность рабочих нагрузок Azure.
Azure DevOps и GitHub помогут обеспечить автоматизацию и соответствие конвейеров разработки и развертывания рабочей нагрузки для Azure Synapse Analytics и Машинного обучения.
политика Azure помогает реализовать организационные стандарты и управление для обеспечения согласованности ресурсов, соответствия нормативным требованиям, безопасности, затрат и управления.

Альтернативные варианты

MVP машинного обучения дает преимущества от скорости к результату. В некоторых случаях предварительно обученные службы ИИ Azure могут соответствовать потребностям пользовательской модели. В других случаях Power Apps AI Builder может предоставить модель для назначения.

Подробности сценария

Общая тенденция в технологии — это растущая популярность ролей ИИ гражданина. К этим ролям относятся бизнес-практики, которые хотят улучшить бизнес-процессы с помощью применения технологий машинного обучения и искусственного интеллекта. Ключевым фактором, определяющим эту тенденцию, является растущая зрелость и доступность средств с низким кодом для разработки моделей машинного обучения.

Из-за известной высокой частоты сбоев в таких инициативах способность быстро прототипировать и проверять приложение ИИ в реальном мире становится ключевым инструментом для быстрого подхода. Два ключевых инструмента для разработки моделей, которые модернизируют процессы и результаты преобразования диска являются набором средств машинного обучения для всех уровней навыков и набора средств разработки приложений с низким кодом.

Набор средств машинного обучения для всех уровней навыков:
- Поддерживает разработку машинного обучения без кода.
- Имеет гибкий графический пользовательский интерфейс с низким кодом (GUI).
- Позволяет пользователям быстро создавать и подготавливать данные.
- Позволяет пользователям быстро создавать и развертывать модели.
- Имеет расширенные возможности автоматизированного машинного обучения для разработки алгоритмов машинного обучения.
набор средств разработки приложений с низким кодом:
- Позволяет пользователям создавать пользовательские приложения и рабочие процессы автоматизации.
- Создает рабочие процессы, чтобы потребители и бизнес-процессы могли взаимодействовать с моделью машинного обучения.

машинное обучение выполняет роль низкокодового графического интерфейса для разработки машинного обучения. Она имеет автоматизированное машинное обучение и развертывание в пакетных или конечных точках в режиме реального времени. Microsoft Power Platform, которая включает Power Apps и Power Automate, предоставляет набор средств для быстрого создания пользовательского приложения и рабочего процесса, реализующего алгоритм машинного обучения. Бизнес-пользователи могут создавать рабочие приложения машинного обучения для преобразования устаревших бизнес-процессов.

Потенциальные варианты использования

Эти наборы средств свести к минимуму время и усилия, необходимые для прототипа преимуществ модели машинного обучения в бизнес-процессе. Прототип можно легко расширить до рабочего приложения. Ниже перечислены варианты использования этих методов.

Производственные операции с устаревшими приложениями, используюющими устаревшие детерминированные прогнозы. Эти операции могут воспользоваться улучшенной точностью модели машинного обучения. Для повышения точности требуется как модель, так и усилия по разработке для интеграции с устаревшими системами в локальной среде.
Операции центра обработки вызовов с устаревшими приложениями, которые не изменяются при перемещении данных. Модели, которые автоматически переобучение могут обеспечить значительное увеличение скорости прогнозирования или точности профилирования рисков. Проверка требует интеграции с существующими системами управления отношениями клиентов и управления билетами. Интеграция может быть дорогой.

Пример сценария

Рассмотрим следующий бизнес-сценарий. Агент поля использует приложение, которое оценивает цену на рынок автомобиля. Машинное обучение можно использовать для быстрого прототипа модели машинного обучения этого приложения. Используйте конструктор с низким кодом и функции машинного обучения для создания модели, а затем разверните ее в качестве конечной точки REST в режиме реального времени.

Модель может доказать концепцию, но у пользователя нет простого способа использовать модель, реализованную как REST API. На следующей схеме показано, как Microsoft Power Platform может помочь закрыть этот разрыв.

На следующем рисунке показан пользовательский интерфейс приложения, который был создан в Power Apps с помощью интерфейса с низким кодом, который предоставляет Power Apps.

Используйте Power Automate, чтобы создать рабочий процесс с минимальным объемом кода для анализа входных данных пользователя, их передачи в конечную точку Машинного обучения и получения прогноза. А с помощью Power BI можно взаимодействовать с моделью Машинного обучения и создавать настраиваемые бизнес-отчеты и панели мониторинга.

Дополнительные сценарии

Рассмотрим следующие сценарии.

Развертывание в Microsoft Teams

Вы также можете развернуть разработанный пользовательский интерфейс Power Apps в предыдущем примере в Microsoft Teams. Teams предоставляет отличный канал распространения для приложений и предоставляет пользователям возможность совместной работы с приложениями. Дополнительные сведения о развертывании приложения в Teams с помощью Power Apps см. в публикации приложения в Teams.

Использование API из нескольких приложений и автоматизаций

В этом примере будет настроен облачный поток Power Automate для использования конечной точки REST в качестве действия HTTP. Вместо него можно настроить пользовательский соединитель для конечной точки REST и использовать его непосредственно из Power Apps или из Power Automate. Этот подход полезен в случае, когда требуется, чтобы несколько приложений использовали одну и ту же конечную точку. Она также обеспечивает управление с помощью политики защиты от потери данных соединителя в Центре администрирования Microsoft Power Platform. Сведения о создании пользовательского соединителя см. в статье "Использование пользовательского соединителя из приложения Power Apps". Дополнительные сведения см. в разделе Политики предотвращения потери данных.

Соавторы

Корпорация Майкрософт поддерживает эту статью. Следующие авторы написали эту статью.

Основной автор:

Vyas Dev Venugopalan | Специалист по Azure Data и AI

Чтобы просмотреть неопубликованные профили LinkedIn, войдите в LinkedIn.

Поделиться через

ИИ гражданина с Помощью Power Platform и Azure Synapse Analytics