Несколько зон данных для облачной аналитики в Azure
Эта эталонная архитектура предназначена для организаций, которые реализовали базовую версию облачной аналитики и теперь готовы разместить новые бизнес-подразделения для модернизации своих аналитических операций. Этот более сложный сценарий использует несколько целевых зон, приложений данных и продуктов данных.
Apache Hive и логотип Hive являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах. Использование этих меток не подразумевает подтверждения от Apache Software Foundation.
формулировка проблемы;
Relecloud, вымышленная компания в этом примере, является поставщиком частного облака, который предлагает общие вычислительные ресурсы и ресурсы хранилища для глобальных организаций. Хотя Relecloud предоставляет вычислительные ресурсы, они не хотят ограничивать свою платформу собственными внутренними операциями. Поэтому для удовлетворения своих внутренних потребностей в вычислениях он полагается на Microsoft Azure.
Аналитики данных в группе операций используют данные телеметрии из облачных служб, чтобы понять, как их клиенты используют платформу. Отдельная команда аналитиков в команде выставления счетов изучает данные о выставлении счетов, чтобы получить представление о том, какие службы приносят наибольший доход.
В прошлом квартале группа операций модернизировала свою платформу аналитики, переместив ее в Azure. Одна из целей реализации облачной аналитики заключается в том, чтобы максимально повысить потенциал масштабирования платформы и добавления новых рабочих нагрузок организации.
Сейчас команда выставления счетов уже переросла свое текущее решение аналитики. Объем счетов для анализа слишком велик для локального сервера. Команда решает следовать руководству группы операций и модернизировать свою платформу аналитики данных в Azure.
Аналитики в группе выставления счетов имеют разные навыки, чем аналитики в группе операций. Аналитики выставления счетов не хотят использовать те же средства, что и операции. Группа выставления счетов находится в другой части организации и хочет гибкости для реализации политик и процедур, удовлетворяющих их потребностям.
Архитектурное решение
Relecloud масштабирует свою платформу аналитики, добавив новую целевую зону для группы выставления счетов. Эта целевая зона предоставляет виртуальную рабочую область для группы выставления счетов для реализации решений аналитики, удовлетворяющих их бизнес-потребностям. Имея целевую зону отдельно от других ресурсов организации, группа выставления счетов может реализовать собственные политики доступа и учесть затраты на их услуги.
На следующей схеме не представлены все службы Azure. Схема упрощена, чтобы выделить основные понятия организации ресурсов в архитектуре.
Целевая зона управления данными
Ключевым требованием для реализации облачной аналитики является целевая зона управления данными. Эта подписка содержит ресурсы, общие для всех целевых зон, включая общие сетевые компоненты, такие как брандмауэр или частные зоны DNS. Целевая зона управления данными также включает ресурсы для управления данными и облаком, например Политика Azure и Azure Purview.
Relecloud создал целевую зону управления данными при развертывании решения аналитики данных для группы операций. Когда группа выставления счетов присоединяется к платформе, они используют ту же целевую зону управления данными для совместного использования общих ресурсов с группой операций.
Целевая зона данных операций
Группа операций имеет следующие решения в целевой зоне данных.
Приложения данных операций
Команда создала приложение данных, выровненное по источнику, которое использует задания Apache Spark в Azure Databricks для приема данных телеметрии службы и хранения их в учетной записи Azure Data Lake служба хранилища.
Этот процесс копирует данные как есть из исходной системы, но не преобразует его. Аналитики могут работать с скопированными данными на платформе аналитики без перегрузки исходной системы. Вместо создания выделенного развертывания для этого приложения данных группа операций использует рабочую область Databricks в общей группе ресурсов приема и обработки .
Клиенты Relecloud могут создавать облачные учетные записи для управления ресурсами и выставления счетов в своих частных облаках. У каждого клиента может иметь несколько учетных записей. Команда аналитики создала приложение данных для импорта данных облачной учетной записи. Так как объем и частота данных значительно ниже, чем для данных телеметрии, команда не должна использовать задания Spark. Вместо этого они создали конвейеры Фабрика данных Azure для копирования данных.
База данных Azure для MySQL выступает в качестве хранилища метаданных Hive и База данных SQL Azure является хранилищем метаданных Фабрика данных Azure.
Продукты данных операций
Аналитики Relecloud получают ценность из данных в приложениях данных, выровненных по источнику, создавая новые приложения данных, выровненные потребителем. Одним из этих приложений данных, выровненных потребителем, является модель рекомендаций облачной службы. Специалисты по обработке и анализу данных Relecloud использовали Машинное обучение Azure для создания модели, которая смотрит на службы, используемые облачной учетной записью, и предлагает связанные службы, которые могут быть полезны. Команда развертывает эту модель в кластере Служба Azure Kubernetes (AKS), работающем в целевой зоне, и управляется Машинное обучение Azure. Приложения, выполняемые вне облачной аналитики, могут вызывать конечную точку AKS для получения рекомендаций.
После создания целевой зоны команда выставления счетов создает новый продукт данных, который запрашивает команда управления. Команда управления хочет узнать, сколько доходов генерирует приложение данных для рекомендаций облачной службы. Новый продукт данных о доходах рекомендует использовать Azure Synapse Analytics для объединения данных из рекомендаций облачной службы и выручки по службе в новый продукт данных. Бизнес-аналитики могут подключаться к Azure Synapse с помощью Microsoft Power BI, чтобы искать ценные сведения в этом новом продукте данных и включать их в отчеты.
Целевая зона данных выставления счетов
Группа выставления счетов использовала локальную систему для управления аналитикой, но по мере роста объема данных, и компания опиралась больше на свою работу, система не могла держаться в темпе. Группа модернизирует свою платформу, перейдя в облако.
Группа выставления счетов не разделяет целевую зону с группой операций, но получает собственную целевую зону, где у них есть свобода построить платформу, которая лучше всего соответствует их потребностям. Новая целевая зона подключена к целевой зоне управления данными и всем остальным целевым зонам данных с пирингом виртуальной сети. Этот механизм позволяет безопасно предоставлять доступ к данным через внутреннюю сеть Azure.
Приложения данных выставления счетов
Чтобы получить данные из существующих систем на платформу аналитики, группа выставления счетов создает два приложения данных. Первое приложение выполняет прием данных клиента, включая полный список клиентов и все связанные данные, такие как адреса клиентов, расположения и назначения продавцов. Второе приложение импортирует журнал счетов компании, который включает в себя все расходы на выставление счетов клиентам и связанные данные оплаты.
Оба этих приложения работают на конвейерах в общей рабочей области Azure Synapse. Каждое приложение имеет выделенный пул вычислений для упрощения учета затрат и границ безопасности. Так как приложения могут быть полностью реализованы с общими ресурсами, группе выставления счетов не нужно создавать развертывание для этих приложений данных.
Продукт данных выставления счетов
Аналитики выставления счетов создают новый продукт данных с именем Revenue by service , который анализирует объем доходов каждой облачной службы для Relecloud. Этот продукт зависит от данных в приеме счетов . Продукт также подключается к целевой зоне операций и считывает данные об использовании службы. Как и в приложениях данных, продукт данных также зависит от общей рабочей области Azure Synapse.
Шаблоны развертывания
Чтобы развернуть архитектуры, используйте следующие шаблоны эталонной реализации целевой зоны управления данными и целевой зоны данных:
Используйте следующие шаблоны для развертывания других приложений данных и продуктов данных в целевых зонах выставления счетов и операций Relecloud:
| Имя. | Целевая зона данных | Тип | Template |
|---|---|---|---|
| Cloud accounts (Облачные учетные записи) | Operations | Приложение данных | Шаблон пакета продуктов данных |
| Recommender revenue (Доход от рекомендателя) | Operations | Продукт данных | Шаблон пакета продуктов данных |
| Cloud service recommender (Рекомендатель облачных служб) | Operations | Приложение данных | Шаблон аналитики продукта данных |
| Выручка по службе | Выставление счетов | Продукт данных | Шаблон пакета продуктов данных |
Важно!
Relecloud не обязательно развертывать все в предыдущих эталонных шаблонах реализации для удовлетворения своих потребностей. Для шаблонов требуется некоторый уровень настройки. Удалите службы, которые вам не нужны из шаблонов перед развертыванием.
Следующие шаги
Перейдите к сценарию Lamna Healthcare для безопасной облачной аналитики в Azure.
Дополнительные сведения см. в следующих статьях: