Пример архитектуры интеграции данных SAP

Статья
02/29/2024

Эта статья является частью серии статей о расширении и инновациях SAP: рекомендации.

В этой статье описывается поток данных SAP из исходных систем SAP в подчиненные целевые объекты. Каждый целевой объект служит целью в пути к данным для вашего предприятия. Архитектура расширяет решения SAP с помощью служб данных Azure. Используйте Azure Synapse Analytics для создания современной платформы данных для приема, обработки, хранения, обслуживания и визуализации данных из различных источников.

Apache Spark® и Apache Kafka® являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах. Использование этих меток не подразумевает подтверждения от Apache Software Foundation.

Архитектура

На следующей схеме приведен пример архитектуры интеграции данных SAP в Azure. Используйте эту архитектуру в качестве отправной точки.

Скачайте файл Visio для этой архитектуры.

Поток данных

Следующий поток данных соответствует предыдущей схеме:

Источники данных. Система подключается к источнику данных для включения приема и анализа данных.
Прием данных. конвейеры Фабрика данных Azure и Synapse позволяют интегрировать данные.
Хранилище данных. Данные хранятся в Azure Data Lake Storage, созданной на основе Хранилище BLOB-объектов Azure.
Преобразование и потребление данных. Данные преобразуются на этапах, а потребление включено через отчеты с помощью Power BI или через частные конечные точки, которые позволяют безопасно получать доступ к данным через приватный канал.
Визуализация данных и отчеты. Вы можете получить доступ к отчетам и визуализировать данные с помощью служба Power BI или внешнего приложения.

Источники данных

Исходные системы SAP могут работать локально с SAP RISE в Azure или SAP в Azure Виртуальные машины. Они могут быть локальными серверами SQL, полуструктурированных данных в JSON, XML-файлах и файлах журналов или другими системами хранилища данных. Действия копирования конвейеров Synapse могут получать эти необработанные данные. Исходные системы размещаются локально, в частном или общедоступном облаке или с подписками SAP RISE.

Системы обработки транзакций SAP online (OLTP) и оперативной аналитической обработки (OLAP) являются центральными репозиториями бизнес-данных и транзакций. Извлечение, хранение и прием данных в Azure для получения ценности и аналитических сведений из данных, находящихся в этих репозиториях бизнес-данных.

С помощью служб Azure можно интегрировать данные из любого исходного расположения. Запланируйте конфигурацию извлечения на основе размещенного расположения, элементов управления безопасностью, стандартов операций, пропускной способности и договорных обязательств.

Прием данных

В этой архитектуре данные обрабатываются с помощью конвейеров Synapse и обрабатываются на этапах с помощью возможностей Data Lake пула Synapse Spark.

Конвейеры Фабрики данных и Synapse извлекают данные с помощью следующих соединителей SAP:

Дополнительные сведения см. на следующих ресурсах:

Хранилище данных

В Data Lake Storage 2-го поколения служба хранилища Azure является основой для создания корпоративных озер данных в Azure. С помощью Data Lake Storage 2-го поколения вы можете управлять огромными объемами данных, так как она обслуживает несколько петабайт информации, сохраняя сотни гигабит пропускной способности.

Данные шифруются неактивных данных после приема в озеро данных. Используйте ключи, управляемые клиентом, для дальнейшего улучшения шифрования и добавления гибкости управления доступом.

Дополнительные сведения см. в Data Lake Storage 2-го поколения введение и рекомендации.

Преобразование и потребление данных

В этой архитектуре прием данных из источников данных хранится в Data Lake Storage 2-го поколения расположении.

Вы можете управлять и запускать действия копирования между хранилищем данных в локальной среде и облаке с помощью локальной среды выполнения интеграции (SHIR). Всегда держать систему SHIR рядом с исходными системами.

Храните данные в учетной записи хранения с помощью каталогов для определенных этапов Data Lake Storage 2-го поколения, таких как Бронза, Silver и Gold.

Бронза: конвейеры Synapse копируют данные из исходных систем. Эти принятые данные хранятся в необработанном формате с помощью каталога Бронзового озера данных.
Silver: пул Synapse Spark выполняет правила качества данных для очистки необработанных данных. Эти обогащенные данные хранятся в каталоге Silver озера данных.
Золото. После очистки пул Spark применяет все необходимые нормализации, преобразования данных и бизнес-правила к данным каталога Silver. Эти преобразованные данные хранятся в каталоге Gold озера данных.

Соединитель Synapse Apache Spark для Synapse SQL отправляет нормализованные данные в пул SQL Synapse для использования подчиненными приложениями и службами отчетов, такими как Power BI. Этот соединитель оптимально передает данные между бессерверными пулами Apache Spark и пулами SQL в рабочей области Azure Synapse Analytics.

Для учетных записей хранения частные конечные точки предоставляют клиентам в виртуальной сети безопасный доступ к данным через приватный канал. Частная конечная точка использует IP-адрес из адресного пространства виртуальной сети для службы учетной записи хранения. Сетевой трафик между клиентами в виртуальной сети и учетной записью хранения проходит по виртуальной сети и приватным каналом в магистральной сети Майкрософт для устранения воздействия на общедоступный Интернет.

Визуализация данных и отчеты

В служба Power BI используйте DirectQuery для безопасного получения данных из пула SQL Synapse.

Шлюз данных, установленный на виртуальной машине в частной виртуальной сети, обеспечивает подключение платформы между служба Power BI и пулом Synapse SQL. Для безопасного подключения шлюз данных использует частную конечную точку в той же виртуальной сети.

Внешние приложения могут получать доступ к данным из бессерверных пулов Synapse или выделенных пулов SQL с помощью частных конечных точек, подключенных к виртуальной сети.

Компоненты

Эта архитектура использует несколько служб и возможностей Azure.

Анализ данных

Azure Synapse Analytics — это основная служба, которая обрабатывает, обрабатывает и анализирует данные.
Data Lake Storage 2-го поколения основан на службах хранилища и предоставляет возможности озера данных, используемые другими службами при хранении и обработке данных.
Конвейеры Azure Synapse Analytics копируют данные из источников в Data Lake Storage 2-го поколения расположения.
Apache Spark очищает, нормализует и обрабатывает данные, полученные из исходных расположений.

Хранилище

Выделенный пул SQL Azure Synapse Analytics предоставляет возможности хранения данных после обработки и нормализации данных и готов к использованию клиентам и приложениям.
С помощью бессерверного пула SQL Azure Synapse Analytics можно быстро запрашивать и анализировать обработанные и нормализованные данные.

Сети и подсистемы балансировки нагрузки

Управляемая azure Synapse Analytics виртуальная сеть создает изолированную и управляемую среду для рабочей области Azure Synapse, поэтому вам не нужно управлять конфигурацией сети для ресурсов рабочей области.
Частные конечные точки , управляемые Azure Synapse, устанавливают частные связи с ресурсами Azure и маршрутизировать трафик между рабочими областями Azure Synapse и другими ресурсами Azure с помощью магистральной сети Майкрософт.
Azure виртуальная сеть предоставляет возможности частной сети для ресурсов Azure, которые не являются частью рабочей области Azure Synapse. Вы можете управлять доступом, безопасностью и маршрутизацией между ресурсами.
Частная конечная точка Azure подключает службу к виртуальной сети с помощью частного IP-адреса из виртуальной сети решения к управляемым Azure службам. Это подключение защищает сеть между рабочей областью Azure Synapse и другими службами Azure, такими как служба хранилища, Azure Cosmos DB, База данных SQL Azure или собственная служба Приватный канал Azure.

Отчетность

Power BI выполняет расширенный анализ и аналитические сведения об обработанных данных.

Поделиться через