В этой статье описывается несколько способов модернизации устаревших хранилищ данных и возможностей малых и средних предприятий, не затрагивающих текущие бюджеты и наборы навыков. Эти комплексные решения для хранения данных легко интегрируются с Машинное обучение Azure, службами ИИ Azure, Microsoft Power Platform, Microsoft Dynamics 365 и другими технологиями Майкрософт. Эти решения обеспечивают простую точку входа для полностью управляемого программного обеспечения как службы (SaaS) в Microsoft Fabric, которая может расшириться по мере роста потребностей.
SOB-объекты, использующие локальный SQL Server для решений для хранения данных в течение 500 ГБ, могут воспользоваться этим шаблоном. Они используют различные средства приема данных в решение для хранения данных, включая SQL Server Integration Services (SSIS), SQL Server Analysis Services (SSAS), SQL Server Reporting Services (SSRS), общие хранимые процедуры SQL, внешние процедуры извлечения, преобразования, загрузки (ETL) и извлечения, загрузки, загрузки, преобразования (ELT), заданий агента SQL Server и репликации моментальных снимков SQL. Операции синхронизации данных обычно основаны на моментальных снимках, выполняются один раз в день и не имеют требований к отчетам в режиме реального времени.
Упрощенная архитектура
Скачайте файл Visio для этой архитектуры.
Возможность концептуальной модернизации включает переход устаревшего решения для хранения данных в сочетание База данных SQL Azure, Управляемый экземпляр SQL Azure и Fabric. Эта стратегия обеспечивает широкую совместимость с традиционными клиентскими средствами SQL Server и SQL, такими как SQL Server Management Studio (SSMS). Он также предоставляет параметры лифта и смены для существующих процессов и требует минимальной подготовки к поддержке. Это решение служит первым шагом к комплексной модернизации, что позволяет организации полностью внедрить подход Lakehouse по мере расширения хранилища данных, и набор навыков команды растет.
Архитектура
Скачайте файл Visio для этой архитектуры.
Устаревшие хранилища данных SMB могут содержать несколько типов данных:
Неструктурированные данные, такие как документы и графика.
Полуструктурированные данные, такие как журналы, CSVs, JSON и XML-файлы.
Структурированные реляционные данные, включая базы данных, использующие хранимые процедуры для действий ETL и ELT.
Поток данных
Следующий поток данных соответствует предыдущей схеме. В нем демонстрируется прием выбранного типа данных:
Конвейеры данных структуры или Фабрика данных Azure конвейеры оркеструет прием транзакционных данных в решение хранения данных.
Конвейеры оркестрируют поток перенесенных или частично рефакторингированных устаревших баз данных и пакетов служб SSIS в База данных SQL и Управляемый экземпляр SQL. Вы можете быстро реализовать этот подход по лифту и смене, что обеспечивает простой переход из локального решения SQL в будущую среду SaaS Fabric. Вы можете модернизировать базы данных постепенно после выполнения подхода Lift-and-Shift.
Конвейеры могут передавать неструктурированные, полуструктурированные и структурированные данные в Azure Data Lake Storage для централизованного хранения и анализа с другими источниками. Используйте этот подход, когда объединение данных обеспечивает большую выгоду для бизнеса, чем переплатформирование данных.
Используйте источники данных Microsoft Dynamics 365 для создания централизованных панелей мониторинга бизнес-аналитики (BI) на дополненных наборах данных с помощью бессерверных средств анализа Fabric. Вы можете вернуть в dynamicsed и обработанные данные и использовать их для дальнейшего анализа в Fabric.
Данные из источников потоковой передачи в режиме реального времени могут входить в систему с помощью Центры событий Azure или других решений потоковой передачи. Для клиентов с требованиями к панели мониторинга в режиме реального времени Fabric аналитика может немедленно анализировать эти данные.
Данные могут быть приняты в централизованную структуру OneLake для дальнейшего анализа, хранения и создания отчетов с помощью сочетаний клавиш Data Lake Storage. Этот процесс обеспечивает анализ на месте и упрощает использование нижестоящего потока.
Бессерверные средства анализа, такие как конечная точка SQL Analytics и возможности Fabric Spark, доступны по запросу внутри Fabric и не требуют подготовленных ресурсов. Бессерверные средства анализа идеально подходят для:
Действия ETL и ELT в данных OneLake.
Обслуживание золотого слоя архитектуры медальона в отчетах Power BI с помощью функции DirectLake.
Импровизированные исследования обработки и анализа данных в формате T-SQL или Python.
раннего создания прототипов для сущностей хранилища данных;
Структура тесно интегрирована с потенциальными потребителями наборов данных с несколькими источниками, включая интерфейсные отчеты Power BI, Машинное обучение, Power Apps, Azure Logic Apps, Функции Azure и веб-приложения службы приложение Azure.
Компоненты
Fabric — это служба аналитики, которая объединяет возможности проектирования данных, хранения данных, обработки и анализа данных в режиме реального времени и бизнес-аналитики. В этом решении возможности проектирования данных Fabric предоставляют совместную платформу для инженеров данных, специалистов по обработке и анализу данных, аналитиков данных и специалистов по бизнес-аналитикам. Этот ключевой компонент использует бессерверные вычислительные подсистемы и предоставляет бизнес-ценность путем создания аналитических сведений, распределенных клиентам.
База данных SQL и Управляемый экземпляр SQL — это облачные службы реляционных баз данных. База данных SQL и Управляемый экземпляр SQL использовать SSMS для разработки и обслуживания устаревших артефактов, таких как хранимые процедуры. В этом решении эти службы размещают хранилище корпоративных данных и выполняют действия ETL и ELT с помощью хранимых процедур или внешних пакетов. База данных SQL и Управляемый экземпляр SQL — это среды как услуга (PaaS), которые можно использовать для обеспечения высокого уровня доступности и аварийного восстановления. Обязательно выберите номер SKU, соответствующий вашим требованиям. Дополнительные сведения см. в разделе "Высокий уровень доступности" для База данных SQL и высокой доступности для Управляемый экземпляр SQL.
SSMS — это интегрированная среда для управления инфраструктурой SQL, которую можно использовать для разработки и обслуживания устаревших артефактов, таких как хранимые процедуры.
Центры событий — это платформа потоковой передачи данных в режиме реального времени и служба приема событий. Центры событий легко интегрируются со службами данных Azure и могут получать данные из любого места.
Альтернативные варианты
Вы можете использовать Центр Интернета вещей Azure для замены или дополнения центров событий. Выберите решение на основе источника потоковых данных и необходимости клонирования и двунаправленного взаимодействия с устройствами отчетов.
Конвейеры данных Fabric можно использовать вместо конвейеров фабрики данных для интеграции данных. Ваше решение зависит от нескольких факторов. Дополнительные сведения см. в статье "Получение от Фабрика данных Azure до фабрики данных в Fabric".
Хранилище Fabric можно использовать вместо База данных SQL или Управляемый экземпляр SQL для хранения корпоративных данных. В этой статье определяется время на рынок для клиентов, которые хотят модернизировать свои хранилища данных. Дополнительные сведения о параметрах хранилища данных для Fabric см . в руководстве по принятию решений Fabric.
Подробности сценария
При модернизации локальных хранилищ данных для облака они могут использовать средства больших данных для будущего масштабируемости или использовать традиционные решения на основе SQL для повышения эффективности затрат, простоты обслуживания и плавного перехода. Гибридный подход обеспечивает лучший в обоих мирах и позволяет легко переносить существующие активы данных при использовании современных средств и возможностей искусственного интеллекта. SMB может хранить свои источники данных на основе SQL, работающие в облаке, и модернизировать их по мере необходимости.
В этой статье описывается несколько стратегий модернизации устаревших хранилищ данных и изучения средств и возможностей больших данных без растяжения текущих бюджетов и наборов навыков. Эти комплексные решения для хранения данных Azure легко интегрируются с Azure и службы Майкрософт, включая службы искусственного интеллекта, Microsoft Dynamics 365 и Microsoft Power Platform.
Потенциальные варианты использования
Перенос традиционного локального реляционного хранилища данных, который меньше 1 ТБ и использует пакеты служб SSIS для оркестрации хранимых процедур.
Сетка существующих данных Dynamics или Microsoft Power Platform Dataverse с пакетными и источниками Data Lake в режиме реального времени.
Используйте инновационные методы для взаимодействия с централизованными Azure Data Lake Storage 2-го поколения данными. Эти методы включают бессерверный анализ, интеллектуальный анализ знаний, слияние данных между доменами и исследование данных конечных пользователей, включая Fabric Copilot.
Настройте компании электронной коммерции для внедрения хранилища данных для оптимизации своих операций.
Не рекомендуется использовать это решение для:
Миграция локальных хранилищ данных, размер которых превышает 1 ТБ или прогнозируется достичь этого размера в течение года.
Рекомендации
Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая является набором руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.
Оптимизация затрат
Оптимизация затрат заключается в поиске способов уменьшения ненужных расходов и повышения эффективности работы. Дополнительные сведения см . в контрольном списке проверки конструктора для оптимизации затрат.
Калькулятор цен Azure позволяет изменять значения, чтобы понять, как конкретные требования влияют на затраты. Вы можете просмотреть пример цен для сценария хранения данных SMB в калькуляторе цен Azure.
База данных SQL цены зависят от выбранного уровня вычислений и служб и количества виртуальных ядер и единиц транзакций базы данных. В этом примере описывается отдельная база данных с подготовленными вычислительными ресурсами и восемь виртуальных ядер и предполагается, что необходимо выполнить хранимые процедуры в База данных SQL.
Data Lake Storage 2-го поколения цены зависят от объема хранимых данных и частоты использования данных. Пример ценообразования охватывает 1 ТБ хранилища данных и другие предположения транзакций. 1 ТБ относится к размеру озера данных, а не к размеру исходной устаревшей базы данных.
Цены на структуру зависят от цены на емкость Fabric F или цену ценовой категории "Премиум на человека". Бессерверные возможности используют ЦП и память из выделенной емкости.
Цены центров событий зависят от выбранного уровня, количества подготовленных единиц пропускной способности и полученного трафика входящего трафика. В примере предполагается, что одна единица пропускной способности в уровне "Стандартный" обрабатывает более одного миллиона событий в месяц.
Соавторы
Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.
Автор субъекта:
- Галина Полякова | Старший архитектор облачных решений
Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.
Следующие шаги
- Сведения об обучении содержимого и лабораторий см . в схемах обучения инженера данных.
- Начало работы с Fabric.
- Просмотрите все курсы, схемы обучения и модули.
- Создайте отдельную базу данных.
- Создание Управляемый экземпляр SQL.
- Создайте учетную запись хранения для использования с Data Lake Storage 2-го поколения.
- Создайте концентратор событий с помощью портал Azure.