Общие сведения об аналитике масштабирования облака
Аналитика в масштабе облака основана на целевых зонах Azure для упрощения развертывания и управления. Основной целью целевой зоны Azure является обеспечение того, чтобы при развертывании приложения или рабочей нагрузки в Azure уже была необходимая инфраструктура. Перед развертыванием целевой зоны облачной аналитики необходимо выполнить Cloud Adoption Framework для Azure, чтобы развернуть архитектуру целевой зоны Azure с целевыми зонами платформы.
Для суверенных рабочих нагрузок Microsoft предоставляет Суверенную посадочную зону (SLZ), которая является вариантом посадочной зоны корпоративного масштаба Azure. SLZ предназначен для организаций, которым требуются расширенные суверенные элементы управления. Аналитика в масштабе облака может быть развернута в этом варианте целевой зоны Azure.
Аналитика в масштабе облака включает развертывание в целевых зонах приложений. Обычно эти зоны находятся в группе управления посадочной зоной. Политики фильтруют до примеров шаблонов, которые предоставляет корпорация Майкрософт.
Эти примеры шаблонов можно использовать для хранилищ озера данных и развертываний сетки данных.
Оценка аналитики в масштабе облака
Часто бизнес ищет четкость или предписательное руководство, прежде чем приступить к определению технических сведений для конкретного варианта использования или проекта, а также для сквозной облачной аналитики. Когда бизнес формулирует общую стратегию обработки данных, возникает сложность в обеспечении учета всех необходимых и стратегических принципов в рамках текущего применения.
Чтобы ускорить доставку этой комплексной реализации аналитических сведений, учитывая эти проблемы, корпорация Майкрософт разработала рекомендованный сценарий для аналитики облачного масштаба. Он соответствует ключевым темам, которые обсуждаются в разработке плана для облачной аналитики.
Аналитика в масштабе облака основана на Cloud Adoption Framework и применяет принципы Azure Well-Architected Framework. Фреймворк внедрения облачных технологий предоставляет нормативное руководство и передовые практики по облачным операционным моделям, эталонным архитектурам и шаблонам платформы. Это руководство основано на реальном опыте некоторых из наших самых сложных, изысканных и комплексных сред.
Аналитика в масштабе облака помогает подготовиться к созданию и эксплуатации посадочных зон для размещения и запуска аналитических нагрузок. Вы создаете посадочные зоны на фундаменте усиленной безопасности, управления и соблюдения нормативов. Посадочные зоны масштабируемы и модульны, поддерживающие автономию и инновации.
История архитектуры данных
В конце 1980-х годов было введено хранилище данных поколения 1. Эта модель объединяет разнородные источники данных из разных предприятий. В конце 2000-х годов появились поколения 2 с введением экосистем больших данных, таких как Hadoop и озера данных. В середине 2010-х годов была введена облачная платформа данных с возможностью ввода потоковых данных, примером чего являются архитектуры Kappa или Lambda. В начале 2020-х годов появились озера данных, сетки данных, структуры данных и операционные шаблоны, ориентированные на данные.
Несмотря на эти достижения, многие организации по-прежнему используют централизованную монолитную платформу: поколение 1. Такие системы хорошо справляются со своими задачами. До определенного момента. Однако узкие места могут возникать из-за взаимозависимых процессов, тесно связанных компонентов и гиперспециализированных команд. Извлечение, преобразование и загрузка заданий (ETL) могут стать заметными и замедленными временными шкалами доставки.
Хранилища данных и озера данных по-прежнему ценны и играют важную роль в общей архитектуре. В следующей документации рассматриваются некоторые проблемы, которые могут возникнуть при использовании этих традиционных методов масштабирования. Эти проблемы особенно важны в сложной организации, где изменяются источники данных, требования, команды и выходные данные.
Переход на облачную аналитику
Текущая архитектура аналитических данных и операционная модель могут включать в себя хранилище данных, озеро данных и структуры озера данных, структуру данных или сетку данных.
Каждая модель данных имеет свои собственные преимущества и проблемы. Аналитика в облаке помогает изменить текущий подход к управлению данными, чтобы он смог развиваться вместе с инфраструктурой.
Вы можете поддерживать любую платформу данных и сценарий для создания комплексной облачной аналитической платформы, которая служит основой и позволяет масштабировать.
Современная платформа данных и нужные результаты
Одним из первых шагов является активация стратегии обработки данных для удовлетворения ваших задач путем итеративного создания масштабируемой и гибкой современной платформы данных.
Вместо того чтобы быть перегруженным заявками на обслуживание и пытаться удовлетворить конкурирующие бизнес-требования, при внедрении современной платформы данных вы можете выполнять более консультационную роль, потому что сможете освободить свое время для сосредоточения на более значимой работе. Вы предоставляете бизнес-линии с платформой и системами для самостоятельного обслуживания данных и аналитических потребностей.
Ниже приведены рекомендуемые области первоначального фокуса.
- Повышение качества данных, упрощение доверия и получение аналитических сведений для принятия бизнес-решений на основе данных.
- Реализуйте целостные данные, управление и аналитику в масштабах всей организации.
- Создайте надежное управление данными, которое обеспечивает самообслуживание и гибкость для бизнес-процессов.
- Обеспечение безопасности и юридического соответствия в полностью интегрированной среде.
- Быстро создайте основу для расширенных возможностей аналитики с помощью встроенного решения хорошо спроектированных, повторяющихся, модульных шаблонов.
Управление имуществом аналитики
Во-вторых, следует определить, как ваша организация будет реализовывать управление данными.
Управление данными — это процесс обеспечения того, чтобы данные, используемые в бизнес-операциях, отчетах и анализе, были обнаруживаемыми, точными, доверенными и которые можно защитить.
Для многих компаний ожидается, что данные и ИИ будут пользоваться конкурентным преимуществом. В результате руководители стремятся спонсировать инициативы искусственного интеллекта в их решимости стать управляемыми данными. Однако для эффективного использования ИИ он должен использовать доверенные данные. В противном случае точность принятия решений может быть скомпрометирована, решения могут быть отложены или действия могут быть пропущены, что может повлиять на результат. Компании не хотят, чтобы качество их данных было бедным. До тех пор, пока вы не проанализируете, как цифровая трансформация повлияла на данные, может показаться, что проблемы с качеством данных легко исправить.
Организации, имеющие данные, распределенные по гибридной многооблачной и распределенной области данных, пытаются найти, где находятся их данные и управлять им. Неуправляемые данные могут оказать значительное влияние на бизнес. Плохое качество данных влияет на бизнес-операции, так как ошибки данных вызывают ошибки процесса и задержки. Низкое качество данных также влияет на принятие бизнес-решений и возможность оставаться совместимыми. Обеспечение качества данных в источнике часто предпочтительнее, так как устранение проблем с качеством в аналитической системе может быть более сложным и дорогостоящим, чем применение правил качества данных в начале этапа приема. Чтобы помочь вам отслеживать и управлять деятельностью данных, управление данными должно включать:
- Обнаружение данных.
- Качество данных.
- Создание политики.
- Общий доступ к данным.
- Метаданные.
Защита ресурсов аналитики
Другим основным драйвером управления данными является защита данных. Защита данных может помочь обеспечить соответствие нормативным требованиям и предотвратить нарушения данных. Конфиденциальность данных и растущее число нарушений данных сделали защиту данных главным приоритетом. Брейки данных выделяют риск для конфиденциальных данных, таких как личные данные клиента. Последствия нарушения конфиденциальности данных или нарушения безопасности данных могут включать:
- Серьезный ущерб имиджу бренда.
- Потеря доверия клиентов и доли рынка.
- Снижение цен на акции, которое влияет на отдачу заинтересованных сторон на инвестиции и исполнительные зарплаты.
- Значительные финансовые штрафы из-за сбоев аудита или соответствия требованиям.
- Судебные действия.
- Вторичные последствия нарушения, например, клиенты могут стать жертвой кражи удостоверений.
В большинстве случаев публично цитируемые компании должны объявлять нарушения. При возникновении нарушений клиенты, скорее всего, винят компанию, а не хакера. Клиенты могут бойкотировать компанию в течение нескольких месяцев или никогда не вернуться.
Неспособность соблюдать нормативные законодательство о конфиденциальности данных может привести к значительным финансовым штрафам. Управление данными помогает избежать этих рисков.
Операционная модель и преимущества
Внедрение современной платформы стратегии обработки данных не просто изменяет технологию, которую использует ваша организация. Он также изменяет способ работы организации.
Облачная аналитика предоставляет рекомендации по организации и обучению сотрудников, включая:
- Определения личности, роли и ответственности.
- Предлагаемые структуры для гибких, вертикальных и междоменных команд.
- Учебные ресурсы, включая сертификацию данных Azure и ИИ с помощью Microsoft Learn.
Важно также привлечь конечных пользователей к процессу модернизации и по мере развития платформы и подключения новых вариантов использования.
Архитектуры
Целевые зоны Azure описывают стратегический путь проектирования и целевое техническое состояние для вашей среды. Они упрощают развертывание и управление, чтобы повысить гибкость и соответствие требованиям. Они также гарантируют, что при добавлении нового приложения или рабочей нагрузки в среду соответствующая инфраструктура уже размещена. Решения по управлению данными и зонам высадки данных Azure, интегрированным с программным обеспечением как услугой (SaaS) от Майкрософт и решениями аналитики, разработаны с учетом этих базовых принципов и, в сочетании с другими элементами облачной аналитики, могут способствовать:
- Самообслуживание.
- Масштабируемость.
- Быстрый запуск.
- Безопасность.
- Конфиденциальность.
- Оптимизированные операции.
Целевая зона управления данными
Целевая зона управления данными обеспечивает основу централизованного управления данными и управления данными платформы в организации. Она также облегчает коммуникацию для приема данных из всего цифрового пространства, включая мультиоблачную и гибридную инфраструктуры.
Целевая зона управления данными поддерживает множество других возможностей управления ими, таких как:
- Каталоги данных.
- Управление качеством данных.
- Классификация данных.
- Происхождение данных.
- Репозитории моделирования данных.
- Каталоги API.
- Общий доступ к данным и контракты.
Совет
Если вы используете партнерские решения для каталога данных, управления качеством данных или возможностей происхождения данных, они должны находиться в целевой зоне управления данными. Кроме того, вы можете развернуть Microsoft Purview в качестве решения SaaS, подключаясь как к целевой зоне управления данными, так и к целевым зонам данных.
Целевые зоны данных
Зоны приземления данных приближают данные к пользователям и обеспечивают самообслуживание, сохраняя общее управление и администрирование путем подключения к зоне управления данными.
Они размещают стандартные службы, такие как сеть, мониторинг и прием и обработка данных, а также настройки, такие как продукты данных и визуализации.
Целевые зоны данных являются ключевыми для обеспечения масштабируемости платформы. В зависимости от размера и потребностей организации можно начать с одной или нескольких целевых зон.
При выборе между отдельными и несколькими целевыми зонами рассмотрите региональные зависимости и требования к месту размещения данных. Например, существуют ли местные законы или нормативные акты, требующие хранения данных в определенном расположении?
Независимо от первоначального решения вы всегда можете добавлять или удалять целевые зоны для данных по мере необходимости. Если вы начинаете с одной целевой зоны, рекомендуется расширить их до нескольких целевых зон, чтобы избежать будущих потребностей в миграции.
Примечание.
При развертывании Microsoft Fabric целевая зона данных размещает решения, отличные от SaaS, такие как озера данных и другие службы данных Azure.
Дополнительные сведения о целевых зонах см. в целевых зонах Azure для облачной аналитики.
Заключение
После чтения этого набора документации, в частности, разделов управления, безопасности, эксплуатации и рекомендаций рекомендуется настроить среду проверки концепции с помощью шаблонов развертывания. Эти шаблоны, а также рекомендации по архитектуре предоставляют практический опыт работы с некоторыми технологиями Azure и Microsoft SaaS. Дополнительные сведения см. в контрольном списке "Начало работы".