Интеграция аналитики с облачным масштабированием в стратегию внедрения облака

Создайте единую централизованную стратегию внедрения облака для вашей организации с помощью методологии стратегии в azure Cloud Adoption Framework. Если вы еще не записали стратегию внедрения облака, используйте стратегию и шаблон плана для этого.

В этой статье содержатся рекомендации по сценариям облачной аналитики, влияющим на более широкую стратегию.

Перед реализацией облачной аналитики необходимо создать план для стратегии обработки данных. Можно начать с одного варианта использования или иметь более широкий набор вариантов использования, требующих приоритета. Наличие стратегии поможет вам установить процессы и инициировать первоначальные беседы о ключевых аспектах, на которых необходимо сосредоточиться.

Приоритет бизнес-результатов для стратегии обработки данных

Наличие успешной стратегии обработки данных дает вам конкурентное преимущество. Вы всегда должны выравнивать стратегию данных с нужными бизнес-результатами. Большинство бизнес-результатов можно классифицировать как одну из следующих четырех категорий:

• Предоставление сотрудникам возможностей: предоставить сотрудникам знания о клиентах, устройствах и компьютерах в режиме реального времени. Эти знания помогают им гибко и эффективно сотрудничать, чтобы удовлетворять потребности клиентов или бизнеса.

• Взаимодействие с клиентами: доставить богатый, персонализированный и подключенный опыт, вдохновленный вашим брендом. Используйте возможности данных и аналитических сведений, чтобы обеспечить лояльность клиентов на каждом шаге пути клиента.

• Оптимизация операций: увеличить поток информации во всей организации. Синхронизируйте бизнес-процессы и используйте подход на основе данных, чтобы сделать каждое взаимодействие ценным.

• Преобразуйте ваши продукты и жизненный цикл разработки: Соберите данные телеметрии о ваших службах и предложениях. Используйте данные телеметрии для определения приоритета выпуска или создания новой функции, а также для непрерывной оценки эффективности и внедрения.

После приоритета бизнес-результатов изучите текущие проекты и долгосрочные стратегические инициативы и классифицируйте их соответствующим образом. Рассмотрите возможность объединения четырех категорий бизнес-результатов в матрицном формате, основанном на сложности и влиянии. Кроме того, рассмотрите возможность добавления архитектурных принципов, которые помогут вам глубже погрузиться в свой сценарий.

Раскрытие стратегической ценности

Создание культуры, основанной на данных, которая движет бизнес вперед в согласованной, перспективной, гибкой и информированной манере, имеет свои присущие сложности и практические реалии. Прежде чем перейти на этап развертывания, сосредоточьтесь на создании последовательной стратегии обработки данных, которая поможет вам достичь нужных бизнес-результатов.

Аналитика облачного масштаба соответствует мотивациям, ориентированным на инновации,. Следующие распространенные драйверы мотивируют клиентов интегрировать этот сценарий в стратегию внедрения облака:

• Масштабируемая платформа аналитики, которая позволяет создавать корпоративную платформу данных
• Самообслуживание, которое позволяет пользователям изучать данные, создавать ресурсы данных и разрабатывать продукты
• Культура, ориентированная на данные, с множеством повторно используемых дата-активов, сообществами данных, безопасным обменом с третьими сторонами и обменом данными в режиме реального времени.
• Предоставление доступа к данным с уверенностью, использование политик, общих удостоверений, конфиденциальности и шифрования
• Улучшены клиентские впечатления и вовлеченность
• Преобразование продуктов или служб
• Подрыв рынка новыми продуктами или услугами

На следующей схеме содержатся ключевые темы, которые помогут вам реализовать эти мотивы в собственной стратегии. Тщательно проанализируйте эти темы и как они способствуют последовательной стратегии обработки данных. Кроме того, рассмотрите возможность разблокировки стратегической ценности ваших данных и обеспечения согласованного роста бизнеса.

"Стратегия обработки данных является основой для использования данных в качестве актива и вождения бизнеса вперед. Это не временное исправление проблем с данными. Это долгосрочный, руководящий план, который определяет людей, процессы и технологии для решения проблем с данными".

Создание стратегии — это один шаг. Выполнение стратегии в масштабе предприятия представляет собой большую проблему для существующей культуры, людей, процессов и технологий вашей организации. Выполнение требует обязательств и четкого владения на всех уровнях вашей организации.

Повышение эффективности

Гибкость облака требует от организаций быстрой адаптации и повышения эффективности для всех областей бизнеса. Согласно докладу о новых рискахот Gartner, несмотря на то, что организации продолжают сосредоточиваться и инвестировать в цифровые инициативы, две трети этих организаций выявляют уязвимости в работе предприятия и не оправдывают ожиданий.

Оперативное управление данными

Многие организации постепенно децентрализуют свои централизованные ИТ-функции, чтобы повысить гибкость. Организации хотят быстро внедрять инновации и иметь доступ к унифицированным данным на уровне предприятия в самостоятельном режиме, помогая им соответствовать сложным бизнес-требованиям.

Существует множество причин, по которым предприятия не могут использовать полный потенциал своих данных. Это может быть связано с тем, что бизнес-функции работают в силосах, где каждая команда использует различные инструменты и стандарты для анализа данных. Или это может быть вызвано неспособностью связать ключевые показатели производительности с общими бизнес-целями.

Демократизация данных помогает обеспечить ценность для бизнеса и достичь сложных целевых показателей роста бизнеса.

• Поймите и определите приоритеты нужд ваших направлений бизнеса.
• Распределяйте данные между доменами, чтобы обеспечить владение и приблизить данные к пользователям.
• Разверните продукты с данными самообслуживания для управления аналитическими сведениями и бизнес-ценностью.

Для управления данными необходимо обеспечить надлежащий баланс в децентрализованном мире демократизации данных. Если вы слишком строго применяете управление, вы можете заглушите инновации. Однако если у вас нет хотя бы некоторых основных принципов и процессов, вы, скорее всего, в итоге столкнетесь с изолированными хранилищами данных. Изоляция (или закрытые структуры) в вашей организации может нанести ущерб её репутации и потенциальным доходам. Комплексный подход к управлению данными является фундаментальным для разблокировки стратегической ценности данных согласованным образом.

Отсутствие хорошо продуманной стратегии обработки данных приводит к необходимости просто "начать действовать" и быстро начать предоставлять ценность вашей организации. Решение текущих бизнес-проблем путем осуществления действий с ранее упомянутыми ключевыми темами, а также использовании их в качестве стратегических принципов в рамках стратегии. С помощью этих ключевых тем также можно создать целостную стратегию обработки данных, которая является итеративной с проверкой, но по-прежнему предоставляет своевременные результаты. Руководители бизнес-технологий должны разработать стратегии и мышление, необходимые для создания ценности из данных и быстрого масштабирования в упрощенном структурированном режиме.

Дополнительные сведения см. в разделе Что такое управление данными?.

Развивайте культуру, основанную на данных

Чтобы создать успешную стратегию данных, вам нужна культура, основанная на данных. Разработка культуры, которая постоянно способствует открытому, совместному участию. В этом типе культуры все сотрудники могут учиться, общаться и улучшать бизнес-результаты организации. Развитие культуры, основанной на данных, также улучшает способность каждого сотрудника оказывать воздействие или влияя с поддержкой данных.

Отправная точка вашего путешествия зависит от вашей организации, отрасли и текущего расположения вдоль кривой зрелости. На следующей схеме показан пример модели зрелости, показывающая уровни зрелости использования ИИ в организации.

Уровень 0

Данные не используются программным способом и последовательно. Основное внимание к данным организации уделяется с точки зрения разработки приложений.

На уровне 0 организация часто имеет незапланированные проекты аналитики. Каждое приложение очень специализировано для уникальных данных и потребностей заинтересованных лиц. Каждое приложение также имеет значительные кодовые базы и инженерные команды, причем многие из них разрабатываются вне IT. Обеспечение возможности использования и аналитика изолированы.

Уровень 1

На уровне 1 создаются команды и создаются стратегии, но аналитика остается отделенной. Организация, как правило, хорошо подходит для традиционного сбора и анализа данных. Это может иметь некоторый уровень приверженности облачному подходу. Например, он уже может получить доступ к данным из облака.

Уровень 2

Платформа инноваций организации почти готова. Рабочие процессы предназначены для решения проблемы качества данных. Организация может ответить на несколько вопросов "почему".

На уровне 2 организация активно ищет сквозную стратегию данных, которая использует централизованно управляемые хранилища данных в озере для управления разрастанием хранилищ данных и улучшения доступности данных. Организация готова к интеллектуальным приложениям, которые приносят вычислительные ресурсы в централизованно управляемые озера данных. Эти интеллектуальные приложения снижают риски конфиденциальности, затраты на вычисления и необходимость федеративных копий важных данных.

На этом уровне организация также готова использовать мультитенантные, централизованно размещенные, общие службы данных для общих задач вычислений данных. Эти общие службы данных обеспечивают быстрые инсайты от интеллектуальных сервисов, основанных на данных.

Уровень 3

Организация использует целостный подход к данным. Проекты, связанные с данными, интегрируются в бизнес-результаты. Организация использует платформы аналитики для прогнозирования.

На уровне 3 организация разблокирует цифровые инновации как с точки зрения управления данными, так и с точки зрения разработки приложений. Базовые службы данных находятся на месте, включая озера данных и общие службы данных.

Несколько команд в организации успешно обеспечивают критически важные бизнес-рабочие нагрузки, ключевые варианты использования бизнеса и измеримые результаты. Новые общие службы данных определяются с помощью телеметрии. ИТ-отдел является доверенным помощником для команд по всей компании, используя надежную и подключенную стратегию обработки данных для улучшения критически важных бизнес-процессов.

Уровень 4

На уровне 4 вся организация использует платформы, стандарты, корпоративные стратегии и ориентированную на данные культуру. Автоматизация, циклы обратной связи на основе данных и центры превосходства по аналитике или автоматизации могут наблюдаться в действии.

Разработка целей, согласованных с бизнесом

Определение приоритетов в соответствии с бизнес-видением и сохранение идеологии "думать масштабно, начинать с малого и действовать быстро" являются ключом к успеху. Выбор правильного варианта использования не всегда должен быть длительным, трудным процессом проверки. Это может быть продолжающаяся проблема в любом бизнес-подразделении, где достаточно данных, чтобы подтвердить свою отдачу от инвестиций, а также наличие высокого интереса и легкой поддержки. Ситуация может быстро меняться, и именно в этом многие организации испытывают трудности с началом работы.

Общие сведения об атрибутах данных

Чтобы создать надежную стратегию обработки данных, необходимо понять, как работают данные. Основные характеристики данных помогают создавать принципы работы с данными.

Данные перемещаются быстро, но их скорость не может преодолеть законы физики. Данные должны соответствовать законам земли и отрасли, создающей ее.

Данные не изменяются самостоятельно, но подвержены изменениям и случайной потере, если вы не назначите меры по устранению таких проблем. Поместите меры по борьбе с коррупцией для контроля, баз данных и хранилища, чтобы вы могли справиться с непредвиденными изменениями. Кроме того, убедитесь, что вы настроили мониторинг, аудит, оповещения и подчиненные процессы.

Сами по себе данные не предоставляют никаких выводов и не имеют никакой ценности. Чтобы получить аналитические сведения или извлечь значение, необходимо поместить большую часть или все данные с помощью четырех дискретных шагов:

1. Проглатывание
2. Хранение
3. Обработка
4. Аналитика

Каждый из этих четырех шагов имеет собственные принципы, процессы, инструменты и технологии.

Удержание ресурсов данных и связанных аналитических сведений может повлиять на социально-экономические, политические, исследовательские и инвестиционные решения. Важно, чтобы ваша организация могло предоставлять аналитические сведения в безопасном и ответственном порядке. Все данные, которые вы создаете или приобретаете, должны проходить через упражнение классификации данных, если иное не указано явным образом. Шифрование — это золотой стандарт для обработки конфиденциальных данных как в состоянии покоя, так и при передаче.

Данные, приложения и службы имеют свои собственные силы притяжения, но притяжение данных является самым большим. В отличие от легендарного яблока сэра Исаака Ньютона, данные не имеют никакой физической массы, которая влияет на окружающие объекты. Вместо этого имеются задержка и пропускная способность, которые выступают в качестве ускорителей для процесса аналитики. Задержка, пропускная способность и простота доступа часто требуют дублирования данных, даже если это нежелательно. Настройте пользователей, процессы, инструменты и технологии соответствующим образом, чтобы вы могли сбалансировать такие требования с политиками данных вашей организации.

Архитектурные конструкции управляют скоростью обработки данных. Конструкции упрощаются с помощью инноваций в программном обеспечении, оборудовании и сети. Ниже приведены некоторые рекомендации по архитектуре.

• Настройка распределения данных
• Разбиение
• Технологии кэширования
• Пакетная обработка и потоковая обработка
• Балансировка серверной и клиентской обработки

Определение стратегии обработки данных

Использование данных в качестве конкурентного преимущества для создания лучших продуктов и служб с более высоким уровнем ценности не является новой концепцией. Однако объем, скорость и разнообразие данных, обеспечиваемые облачными вычислениями, являются беспрецедентными.

Разработка современной платформы аналитики данных в облаке состоит из безопасности, управления, мониторинга, масштабирования по требованию, операций с данными и самообслуживания. Понимание взаимодействия между этими аспектами заключается в том, что отличает отличную стратегию обработки данных от хорошей. Используйте такие средства, как Cloud Adoption Framework, чтобы обеспечить согласованность архитектуры, целостность и рекомендации.

Чтобы обеспечить эффективность, стратегия обработки данных должна содержать положения для управления данными. На следующей схеме показаны основные этапы жизненного цикла данных, ориентированные на управление данными в качестве основного внимания:

В следующих разделах описаны рекомендации, которые следует использовать при выборе принципов проектирования для слоев стратегии обработки данных. Сосредоточьтесь на предоставлении бизнес-результатов и ценности данных.

Прием данных

Ключевым аспектом приема данных является возможность быстро создавать конвейер данных в безопасном и совместимом режиме, от требований до рабочей среды. Важные элементы включают технологии с использованием метаданных, самообслуживание и low-code технологии, которые наполняют ваше озеро данных.

При создании конвейеров следует учитывать как проектирование, так и возможность обработки данных, распределения данных и масштабирования вычислений. Кроме того, необходимо обеспечить правильную поддержку DevOps для непрерывной интеграции и доставки конвейера.

Такие инструменты, как Фабрика данных Azure, поддерживают множество локальных источников данных, источников данных как службы (SaaS) и других источников данных из других общедоступных облаков.

Хранение

Пометьте и упорядочьте ваши данные в физических и логических слоях. Озера данных являются частью всех современных архитектур аналитики данных. Ваша организация должна применять соответствующие требования к конфиденциальности данных, безопасности и соблюдению норм, которые соответствуют всем требованиям к классификации данных и отраслевым стандартам, в которых вы работаете. Каталогизация и самообслуживание способствуют демократизации данных на уровне организации, что стимулирует ваши инновации при соблюдении соответствующего контроля доступа.

Выберите подходящее хранилище для рабочей нагрузки. Даже если вы не сразу правильно настроите хранилище, облако позволяет быстро устранить неполадку и начать заново. Используйте требования к приложению, чтобы выбрать лучшую базу данных. Не забудьте рассмотреть возможность обработки пакетных и потоковых данных при выборе платформы аналитики.

Обработка данных

Требования к обработке данных зависят от каждой рабочей нагрузки. Большинство крупномасштабных обработки данных содержит элементы как в режиме реального времени, так и в пакетной обработке. Большинство предприятий также имеют элементы требований к обработке временных рядов и необходимость обработки текста свободной формы для возможностей корпоративного поиска.

Обработка транзакций в Сети (OLTP) обеспечивает самые популярные требования к обработке организационных данных. Для некоторых рабочих нагрузок требуется специализированная обработка, например высокопроизводительные вычисления (HPC), иногда называемая "большими вычислительными ресурсами". Эти рабочие нагрузки решают сложные математические задачи с помощью множества компьютеров на основе ЦП или GPU.

Для определенных специализированных рабочих нагрузок клиенты могут защитить среды выполнения, такие как конфиденциальные вычисления Azure, что помогает пользователям защитить данные во время использования данных на общедоступных облачных платформах. Это состояние требуется для эффективной обработки. Данные защищены в доверенной среде выполнения (TEE), также известной как анклава. TEE защищает код и данные от любых внешних просмотров и изменений. TEEs позволяют обучать модели ИИ, не жертвуя конфиденциальностью данных, даже если вы используете источники данных из разных организаций.

Аналитическая обработка

Конструкция извлечения, преобразования, загрузки (ETL) связана с оперативной аналитической обработкой (OLAP) и потребностями хранения данных. Модель данных, выравненная по бизнесу, и семантическая модель, позволяющая организациям реализовать бизнес-правила и ключевые показатели эффективности (KPI), часто реализуются в рамках аналитического процесса. Одна из полезных возможностей — автоматическое обнаружение смещения схем.

Сводка по стратегии обработки данных

Принимая принципиальный подход к другим соображениям, таким как управление данными и ответственное ИИ, приносит дивиденды позже.

В Корпорации Майкрософт мы следуем четыре основных принципа: справедливость, надежность и безопасность, конфиденциальность и безопасность, а также инклюзивность. Два основных принципа прозрачности и подотчетности лежат в основе всех четырех основных принципов.

Мы поместим наши принципы и ответственный ИИ на практике путем разработки ресурсов и системы управления. Некоторые из наших рекомендаций рассматривают взаимодействие с человеком и ИИ, диалоговый ИИ, инклюзивный дизайн, контрольный список ИИ и лист данных для наборов данных.

Мы также разработали набор инструментов, которые помогут другим пользователям понять, защитить и контролировать ИИ на каждом этапе инноваций. Эти средства являются результатом многодисциплинарных усилий по укреплению и ускорению ответственного искусственного интеллекта. Совместная работа охватывает разработку программного обеспечения и инженерное проектирование, социальные науки, исследования пользователей, право и политику.

Чтобы улучшить совместную работу, мы открыли множество инструментов, таких как InterpretML и Fairlearn. Другие могут участвовать в этих средствах с открытым исходным кодом и создавать их. Мы также демократизировали средства с помощью Машинного обучения Azure.

Переход к тому, чтобы стать организацией, основанной на данных, является основой для обеспечения конкурентного преимущества в новых реалиях. Мы хотим помочь нашим клиентам перейти от подхода, ориентированного только на приложения, к подходу, основанному на приложениях и данных. Подход, ориентированный на приложения и данные, помогает создать сквозную стратегию обработки данных, которая обеспечивает повторяемость и масштабируемость в текущих и будущих вариантах использования, влияющих на бизнес-результаты.

Содействие обязательствам, взаимодействию и активности

Все ключевые роли, участвующие в принятии стратегии обработки данных, должны четко понимать принятый подход и общие бизнес-цели. Ключевые роли могут включать команду руководства (C-level), бизнес-подразделения, ИТ-отделы, операции и группы доставки.

Обмен данными является одной из наиболее важных частей этой платформы. Ваша организация должна разработать процесс эффективного взаимодействия между ролями. Коммуникация помогает вам эффективно выполнять работу в контексте текущего проекта. Он также создает платформу, которая помогает всем участникам оставаться в соответствии, быть в курсе и сосредоточиться на общей цели создания целостной стратегии по данным для вашего будущего.

Взаимодействие важно между следующими двумя группами:

• Участники группы, которые разрабатывают и реализуют стратегию обработки данных
• Члены команды, которые вносят вклад в, потребляют и эксплуатируют данные (например, бизнес-подразделения, которые принимают решения и создают результаты на основе данных)

Другими словами, стратегии данных и связанные платформы данных, созданные без вовлечения пользователей, сталкиваются с рисками, связанными с релевантностью и внедрением.

Два стратегических процесса помогают успешно реализовать эту платформу:

• Формирование центра превосходства
• Внедрение гибкого метода доставки

Дополнительные сведения см. в статье Разработка плана для облачной аналитики.

Создавать ценность

При доставке продуктов данных в соответствии с критериями успешности в стандартизированном и структурированном режиме, такая доставка подтверждает ваш итеративный подход. Кроме того, использование обучения для непрерывных инноваций помогает создавать уверенность в бизнесе и расширять цели стратегии данных. Этот процесс обеспечивает более четкое и быстрое внедрение в организации.

Это же относится к вашей платформе данных. Если ваша организация настроена так, что несколько команд работают довольно автономно, вам следует стремиться к сетевой структуре. Процесс достижения цели является итеративным. Во многих случаях это требует значительных изменений в настройке организации, готовности и выравнивании бизнеса.

Дальнейшие действия

Ознакомьтесь со следующими статьями, чтобы найти рекомендации по пути внедрения облака и сделать сценарий внедрения облака успешным:

• Разработка плана для облачной аналитики
• Проверьте вашу среду для зон высадки Azure
• управление облачными аналитиками
• Безопасная облачная аналитика для масштабов облака