Сценарии использования платформенных сервисов Windows Azure. Хранение и обработка данных

Компания Аплана подготовила обширный обзор сценариев использования платформенных сервисов Windows Azure. С удовольствием делимся с вами этим интересным документом, который будет полезен для любых отдельных разработчиков и компаний занимающихся созданием приложений и рассматривающих облако Windows Azure в качестве платформы для своих решений. Данное руководство состоит из трех частей, в первой части вы узнаете о сценариях хранения и обработки данных.

Многие компании уже знакомы с концепцией облачных вычислений - подходом к организации вычислений, обладающих высокой масштабируемостью, отказоустойчивостью и надежностью и предоставляющих ресурсы по запросу с возможностью оплаты по факту их использования. Среди трех ключевых вариантов реализации «облака» - частное, публичное и гибридное сложно назвать какой-то наиболее предпочтительный вариант – обычно компании выбирают гибридный вариант, позволяющий наиболее эффективно использовать как возможности локальной инфраструктуры, так и сервисы, предоставляемые «облаком».

Частное облако представляет собой реализацию облачных сервисов на ресурсах, полностью выделенных для заказчика – либо в локальной инфраструктуре, либо удаленно. Поддерживается пул ресурсов, их динамическое выделение для всех подразделений компании. В частном облаке обеспечивается контроль и настройка выделяемых ресурсов.

Публичное облако позволяет заказчикам развертывать и потреблять прикладные сервисы, выполняющиеся на разделяемых, мульти-тенантных ресурсов. Высоко-масштабируемая сервисная платформа поддерживает модель оплаты по факту и располагается в ЦОД-ах поставщика услуг.

Гибридное облако представляет собой объединение ключевых возможностей частного и публичного облака.

Платформа Windows Azure

Компания Microsoft предоставляет технологии для всех вариантов «облаков». Средства для создания частных облаков базируются на серверной операционной системе Windows Server и средствах управления инфраструктурой System Center, в качестве публичного облака Microsoft предлагает платформу Windows Azure.

Платформа Windows Azure – высоко-масштабируемая, отказоустойчивая облачная платформа Microsoft для создания и размещения приложений и данных и предоставления их в виде сервисов.

Говоря о публичном облаке следует отметить, что обычно в рамках облачной платформы предоставляет один или более типов сервисов – инфраструктурные сервисы (также называется «инфраструктура как сервис», IaaS), платформенные сервисы (также называется «платформа как сервис», PaaS) и прикладные сервисы (также называется «приложения как сервис», SaaS).

В случае использования инфраструктурных сервисов организации арендуют аппаратную платформу, включая сервера, хранилище и сетевую инфраструктуру. В случае использования платформенных сервисов поставщик представляет платформу и набор программных интерфейсов, на основе которых создаются различные программные решения. В случае же использования прикладных сервисов, приложения поставляются и потребляются через веб-интерфейс.

Платформенные сервисы Windows Azure предоставляют большое число компонентов и функциональных блоков, на основе которых могут быть реализованы сценарии и решения, представляющие интерес для корпоративных заказчиков.

Задачи бизнеса и задачи ИТ-подразделений

Довольно часто приходится сталкиваться с проблемой, когда возможности облачных платформ обсуждаются в отрыве от обсуждения задач, стоящих перед бизнесом. При этом часто задачи, кажущиеся на первый взгляд «чисто ИТ-задачами» являются, в первую очередь, бизнес-задачами, просто они сформулированы на другом языке. Понимание того, как «чисто ИТ-задачи» могут решать бизнес-задачи является ключевым фактором успеха запуска, реализации и внедрения облачных проектов. Посмотрим на простой пример. Ниже приведен список типичных бизнес-задач, а также типичных ИТ-задач.

Задачи бизнеса	Задачи ИТ
Улучшение бизнес-процессов Снижение затрат Привлечение новых клиентов Повышение производительности труда Повышение использования данных, информации, аналитики	Использование виртуализации Внедрение облачных вычислений Мобильный доступ Сеть, коммуникации, совместная работа Внедрение бизнес-аналитики

Внимательный анализ двух приведенных выше списков позволяет сделать вывод, …

Давайте посмотрим, как некоторые типичные задачи бизнеса могут быть решены с помощью сервисов, реализуемых на основе публичного облака.

Обеспечение эффективной работы	Сокращение расходов на хранение данных Восстановление после сбоев Повышение доступности и отказоустойчивости Хранение и обработка данных большого объема
Обеспечение совместной работы	Файловое хранилище с защищенным доступом
Расширение клиентской базы	Мобильный доступ к ресурсам
Поддержание лояльности	Повышение отказоустойчивости веб-сайтов
Быстрый запуск проектов	Сбор и обработка данных Маркетинговые программы

Отметим, что при реализации решений на основе облачной платформы, у компаний начинает появляться возможность извлечения прибыли (монетизации) данных и сервисов, а также, в ряде случаев, может наметиться плавный переход к модели SaaS – т.е. получению дополнительного дохода от предоставления ряда сервисов, как партнерам, так и заказчикам и конечным пользователям – подробнее об этом см. в разделе «Монетизация данных и сервисов».

Ниже мы познакомимся с рядом решений, реализованных на основе функциональных блоков, входящих в состав платформенных сервисов Windows Azure. Описываемые решения отличаются относительной простотой реализации и призваны решать различные бизнес-задачи, стоящие перед компаниями. Все описанные решения могут быть настроены под нужды заказчиков.

Основные решения на платформе Windows Azure

Компания «Аплана» предлагает следующие решения на базе облачной платформы Microsoft Windows Azure:

• Файловое хранилище с защищенным доступом
• Сбор и обработка данных
• Хранение и обработка больших объемов данных
• Сокращение расходов на хранение данных
• Повышение отказоустойчивости веб-сайтов
• Резервное копирование для веб-сайтов
• Мобильный доступ к ресурсам компании
  • Мобильный доступ к приложениям
  • Мобильный доступ к данным
  • Мобильный доступ к веб-ресурсам

Перечисленные решения отличаются относительной простотой реализации и призваны решать бизнес-задачи, стоящие перед компаниями.

Файловое хранилище с защищенным доступом

Многие компании ищут недорогие, практичные решения, позволяющие реализовать «облачное» файловое хранилище с возможностью управления доступом к отдельным файлам для групп и индивидуальных пользователей. При этом пользователями могут быть как сотрудники организации, работающие в рамках существующей инфраструктуры, сотрудники, которым требуется доступ к файловому хранилищу с различных мобильных устройств, партнеры компаний, конечные пользователи и т.п.

Использование существующих «облачных» файловых хранилищ не всегда представляется возможным - в описанном выше сценарии различные пользователи или группы пользователей находятся в разных, с точки зрения обеспечения безопасного доступа «инфраструктурах», и используют различные механизмы аутентификации. Например, сотрудники компании могут использовать аутентификацию на уровне Windows Active Directory, а партнеры и конечные пользователи - через другие, внешние по отношению к используемой в компании, системы аутентификации.

Преимущества предлагаемого решения:

• Возможность настройки под нужды заказчика
• Хостинг решения в собственной учетной записи Windows Azure – упрощенное управление платежами, прозрачность затрат
• Оплата только за те функции, которые реально нужны заказчику
• Возможность хранения файлов практически неограниченного объема – до 100 Тбайт

Среди возможных расширений описанного выше решения по созданию «облачного» файлового хранилища отметим следующие:

• Автоматическое преобразование файлов
  • Такая функциональность может быть реализована для файлов в формате Microsoft Office для преобразования их, например, в формат PDF, для преобразования файлов в формате Microsoft Office «предыдущих» версий в файлы в формате Open XML, а также для преобразования файлов в других наиболее распространенные форматы – HTML, XML и т.п.
• Полнотекстовый поиск
  • Если «облачное» файловое хранилище (или его часть) используется для хранения файлов в формате Microsoft Office, может быть реализована функция индексации и полнотекстового поиска для таких документов.

Пример
	Органу государственной власти потребовалось простое, но гибкое решение, позволяющее обеспечить госслужащих, оснащенных планшетами на базе операционной системы Windows 8, мобильным доступом к документам, необходимым в их повседневной работе. Специалисты компании «Аплана» предложили решение, базирующееся на надежном, масштабируемом и отказоустойчивом «облачном» хранилище Windows Azure Storage, позволяющее не только обращаться к документам по открытым каналам связи, но и реализовать разделение доступа к документам на уровне пользователей за счет использования Windows Azure Active Directory. Данное решение позволило повысить производительность госслужащих, обеспечить их мобильность и своевременность принятия решений.

Пример
	Представительство крупной западной компании искало решение, позволяющее реализовать обмен файлами большого объема, как между сотрудниками самой компании, так и ее партнерами. Решение, предолженное компанией «Аплана», использует масштабируемое, отказоустойчивое и надежное хранилище Windows Azure Storage, выполняющее роль файловой системы в «облаке», а контроль доступа и ролевая модель для управления файлами реализована на основе Windows Azure Active Directory. Такле хранилище позволяет обмениваться файлами практически неограниченного объема, обеспечивает автоматическое удаление файлов по заранее заданному расписанию, при появлении новых или обновленных версий файлов пользователи получают уведомления по электронной почте. Данное решение обеспечило сотрудников компании простым в использовании инструментом, существенно сократившим время, требущееся на предоставление доступа к данных.

Сбор и обработка данных

Данный сценарий позволяет решить задачу, которая часто встречается в компаниях, которые работают как с клиентами, так и с партнерами и/или имеют в штате большое число сотрудников, проводящих основную часть рабочего времени вне офиса. Еще один вариант, при котором данный сценарий может быть актуальным, это когда у компании стоит задача сбора и обработки данных каких-либо устройств.

Приведем несколько примеров применимости данного сценария:

• Опрос сотрудников
• Опрос общественного мнения
• Перепись населения
• Заполнение стандартных форм для банков, страховых компаний
• Сбор показаний со счетчиков

Преимущества реализации данного сценария на облачной платформе заключаются в следующем:

• Входящий трафик является бесплатным
• Надежное и отказоустойчивое хранилище стоит относительно не дорого, данные в «облаке» могут храниться сколь угодно долго
• Обработка данных не требует большого числа ресурсов
• Затраты на исходящий трафик при выгрузке данных в локальное хранилище или СУБД будут минимальными, так как объем обработанных данных будет существенно меньше объема входящих данных.

Сбор и обработка данных

Пример
	В рамках модернизации внутренней инфраструктуры одной из крупнейших российских авиакомпаний потребовалось создание решения, позволяющего в режиме реального времени получать, обрабатывать и сохранять данные о статусах выполняющихся рейсов. В ходе реализации данного проекта специалисты компании «Аплана» реализовали защищенное VPN-подключение к инфраструктуре авиакомпании, обеспечили получение необходимых данных и их обработку, создади «облачное» хранилище на базе Windows Azure SQL DB и реализовали набор программных интерфейсов (API), предоставляющих доступ к данным из приложений и сервисов компании. Данное надежное, масштабируемое и отказоустойчивое решение позволило предоставлять информацию о статусах выполняющихся рейсов как потребителям внутри компании, так и за ее пределами.

Хранение и обработка больших объемов данных

Решение по хранению и обработке больших объемов данных позволяет реализовать задачу, относящуюся к категории big data. Например, в случае хранения и обработки данных о клиентах банка для выявления трендов, источниками таких данных могут быть:

• Внутренние данные
  • CRM, программы лояльности, профили, история покупок, обращения в службу поддержки и т.п.
• Внешние данные
  • География, демографические данные и т.п.
• Данные от устройств
  • Телеметрия, GPS, NFC, банкоматы
• Данные из социальных сетей
  • Рейтинги и обзоры, форумы, вопросы/ответы, Facebook, Twitter, foursquare, Pinterest, LinkedIn и т.п.

Задача сбора и последующей обработки таких данных может потребовать большого числа, как вычислительных ресурсов, так и ресурсов для хранения входных и обработанных данных – в этом случае «облачная» платформа предоставляет все необходимое для быстрой реализации такого сценария. После того как данные собраны и обработаны, они могут быть переданы в аналитическую систему для их отображения, анализа и других действий.

Хранение и обработка больших объемов данных

Пример
	Крупному западному телеком-оператору потребовалось решение, с помощью которого можно было бы анализировать десятки и сотни миллионов лог-файлов для нахождения различной информации. Перед обработкой лог-файлы были очищены от какой-либо персональной информации. Один из примеров такого анализа – сбор данных об использовании траспорта – частного или общественного, позволяющий соответствующим службам иметь детальную картину о перемещених людей и, соответствующим образом регулировать работу транспорта в часы пиковых нагрузок. Решение компании «Аплана» позволяет обрабатывать огромные массивы данных за счет оптимизации выполнения алгоритмов обработки, использующих максимальное число вычислительных ресурсов виртуальной машины – параллельное выполнение вычислений, хранение обрабатываемых данных в памяти и т.п. За счет этого удается существенно сократить объем обработанных и готовых к дальнейшему анализу данных. Анализ, реализованный на платформе Microsoft SQL Server, позволяет не только получить данные в требуемом формате, но и представить их на картах для более наглядной визуализации.

Сокращение расходов на хранение данных

В данном сценарии мы используем хранилище Windows Azure Storage для сокращения расходов на хранение данных. К текущим расходам могут относиться создание и поддержание файлового хранилища, требующего создания резервных копий и обеспечения его надежности, доступности и отказоустойчивости. По понятным причинам «облачное» хранилище должно быть масштабируемым, надежным, высоко-доступным и безопасным.

Отметим, что часто в реляционной базе данных хранятся документы, файлы, графические изображения и т.п. Это приводит к тому, что реляционное хранилище становится более дорогим в сопровождении, требуется больший объем ресурсов для создания резервных копий, увеличивается время, требуемое на создание резервных копий и последующее восстановление данных.

При выборе данного сценария следует обращать внимание на следующее:

• Возможно, потребуется внесение изменений в приложения, работающие с базами данных, содержимое которых было оптимизировано с точки зрения сокращения расходов на хранение данных
• Скорость передачи данных в «облачное» хранилище
• Стоимость получения данных из «облачного» хранилища – стоимость исходящего трафика,
• Скорость передачи данных из «облачного» хранилища

Сокращение расходов на хранение данных

Пример
	Российское представительство крупной зарубежной компании, специализирующейся на предоставлении информации по лекарственным препаратам для специалистов и конечных пользователей, потребовалась модернизация сушествуюшей инфраструктуры. В ходе проекта специалисты компании «Аплана» выполнили перенос данных с сервера баз данных Microsoft SQL Server в «облако» - на платформу Azure SQL DB, обеспечили надежность и отказоустойчивость хранилища, а также реализовали набор масштабируемых программных интерфейсов, позволяющих получать информацию по лекарственным препаратам и создавать различные решения на их основе.

О компании Аплана

Компания «Аплана» специализируется на разработке, тестировании и сопровождении программного обеспечения, создаваемого в соответствии с конкретными требованиями заказчиков и предоставляет услуги по внедрению и интеграции приложений для корпоративных клиентов на российском и зарубежном рынках. Компания «Аплана» входит в Группу компаний «АйТи», имеет представительства в России, США и Великобритании.

Компания «Аплана» является официальным партнером Microsoft и имеет ряд наград Microsoft Partner Awards в области разработки программного обеспечения.. в 2013 году «Аплана» получила награду Партнер Года в номинациях …

Компания Аплана первой из российских компаний стала участником Azure Circle – программы, объединяющей ведущих партнеров Microsoft, которые выполняют полный спектр работ по созданию приложений на платформе Windows Azure для корпоративных клиентов. Участие в этой программе позволяет компании Аплана расширить диапазон предоставляемых услуг, поднять технический уровень и качество реализуемых проектов, а также обеспечивает возможность привлекать ресурсы Microsoft при поиске решений возникающих вопросов и предложения оптимизированных проектных решений.

В штате компании - разработчики, сдавшие экзамен «Designing and Developing Windows Azure Applications», подтверждающий их квалификацию в области платформенных и «облачных» технологий компании Microsoft. Помимо этого, Аплана реализовала целый ряд успешных проектов для российских и зарубежных заказчиков, среди которых – Telegraph Media Group, UBM Medica, аэропорт «Шереметьево» и ряд других компаний.

Продолжение читайте в следующей статье…