Обзор миграции служба хранилища Azure ленточных лент
В этой статье рассматриваются миграции лент. Она предназначена для упрощения, предоставления рекомендаций и рекомендаций по успешному переносу данных, хранящихся на различных ленточных носителях в службы хранилища Azure.
Обзор
Лента хранит большую часть данных мира и остается одним из доминирующих типов носителей хранения. Ленточный носитель существует на протяжении десятилетий, и по-прежнему широко используется с сотнями эксабайт новых лент, поставляемых каждый год.
Лента — отличный носитель для хранения холодных данных. Они быстры в последовательном чтении, но этапы, требующие механических движений (например, загрузки и выгрузки лент, ленты поиска и т. д.) медленнее. Это делает ленты непригодными для традиционного, случайного доступа и является основной причиной того, что даже сегодня данные, хранящиеся на лентах, редко используются. Кроме того, лента является магнитной средой, требующей специальной обработки. Они чувствительны к окружающей среде, особенно температуре и влажности. Если он хранится в пределах их операционного диапазона окружающей среды, они могут достичь высокой устойчивости и хорошей скорости успешного восстановления. Тем не менее, когда он хранится в неуправляемой среде, ухудшение происходит часто и отрисовывает ленту нечитаемой.
Большие части лент хранят темные данные (созданные и сохраненные данные, но не используемые для каких-либо целей). Темные данные не приносят значения владельцу данных. При увеличении возможностей ИИ и специальных возможностей тенденция меняется. Клиенты рассматривают, как темные данные могут помочь им повысить эффективность, открыть новые потоки доходов или увеличить их конкурентное преимущество. Чтобы воспользоваться темными данными, многие организации рассматривают перенос данных из лент в облачное хранилище. Облачное хранилище предоставляет простой способ анализа данных, извлечения бизнес-ценности (с такими службами, как ИИ, Машинное обучение, поиск Azure и т. д.), или сократить затраты, используя архивное хранилище для долгосрочного хранения.
Ниже приведены некоторые из основных причин, по которым мы видим увеличение ленты на облачную миграцию:
- Извлечение бизнес-ценности из темных данных,
- Уменьшите усилия, необходимые для управления данными с долгосрочным хранением,
- Избегайте процесса миграции из одного ленты в другое,
- Снижение риска потери данных, особенно для старых поколений лент,
- Замена носителей ленточных лент,
- Упрощение процессов аварийного восстановления
- Применение современных средств, таких как ИИ и машинное обучение к историческим данным.
Рекомендации
Перед началом процесса миграции ленты необходимо тщательно рассмотреть параметры. В первую очередь следует решить, кто выполняет миграцию. Обычно используются два варианта:
- Клиент выполнил миграцию , в которой клиент выполняет сквозную миграцию,
- Партнер по миграции лент, где клиент отправляет ленты партнеру, и партнер выполняет процесс миграции.
| Подход | Плюсы | Минусы |
|---|---|---|
| Клиент выполнил миграцию | — Данные никогда не покидают сайт - Нет логистики для доставки лент |
— требуются аппаратные ресурсы — добавляет больше работы персоналу — требует определенных знаний об обработке лент - Возможные неизвестные затраты |
| Партнер по миграции лент | - Простые цены и известные затраты заранее (платные на ленту) - Нет влияния на рабочую среду - Нет влияния на персонал |
— требуется логистика для доставки лент - Вопросы безопасности, необходимые для доставки лент — несколько копий, необходимых для доступности данных во время миграции |
Несколько основных рекомендаций могут легко помочь нам решить, кто может выполнить миграцию, клиента или партнера.
Ресурсы
Ресурсы являются наиболее важной частью процесса миграции ленточных лент, и мы разделим их на следующие категории:
| Категория | Примечания. |
|---|---|
| Пользователи | — Требуется определенный набор навыков - Процесс является трудоемким |
| Оборудование | — Для различных поколений лент требуются разные виды оборудования — скорость миграции пропорциональна доступным дискам и пропускной способности сети. |
| Программное обеспечение. | — требуется доступ к программному обеспечению, создавшего данные. — требуется доступ к ключам шифрования |
Оборудование обычно является самой сложной частью. Если мы переносим существующие поколения лент, оборудование доступно, но используется в рамках существующей рабочей среды. Но для старых поколений лент, оборудование часто заканчивается жизнью, и это труднее приобрести. С более старым поколением лент, использование партнера по миграции лент является предпочтительным и более простым вариантом. При использовании рабочего оборудования для миграции необходимо тщательное планирование, чтобы убедиться, что миграция не влияет на рабочие нагрузки. Здесь можно применить три различных модели:
- Используйте выделенное оборудование для миграции: простейшая модель миграции, легко планировать и планировать ее без влияния на рабочую среду. Он добавляет затраты на приобретение оборудования (если он еще недоступен) и приводит к низкому использованию оборудования после миграции.
- Выполнение миграции вне часов на рабочем оборудовании: модель миграции без влияния на рабочую среду. Требует сложного планирования, выполнения и работы людей вне часов. Возможно, только если производственное оборудование не используется 24x7.
- Запустите рабочую среду и миграцию вместе: наименее предпочтительная модель миграции, так как она может легко повлиять на рабочую среду. Эта модель снижает доступность оборудования для рабочей среды, требует сложного планирования и планирования. Если эта модель используется, процессы вокруг снижения влияния на рабочую среду критически важны для поддержания временной шкалы миграции под контролем. Эта модель рекомендуется использовать только в том случае, если рабочее оборудование имеет низкую загрузку.
Параметры передачи данных
После того как данные считываются с лент, его необходимо переместить в служба хранилища Azure. Данные можно перемещать с помощью сетевых или автономных устройств, таких как Azure Data Box. Ниже приведены некоторые параметры, влияющие на выбор параметров передачи данных:
- Доступная пропускная способность сети
- Требуемая временная шкала для завершения миграции
- Частота изменений данных
Дополнительные сведения о выборе оптимального варианта см. здесь. Сетевая передача проще и предпочтительнее. Сочетание сетевых и автономных методов также возможно, но требует больше планирования, чтобы убедиться, что перенесенные данные не перекрываются.
Если для миграции нет доступных ресурсов, независимо от типа ресурса, единственный вариант — использовать партнера по миграции ленточных лент. В этом случае можно выбрать один из двух вариантов:
- Миграция выполняется на сайте клиента: партнер по миграции ленты поставляет оборудование, нанимает людей и выполняет работу по расположению клиента. Клиенту необходимо предоставить доступ к лентам, выделенному месту для оборудования, сетевых подключений и доступа к службе служба хранилища Azure. Партнер отвечает за все остальные действия.
- Миграция выполняется на сайте партнера: клиент отправляет ленты партнеру и предоставляет доступ к службе служба хранилища Azure. Партнер по миграции лент выполняет все действия, чтобы перенести данные из лент в служба хранилища Azure.
Второй вариант проще и чаще используется. Партнеры по миграции лент имеют средства, разработанные и оснащенные для выполнения миграции лент в большом масштабе. Этот параметр также снижает риск и временную шкалу, так как партнеры имеют больше ресурсов оборудования. Выполнение миграции на сайте клиента используется только в том случае, если проблемы безопасности и конфиденциальности не позволяют клиенту отправлять ленты партнеру.
Несколько партнеров могут выполнять миграцию лент в Azure. Полный список партнеров можно найти в автономном импорте мультимедиа.
Ниже приведена простая блок-схема для упрощения процесса выбора.
Формат данных
Формат данных оказывает большое влияние на структуру миграции и является важным фактором для удобства использования будущих данных. Данные могут храниться в собственном формате или в собственном формате. Закрытые форматы обычно хранятся в виде виртуальных лент. Для собственного формата требуется восстановление файлов из лент и их хранение в виде файлов или объектов.
| Модель | Плюсы | Минусы |
|---|---|---|
| Виртуальные ленты | — упрощенная и быстрая миграция — Может воссоздать идентичный ленточный носитель как исходный - Нет необходимости иметь доступ к исходному программному обеспечению для записи данных |
— требуется обслуживание инвентаризации виртуальной ленты — Данные, хранящиеся в зависимом от приложения формате, требуют исходного программного обеспечения для восстановления данных. — данные, недоступные службами Azure (ИИ/ ML) без восстановления |
| Собственные файлы | — Файлы, доступные любым приложением и службой (ИИ/ ML) — Возможно монетизировать данные — нет необходимости иметь доступ к исходному программному обеспечению для восстановления |
— более сложная миграция — требуется доступ к исходному программному обеспечению для записи данных |
Основным критерием принятия решения о формате является способ использования данных. Если данные переносятся только для долгосрочного хранения, виртуальные ленты являются отличным выбором. В любом другом случае хранение данных в собственном формате является предпочтительным вариантом. Он позволяет легко использовать данные в будущем и открывает множество возможностей для анализа данных.
Процесс миграции
После принятия решений о выполнении миграции и предпочтительном формате данных можно начать с миграции. Миграция проходит несколько этапов.
Этап сведений
Этап информации имеет решающее значение для сбора ключевых требований. Собранные информационные руководства по правильному проектированию и планированию. Несмотря на то, что некоторые сведения можно обновить на более поздних этапах, предоставляя точные наборы информации сцены и избегая необходимости вносить огромные изменения в процесс. Ниже приведены некоторые ключевые вопросы, которые необходимо ответить на этот этап:
- Какой тип лент необходимо перенести (например, LTO3, LTO6, 3592JC и т. д.)?
- Какое количество лент для каждой модели, которую необходимо перенести (например, 100xLTO3, 200xLTO6 и т. д.)?
- Какое программное обеспечение использовалось для записи данных на ленте, является ли это программное обеспечение по-прежнему доступным?
- Какой формат используется для записи данных на лентах, является открытым или закрытым форматом, применяется сжатие?
- Используется ли шифрование и если да, то что является наиболее безопасным вариантом обмена ключами шифрования?
- Что такое целевой регион?
- Какая служба хранилища используется?
- Какие нормативные требования являются критически важными (HIPAA, GDPR и т. д.)? Является ли цепочка опеки обязательной?
- Что такое крайний срок миграции? Есть ли критически важные вехи?
- Сколько пропускной способности сети доступно для миграции?
- Где физически хранятся ленты и могут ли они быть отправлены?
- У вас уже есть хэш-значения для всех файлов? Если да, какой алгоритм хэширования используется?
- Требуются ли ленты после миграции?
- Как поддерживать температуру и влажность для лент во время миграции или транспорта?
- Кто является основными заинтересованными лицами?
Этап подготовки
После сбора основных сведений мы можем подготовиться к миграции. Этап подготовки может включать множество различных шагов, но некоторые распространенные этапы миграции выполняются:
Анализ данных содержит сведения о данных, которые необходимо перенести. Информация имеет решающее значение для оценки того, насколько быстро данные можно считывать с лент, и сколько параллелизма необходимо достичь, чтобы успешно завершить миграцию до крайнего срока. Это влияет на оценки требуемого оборудования (библиотеки, роботы, диски). Анализ данных выполняется путем выборки нескольких лент, представляющих набор данных для переноса. Типичные сведения, которые мы ищем:
- размеры файлов,
- объем данных, хранящихся на ленту,
- количество файлов на ленту,
- минимальный и максимальный размер файла;
- типы файлов.
Качество данных помогает определить окончательный и уникальный набор данных, который необходимо перенести. Одним из наиболее распространенных проблем с миграцией лент является дублирование данных. Миграция лент — идеальное время для очистки повторяющихся данных. Этот процесс улучшает качество данных для дальнейшего использования, снижает затраты и продолжительность миграции.
Определение приоритета данных определяет порядок переноса данных. В идеале мы хотим обеспечить прямую потоковую передачу из каждой ленты вместо случайного чтения файлов из разных лент (чтобы избежать постоянной загрузки, выгрузки и поиска). Этот подход обеспечивает максимальную возможную пропускную способность и всегда является самым быстрым путем миграции. Приоритет данных принимает бизнес-требования и технические возможности для достижения наилучших результатов.
Проектирование миграции включает все технические аспекты миграции и собранные сведения для формирования окончательного процесса миграции. Это письменный документ, который становится источником истины для оставшихся этапов. Он должен содержать по крайней мере следующее:
- очистить процесс миграции и крайний срок миграции
- требования к оборудованию и персоналу,
- инфраструктура и сетевой дизайн,
- рекомендации по безопасности,
- как справиться с непрочитаемыми лентами,
- роли и обязанности и т. д.
Этап миграции
После завершения разработки миграции мы начинаем процесс миграции. Перед расширением до полного темпа миграции мы всегда выполняем тест с меньшим примером. Цель теста — убедиться, что комплексный процесс работает. Это позволяет нам создавать настройки и улучшать процесс. После успешного выполнения теста, и мы довольны результатами, мы выполняем миграцию. Этап миграции немного отличается, если мы используем собственные файлы и виртуальные ленты. В обоих случаях это повторяющийся процесс, который окружает все ленты и считывает все их содержимое. В этой блок-схеме показан этап миграции при миграции в собственные файлы.
Проверка данных
Для каждого файла, который мы переносим, необходимо выполнить проверку данных, чтобы убедиться, что данные не повреждены во время процесса миграции. Проверка данных выполняется путем сравнения хэш-значений до миграции и после миграции. Существует множество типов алгоритмов хэширования, которые можно использовать. Распространенный подход — использовать MD5, так как служба хранилища Azure содержит предварительно определенное поле метаданных Content-MD5, которое можно заполнить во время миграции. Этот подход позволяет проверять то же значение MD5, когда доступ к данным для проверки данных не изменяется или поврежден. В идеальной ситуации исходные данные уже содержат хэш-значения, которые можно легко сравнить с хэш-значениями после миграции. Если хэши не существуют, их необходимо вычислить перед переносом файла. Если хэши совпадают, файл помечается как перенесенный. В противном случае файл удаляется и снова переносится. Иногда данные повреждены на исходных лентах. Наличие исходных хэш-значений помогает перехватывать эти редкие случаи. Если они происходят, можно считывать данные из вторичной копии, если она существует. Процесс проверки данных является важным компонентом для проектирования миграции. Необходимо определить процесс обработки неудачной проверки. Этап миграции также постоянно отслеживается, чтобы убедиться, что мы можем реагировать на непредсказуемую ситуацию и адаптироваться к ней. Регулярные отчеты основным заинтересованным лицам важно следить за миграцией.
Этап после миграции
После завершения миграции необходимо выполнить несколько шагов, прежде чем успешно закрыть проект миграции. При необходимости необходимо удалить оборудование, используемое для миграции. Наиболее важным вопросом является удаление лент. Удаление ленты — это два этапа. Если ленты хранят конфиденциальную и конфиденциальную информацию (и обычно они делают), они должны быть отложены сначала. Дегауссирование гарантирует, что все данные магнитно удаляются из носителя. После удаления лента должна быть правильно уничтожена и переработана. Если мы использовали партнера по миграции лент, мы также можем позволить партнеру безопасно удалить ленту.