Определение стратегий миграции и обеспечения высокой доступности в HDInsight HBase

  • 3 мин

Одна из распространенных проблем, с которыми часто сталкиваются клиенты, — это перенос кластеров HBase из локальной среды или между версиями во время обновления кластера. В HDInsight HBase доступны следующие варианты переноса, обновления и защиты от потери данных.

Копирование папки hbase

Стратегия копирования папки/hbase обычно применяется для периодического резервного копирования или миграции. В HDInsight HBase все файлы данных и метаданных, которые были записаны на диск, хранятся в папке/hbase.

Примечание.

Такой подход не обеспечивает ни репликацию между кластерами в режиме реального времени, ни детализацию при переносе конкретных таблиц.

Выполните следующие шаги в последовательности, чтобы выполнить резервное копирование и миграцию кластера HDInsight. HDInsight / hbase хранится в следующем расположении: wasbs://<containername>@<accountname>.blob.core.windows.net/hbase

  1. Определите путь к папке/hbase на исходном кластере.
  2. Остановите все операции записи в исходный кластер и выполните принудительную запись на диск, чтобы гарантировать, что в памяти ничего не осталось.
  3. Скопируйте данные из папки /hbase в целевое назначение в службе хранилища Azure, используя AzCopy для хранилища BLOB-объектов или AdlCopy для Data Lake Storage.
  4. В случае сценария аварийного восстановления данные могут периодически храниться в другом регионе для использования в будущем в случае аварии.
  5. Если же вы планируете миграцию HBase, данные можно скопировать в папку /hbase, созданную в кластере HDInsight HBase.

Дополнительные сведения о процессе копирования папки /hbase см. в документации по копированию папки /hbase в HDInsight HBase.

экспорт и импорт;

Экспорт и импорт позволяет лучше управлять процессом резервного копирования, а также создавать резервные копии конкретных таблиц вместо резервного копирования всей папки. В этом процессе для экспорта выбранных таблиц в локальное хранилище, подключенное к кластеру, используется служебная программа "Экспорт" кластера HBase. После экспорта таблицы можно импортировать из целевого кластера. Дополнительные сведения об экспорте и импорте см. в документации по экспорту и импорту HDInsight HBase.

Копирование таблиц

Копирование таблиц является эффективным механизмом копирования и обеспечивает точный контроль над полным или частичным копированием таблицы. Он использует пути чтения и записи HBase для построчного копирования строк таблицы (целиком или частично) из источника в место назначения. Исходный и конечный кластеры могут быть одними и теми же или разными кластерами. Дополнительные сведения о работе с функцией копирования таблиц см. в документации по копированию таблиц в HDInsight HBase.

Моментальные снимки

Моментальные снимки позволяют создавать резервные копии на момент времени с учетом требований к откату таблицы. Моментальный снимок не является копией фактических данных таблицы, а представляет собой метаданные, которые могут помочь администраторам вернуть таблицы к предыдущему состоянию. Моментальные снимки выполняются на уровне HDFS, и для их создания не используются главный и региональные серверы, чтобы оптимизировать ресурсы кластера. Дополнительные сведения о работе с моментальными снимками см. в документации по моментальным снимкам HDInsight HBase.

Репликация

Функцию репликации HBase можно использовать для обеспечения высокой доступности и непрерывности бизнес-процессов во время аварии. Данные копируются между кластерами в асинхронном режиме, и репликация может выполняться как в регионах, так и между регионами Azure, обеспечивая глобальные модели HADR. Дополнительные сведения о работе с репликацией HBase см. в документации по репликации HDInsight HBase.