Поделиться через

Включение очистки для данных в кластере Azure Data Explorer

  • Статья

Примечание.

В этой статье приведены пошаговые инструкции по удалению персональных данных с устройства или из службы. Эти сведения можно использовать для соблюдения обязательств согласно Общему регламенту по защите данных (GDPR). Общие сведения о GDPR см. в разделе GDPR Центра управления безопасностью Майкрософт и в разделе GDPR на портале Service Trust Portal.

Azure Data Explorer поддерживает возможность удаления отдельных записей. Удаление данных с помощью команды .purge отвечает за защиту личных данных и не должно выполняться в других сценариях. Такое удаление не предназначено для частого выполнения запросов на удаление или удаления больших объемов данных и может существенно повлиять на производительность службы.

При выполнении команды .purge запускается процесс, на выполнение которого может потребоваться несколько дней. Если "плотность" записей, к которым применяется predicate, слишком велика, процесс повторно примет все данные в таблице. Этот процесс оказывает значительное влияние на производительность и себестоимость проданных товаров. Дополнительные сведения см. в статье Очистка в Azure Data Explorer.

Способы вызова операций очистки

Azure Data Explorer поддерживает как удаление отдельных записей, так и очистку всей таблицы. Команду .purge можно вызвать двумя способами для различных сценариев использования:

  • Программный вызов — один шаг, который должен вызываться приложениями. При вызове этой команды напрямую запускается последовательность выполнения очистки.

  • Вызов человеком — двухэтапный процесс, который требует явного подтверждения в качестве отдельного шага. При вызове команды возвращается токен проверки, который должен быть предоставлен для выполнения фактической очистки. Такая процедура снижает риск непреднамеренного удаления неверных данных. Выполнение этого процесса для крупных таблиц с большим объемом данных холодного кэша может потребовать много времени.

Необходимые компоненты

Включение очистки в кластере

Предупреждение

  • Для включения очистки требуется перезапуск службы, что может привести к сбросу запроса.
  • Перед включением очистки ознакомьтесь с ограничениями.

  1. На портале Azure перейдите к кластеру Azure Data Explorer.

  2. В разделе Параметры выберите пункт Конфигурации.

  3. В области Конфигурации выберите элемент Вкл., чтобы включить очистку.

  4. Выберите Сохранить.

    Очистка включена.

Отключение очистки в кластере

  1. На портале Azure перейдите к кластеру Azure Data Explorer.

  2. В разделе Параметры выберите пункт Конфигурации.

  3. В области Конфигурации выберите элемент Выкл., чтобы выключить очистку.

  4. Выберите Сохранить.

    Очистка выключена.

Ограничения

  • Процесс очистки является окончательным и необратимым. Этот процесс нельзя отменить, как и восстановить удаленные данные. Поэтому такие команды, как undo table drop, не могут помочь восстановить очищенные данные, а откат данных к предыдущей версии нельзя будет выполнить на момент, предшествующий последней очистке.
  • Команда .purge выполняется в конечной точке Управления данными: https://ingest-[Имя_вашего_кластера].[Регион].kusto.windows.net. Команда требует разрешений администратора баз данных для соответствующих баз данных.
  • Из-за снижения производительности в ходе очистки вызывающий объект должен изменить схему данных таким образом, чтобы минимальные таблицы включали в себя важные данные, а команды пакетной службы могли уменьшить влияние очистки на себестоимость проданных товаров.
  • Параметр predicate команды purge позволяет указать записи для очистки. Размер Predicate ограничен 63 КБ.

Связанный контент