Режимы канала изменений в Azure Cosmos DB

ОБЛАСТЬ ПРИМЕНЕНИЯ: NoSQL

Azure Cosmos DB предлагает два режима канала изменений. Каждый режим предлагает одинаковые основные функциональные возможности. Различия включают операции, которые записываются в веб-канале, метаданные, доступные для каждого изменения, и период хранения изменений. Канал изменений можно использовать в разных режимах в нескольких приложениях для одного контейнера Azure Cosmos DB, чтобы соответствовать требованиям каждой рабочей нагрузки. Каждое приложение канала изменений может быть настроено только для чтения канала изменений в одном режиме. Использование канала изменений в одном режиме не запрещает использовать веб-канал изменений в другом режиме в другом приложении.

Примечание.

У вас есть какие-либо отзывы о режимах канала изменений? Нам очень интересно ваше мнение! Вы можете поделиться отзывами напрямую с командой инженеров Azure Cosmos DB. cosmoschangefeed@microsoft.com

Режим канала изменений последней версии

Последняя версия — это постоянная запись изменений, внесенных в элементы из создания и обновления. Вы получаете последнюю версию каждого элемента в контейнере. Например, если элемент создается, а затем обновляется перед чтением канала изменений, в канале изменений отображается только обновленная версия. Удаления не записываются в виде изменений и при удалении элемента больше не будут доступны в веб-канале. Режим канала изменений последней версии включен по умолчанию и совместим со всеми учетными записями Azure Cosmos DB, кроме API для таблицы и API для PostgreSQL. Этот режим ранее был способом использования канала изменений по умолчанию.

Все версии и удаление режима канала изменений (предварительная версия)

Все версии и режим удаления (предварительная версия) — это постоянная запись всех изменений элементов из операций создания, обновления и удаления. Вы получаете запись о каждом изменении элементов в том порядке, в том числе промежуточные изменения элемента между считываемым каналом изменений. Например, если элемент создается, а затем обновляется перед чтением канала изменений, в канале изменений отображаются версии создания и обновления элемента. Чтобы прочитать из канала изменений во всех версиях и режиме удаления, необходимо иметь непрерывные резервные копии , настроенные для учетной записи Azure Cosmos DB. Включение непрерывных резервных копий создает все версии и удаляет канал изменений. При использовании этого режима канала изменений можно считывать только изменения, произошедшие в течение периода непрерывного резервного копирования. Этот режим совместим только с учетными записями Azure Cosmos DB для NoSQL. Узнайте больше о том, как зарегистрироваться для предварительной версии.

Варианты использования канала изменений

Последний режим версии

В режиме последней версии можно легко обрабатывать как в режиме реального времени, так и исторические изменения элементов в контейнере с возможностью вернуться к изменениям с самого начала контейнера.

Ниже приведены сценарии, которые хорошо подходят для этого режима:

• Миграция всего контейнера в дополнительное расположение.

• Возможность повторной обработки изменений с самого начала контейнера.

• Обработка изменений в контейнере в режиме реального времени в результате операций создания и обновления.

• Рабочие нагрузки, которые не должны записывать удаления или промежуточные изменения между чтением.

Все версии и режим удаления (предварительная версия)

Все версии и удаление режима канала изменений позволяют создавать новые сценарии для канала изменений и упрощать другие. Вы можете считывать каждое изменение, которое произошло с элементами (даже в случаях, когда несколько изменений произошло между чтением канала изменений), определить тип операции обработки изменений и получить изменения, которые приводят к удалению.

Ниже приведены некоторые распространенные сценарии, в которых этот режим включает и улучшает следующие возможности.

• Передача данных между двумя расположениями в режиме реального времени без реализации обратимого удаления.

• Активация логики на основе добавочных изменений, если ожидается несколько операций изменения для заданного элемента между опросами канала изменений.

• Активация оповещений об операциях удаления, например в сценариях аудита.

• Возможность обработки элементов создает, обновляет и удаляет по-разному в зависимости от типа операции.

Функции каждого режима

Помимо общих функций во всех режимах канала изменений каждый режим канала изменений имеет следующие характеристики:

Последний режим версии

• Веб-канал изменений включает операции вставки и обновления, которые вносятся в элементы в контейнере.

• Этот режим канала изменений не регистрирует удаления. Вы можете записать удаления, задав флаг обратимого удаления в элементах вместо их непосредственного удаления. Например, можно добавить атрибут в элемент, который вызывается deleted со значением true, а затем задать время жизни (TTL) элемента. Веб-канал изменений фиксирует его как обновление, и элемент автоматически удаляется при истечении срока действия TTL. Кроме того, можно задать конечный срок действия элементов с помощью функции TTL. Эта возможность позволяет обрабатывать изменения быстрее, чем с использованием срока жизни.

• В канал изменений входит только последнее изменение определенного элемента. Промежуточные изменения могут быть недоступны.

• Когда элемент удаляется, он больше недоступен в канале изменений.

• Изменения могут быть синхронизированы в любой момент времени, и не существует фиксированного периода хранения данных, для которого доступны изменения.

• Возможность фильтрации канала изменений для просмотра только операций определенного типа не предусмотрена. Одним из возможных вариантов является добавление "обратимого маркера" на элемент для обновлений и фильтрации на основе маркера при обработке элементов в веб-канале изменений.

• Начальная точка чтения канала изменений может быть начиная с начала контейнера, с точки времени, с момента "сейчас" или с определенной контрольной точки. Точность времени начала составляет примерно пять секунд.

Все версии и режим удаления (предварительная версия)

• Веб-канал изменений включает операции вставки, обновления и удаления, выполненные для элементов в контейнере. Удаление из срока действия TTL также фиксируется.

• Метаданные предоставляются для определения типа изменения, включая наличие удаления из-за истечения срока действия TTL.

• Элементы в канале изменений упорядочены по времени их изменения. Удаление из срока действия TTL не гарантируется, что он отображается в веб-канале сразу после истечения срока действия элемента. Они появляются при очистке элемента из контейнера.

• Все изменения, произошедшие в окне хранения для непрерывного резервного копирования в учетной записи, можно считывать. Попытка считывать изменения, произошедшие за пределами периода хранения, приводит к ошибке. Например, если контейнер был создан восемь дней назад, а период хранения непрерывного периода резервного копирования — семь дней, вы можете прочитать только изменения за последние семь дней.

• Отправная точка канала изменений может быть от "сейчас" или из определенной контрольной точки в течение срока хранения. Вы не можете считывать изменения с начала контейнера или с определенной точки во времени с помощью этого режима.

Работа с каналом изменений

Каждый режим совместим с различными методами для чтения канала изменений для каждого языка.

Последний режим версии

Вы можете использовать следующие способы использования изменений из канала изменений в последнем режиме версии:

Метод чтения канала изменений	.NET	Java	Python	Node.js
Модель извлечения данных канала изменений	Да	Да	Да	Да
Обработчик канала изменений	Да	Да	No	No
триггер Функции Azure	Да	Да	Да	Да

Анализ объекта ответа

В последнем режиме версии объект ответа по умолчанию представляет собой массив измененных элементов. Каждый элемент содержит стандартные метаданные для любого элемента Azure Cosmos DB, включая _etag и _tsс добавлением нового свойства _lsn.

Формат _etag является внутренним и не должен зависеть от него, так как он может изменяться в любое время. _ts — это изменение или метка времени создания. Для хронологического сравнения можно использовать _ts . _lsn — это пакетный идентификатор, добавляемый только для канала изменений, представляющий идентификатор транзакции. Многие элементы могут иметь одинаковые _lsn.

ETag On FeedResponse отличается от того, что _etag отображается на элементе. _etag — это внутренний идентификатор, который используется для управления параллелизмом. Свойство _etag представляет версию элемента, а ETag свойство используется для последовательности веб-канала.

Все версии и режим удаления (предварительная версия)

Во время предварительной версии для чтения веб-канала изменений доступны следующие методы для каждого клиентского пакета SDK:

Метод чтения канала изменений	.NET	Java	Python	Node.js
Модель извлечения данных канала изменений	>= 3.32.0-preview	>= 4.42.0	No	>= 4.1.0
Обработчик канала изменений	>= 3.40.0-preview.0.0	>= 4.42.0	No	No
триггер Функции Azure	No	No	No	Нет

Примечание.

Независимо от режима подключения, настроенного в приложении, все запросы, сделанные со всеми версиями и удалением канала изменений, будут использовать режим шлюза.

Начало работы

Чтобы приступить к работе со всеми версиями и удалением режима канала изменений, зарегистрируйтесь на странице предварительной версии компонентов на странице обзора подписки Azure. Найдите функцию AllVersionsAndDeletesChangeFeed и выберите "Зарегистрировать".

Перед отправкой запроса убедитесь, что в подписке есть по крайней мере одна учетная запись Azure Cosmos DB. Эта учетная запись может быть существующей учетной записью или новой учетной записью, созданной для пробной версии функции предварительной версии. Если у вас нет учетных записей в подписке при получении запроса, запрос отклоняется, так как к этой функции нет учетных записей.

Команда Azure Cosmos DB проверяет запрос и контактирует с вами по электронной почте, чтобы подтвердить, какие учетные записи Azure Cosmos DB в подписке, которую вы хотите зарегистрировать в предварительной версии. Чтобы использовать предварительную версию, необходимо иметь непрерывные резервные копии , настроенные для учетной записи Azure Cosmos DB. Непрерывные резервные копии можно включить либо до, либо после того, как они были допущены к предварительной версии, но перед попыткой чтения из канала изменений во всех версиях и режиме удаления необходимо включить непрерывные резервные копии.

Анализ объекта ответа

Объект ответа — это массив элементов, представляющих каждое изменение. Различные свойства будут заполнены в зависимости от типа изменения. В настоящее время нет способа получить предыдущую версию элементов для операций замены или удаления.

• Создание операций

  {
    "current": {
      <The current version of the item that changed. All the properties of your item will appear here.>
    },
    "metadata": {
      "operationType": "create",
      "lsn": <A number that represents the batch ID. Many items can have the same lsn.>,
      "crts": <A number that represents the Conflict Resolved Timestamp. It has the same format as _ts.>
    }
  }
  

• Операции замены

  {
    "current": {
      <The current version of the item that changed. All the properties of your item will appear here.>
    },
    "metadata": {
      "operationType": "replace",
      "lsn": <A number that represents the batch ID. Many items can have the same lsn.>,
      "crts": <A number that represents the Conflict Resolved Timestamp. It has the same format as _ts.>,
      "previousImageLSN" : <A number that represents the batch ID of the change prior to this one.>,
    }
  }
  

• Операции удаления

  {
    "metadata": {
      "operationType": "delete",
      "lsn": <A number that represents the batch ID. Many items can have the same lsn.>,
      "crts": <A number that represents the Conflict Resolved Timestamp. It has the same format as _ts.>,
      "previousImageLSN" : <A number that represents the batch ID of the change prior to this one.>,
      "id": "<Id of the deleted item.>",
      "partitionKey": {
        "<Partition key property name>": "<Partition key property value>"
      }
    }
  }
  

Ограничения

• Поддерживается для учетных записей NoSQL Для Azure Cosmos DB. Другие типы учетных записей Azure Cosmos DB не поддерживаются.

• Для использования этого режима канала изменений требуются непрерывные резервные копии. Ограничения использования непрерывного резервного копирования можно найти в документации.

• Чтение изменений в контейнере, который существовал до включения непрерывных резервных копий в учетной записи, не поддерживается.

• Возможность начать чтение канала изменений с самого начала или выбрать время начала на основе предыдущей метки времени в настоящее время не поддерживается. Вы можете начать с "сейчас" или с предыдущего маркера аренды или продолжения.

• Получение предыдущей версии элементов, которые были удалены или обновлены, в настоящее время недоступны.

• Учетные записи, которые включили объединение секций , не поддерживаются.

Следующие шаги

Дополнительные сведения об канале изменений см. в следующих статьях:

• Общие сведения о канале изменений
• Изменение шаблонов оформления веб-канала
• Reading Azure Cosmos DB change feed (Чтение канала изменений Azure Cosmos DB)