Поделиться через

Azure Synapse Link для канала изменений SQL

  • Статья

Область применения: SQL Server 2022 (16.x) База данных SQL Azure Azure Synapse Analytics

В этой статье содержатся сведения о том, как работает канал изменений Azure Synapse для SQL, новый компонент SQL Server 2022 (16.x) и База данных SQL Azure.

В SQL Server 2022 (16.x) появилась новая функция, обеспечивающая возможность подключения между таблицами SQL Server и платформой Microsoft Azure Synapse, под названием Azure Synapse Link для SQL. Azure Synapse Link для SQL предоставляет автоматические каналы изменений, которые захватывают изменения в SQL Server и загружают их в Azure Synapse Analytics.

Эта функция в настоящее время недоступна для Управляемый экземпляр SQL Azure.

Примечание.

Включение Azure Synapse Link для SQL создаст changefeed пользователя базы данных, changefeed схему и несколько таблиц в схеме в исходной changefeed базе данных. Не изменяйте ни один из этих объектов. Они управляются системой.

Целевая зона

Дополнительные сведения о целевой зоне Azure Synapse Link для SQL Server см. в разделе Целевая зона Azure Synapse Link для SQL Server.

Хотя Azure Synapse Link для SQL Server включает ресурсы Azure, подготовленные пользователем, включая учетную запись хранения Azure Data Lake Storage (ADLS) 2-го поколения, Azure Synapse Link для База данных SQL Azure полностью управляется, включая подготовку целевой зоны, и использует аналогичные процессы обнаружения изменений, как описано в этой статье. Дополнительные сведения см. в статье Azure Synapse Link для База данных SQL Azure.

Для SQL Server целевая зона служба хранилища Azure расположение является управляемым клиентом и видимым, но не рекомендуется использовать или изменять файлы в целевой зоне.

Функция канала изменений

Администратор SQL Server может включить Azure Synapse Link в пустой таблице или в таблице, которая уже содержит данные. Исходная таблица должна иметь первичный ключ.

Если таблица уже содержит данные, Azure Synapse Link заполнит целевую зону исходным полным моментальным снимком исходной таблицы. Когда в Azure Synapse Link добавляется существующая таблица SQL Server, уже содержащая данные, то создается полный моментальный снимок исходного набора данных. Файл исходного моментального снимка — это файл формата PARQUET, который передается в целевую зону в ADLS 2-го поколения.

Azure Synapse Link поддерживает низкую задержку при отправке изменений исходных таблиц в целевую зону в служба хранилища Azure. Канал изменений использует CSV-файл для публикации этих изменений в Azure Synapse. Этот табличный формат естественным образом согласуется с записью изменений данных на уровне строк с высокой частотой (порядка секунд). Большинство CSV-файлов должны быть относительно небольшими.

Захват изменений

Захват изменений для Azure Synapse Link аналогичен существующей технологии отслеживания измененных данных (CDC). Источником данных изменений является журнал транзакций SQL Server. Канал изменений считывает журнал и добавляет сведения об изменениях в целевую зону.

CDC работает путем сбора журнала транзакций для записи всех изменений, выполненных в одной или нескольких исходных таблицах.

  • В CDC данные изменений заполняются внутренним образом в одноуровневую таблицу в базе данных.
  • В Azure Synapse Link данные считываются непосредственно из журнала транзакций базы данных, кэшируются в памяти и в конечном итоге записываются в целевую зону в служба хранилища Azure.

Сбой хранилища может привести к недоступности целевой зоны, что заблокирует публикации в этой целевой зоне. Аналогично этому поведению, если агент чтения журнала CDC SQL Server завершается сбоем или не запущен, журнал транзакций базы данных-источника не может быть усечен. В случае длительного сбоя хранилища или изменения конфигурации хранилища, которое приводит к его недоступности, остановите Azure Synapse Link через Synapse Studio.

Поддержка высокой доступности

Azure Synapse Link для SQL Server совместим с группами доступности Always On и экземплярами отказоустойчивого кластера (FCI).

Если начальный моментальный снимок был выполнен и прерван по какой-либо причине, начальный процесс экспорта моментальных снимков перезапускается. Это происходит, если SQL Server выполняет отработку отказа в FCI или синхронной группе доступности.

Зеркальные базы данных Fabric

Функция зеркального отображения базы данных Fabric использует аналогичную технологию канала изменений, как Azure Synapse Link, и предоставляет общий доступ к некоторым системным объектам. Дополнительные сведения см. в разделе:

Связанный контент