Что такое задание копирования (предварительная версия) в Фабрике данных для Microsoft Fabric
Фабрика данных в Fabric позволяет пользователям легко интегрировать данные из более чем 100 встроенных соединителей — как источников, так и назначений — с помощью визуального интуитивно понятного интерфейса. Действие Copy, работая в конвейерах данных, упрощает прием данных. Между тем поток данных 2-го поколения поддерживает преобразования данных, а конвейеры оркеструют поток интеграции.
Преимущества задания копирования
Хотя действие Copy в конвейерах данных обрабатывает прием данных с помощью массовых и пакетных операций, создание конвейеров данных в фабрике данных по-прежнему является сложным для многих пользователей, которые являются новыми для поля, с более крутой кривой обучения. Таким образом, мы рады представить задание копирования, повышая уровень приема данных до более упрощенного и удобного процесса из любого источника в любое место назначения. Теперь копирование данных проще, чем когда-либо раньше. Кроме того, задание копирования поддерживает различные стили доставки данных, включая пакетную копию и добавочную копию, обеспечивая гибкость в соответствии с конкретными потребностями.
К некоторым преимуществам задания копирования относятся другие методы перемещения данных:
- Интуитивно понятный интерфейс: простое копирование данных без компрометации, что делает его проще, чем когда-либо.
- Эффективность. Включение добавочного копирования без усилий, сокращение вмешательства вручную. Эта эффективность преобразуется в меньшее использование ресурсов и более быстрые сроки копирования.
- Гибкость. Несмотря на простоту, вы также можете управлять перемещением данных. Выберите, какие таблицы и столбцы следует копировать, сопоставлять данные, определять поведение чтения и записи, а также задавать расписания, которые соответствуют вашим потребностям, будь то однократная задача или повторяющаяся операция.
- Надежная производительность: бессерверная настройка, обеспечивая передачу данных с крупномасштабным параллелизмом, максимизируя пропускную способность перемещения данных для вашей системы.
Поддерживаемые соединители
В настоящее время можно использовать задание копирования для передачи или копирования данных из локального хранилища данных через шлюз. Задание копирования поддерживает следующие хранилища данных как источник, так и назначение:
- Базой данных SQL Azure
- Локальный SQL Server
- Хранилище Fabric
- Fabric Lakehouse
- Amazon S3
- Azure Data Lake Storage 2-го поколения
- хранилище BLOB-объектов Azure
- Amazon RDS для SQL Server
Команда разработчиков изучает дополнительную поддержку соединителей, поэтому следите за обновлениями.
Поведение копирования
Вы можете выбрать один из следующих стилей доставки данных.
- Полный режим копирования: каждое задание копирования копирует все данные из источника в место назначения одновременно.
- Режим добавочного копирования: начальное задание копирует все данные, а последующее задание копирует только изменения с момента последнего запуска. Измененные данные добавляются в целевое хранилище.
Вы также можете выбрать способ записи данных в целевое хранилище.
По умолчанию задание копирования добавляет данные в место назначения, чтобы не пропустить журнал изменений. Но вы также можете настроить поведение записи для upsert или overwrite.
- При копировании данных в хранилище: новые строки из таблиц или файлов копируются в новые файлы в месте назначения. Если файл с тем же именем уже существует в целевом хранилище, он будет перезаписан.
- При копировании данных в базу данных: новые строки из таблиц или файлов добавляются в целевые таблицы. Поведение записи можно изменить на upsert (в базе данных SQL или SQL Server) или перезаписать (в таблицах Fabric Lakehouse).
Добавочный столбец
В режиме добавочного копирования необходимо выбрать добавочный столбец для каждой таблицы, чтобы определить изменения. Задание копирования использует этот столбец в качестве подложки, сравнивая его значение с тем же значением из последнего запуска, чтобы скопировать только новые или обновленные данные. Добавочный столбец должен быть меткой времени или увеличением INT.
Доступность по регионам
Задание копирования имеет ту же региональную доступность, что и конвейер.
Цены
Задание копирования использует тот же счетчик выставления счетов: перемещение данных с одинаковой скоростью потребления.