Синхронизация источника данных Excel с Dataverse с помощью потока данных
Один из распространенных сценариев, которые возникают при интеграции данных в Dataverse, — это синхронизация данных с источником. С помощью стандартного потока данных можно загрузить данные в Dataverse. В этой статье объясняется, как синхронизировать данные с исходной системой.
Важность ключевого столбца
Если вы используете реляционную систему базы данных в качестве источника, обычно в таблицах есть ключевые столбцы, а данные должны быть загружены в Dataverse. Однако данные из файлов Excel не всегда являются чистыми. У вас часто есть файл Excel с листами данных без каких-либо ключевых столбцов. В рекомендациях по сопоставлению полей для стандартных потоков данных можно увидеть, что если в источнике есть ключевой столбец, его можно легко использовать в качестве альтернативного ключа в сопоставлении полей потока данных.
Наличие ключевого столбца важно для таблицы в Dataverse. Ключевой столбец — это идентификатор строки; этот столбец содержит уникальные значения в каждой строке. Наличие ключевого столбца помогает избежать повторяющихся строк, а также помогает синхронизировать данные с исходной системой. Если строка удаляется из исходной системы, наличие ключевого столбца полезно найти его и удалить из Dataverse.
Создание ключевого столбца
Если в источнике данных нет ключевого столбца (Excel, текстовый файл или другие источники), можно создать его с помощью следующего метода:
Очистка данных.
Первым шагом для создания ключевого столбца является удаление всех ненужных строк, очистка данных, удаление пустых строк и удаление любых возможных дубликатов.
Добавьте столбец индекса.
После очистки данных следующим шагом является назначение ключевого столбца. Для этого можно использовать столбец "Добавить индекс" на вкладке "Добавить столбец".
При добавлении столбца индекса есть некоторые параметры для его настройки, например настройки начального номера или числа значений, которые будут переходить каждый раз. Начальное значение по умолчанию равно нулю и увеличивается по одному значению каждый раз.
Использование ключевого столбца в качестве альтернативного ключа
Теперь, когда у вас есть ключевые столбцы, можно назначить сопоставление полей потока данных альтернативному ключу.
Этот параметр прост, необходимо просто задать альтернативный ключ. Однако если у вас несколько файлов или таблиц, он имеет еще один шаг, который следует рассмотреть.
Если у вас несколько файлов
Если у вас есть только один файл Excel (или лист или таблица), шаги, описанные в предыдущей процедуре, достаточно, чтобы задать альтернативный ключ. Однако если у вас несколько файлов (или листов или таблиц) с одной структурой (но с разными данными), необходимо добавить их вместе.
Если вы получаете данные из нескольких файлов Excel, параметр "Объединить файлы " Power Query автоматически добавит все данные вместе, и выходные данные будут выглядеть следующим образом.
Как показано на предыдущем рисунке, кроме результата добавления, Power Query также добавляет в столбец Source.Name, содержащий имя файла. Значение индекса в каждом файле может быть уникальным, но оно не уникально для нескольких файлов. Однако сочетание столбца Index и столбца Source.Name является уникальным сочетанием. Выберите составной альтернативный ключ для этого сценария.
Удаление строк, которые больше не существуют в выходных данных запроса
Последним шагом является выбор строк удаления, которые больше не существуют в выходных данных запроса. Этот параметр сравнивает данные в таблице Dataverse с данными, поступающими из источника на основе альтернативного ключа (который может быть составным ключом), и удаляет строки, которые больше не существуют. В результате данные в Dataverse всегда синхронизируются с источником данных.
