Поделиться через

Свойства приема данных в Azure Synapse Data Explorer (предварительная версия)

  • Статья

Приемом данных называется процесс, при котором данные добавляются в таблицу и становятся доступными для запросов в Data Explorer. После ключевого слова with можно добавить свойства в команду приема.

Свойства приема

В следующей таблице перечислены свойства, поддерживаемые Data Explorer, а также их описания и примеры.

Свойство Описание Пример
ingestionMapping Строковое значение, которое описывает сопоставление данных из исходного файла с фактическими столбцами в таблице. Определяет значение format с использованием соответствующего типа сопоставления. Дополнительные сведения см. в разделе о сопоставлении данных. with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]")
(Не рекомендуется: avroMapping, csvMapping, jsonMapping.)
ingestionMappingReference Строковое значение, которое описывает сопоставление данных из исходного файла с фактическими столбцами в таблице через именованный объект политики сопоставления. Определяет значение format с использованием соответствующего типа сопоставления. Дополнительные сведения см. в разделе о сопоставлении данных. with (format="csv", ingestionMappingReference = "Mapping1")
(Не рекомендуется: avroMappingReference, csvMappingReference, jsonMappingReference.)
creationTime Значение даты и времени (в формате строки ISO8601), которое будет указано как время создания принятых экстентов данных. Если этот параметр не указан, используется текущее значение (now()). Переопределение значения по умолчанию полезно при приеме старых данных, чтобы правильно применить к ним политику хранения. Если указано, убедитесь, что свойство Lookback в действующей политике объединения экстентов целевой таблицы соответствует указанному значению. with (creationTime="2017-02-13")
extend_schema Логическое значение, которое (при наличии) указывает команде расширить схему таблицы (по умолчанию имеет значение false). Этот параметр применяется только в командах .append и .set-or-append. Только допустимые расширения схемы содержат дополнительные столбцы, добавляемые в конец таблицы. Если исходной для таблицы является схема (a:string, b:int), расширение схемы (a:string, b:int, c:datetime, d:string) будет допустимым, а (a:string, c:datetime) — нет.
folder Для команд ingest-from-query указывает папку, которая будет сопоставлена с таблицей. Если таблица уже существует, это свойство перезапишет папку таблицы. with (folder="Tables/Temporary")
format Формат данных (см. поддерживаемые форматы данных). with (format="csv")
ingestIfNotExists Строковое значение, которое (при наличии) запрещает считать прием успешным, если в таблице уже есть данные с тегом ingest-by: и идентичным значением. Это гарантирует идемпотентность приема данных. Дополнительные сведения см. в разделе о тегах ingest-by:. Свойства with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') указывают, что, если данные с тегом ingest-by:Part0001 уже существуют, завершать текущий прием не следует. Если данные еще не существуют, для нового приема нужно установить этот тег (на случай, если при следующем приеме будет попытка принять те же данные).
ignoreFirstRecord Логическое значение. Вариант true означает, что при приеме следует игнорировать первую запись каждого файла. Это свойство удобно при работе с файлами в формате CSV (и аналогичных), где первая запись в файле содержит имена столбцов. По умолчанию предполагается значение false. with (ignoreFirstRecord=false)
persistDetails Логическое значение, которое (при наличии) указывает, что команда должна сохранять подробные результаты (даже при успешном выполнении), чтобы команда .show operation details могла их получить. По умолчанию — false. with (persistDetails=true)
policy_ingestiontime Логическое значение, которое (при наличии) указывает, следует ли включить политику времени приема для таблицы, созданной этой командой. Значение по умолчанию — true. with (policy_ingestiontime=false)
recreate_schema Логическое значение, которое (при наличии) разрешает команде воссоздать схему таблицы. Это свойство применимо только к команде .set-or-replace. Это свойство имеет приоритет над свойством extend_schema, если заданы оба свойства. with (recreate_schema=true)
tags Список тегов, которые нужно связать с полученными данными, в формате строки JSON. with (tags="['Tag1', 'Tag2']")
validationPolicy Строка JSON, которая указывает, какие проверки будут выполняться во время приема. Описание разных вариантов см. в разделе Прием данных. with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (эта политика используется по умолчанию)
zipPattern Это свойство используется при приеме данных из хранилища, содержащего ZIP-архив. Это строковое значение содержит регулярное выражение для выбора принимаемых файлов из ZIP-архива. Все остальные файлы в архиве будут игнорироваться. with (zipPattern="*.csv")

Дальнейшие действия