Поделиться через

MAX_FILE_PARTITION_BYTES

  • Статья

Область применения:флажок Databricks SQL

Параметр конфигурации MAX_FILE_PARTITION_BYTES управляет максимальным размером секций при чтении из файлового источника данных. Это влияет на степень параллелизма при обработке источника данных.

Настройки

Этот параметр может содержать любое целое положительное числом и необязательное указание единиц измерения например b (байты), k или kb (1024 байта).

Этот параметр можно задать на уровне сеанса с помощью инструкции SET.

По умолчанию

По умолчанию система использует значение 128m (128 мебибайт).

Примеры

> SET max_file_partition_bytes = 64mb;