MAX_FILE_PARTITION_BYTES
Aplica-se a: SQL do Databricks
O parâmetro de configuração MAX_FILE_PARTITION_BYTES
controla o tamanho máximo de partições ao ler de uma fonte de dados de arquivo.
Isso afeta o grau de paralelismo para o processamento da fonte de dados.
Configurações
A configuração pode ser qualquer número integral positivo e, opcionalmente, incluir uma medida como b
(bytes), k
ou kb
(1024 bytes).
Você pode definir esse parâmetro no nível da sessão usando a instrução SET.
Padrão do sistema
O padrão do sistema é 128m
(128 mebibytes).
Exemplos
> SET max_file_partition_bytes = 64mb;