Proprietà di configurazione di Apache Spark e Apache Hadoop (HDFS)
Si applica a: SQL Server 2019 (15.x)
Importante
Il componente aggiuntivo per i cluster Big Data di Microsoft SQL Server 2019 verrà ritirato. Il supporto per i cluster Big Data di SQL Server 2019 terminerà il 28 febbraio 2025. Tutti gli utenti esistenti di SQL Server 2019 con Software Assurance saranno completamente supportati nella piattaforma e fino a quel momento il software continuerà a ricevere aggiornamenti cumulativi di SQL Server. Per altre informazioni, vedere il post di blog relativo all'annuncio e Opzioni per i Big Data nella piattaforma Microsoft SQL Server.
I cluster Big Data supportano la configurazione dell'ora di distribuzione e di post-distribuzione dei componenti Apache Spark e Hadoop negli ambiti del servizio e della risorsa. I cluster Big Data usano gli stessi valori di configurazione predefiniti del rispettivo progetto open source per la maggior parte delle impostazioni. Le impostazioni che vengono modificate sono elencate sotto, insieme a una descrizione e al relativo valore predefinito. Diversamente dalla risorsa gateway, non esiste alcuna differenza tra le impostazioni configurabili nell'ambito del servizio e nell'ambito della risorsa.
È possibile trovare tutte le configurazioni possibili e le impostazioni predefinite nel sito della documentazione di Apache associato:
- Apache Spark: https://spark.apache.org/docs/latest/configuration.html
- Apache Hadoop:
- Hive: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-MetaStore
- Livy: https://github.com/cloudera/livy/blob/master/conf/livy.conf.template
- Apache Knox Gateway: https://knox.apache.org/books/knox-0-14-0/user-guide.html#Gateway+Details
Anche le impostazioni di cui Microsoft non supporta la configurazione sono elencate sotto.
Nota
Per includere Spark nel pool di archiviazione, impostare il valore booleano includeSpark
nel file di configurazione bdc.json
in spec.resources.storage-0.spec.settings.spark
. Vedere Configurare Apache Spark e Apache Hadoop nei cluster Big Data per istruzioni.
Impostazioni di Spark predefinite specifiche per cluster Big Data
Le impostazioni di Spark seguenti hanno valori predefiniti specifici del cluster Big Data, ma sono configurabili dall'utente. Le impostazioni gestite dal sistema non sono incluse.
Nome dell'impostazione | Descrizione | Tipo | Valore predefinito |
---|---|---|---|
capacity-scheduler.yarn.scheduler.capacity.maximum-applications | Numero massimo di applicazioni nel sistema che possono essere attive simultaneamente sia in esecuzione che in sospeso. | int | 10000 |
capacity-scheduler.yarn.scheduler.capacity.resource-calculator | Implementazione di ResourceCalculator da usare per confrontare le risorse nell'utilità di pianificazione. | string | org.apache.hadoop.yarn.util.resource.DominantResourceCalculator |
capacity-scheduler.yarn.scheduler.capacity.root.queues | Utilità di pianificazione della capacità con coda predefinita denominata radice. | string | impostazione predefinita |
capacity-scheduler.yarn.scheduler.capacity.root.default.capacity | Capacità della coda in percentuale (%) come capacità minima assoluta della coda di risorse per la coda radice. | int | 100 |
spark-defaults-conf.spark.driver.cores | Numero di core da usare per il processo del driver, solo in modalità cluster. | int | 1 |
spark-defaults-conf.spark.driver.memoryOverhead | Quantità di memoria esterna all'heap da allocare per ogni driver in modalità cluster. | int | 384 |
spark-defaults-conf.spark.executor.instances | Numero di executor per l'allocazione statica. | int | 1 |
spark-defaults-conf.spark.executor.cores | Numero di core da usare in ogni executor. | int | 1 |
spark-defaults-conf.spark.driver.memory | Quantità di memoria da usare per il processo del driver. | string | 1g |
spark-defaults-conf.spark.executor.memory | Quantità di memoria da usare per un processo executor. | string | 1g |
spark-defaults-conf.spark.executor.memoryOverhead | Quantità di memoria esterna all'heap da allocare per ogni executor. | int | 384 |
yarn-site.yarn.nodemanager.resource.memory-mb | Quantità di memoria fisica, in MB, che può essere allocata per i contenitori. | int | 8192 |
yarn-site.yarn.scheduler.maximum-allocation-mb | Allocazione massima per ogni richiesta del contenitore nella gestione risorse. | int | 8192 |
yarn-site.yarn.nodemanager.resource.cpu-vcores | Numero di core della CPU che è possibile allocare per i contenitori. | int | 32 |
yarn-site.yarn.scheduler.maximum-allocation-vcores | Allocazione massima per ogni richiesta del contenitore nella gestione risorse, in termini di core della CPU virtuale. | int | 8 |
yarn-site.yarn.nodemanager.linux-container-executor.secure-mode.pool-user-count | Numero di utenti del pool per l'executor del contenitore Linux in modalità protetta. | int | 6 |
yarn-site.yarn.scheduler.capacity.maximum-am-resource-percent | Percentuale massima di risorse nel cluster che può essere usata per eseguire i master di applicazioni. | float | 0.1 |
yarn-site.yarn.nodemanager.container-executor.class | Executor di contenitori per uno o più sistemi operativi specifici. | string | org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor |
capacity-scheduler.yarn.scheduler.capacity.root.default.user-limit-factor | Multiplo della capacità della coda che può essere configurata per consentire a un singolo utente di acquisire più risorse. | int | 1 |
capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-capacity | Capacità massima della coda in percentuale (%) come capacità massima della coda di risorse assoluta o float. L'impostazione di questo valore su -1 definisce la capacità massima al 100%. | int | 100 |
capacity-scheduler.yarn.scheduler.capacity.root.default.state | Lo stato della coda può essere In esecuzione o Arrestato. | string | RUNNING |
capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-application-lifetime | Durata massima di un'applicazione inviata a una coda in secondi. Per qualsiasi valore minore o uguale a zero verrà considerato disabilitata. | int | -1 |
capacity-scheduler.yarn.scheduler.capacity.root.default.default-application-lifetime | Durata predefinita di un'applicazione inviata a una coda in secondi. Per qualsiasi valore minore o uguale a zero verrà considerato disabilitata. | int | -1 |
capacity-scheduler.yarn.scheduler.capacity.node-locality-delay | Numero di opportunità di pianificazione perse dopo le quali CapacityScheduler tenta di pianificare contenitori locali su rack. | int | 40 |
capacity-scheduler.yarn.scheduler.capacity.rack-locality-additional-delay | Numero di opportunità di pianificazione aggiuntive perse rispetto a quelle node-locality-delay, dopo le quali CapacityScheduler tenta di pianificare i contenitori disattivati. | int | -1 |
hadoop-env.HADOOP_HEAPSIZE_MAX | Dimensioni massime predefinite dell'heap di tutti i processi Hadoop JVM. | int | 2048 |
yarn-env.YARN_RESOURCEMANAGER_HEAPSIZE | Dimensioni dell'heap di Yarn ResourceManager. | int | 2048 |
yarn-env.YARN_NODEMANAGER_HEAPSIZE | Dimensioni dell'heap di Yarn NodeManager. | int | 2048 |
mapred-env.HADOOP_JOB_HISTORYSERVER_HEAPSIZE | Dimensioni dell'heap di Hadoop Job HistoryServer. | int | 2048 |
hive-env.HADOOP_HEAPSIZE | Dimensioni dell'heap di Hadoop per Hive. | int | 2048 |
livy-conf.livy.server.session.timeout-check | Controllare il timeout della sessione del server Livy. | bool | true |
livy-conf.livy.server.session.timeout-check.skip-busy | Ignora occupato per il controllo del timeout della sessione del server Livy. | bool | true |
livy-conf.livy.server.session.timeout | Timeout per la sessione del server Livy in (ms/s/m | min/h/g/a). | string | 2h |
livy-conf.livy.server.yarn.poll-interval | Intervallo di polling per Yarn nel server Livy in (ms/s/m | min/h/g/a). | string | 500ms |
livy-conf.livy.rsc.jars | JAR RSC per Livy. | string | local:/opt/livy/rsc-jars/livy-api.jar,local:/opt/livy/rsc-jars/livy-rsc.jar,local:/opt/livy/rsc-jars/netty-all.jar |
livy-conf.livy.repl.jars | JAR REPL per Livy. | string | local:/opt/livy/repl_2.11-jars/livy-core.jar,local:/opt/livy/repl_2.11-jars/livy-repl.jar,local:/opt/livy/repl_2.11-jars/commons-codec.jar |
livy-conf.livy.rsc.sparkr.package | Pacchetto SparkR RSC per Livy. | string | hdfs:///system/livy/sparkr.zip |
livy-env.LIVY_SERVER_JAVA_OPTS | Opzioni Java del server Livy. | string | -Xmx2g |
spark-defaults-conf.spark.r.backendConnectionTimeout | Timeout della connessione impostato dal processo R sulla connessione a RBackend in secondi. | int | 86400 |
spark-defaults-conf.spark.pyspark.python | Opzione Python per Spark. | string | /opt/bin/python3 |
spark-defaults-conf.spark.yarn.jars | JAR di Yarn. | string | local:/opt/spark/jars/* |
spark-history-server-conf.spark.history.fs.cleaner.maxAge | Durata massima dei file della cronologia processi prima che vengano eliminati dalla pulizia della cronologia del file system in (ms/s/m | min/h/g/a). | string | 7 g |
spark-history-server-conf.spark.history.fs.cleaner.interval | Intervallo di pulizia per la cronologia di Spark in (ms/s/m | min/h/g/a). | string | 12 h |
hadoop-env.HADOOP_CLASSPATH | Imposta il valore di classpath aggiuntivo per Hadoop. | string | |
spark-env.SPARK_DAEMON_MEMORY | Memoria del daemon Spark. | string | 2g |
yarn-site.yarn.log-aggregation.retain-seconds | Quando l'aggregazione dei log è abilitata, questa proprietà determina il numero di secondi di conservazione dei log. | int | 604800 |
yarn-site.yarn.nodemanager.log-aggregation.compression-type | Tipo di compressione per l'aggregazione dei log per Yarn NodeManager. | string | gz |
yarn-site.yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds | Intervallo di secondi per il monitoraggio della rotazione nell'aggregazione dei log di NodeManager. | int | 3600 |
yarn-site.yarn.scheduler.minimum-allocation-mb | Allocazione minima per ogni richiesta del contenitore nella gestione risorse, in MB. | int | 512 |
yarn-site.yarn.scheduler.minimum-allocation-vcores | Allocazione minima per ogni richiesta del contenitore nella gestione risorse in termini di core della CPU virtuale. | int | 1 |
yarn-site.yarn.nm.liveness-monitor.expiry-interval-ms | Tempo di attesa fino a quando la gestione dei nodi viene considerato disattivata. | int | 180000 |
yarn-site.yarn.resourcemanager.zk-timeout-ms | Timeout della sessione "ZooKeeper" in millisecondi. | int | 40000 |
capacity-scheduler.yarn.scheduler.capacity.root.default.acl_application_max_priority | ACL di chi può inviare applicazioni con priorità configurata. Ad esempio, [user={nome} group={nome} max_priority={priorità} default_priority={priorità}]. | string | * |
includeSpark | Valore booleano per configurare la possibilità dei processi Spark di esecuzione nel pool di archiviazione. | bool | true |
enableSparkOnK8s | Valore booleano per configurare se abilitare o meno Spark in K8s, che consente di aggiungere i contenitori per K8s nell'intestazione di Spark. | bool | false |
sparkVersion | Versione di Spark | string | 2.4 |
spark-env.PYSPARK_ARCHIVES_PATH | Percorso dei file JAR dell'archivio pyspark usato nei processi Spark. | string | local:/opt/spark/python/lib/pyspark.zip,local:/opt/spark/python/lib/py4j-0.10.7-src.zip |
Nelle sezioni seguenti sono elencate le configurazioni non supportate.
Impostazioni di HDFS predefinite specifiche per cluster Big Data
Le impostazioni di HDFS seguenti hanno valori predefiniti specifici del cluster Big Data, ma sono configurabili dall'utente. Le impostazioni gestite dal sistema non sono incluse.
Nome dell'impostazione | Descrizione | Tipo | Valore predefinito |
---|---|---|---|
hdfs-site.dfs.replication | Replica del blocco predefinita. | int | 2 |
hdfs-site.dfs.namenode.provided.enabled | Consente al nodo del nome di gestire le risorse di archiviazione specificate. | bool | true |
hdfs.site.dfs.namenode.mount.acls.enabled | Impostare su true per ereditare gli ACL (elenchi di controllo di accesso) dagli archivi remoti durante il montaggio. | bool | false |
hdfs-site.dfs.datanode.provided.enabled | Consente al nodo dei dati di gestire le risorse di archiviazione specificate. | bool | true |
hdfs-site.dfs.datanode.provided.volume.lazy.load | Abilita il caricamento lazy nel nodo dei dati per le risorse di archiviazione specificate. | bool | true |
hdfs-site.dfs.provided.aliasmap.inmemory.enabled | Abilita la mappa degli alias in memoria per le risorse di archiviazione specificate. | bool | true |
hdfs-site.dfs.provided.aliasmap.class | Classe usata per specificare il formato di input dei blocchi nelle risorse di archiviazione specificate. | string | org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.InMemoryLevelDBAliasMapClient |
hdfs-site.dfs.namenode.provided.aliasmap.class | Classe usata per specificare il formato di input dei blocchi nelle risorse di archiviazione specificate per namenode. | string | org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.NamenodeInMemoryAliasMapClient |
hdfs-site.dfs.provided.aliasmap.load.retries | Numero di tentativi in datanode per caricare il valore di aliasmap specificato. | int | 0 |
hdfs-site.dfs.provided.aliasmap.inmemory.batch-size | Dimensioni del batch durante l'iterazione nel database che supporta aliasmap. | int | 500 |
hdfs-site.dfs.datanode.provided.volume.readthrough | Abilita readthrough per le risorse di archiviazione specificate in datanode. | bool | true |
hdfs-site.dfs.provided.cache.capacity.mount | Abilita il montaggio della capacità della cache per le risorse di archiviazione specificate. | bool | true |
hdfs-site.dfs.provided.overreplication.factor | Fattore di replica eccessiva per le risorse di archiviazione specificate. Numero di blocchi della cache nel cluster Big Data creati per blocco HDFS remoto. | float | 1 |
hdfs-site.dfs.provided.cache.capacity.fraction | Frazione di capacità della cache per l'archiviazione specificata. Frazione della capacità totale nel cluster che può essere usata per memorizzare i dati nella cache dagli archivi specificati. | float | 0.01 |
hdfs-site.dfs.provided.cache.capacity.bytes | Capacità del cluster da usare come spazio della cache per blocchi specificati, in byte. | int | -1 |
hdfs-site.dfs.ls.limit | Limita il numero di file stampati da ls. | int | 500 |
hdfs-env.HDFS_NAMENODE_OPTS | Opzioni di Namenode per HDFS. | string | -Dhadoop.security.logger=INFO,RFAS -Xmx2g |
hdfs-env.HDFS_DATANODE_OPTS | Opzioni di datanode per HDFS. | string | -Dhadoop.security.logger=ERROR,RFAS -Xmx2g |
hdfs-env.HDFS_ZKFC_OPTS | Opzioni di ZKFC per HDFS. | string | -Xmx1g |
hdfs-env.HDFS_JOURNALNODE_OPTS | Opzioni di JournalNode per HDFS. | string | -Xmx2g |
hdfs-env.HDFS_AUDIT_LOGGER | Opzioni del logger di controllo per HDFS. | string | INFO,RFAAUDIT |
core-site.hadoop.security.group.mapping.ldap.search.group.hierarchy.levels | Livelli di gerarchia per il gruppo di ricerca LDAP di Hadoop del sito principale. | int | 10 |
core-site.fs.permissions.umask-mode | Modalità umask di autorizzazione. | string | 077 |
core-site.hadoop.security.kms.client.failover.max.retries | Numero massimo di tentativi per il failover del client. | int | 20 |
zoo-cfg.tickTime | Tempo di tick per la configurazione di "ZooKeeper". | int | 2000 |
zoo-cfg.initLimit | Tempo di init per la configurazione di "ZooKeeper". | int | 10 |
zoo-cfg.syncLimit | Tempo di sincronizzazione per la configurazione di "ZooKeeper". | int | 5 |
zoo-cfg.maxClientCnxns | Numero massimo di connessioni del client per la configurazione di "ZooKeeper". | int | 60 |
zoo-cfg.minSessionTimeout | Timeout minimo di sessione per la configurazione di "ZooKeeper". | int | 4000 |
zoo-cfg.maxSessionTimeout | Timeout massimo di sessione per la configurazione di "ZooKeeper". | int | 40000 |
zoo-cfg.autopurge.snapRetainCount | Totale di mantenimento dell'Ancoraggio per la configurazione della rimozione automatica di "ZooKeeper". | int | 3 |
zoo-cfg.autopurge.purgeInterval | Intervallo di rimozione per la configurazione della rimozione automatica di "ZooKeeper". | int | 0 |
zookeeper-java-env.JVMFLAGS | Flag JVM per l'ambiente Java in "ZooKeeper". | string | -Xmx1G -Xms1G |
zookeeper-log4j-properties.zookeeper.console.threshold | Soglia per la console log4j in "ZooKeeper". | string | INFO |
zoo-cfg.zookeeper.request.timeout | Controlla il timeout della richiesta di "ZooKeeper" in millisecondi. | int | 40000 |
kms-site.hadoop.security.kms.encrypted.key.cache.size | Dimensioni della cache per la chiave crittografata in kms di Hadoop. | int | 500 |
Impostazioni del gateway predefinite specifiche per cluster Big Data
Le impostazioni del gateway seguenti hanno valori predefiniti specifici del cluster Big Data, ma sono configurabili dall'utente. Le impostazioni gestite dal sistema non sono incluse. Le impostazioni del gateway possono essere configurate solo nell'ambito della risorsa.
Nome dell'impostazione | Descrizione | Tipo | Valore predefinito |
---|---|---|---|
gateway-site.gateway.httpclient.socketTimeout | Timeout del socket per il client HTTP nel gateway in (ms/s/m). | string | 90 s |
gateway-site.sun.security.krb5.debug | Debug per la sicurezza di Kerberos. | bool | true |
knox-env.KNOX_GATEWAY_MEM_OPTS | Opzioni di memoria del gateway Knox. | string | -Xmx2g |
Configurazioni di Spark non supportate
Le configurazioni spark
seguenti non sono supportate e non possono essere modificate nel contesto del cluster Big Data.
Categoria | Sottocategoria | file | Configurazioni non supportate |
---|---|---|---|
yarn-site | yarn-site.xml | yarn.log-aggregation-enable | |
yarn.log.server.url | |||
yarn.nodemanager.pmem-check-enabled | |||
yarn.nodemanager.vmem-check-enabled | |||
yarn.nodemanager.aux-services | |||
yarn.resourcemanager.address | |||
yarn.nodemanager.address | |||
yarn.client.failover-no-ha-proxy-provider | |||
yarn.client.failover-proxy-provider | |||
yarn.http.policy | |||
yarn.nodemanager.linux-container-executor.secure-mode.use-pool-user | |||
yarn.nodemanager.linux-container-executor.secure-mode.pool-user-prefix | |||
yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user | |||
yarn.acl.enable | |||
yarn.admin.acl | |||
yarn.resourcemanager.hostname | |||
yarn.resourcemanager.principal | |||
yarn.resourcemanager.keytab | |||
yarn.resourcemanager.webapp.spnego-keytab-file | |||
yarn.resourcemanager.webapp.spnego-principal | |||
yarn.nodemanager.principal | |||
yarn.nodemanager.keytab | |||
yarn.nodemanager.webapp.spnego-keytab-file | |||
yarn.nodemanager.webapp.spnego-principal | |||
yarn.resourcemanager.ha.enabled | |||
yarn.resourcemanager.cluster-id | |||
yarn.resourcemanager.zk-address | |||
yarn.resourcemanager.ha.rm-ids | |||
yarn.resourcemanager.hostname.* | |||
capacity-scheduler | capacity-scheduler.xml | yarn.scheduler.capacity.root.acl_submit_applications | |
yarn.scheduler.capacity.root.acl_administer_queue | |||
yarn.scheduler.capacity.root.default.acl_application_max_priority | |||
yarn-env | yarn-env.sh | ||
spark-defaults-conf | spark-defaults.conf | spark.yarn.archive | |
spark.yarn.historyServer.address | |||
spark.eventLog.enabled | |||
spark.eventLog.dir | |||
spark.sql.warehouse.dir | |||
spark.sql.hive.metastore.version | |||
spark.sql.hive.metastore.jars | |||
spark.extraListeners | |||
spark.metrics.conf | |||
spark.ssl.enabled | |||
spark.authenticate | |||
spark.network.crypto.enabled | |||
spark.ssl.keyStore | |||
spark.ssl.keyStorePassword | |||
spark.ui.enabled | |||
spark-env | spark-env.sh | SPARK_NO_DAEMONIZE | |
SPARK_DIST_CLASSPATH | |||
spark-history-server-conf | spark-history-server.conf | spark.history.fs.logDirectory | |
spark.ui.proxyBase | |||
spark.history.fs.cleaner.enabled | |||
spark.ssl.enabled | |||
spark.authenticate | |||
spark.network.crypto.enabled | |||
spark.ssl.keyStore | |||
spark.ssl.keyStorePassword | |||
spark.history.kerberos.enabled | |||
spark.history.kerberos.principal | |||
spark.history.kerberos.keytab | |||
spark.ui.filters | |||
spark.acls.enable | |||
spark.history.ui.acls.enable | |||
spark.history.ui.admin.acls | |||
spark.history.ui.admin.acls.groups | |||
livy-conf | livy.conf | livy.keystore | |
livy.keystore.password | |||
livy.spark.master | |||
livy.spark.deploy-mode | |||
livy.rsc.jars | |||
livy.repl.jars | |||
livy.rsc.pyspark.archives | |||
livy.rsc.sparkr.package | |||
livy.repl.enable-hive-context | |||
livy.superusers | |||
livy.server.auth.type | |||
livy.server.launch.kerberos.keytab | |||
livy.server.launch.kerberos.principal | |||
livy.server.auth.kerberos.principal | |||
livy.server.auth.kerberos.keytab | |||
livy.impersonation.enabled | |||
livy.server.access-control.enabled | |||
livy.server.access-control.* | |||
livy-env | livy-env.sh | ||
hive-site | hive-site.xml | javax.jdo.option.ConnectionURL | |
javax.jdo.option.ConnectionDriverName | |||
javax.jdo.option.ConnectionUserName | |||
javax.jdo.option.ConnectionPassword | |||
hive.metastore.uris | |||
hive.metastore.pre.event.listeners | |||
hive.security.authorization.enabled | |||
hive.security.metastore.authenticator.manager | |||
hive.security.metastore.authorization.manager | |||
hive.metastore.use.SSL | |||
hive.metastore.keystore.path | |||
hive.metastore.keystore.password | |||
hive.metastore.truststore.path | |||
hive.metastore.truststore.password | |||
hive.metastore.kerberos.keytab.file | |||
hive.metastore.kerberos.principal | |||
hive.metastore.sasl.enabled | |||
hive.metastore.execute.setugi | |||
hive.cluster.delegation.token.store.class | |||
hive-env | hive-env.sh |
Configurazioni di HDFS non supportate
Le configurazioni hdfs
seguenti non sono supportate e non possono essere modificate nel contesto del cluster Big Data.
Categoria | Sottocategoria | file | Configurazioni non supportate |
---|---|---|---|
core-site | core-site.xml | fs.defaultFS | |
ha.zookeeper.quorum | |||
hadoop.tmp.dir | |||
hadoop.rpc.protection | |||
hadoop.security.auth_to_local | |||
hadoop.security.authentication | |||
hadoop.security.authorization | |||
hadoop.http.authentication.simple.anonymous.allowed | |||
hadoop.http.authentication.type | |||
hadoop.http.authentication.kerberos.principal | |||
hadoop.http.authentication.kerberos.keytab | |||
hadoop.http.filter.initializers | |||
hadoop.security.group.mapping.* | |||
hadoop.security.key.provider.path | |||
mapred-env | mapred-env.sh | ||
hdfs-site | hdfs-site.xml | dfs.namenode.name.dir | |
dfs.datanode.data.dir | |||
dfs.namenode.acls.enabled | |||
dfs.namenode.datanode.registration.ip-hostname-check | |||
dfs.client.retry.policy.enabled | |||
dfs.permissions.enabled | |||
dfs.nameservices | |||
dfs.ha.namenodes.nmnode-0 | |||
dfs.namenode.rpc-address.nmnode-0.* | |||
dfs.namenode.shared.edits.dir | |||
dfs.ha.automatic-failover.enabled | |||
dfs.ha.fencing.methods | |||
dfs.journalnode.edits.dir | |||
dfs.client.failover.proxy.provider.nmnode-0 | |||
dfs.namenode.http-address | |||
dfs.namenode.httpS-address | |||
dfs.http.policy | |||
dfs.encrypt.data.transfer | |||
dfs.block.access.token.enable | |||
dfs.data.transfer.protection | |||
dfs.encrypt.data.transfer.cipher.suites | |||
dfs.https.port | |||
dfs.namenode.keytab.file | |||
dfs.namenode.kerberos.principal | |||
dfs.namenode.kerberos.internal.spnego.principal | |||
dfs.datanode.data.dir.perm | |||
dfs.datanode.address | |||
dfs.datanode.http.address | |||
dfs.datanode.ipc.address | |||
dfs.datanode.https.address | |||
dfs.datanode.keytab.file | |||
dfs.datanode.kerberos.principal | |||
dfs.journalnode.keytab.file | |||
dfs.journalnode.kerberos.principal | |||
dfs.journalnode.kerberos.internal.spnego.principal | |||
dfs.web.authentication.kerberos.keytab | |||
dfs.web.authentication.kerberos.principal | |||
dfs.webhdfs.enabled | |||
dfs.permissions.superusergroup | |||
hdfs-env | hdfs-env.sh | HADOOP_HEAPSIZE_MAX | |
zoo-cfg | zoo.cfg | secureClientPort | |
clientPort | |||
dataDir | |||
dataLogDir | |||
4lw.commands.whitelist | |||
zookeeper-java-env | java.env | ZK_LOG_DIR | |
SERVER_JVMFLAGS | |||
zookeeper-log4j-properties | log4j.properties (zookeeper) | log4j.rootLogger | |
log4j.appender.CONSOLE.* |
Nota
Questo articolo contiene il termine elenco elementi consentiti, un termine che Microsoft considera non adatto in questo contesto. Il termine viene visualizzato in questo articolo perché è attualmente incluso nel software. Quando il termine verrà rimosso dal software, verrà rimosso dall'articolo.
Configurazioni gateway
non supportate
Le configurazioni gateway
seguenti non sono supportate e non possono essere modificate nel contesto del cluster Big Data.
Categoria | Sottocategoria | file | Configurazioni non supportate |
---|---|---|---|
gateway-site | gateway-site.xml | gateway.port | |
gateway.path | |||
gateway.gateway.conf.dir | |||
gateway.hadoop.kerberos.secured | |||
java.security.krb5.conf | |||
java.security.auth.login.config | |||
gateway.websocket.feature.enabled | |||
gateway.scope.cookies.feature.enabled | |||
ssl.exclude.protocols | |||
ssl.include.ciphers |