azdata bdc spark batch

Область применения: Azure Data CLI ()azdata

В следующей статье приводятся справочные сведения по командам sql в средстве azdata. Дополнительные сведения о других командах azdata см. в справочнике по azdata.

Команды

Команда	Description
azdata bdc spark batch create	Создание пакета Spark.
azdata bdc spark batch list	Вывод списка всех пакетов в Spark.
azdata bdc spark batch info	Получение сведений об активном пакете Spark.
azdata bdc spark batch log	Получение журналов выполнения для пакета Spark.
azdata bdc spark batch state	Получение состояния выполнения для пакета Spark.
azdata bdc spark batch delete	Удаление пакета Spark.

azdata bdc spark batch create

Создает пакетное задание Spark для выполнения предоставленного кода.

azdata bdc spark batch create --file -f 
                              [--class-name -c]  
                              
[--arguments -a]  
                              
[--jar-files -j]  
                              
[--py-files -p]  
                              
[--files]  
                              
[--driver-memory]  
                              
[--driver-cores]  
                              
[--executor-memory]  
                              
[--executor-cores]  
                              
[--executor-count]  
                              
[--archives]  
                              
[--queue -q]  
                              
[--name -n]  
                              
[--config]

Примеры

Создание пакета Spark.

azdata spark batch create --code "2+2"

Обязательные параметры

--file -f

Путь к выполняемому файлу.

Необязательные параметры

--class-name -c

Имя класса для выполнения при передаче в одном или нескольких JAR-файлах.

--arguments -a

Список аргументов. Передача списка значений в кодировке JSON. Пример: "["entry1", "entry2"]".

--jar-files -j

Список путей к JAR-файлам. Передача списка значений в кодировке JSON. Пример: "["entry1", "entry2"]".

--py-files -p

Список путей к файлам Python. Передача списка значений в кодировке JSON. Пример: "["entry1", "entry2"]".

--files

Список путей к файлам. Передача списка значений в кодировке JSON. Пример: "["entry1", "entry2"]".

--driver-memory

Размер памяти, выделяемой драйверу. Вместе со значением необходимо указать единицы измерения. Пример: 512M или 2G.

--driver-cores

Количество ядер ЦП, выделяемых драйверу.

--executor-memory

Количество памяти, выделяемой исполнителю. Вместе со значением необходимо указать единицы измерения. Пример: 512M или 2G.

--executor-cores

Количество ядер ЦП, выделяемых исполнителю.

--executor-count

Количество запускаемых экземпляров исполнителя.

--archives

Список путей к архивам. Передача списка значений в кодировке JSON. Пример: "["entry1", "entry2"]".

--queue -q

Имя очереди Spark, в которой должен выполняться сеанс.

--name -n

Имя сеанса Spark.

--config

Список пар "имя–значение", содержащих значения конфигурации Spark. Кодируется как словарь JSON. Пример: "{"имя":"значение", "имя2":"значение2"}".

Глобальные аргументы

--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--output -o

Формат вывода. Допустимые значения: json, jsonc, table, tsv. Значение по умолчанию: json.

--query -q

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

azdata bdc spark batch list

Вывод списка всех пакетов в Spark.

azdata bdc spark batch list 

Примеры

Вывод списка всех активных пакетов.

azdata spark batch list

Глобальные аргументы

--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--output -o

Формат вывода. Допустимые значения: json, jsonc, table, tsv. Значение по умолчанию: json.

--query -q

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

azdata bdc spark batch info

Возвращает сведения о пакете Spark с указанным идентификатором. Идентификатор пакета возвращается командой spark batch create.

azdata bdc spark batch info --batch-id -i 
                            

Примеры

Получение сведений о пакете с идентификатором 0.

azdata spark batch info --batch-id 0

Обязательные параметры

--batch-id -i

Идентификационный номер пакета Spark.

Глобальные аргументы

--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--output -o

Формат вывода. Допустимые значения: json, jsonc, table, tsv. Значение по умолчанию: json.

--query -q

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

azdata bdc spark batch log

Возвращает записи журнала для пакета Spark с указанным идентификатором. Идентификатор пакета возвращается командой spark batch create.

azdata bdc spark batch log --batch-id -i 
                           

Примеры

Получение журнала для пакета с идентификатором 0.

azdata spark batch log --batch-id 0

Обязательные параметры

--batch-id -i

Идентификационный номер пакета Spark.

Глобальные аргументы

--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--output -o

Формат вывода. Допустимые значения: json, jsonc, table, tsv. Значение по умолчанию: json.

--query -q

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

azdata bdc spark batch state

Возвращает состояние пакета Spark с указанным идентификатором. Идентификатор пакета возвращается командой spark batch create.

azdata bdc spark batch state --batch-id -i 
                             

Примеры

Получение состояния пакета с идентификатором 0.

azdata spark batch state --batch-id 0

Обязательные параметры

--batch-id -i

Идентификационный номер пакета Spark.

Глобальные аргументы

--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--output -o

Формат вывода. Допустимые значения: json, jsonc, table, tsv. Значение по умолчанию: json.

--query -q

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

azdata bdc spark batch delete

Удаляет пакет Spark. Идентификатор пакета возвращается командой spark batch create.

azdata bdc spark batch delete --batch-id -i 
                              

Примеры

Удаление пакета.

azdata spark batch delete --batch-id 0

Обязательные параметры

--batch-id -i

Идентификационный номер пакета Spark.

Глобальные аргументы

--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--output -o

Формат вывода. Допустимые значения: json, jsonc, table, tsv. Значение по умолчанию: json.

--query -q

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Следующие шаги

Дополнительные сведения о других командах azdata см. в справочнике по azdata.

Дополнительные сведения об установке средства azdata см. в разделе Установка azdata.