Сентябрь 2019

Эти функции и улучшения платформы Azure Databricks были выпущены в сентябре 2019 г.

Примечание.

Выпуски являются поэтапными. На обновление вашей учетной записи Azure Databricks может потребоваться до одной недели с даты выпуска.

Завершается поддержка Databricks Runtime 5.2

30 сентября 2019 г.

Поддержка Databricks Runtime 5.2 прекращена 30 сентября. См. статью "Жизненные циклы поддержки Databricks".

Запуск автоматических кластеров на основе пула, в которых используется Databricks Light (общедоступная предварительная версия)

26 сентября-1 октября, 2019 г.: версия 3.3

Когда мы ввели справочник по конфигурации пула в июле, было невозможно выбрать Databricks Light в качестве версии среды выполнения при конфигурации кластера с поддержкой пула для автоматизированной задачи. Теперь в вашем распоряжении как быстрота запуска кластера, так и экономичность.

IP-адреса шлюза Базы данных SQL Azure изменяются с 14 октября 2019 г.

14 октября корпорация Майкрософт будет переносить трафик на новые шлюзы в этих регионах. Если рабочая область находится в одном из этих регионов, и вы настроили определяемые пользователем маршруты (UDR) для консолидированного хранилища метаданных из вашей собственной виртуальной сети Azure Databricks (с помощью инъекции VNet), вам может потребоваться обновить IP-адрес для хранилища метаданных при изменении этих IP-адресов. Обратитесь к таблице с IP-адресами шлюзов базы данных Azure SQL, чтобы получить актуальный список IP-адресов для вашего региона.

Сквозная передача учетных данных Azure Data Lake Storage теперь поддерживается в стандартных кластерах и Scala (общедоступная версия)

12-17 сентября 2019 г.: версия 3.2

Сквозная передача учетных данных теперь может использоваться для Python, SQL и Scala в стандартных кластерах Databricks Runtime 5.5 и более поздних версий, а также для SparkR в Databricks Runtime 6.0 (бета-версия). До сих пор для сквозной передачи учетных данных требовались кластеры с высоким параллелизмом, которые не поддерживают Scala.

Когда кластер настроен на сквозную передачу данных Azure Data Lake Storage, команды, выполняемые в этом кластере, могут считывать и записывать данные в Azure Data Lake Storage без необходимости настраивать учетные данные служебного субъекта для доступа к хранилищу. Учетные данные задаются автоматически от пользователя, инициирующего действие.

В целях безопасности только один пользователь может выполнять команды в стандартном кластере с включенной сквозной передачей учетных данных. Одиночный пользователь устанавливается во время создания и может быть изменён любым пользователем, обладающим разрешениями управления на кластере. Администратор должен убедиться, что один пользователь имеет как минимум разрешение на присоединение к кластеру.

Пакеты DataFrame Pandas теперь отображаются в записных книжках без масштабирования

12-17 сентября 2019 г.: версия 3.2

В записных книжках Azure Databricks displayHTML масштабировал некоторое содержимое фрейма в формате HTML в соответствии с шириной, доступной для просмотра записной книжки. Хотя такое поведение желательно для изображений, оно плохо визуализовалось для кадров данных Pandas. Больше этого нет.

Динамическое отображение селектора версий Python

12-17 сентября 2019 г.: версия 3.2

При выборе среды выполнения Databricks, которая не поддерживает Python 2 (например, Databricks 6.0), страница создания кластера скрывает селектор версий Python.

Databricks Runtime 6.0 (бета-версия)

12 сентября 2019 г.

В Databricks Runtime 6.0 (бета-версия) обновилась библиотека и появились новые функции:

• Новые API для команд Delta Lake DML на Scala и Java, а также утилитарные команды vacuum и history.
• Улучшенный клиент DBFS FUSE версии 2 обеспечивает более быстрое и надежное чтение и запись во время обучения модели.
• Поддержка нескольких графиков Matplotlib на одну ячейку записной книжки.
• Обновите python 3.7, а также обновленные numpy, pandas, matplotlib и другие библиотеки.
• Прекращение поддержки Python 2.

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 6.0 (EoS ).