Поделиться через

Февраль 2020 г.

  • Статья

Эти функции и улучшения платформы Azure Databricks были выпущены в феврале 2020 г.

Примечание.

Выпуски являются поэтапными. На обновление вашей учетной записи Azure Databricks может потребоваться до одной недели с даты выпуска.

Общедоступная версия Databricks Runtime 6.4 for Genomics

Февраль 26, 2020 г.

В основе Databricks Runtime 6.4 для Genomics лежит Databricks Runtime 6.4. Здесь реализовано множество улучшений и обновлений из Databricks Runtime 6.3 для Genomics.

Основные функции:

  • Теперь пользователи конвейера ДНКSeq могут выборочно отключить любое допустимое сочетание выравнивания чтения, вызова вариантов и этапов заметки вариантов. Пользователи также могут выполнять считывание с одного конца.
  • В версии Glow из Databricks Runtime 6.4 для Genomics доступны API для Python и Scala, позволяющие работать с функциями, которые ранее могли выполняться только с помощью выражений SQL. Эти функции доступны для операций кадра данных, что обеспечивает дополнительную безопасность во время компиляции.

Общедоступная версия Databricks Runtime 6.4 ML

Февраль 26, 2020 г.

Общедоступная версия Databricks Runtime 6.4 ML реализует следующие обновления библиотеки, в том числе:

  • PyTorch: 1.3.1 до 1.4.0
  • Horovod: 0.18.2 до 1.19.0

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 6.4 для машинного обучения (EoS ).

Общедоступная версия Databricks Runtime 6.4

Февраль 26, 2020 г.

В общедоступной версии Databricks Runtime 6.4 реализованы новые функции, усовершенствования и исправления ошибок.

  • Добавочная обработка новых файлов данных с помощью автозагрузчика (общедоступная предварительная версия). Автозагрузчик реализует более эффективный способ добавочной обработки новых файлов данных по мере их поступления в облачное хранилище BLOB-объектов во время операций извлечения, преобразования и загрузки. Эта технология эффективнее структурированной потоковой передачи на основе файлов, при которой система обнаруживает новые файлы, периодически проверяя содержимое облачного каталога и отслеживая те файлы, которые уже регистрировались (такой подход может стать очень неэффективным по мере роста каталога).
  • Загрузка данных в Delta Lake с идемпотентными повторными попытками (общедоступная предварительная версия). Команда COPY INTO SQL позволяет загружать данные в Delta Lake с помощью идемпотентных попыток (общедоступная предварительная версия). Для загрузки данных в Delta Lake сегодня необходимо использовать API-интерфейсы DataFrame Apache Spark. Если во время загрузки возникают сбои, их необходимо эффективно обрабатывать.
  • Метрики операций для всех операций записи, обновления и удаления в таблице Delta теперь отображаются в журнале таблиц.
  • Встроенные рисунки Matplotlib теперь по умолчанию включены в записных книжках Azure Databricks (общедоступная предварительная версия).

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 6.4 (EoS ).

Новые интерактивные диаграммы предоставляют широкие возможности взаимодействия на стороне клиента.

25 февраля — 3 марта 2019 г.: версия 3.14

В этом выпуске представлены два новых типа интерактивных диаграмм, которые заменяют линейчатую диаграмму и график. В дополнение к имеющимся функциональным возможностям диаграмм, в графике доступно несколько новых настраиваемых параметров графика: настройка диапазона оси Y, отображение или скрытие маркеров, а также применение масштаба журналов к оси Y. Обе диаграммы имеют встроенную панель инструментов, которая поддерживает широкий набор взаимодействий на стороне клиента.

Панель инструментов диаграммы

Если вы хотите использовать существующие реализации диаграмм, их можно выбрать из раскрывающегося меню классических диаграмм. Существующие диаграммы по-прежнему будут использовать ранее доступные реализации.

Устаревшие типы диаграмм

Новая сеть приема данных обеспечивает интеграцию решений партнеров с Delta Lake (общедоступная предварительная версия)

Февраль 24, 2020 г.

Теперь вы можете легко наполнить свой «lakehouse» — ваше озеро данных, усиленное такими структурами данных и функциями управления, которые обычно присущи хранилищу данных — из сотен источников данных в Delta Lake. Эта сеть построена на основе новой коллекции «Партнерские интеграции», которая доступна в рабочей области и предоставляет доступ к огромной сети источников данных при посредстве наших партнеров: Fivetran, Qlik, Infoworks, StreamSets и Syncsort.

Портал интеграции партнеров

Общие сведения см. в нашем блоге. Дополнительные сведения см. в разделе "Партнеры по технологиям".

Создатель рабочей области автоматически добавляется как администратор Azure Databricks.

Февраль 24, 2020 г.

До 24 февраля 2020 г. пользователь, создавший рабочую область Azure Databricks, был бы добавлен в рабочую область только как пользователь с правами администратора, если бы он нажал на кнопку Запуск рабочей области на портале Azure или был добавлен как администратор пользователем, который уже является администратором в рабочей области (любой участник Azure в подписке, который нажал на кнопку Запуск рабочей области, был бы создан как пользователь с правами администратора в рабочей области). Теперь пользователь, создающий рабочую область, будет автоматически добавлен как администратор рабочей области.

Дополнительные сведения о создании и запуске рабочих областей см. в статье Управление подпиской

Стали доступны флаги для управления безопасностью рабочей области и управления доступом к функциям записных книжек

4-11 февраля 2020 г.: версия 3.12

В этом выпуске появились новые флаги для управления заголовками безопасности, которые отправляются для предотвращения атак на рабочую область, а также для доступа к загрузке результатов записной книжки и управлению версиями Git. Все эти административные параметры по умолчанию включены.