Январь 2018 г.
Выпуски являются поэтапными. Ваша учетная запись Databricks может быть обновлена только через неделю после первоначальной даты выпуска.
Точки подключения для контейнеров хранилища BLOB-объектов Azure и Data Lake Store
16—23 января 2018 г.: версия 2.63
Мы предоставили инструкции по подключению контейнеров хранилища BLOB-объектов Azure и хранилищ Data Lake с помощью файловой системы Databricks (DBFS). Это дает всем пользователям в одной рабочей области возможность доступа к контейнеру хранилища BLOB-объектов или хранилищу Data Lake (или папке внутри контейнера или хранилища) через точку подключения. DBFS управляет учетными данными, используемыми для доступа к подключенному контейнеру хранилища BLOB-объектов или Data Lake Store, и автоматически обрабатывает проверку подлинности с помощью хранилища BLOB-объектов Azure или Data Lake Store в фоновом режиме.
Для подключения контейнеров хранилища BLOB-объектов и хранилищ Data Lake требуется Databricks Runtime 4.0 или более поздние версии. После подключения контейнера или хранилища можно использовать Runtime 3.4 или более позднюю версию для доступа к точке подключения.
Дополнительные сведения см. в статье "Подключение к Azure Data Lake Storage 2-го поколения и хранилищу BLOB-объектов и доступ к Azure Data Lake Storage 1-го поколения из Azure Databricks".
Теги кластера
4—11 января 2018 г.: версия 2.62
Теперь можно указать теги кластера, которые будут распространяться на все ресурсы Azure (виртуальные машины, диски, сетевые карты и т. д.), связанные с кластером. Помимо тегов, предоставленных пользователем, ресурсы автоматически отмечаются именем кластера, идентификатором кластера и именем пользователя создателя кластера.
Дополнительные сведения см. в тегах .
Управление доступом к таблицам для SQL и Python (частная предварительная версия)
4—11 января 2018 г.: версия 2.62
Примечание.
Эта функция находится в режиме закрытой предварительной версии. Обратитесь к менеджеру учетных записей, чтобы запросить доступ. Для этой функции также требуется Databricks Runtime 3.5 или более поздние версии.
В прошлом году мы предоставили управление доступом к объектам данных для пользователей SQL. Сегодня мы рады объявить частную предварительную версию управления доступом к таблицам (ACL) для пользователей SQL и Python. С помощью управления доступом к таблицам можно ограничить доступ к защищаемым объектам, таким как таблицы, базы данных, представления или функции. Кроме того, можно обеспечить точное управление доступом (к строкам и столбцам, соответствующим конкретным условиям, например), задав разрешения на производные представления, содержащие произвольные запросы.
Дополнительные сведения см. в разделе "Привилегии хранилища метаданных Hive" и защищаемые объекты (устаревшие ).
Экспорт результатов выполнения задания записной книжки через API
4—11 января 2018 г.: версия 2.62
Чтобы повысить эффективность совместного использования и совместной работы над результатами заданий, теперь у нас есть новая конечная точка API заданий jobs/runs/export, которая позволяет получить статическое HTML-представление результатов выполнения задания записной книжки в представлении как кода, так и панели мониторинга.
Для получения дополнительной информации см. Экспорт выполнений.
В Apache Airflow 1.9.0 добавлена интеграция с Databricks
2 января 2018 г.
В прошлом году мы выпустили предварительную версию функции в Airflow — популярное решение для управления планированием ETL, которая позволяет клиентам создавать собственные задачи, активирующие запуски Databricks в Airflow DAG. Мы рады сообщить, что эти интеграции были выпущены в общедоступной версии Airflow 1.9.0.
Дополнительные сведения см . в заданиях Orchestrate Azure Databricks с Помощью Apache Airflow .