2019년 1월
이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2019년 1월에 릴리스되었습니다.
참고 항목
릴리스가 준비되었습니다. Azure Databricks 계정은 최초 릴리스 날짜 이후 최대 일주일까지 업데이트되지 않을 수 있습니다.
예정된 변경: 클러스터를 만들 때 Python 3이 기본값으로 설정됨
2019년 1월 29일
2월 중순에 Databricks 플랫폼 버전 2.91이 릴리스되면 새 클러스터의 기본 Python 버전이 Python 2에서 Python 3으로 전환됩니다. 물론 기존 클러스터는 Python 버전을 변경하지 않습니다. 그러나 새 클러스터를 만들 때 Python 2를 기본값으로 사용하는 습관이 있다면 Python 버전 선택에 주의를 기울여야 합니다.
Machine Learning용 Databricks Runtime 5.2(베타) 릴리스
2019년 1월 24일
Databricks Runtime 5.2 ML은 Databricks Runtime 5.2(EoS)를 기반으로 빌드됩니다. TensorFlow, PyTorch, Keras 및 XGBoost를 비롯한 많은 자주 사용되는 기계 학습 라이브러리가 포함되어 있으며 Horovod를 사용하여 분산 TensorFlow 학습을 제공합니다. Databricks Runtime ML 5.1 이후의 라이브러리 업데이트 외에도 Databricks Runtime 5.2 ML에는 다음과 같은 새로운 기능이 포함됩니다.
- GraphFrames는 이제 Databricks의 성능 최적화를 통해 Pregel API(Python)를 지원합니다.
-
HorovodRunner는 다음을 추가합니다.
- GPU 클러스터에서 학습 프로세스는 작업자 노드 대신 GPU에 매핑되어 다중 GPU 인스턴스 유형의 지원을 단순화합니다. 이 기본 제공 지원을 통해 사용자 지정 코드 없이 다중 GPU 컴퓨터의 모든 GPU에 배포할 수 있습니다.
- 이제
HorovodRunner.run()은 첫 번째 학습 프로세스에서 반환 값을 반환합니다.
Databricks Runtime 5.2 ML의 전체 릴리스 정보를 참조하세요.
Databricks Runtime 5.2 릴리스
2019년 1월 24일
이제 Databricks Runtime 5.2를 사용할 수 있습니다. Databricks Runtime 5.2에는 Apache Spark 2.4.0, 새로운 Delta Lake 및 구조적 스트리밍 기능 및 업그레이드, 업그레이드된 Python, R, Java 및 Scala 라이브러리가 포함됩니다. 자세한 내용은 Databricks Runtime 5.2(EoS)을 참조하세요.
클러스터 구성 JSON 보기
2019년 1월 15~22일
이제 클러스터 구성 페이지에서 JSON 보기를 지원합니다.
JSON 보기는 읽기 전용입니다. 그러나 JSON을 복사하여 Clusters API로 클러스터를 만들고 업데이트하는 데 사용할 수 있습니다.
클러스터 UI
2019년 1월 15~22일: 버전 2.89
클러스터 만들기 페이지가 새로운 고급 옵션 토글을 포함하여 사용하기 쉽도록 정리 및 재구성되었습니다.
자체 Azure 가상 네트워크에서 Azure Databricks 배포(VNet 삽입)
2019년 1월 10일
Important
이 기능은 공개 미리 보기 상태입니다.
Azure Databricks의 기본 배포는 Azure의 완전 관리형 서비스입니다. 모든 클러스터가 연결될 VNet(가상 네트워크)을 비롯한 모든 컴퓨팅 플레인 리소스가 잠긴 리소스 그룹에 배포됩니다. 그러나 네트워크 사용자 지정이 필요한 경우 이제 자체 가상 네트워크(VNet 삽입이라고도 함)에 Azure Databricks를 배포하여 다음을 수행할 수 있습니다.
- 서비스 엔드포인트를 사용하여 더 안전한 방식으로 Azure Databricks를 다른 Azure 서비스(예: Azure Storage)에 연결합니다.
- 사용자 정의 경로를 활용하여 Azure Databricks에 사용할 온-프레미스 데이터 원본에 연결합니다.
- Azure Databricks를 네트워크 가상 어플라이언스에 연결하여 모든 아웃바운드 트래픽을 검사하고 허용 및 거부 규칙에 따라 작업을 수행합니다.
- 사용자 지정 DNS를 사용하도록 Azure Databricks를 구성합니다.
- 송신 트래픽 제한을 지정하도록 NSG(네트워크 보안 그룹) 규칙을 구성합니다.
- 기존 가상 네트워크에 Azure Databricks 클러스터를 배포합니다.
Azure Databricks를 고유한 가상 네트워크에 배포하면 유연한 CIDR 범위(가상 네트워크의 경우 /16-/24, 서브넷의 경우 /18-/26)를 활용할 수도 있습니다.
Azure Portal UI를 사용한 구성은 빠르고 쉽습니다. 작업 영역을 만들 때 Virtual Network에 Azure Databricks 작업 영역 배포를 선택하고 Virtual Network를 선택한 다음 두 서브넷에 대한 CIDR 범위를 제공하기만 하면 됩니다. Azure Databricks는 사용자가 제공한 CIDR 범위를 사용하여 두 개의 새 서브넷 및 네트워크 보안 그룹으로 가상 네트워크를 업데이트하고, 인바운드 및 아웃바운드 서브넷 트래픽에 대한 액세스를 허용하고, 업데이트된 가상 네트워크에 작업 영역을 배포합니다.
VNet 삽입을 위해 가상 네트워크를 직접 구성하려는 경우(예: 기존 서브넷을 사용하거나, 기존 네트워크 보안 그룹을 사용하거나, 고유한 보안 규칙을 만들려는 경우) 포털 UI 대신 Azure-Databricks 제공 ARM 템플릿을 사용할 수 있습니다.
참고 항목
이 기능은 이전에 등록을 통해서만 사용할 수 있었습니다. 미리 보기에 남아 있지만 이제 완전히 셀프 서비스입니다.
자세한 내용은 Azure Virtual Network에 Azure Databricks 배포(VNet 삽입) 및 Azure Databricks 작업 영역을 온-프레미스 네트워크에 연결을 참조하세요.
라이브러리 UI
2019년 1월 2~9일: 버전 2.88
2018년 11월에 원래 릴리스된 후 얼마 지나지 않아 되돌려진 라이브러리 UI 개선 사항이 다시 릴리스되었습니다. 이러한 업데이트를 사용하면 Azure Databricks 클러스터에 대한 라이브러리를 더 쉽게 업로드, 설치 및 관리할 수 있습니다.
Azure Databricks UI는 이제 작업 영역 라이브러리와 클러스터 설치 라이브러리를 모두 지원합니다. 작업 영역 라이브러리는 작업 영역에 존재하며 하나 이상의 클러스터에 설치할 수 있습니다. 클러스터 설치 라이브러리는 해당 라이브러리가 설치된 클러스터 컨텍스트에만 존재하는 라이브러리입니다. 추가:
- 이제 개체 스토리지에 업로드된 파일에서 라이브러리를 작성할 수 있습니다.
- 이제 라이브러리 세부 정보 페이지와 클러스터의 라이브러리 탭에서 라이브러리를 설치 및 제거할 수 있습니다.
- API를 사용하여 설치된 라이브러리는 이제 클러스터의 라이브러리 탭에 표시됩니다.
자세한 내용은 라이브러리를 참조하세요.
클러스터 이벤트
2019년 1월 2~9일: 버전 2.88
Spark 드라이버 상태를 반영하기 위해 새 클러스터 이벤트가 추가되었습니다. 자세한 내용은 클러스터 API를 참조하세요.
Azure DevOps Services를 사용한 Notebook 버전 제어
2019년 1월 2~9일: 버전 2.88
이제 Azure Databricks를 사용하면 Azure DevOps Services(이전 VSTS)를 사용하여 Notebooks의 버전을 쉽게 제어할 수 있습니다. 인증은 자동이며 설정은 간단하며 GitHub 통합에서와 마찬가지로 Notebook 수정 버전을 관리합니다.
자세한 내용은 Notebook에 대한 Git 버전 제어(레거시)를 참조하세요.