2023년 10월
이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2023년 10월에 릴리스되었습니다.
참고
릴리스가 준비되었습니다. Azure Databricks 작업 영역은 초기 릴리스 날짜 후 일주일 이후까지 업데이트되지 않을 수 있습니다.
Databricks SQL Serverless에 대한 서버리스 보안 연결(공개 미리 보기)
2023년 10월 31일
새로운 서버리스 보안 연결 도구를 사용하면 서버리스 SQL 웨어하우스에서 Azure Storage 데이터 원본으로의 네트워크 액세스를 제어할 수 있습니다. 서브넷 ID를 사용하여 스토리지 방화벽을 선택하거나 Azure Private Link를 사용하여 프라이빗 연결을 사용하도록 설정할 수 있습니다. 공개 미리 보기참가하려면 Azure Databricks 계정 팀에 문의하세요. 서버리스 컴퓨팅 평면 네트워킹을 참조하세요.
2023년 10월 31일 이전에 Azure Databricks 설명서에 나열된 서브넷 ID를 사용하여 구성된 스토리지 방화벽이 있는 경우 Databricks는 새 도구 중 하나를 사용하여 각 작업 영역 지역에 대한 방화벽 구성을 업데이트하는 것이 좋습니다. 이를 통해 모든 작업 영역에서 일관된 배포를 적용할 수 있습니다. 기존 구성을 업데이트하지 않도록 선택하면 작업 영역이 계속 작동합니다.
Azure Databricks 작업에 대한 YAML 원본 보기
2023년 10월 30일
이제 작업 세부 정보 페이지에서 
를 클릭하고 YAML/JSON 보기를 선택하여 작업에 대한 YAML 원본을 보고 복사할 수 있습니다. YAML 원본을 사용하여 Databricks 자산 번들로 CI/CD 워크플로를 만들 수 있습니다.
Databricks 자산 번들이란 무엇인가요?을 참조하세요.
Azure Databricks 워크플로에 조건부 논리 추가
2023년 10월 30일
이제 이 If/else condition 작업을 사용하여 부울 식의 결과에 따라 Azure Databricks 작업에서 조건부로 태스크를 실행할 수 있습니다.
If/else 태스크를 사용하여 작업에 분기 논리 추가를 참조하세요.
모든 작업 태스크에서 참조할 수 있는 Azure Databricks 작업에 대한 매개 변수 구성
2023년 10월 30일
이제 키-값 쌍을 허용하는 모든 작업 작업에 자동으로 전달되는 매개 변수를 Azure Databricks 작업에 추가할 수 있습니다. 작업 매개 변수 구성을 참조하세요. 또한 이제 확장된 값 참조 집합을 사용하여 작업 작업 간에 컨텍스트와 상태를 전달할 수 있습니다. 동적 값 참조란?을 참조하세요.
삭제 벡터 자동 활성화
2023년 10월 30일
이제 Databricks Runtime 14.0 이상에서 모든 새로운 Delta 테이블에 대해 작업 영역 관리자 설정 '삭제 벡터 자동 사용 설정'을 통해 삭제 벡터를 활성화할 수 있습니다. 이 동작은 현재 옵트인되지만 나중에 옵트아웃으로 변경됩니다. Databricks는 이 설정에 대한 옵션을 수동으로 구성하는 것이 좋습니다. 삭제 벡터 자동 사용을 참조하세요.
UNDROP TABLE 대한 Unity 카탈로그 지원은 GA입니다.
2023년 10월 25일
삭제 후 7일 이내에 기존 스키마에서 삭제된 관리 테이블 또는 외부 테이블을 삭제할 수 있습니다. Databricks Runtime 12.1 이상이 필요합니다. UNDROP 및 SHOW TABLES DROPPED참조하세요.
Partner Connect에서 Dataiku가 지원됨
2023년 10월 25일
이제 Partner Connect를 사용하여 Azure Databricks 작업 영역을 Dataiku에 연결할 수 있습니다. Dataiku에 연결을 참조하세요.
이제 AutoML에서 생성된 Notebook이 MLflow 아티팩트로 저장됩니다.
2023년 10월 24일
이제 AutoML에서 생성된 Notebook 이 Machine Learning용 모든 Databricks 런타임 버전에서 MLflow 아티팩트로 저장됩니다.
새 지역: 카타르 중부
2023년 10월 23일
이제 Azure Databricks를 카타르 중부에서 사용할 수 있습니다. Azure Databricks 지역을 참조하세요.
Azure Firewall 및 Private Link에서 지원되는 Unity 카탈로그 볼륨
2023년 10월 23일
이제 Azure Firewall 또는 Private Link로 구성된 Azure Storage 계정과 함께 Unity 카탈로그 볼륨을 사용할 수 있습니다. 이를 통해 이전 제한 사항이 제거됩니다.
예측 최적화(공개 미리 보기)
2023년 10월 24일
예측 최적화는 델타 테이블에 대한 유지 관리 작업을 수동으로 관리할 필요가 없습니다. 유지 관리 작업은 필요에 따라 실행되어 유지 관리 작업에 대한 불필요한 실행과 추적 및 문제 해결 성능과 관련된 부담을 모두 제거합니다. Unity 카탈로그 관리 테이블에 대한
이제 컴퓨팅 시스템 테이블을 사용할 수 있습니다(공개 미리 보기)
2023년 10월 23일
system.compute 스키마에는 계정의 컴퓨팅 리소스를 모니터링하는 데 사용할 수 있는 clusters 및 node_types두 개의 새 테이블이 포함되어 있습니다.
클러스터 테이블은 시간이 지남에 따라 다목적 및 작업 클러스터에 대한 클러스터 구성의 전체 기록을 포함하는 느린 변경 차원 테이블입니다. 노드 형식 테이블은 기본 하드웨어 정보를 사용하여 현재 사용 가능한 노드 형식을 캡처합니다. 이러한 시스템 테이블에 액세스할 수 없는 경우 계정에서 컴퓨팅 스키마를 사용하도록 설정했는지 확인합니다(시스템 테이블 스키마 사용참조).
컴퓨팅 시스템 테이블에 대한 자세한 내용은 컴퓨팅 시스템 테이블 참조를 참조하세요.
주문형 기능 계산이 일반적으로 이용 가능하게 제공됨
2023년 10월 19일
이제 기계 학습 기능을 유추할 때 주문형 방식으로 컴퓨팅할 수 있습니다. 이를 통해 모델은 사용자의 현재 위치와 같이 유추 시간에만 사용할 수 있는 입력을 사용하여 기능을 컴퓨팅하거나 사전 계산, 저장 및 새로 고침에 비용이 많이 드는 기능을 사용할 수 있습니다. 모델 학습 코드는 모델 학습 및 유추 중에 실행되는 기능 조회 및 계산의 임의 그래프를 정의할 수 있습니다.
기능 계산 논리, 모델 및 데이터는 모두 Unity 카탈로그에 의해 제어됩니다. 자세한 내용은 Python 사용자 정의 함수를 사용하여 기능 값을 주문형으로 컴퓨팅하는 기능을 참조하세요.
Unity 카탈로그의 기능 엔지니어링은 GA입니다.
2023년 10월 19일
Unity 카탈로그
AI에서 생성된 테이블 주석(공개 미리 보기)
2023년 10월 18일
Azure Databricks를 사용할 때 AI를 사용하여 지원하는 이니셔티브의 일환으로 Azure Databricks는 AI 생성 테이블 및 열 주석을 공개 미리 보기에 도입하고 있습니다. 카탈로그 탐색기에서 Unity 카탈로그에서 관리하는 테이블 또는 테이블 열에 대해 AI 생성 주석을 보고 편집하고 추가할 수 있습니다. AI 생성 메모는 외부 모델 파트너를 사용하여 응답을 제공할 수 있습니다. 이러한 서비스로 전송된 데이터는 모델 학습에 사용되지 않습니다.
Unity 카탈로그 개체에 AI 생성 주석 추가
Unity 카탈로그의 모델은 GA입니다.
2023년 10월 17일
이제 Unity 카탈로그에서 ML 모델이 일반적으로 사용 가능합니다. Unity 카탈로그는 중앙 집중식 액세스 제어, 감사, 계보, 작업 영역 간 모델 공유 및 더 나은 MLOps 배포 워크플로를 제공합니다. Azure Databricks는 작업 영역 모델 레지스트리 대신 Unity 카탈로그에서 모델을 사용하는 것이 좋습니다. 자세한 내용은 Unity 카탈로그
이제 컴퓨팅 정책에서 라이브러리가 지원됨(공개 미리 보기)
2023년 10월 17일
이제 작업 영역 관리자는 컴퓨팅 정책에 라이브러리를 추가할 수 있습니다. 정책을 사용하는 컴퓨팅은 라이브러리를 자동으로 설치합니다. 사용자는 정책을 사용하는 컴퓨트에서 컴퓨트 범위 라이브러리를 설치하거나 제거할 수 없습니다. 이전에 설치된 라이브러리는 제거됩니다.
Databricks는 컴퓨팅 정책을 사용하도록 init 스크립트와 함께 설치된 모든 라이브러리를 마이그레이션하는 것이 좋습니다. 정책에 라이브러리 추가를 참조하세요.
Partner Connect에서 Monte Carlo가 지원됨
2023년 10월 16일
이제 Partner Connect를 사용하여 Azure Databricks 작업 영역을 Monte Carlo에 연결할 수 있습니다. 자세한 내용은 Monte Carlo에 Azure Databricks 연결을 참조하세요.
의미 체계 검색(공개 미리 보기)
2023년 10월 16일
이제 자연어를 사용하여 고급 검색 대화 상자에서 Unity 카탈로그 테이블을 검색할 수 있습니다. 의미 체계 검색을 참조하세요.
작업 영역 수준에서 Databricks Assistant 사용
2023년 10월 11일
이제 작업 영역 관리자는 계정 관리자가 허용한 경우 개별 작업 영역에 대해 Databricks Assistant를 사용하거나 사용하지 않도록 설정할 수 있습니다. 자세한 내용은 Databricks Assistant를 사용하도록 설정하는 방법을 참조하세요.
새 Photon 기본값
2023년 10월 11일
UI를 통해 새 클러스터를 만들 때 기본 Databricks 런타임 엔진은 Photon을 사용하도록 설정됩니다. 이는 모든 다목적 및 작업 클러스터에 적용됩니다.
Photon 호환 클러스터 정책을 사용하여 만든 새 클러스터에는 기본적으로 Photon이 사용하도록 설정되어 있습니다. 클러스터 정책은 Databricks Runtime이 지원하고 노드 유형이 지원되는 경우 Photon과 호환되며, runtime_engine가 명시적으로 STANDARD로 설정되지 않은 경우입니다.
Databricks Runtime 14.1이 일반 공급됨
2023년 10월 11일
이제 Databricks Runtime 14.1 및 Databricks Runtime 14.1 ML이 일반 공급됩니다.
Databricks Runtime 14.1(EoS) 및 Databricks Runtime 14.1 for Machine Learning(EoS)참조하세요.
개발자 도구 릴리스 정보가 이동됨
2023년 10월 10일
2023년 10월 10일 이후 Azure Databricks 개발자 도구에 대한 릴리스 정보는 이제 Azure Databricks 플랫폼 릴리스 정보 대신 Azure Databricks 개발자 도구 및 SDK 릴리스 정보에 게시됩니다.
Visual Studio Code용 Databricks 확장이 버전 1.1.5로 업데이트됨
2023년 10월 9일
Visual Studio Code용 Databricks 확장 버전 1.1.5에는 몇 가지 사소한 수정 사항이 포함되어 있습니다. 자세한 내용은 1.1.5 버전의 변경 로그를 참조하세요.
업데이트에 대한 예측 I/O가 일반 출시되었습니다.
2023년 10월 9일
이제 업데이트에 대한 예측 I/O가 Databricks Runtime 14.0 이상에서 일반 공급됩니다. 예측 I/O란?을 참조하세요.
삭제 벡터가 일반 공급됨
2023년 10월 9일
이제 삭제 벡터가 Databricks Runtime 14.0 이상에서 일반 공급됩니다. 삭제 벡터란?을 참조하세요.
Partner Connect에서 RudderStack이 지원됨
2023년 10월 5일
이제 Partner Connect를 사용하여 Azure Databricks 작업 영역을 RudderStack에 연결할 수 있습니다. 자세한 내용은 RudderStack에 연결을 참조하세요.
Databricks CLI가 버전 0.207.0으로 업데이트됨(공개 미리 보기)
2023년 10월 4일
Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.207.0으로 업데이트되었습니다. 이 릴리스에는 Databricks 자산 번들에 대한 기능 업데이트 및 수정 사항이 포함되어 있으며, 여러 명령 그룹 및 명령에 대한 추가 및 변경 내용 등이 포함됩니다. 자세한 내용은 0.207.0 버전의 변경 로그를 참조하세요.
Notebook에서 선택한 셀 실행
2023년 10월 4일
이제 Notebook에서 선택한 셀만 실행할 수 있습니다. 선택한 셀 실행을 참조하세요.
작업 영역 카탈로그 바인딩을 사용하여 카탈로그에 대한 읽기 전용 액세스 권한 부여
2023년 10월 4일
작업 영역 카탈로그 바인딩을 사용하여 계정의 특정 작업 영역에 대한 카탈로그 액세스를 제한하는 경우 이제 해당 액세스를 읽기 전용으로 만들 수 있습니다. 읽기 전용 작업 영역 카탈로그 바인딩은 개발자 작업 영역의 프로덕션 데이터에 대한 읽기 전용 액세스 권한을 사용자에게 제공하여 개발 및 테스트를 가능하게 하는 시나리오에 유용합니다.
또한 이 업데이트는 /api/2.1/unity-catalog/workspace-bindings/ API 엔드포인트를 더 이상 사용하지 않으며 /api/2.1/unity-catalog/bindings/바꿉니다.
특정 작업 영역대한 카탈로그 액세스 제한
Visual Studio Code용 Databricks 확장이 버전 1.1.4로 업데이트됨
2023년 10월 2일
Visual Studio Code용 Databricks 확장 버전 1.1.4에서는 사용자 지정 Azure Databricks 작업 영역 URL 등에 대한 지원을 추가합니다. 자세한 내용은 1.1.4 버전의 변경 로그를 참조하세요.
Python용 Databricks SDK가 버전 0.10.0(베타)으로 업데이트됨
2023년 10월 3일
Python용 Databricks SDK 버전 0.10.0에서는 7개의 호환성이 손상되는 변경 사항을 도입하고, 10개의 데이터 클래스를 추가하고, 6개의 필드를 추가하고, 하나의 서비스를 추가합니다. 자세한 내용은 0.10.0 버전의 변경 로그를 참조하세요.
Go용 Databricks SDK가 버전 0.22.0(베타)으로 업데이트됨
2023년 10월 3일
Go용 Databricks SDK 버전 0.22.0에서는 하나의 호환성이 손상되는 API 변경을 도입하고 하나의 API를 추가합니다. 자세한 내용은 0.22.0 버전의 변경 로그를 참조하세요.
이제 Azure 중국용 Unity 카탈로그 볼륨이 공개 미리 보기로 제공됩니다.
2023년 10월 2일
Unity 카탈로그 볼륨은 이제 Azure 중국 지역에서 공개 미리 보기 기능으로 사용할 수 있습니다.