2023년 9월

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2023년 9월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 작업 영역은 초기 릴리스 날짜 후 일주일 이후까지 업데이트되지 않을 수 있습니다.

단일 사용자 클러스터에서 사용할 수 있는 Lakehouse 페더레이션

2023년 9월 29일

이제 Databricks Runtime 13.1 이상을 사용하는 단일 사용자 클러스터에서 Lakehouse 페더레이션을 사용할 수 있습니다. 연결 소유자만 페더레이션 카탈로그에서 쿼리를 실행할 수 있습니다. 레이크하우스 페더레이션이란?을 참조하세요.

Unity Catalog에서 스토리지 자격 증명을 만드는 기능 위임

2023년 9월 29일

이제 사용자에게 새 CREATE STORAGE CREDENTIAL 권한을 사용하여 Unity 카탈로그 메타스토어에서 스토리지 자격 증명을 만들 수 있는 권한을 부여할 수 있습니다. 스토리지 자격 증명 만들기를 참조하세요.

Databricks Runtime 14.1(베타)

2023년 9월 28일

이제 Databricks Runtime 14.1 및 Databricks Runtime 14.1 ML을 베타 릴리스로 사용할 수 있습니다.

Databricks Runtime 14.1 및 Machine Learning용 Databricks Runtime 14.1을 참조하세요.

LLM에 최적화된 GPU Model Serving이 공개 미리 보기로 제공됨

2023년 9월 28일

Azure Databricks의 모델 서빙은 GPU 컴퓨팅 리소스를 사용하여 PyTorch 및 TensorFlow 모델의 배포를 지원합니다. 이 기능은 선택한 지역에서 공개 미리 보기로 제공되며, mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflow, mlflow.transformers 버전으로 로깅된 모델의 GPU 배포에도 적용됩니다. GPU 워크로드 유형을 참조하세요.

이 미리 보기에는 대용량 언어 모델을 제공하는 데 최적화된 GPU 배포 지원도 포함되어 있습니다. 최적화된 LLM(대규모 언어 모델) 서빙을 참조하세요.

동시성 제한에 도달할 때 작업 실행을 건너뛰지 않도록 방지

2023년 9월 27일~2023년 10월 2일

동시성 제한으로 인해 Azure Databricks 작업의 실행을 건너뛰지 않도록 하기 위해 이제 작업에서 큐에 대기를 사용하도록 설정할 수 있습니다. 큐를 사용하도록 설정하는 경우 동시성 제한에 도달하면 작업을 실행하는 데 용량을 사용할 수 있을 때까지 작업이 큐에 배치됩니다. 작업 실행의 큐 대기를 사용하도록 설정합니다.

Databricks Terraform 공급자 버전이 1.27.0으로 업데이트됨

2023년 9월 27일

Databricks Terraform 공급자 버전 1.27.0은 owner 및 force_destroy를 databricks_metastore_data_access에 추가하고, 몇 가지 추가 개선 사항 및 버그 수정 등이 포함됩니다. 자세한 내용은 1.27.0 버전의 변경 로그를 참조하세요.

Databricks CLI가 버전 0.206.0으로 업데이트됨(공개 미리 보기)

2023년 9월 27일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.206.0으로 업데이트되었습니다. 이 릴리스에서는 Databricks 자산 번들의 파이프라인 클러스터에 대한 대상 재정의를 사용하도록 설정하고, 번들 템플릿 초기화 환경 등을 개선합니다. 자세한 내용은 0.206.0 버전의 변경 로그를 참조하세요.

Go용 Databricks SDK가 버전 0.21.0으로 업데이트됨(베타)

2023년 9월 27일

Go용 Databricks SDK 버전 0.21.0에서는 12가지 이상의 호환성이 손상되는 API 변경을 도입하고, 12개 이상의 API를 추가하고, 12개의 필드를 추가합니다. 자세한 내용은 0.21.0 버전의 변경 로그를 참조하세요.

Model Serving 엔드포인트에 대한 유추 테이블이 공개 미리 보기로 제공됨

2023년 9월 26일

모델 서빙 엔드포인트에서 유추 테이블을 사용하도록 설정하여 들어오는 요청 및 나가는 응답을 자동으로 캡처하고 Unity 카탈로그 Delta Tables로 기록합니다. 그러면 이 테이블의 데이터를 사용하여 ML 모델을 모니터링, 디버그 및 개선할 수 있습니다. 모델 모니터링 및 디버깅을 위한 유추 테이블에 대해 알아봅니다.

공개 미리 보기에 등록하려면 Azure Databricks 계정 팀에 문의하세요.

Databricks ODBC 드라이버 2.7.5

2023년 9월 23일

Databricks ODBC 드라이버(다운로드) 버전 2.7.5가 릴리스되었습니다. 이 릴리스에는 다음과 같은 새로운 기능과 향상된 기능이 추가됩니다.

• OAuth 2.0 클라이언트 인증 향상 및 OIDC 엔드포인트 검색 지원.
• 고객 제공 암호화 키를 사용하는 서버 쪽 암호화.
• Timedate 함수.
• Cloud Fetch에 대한 오류 메시징 개선.
• 보안 업데이트

또한 이 릴리스는 2.7.3에서 다음과 같은 회귀를 해결합니다.

• 호출자가 기본 테이블 또는 외래 테이블의 카탈로그에 대한 SQLForeignKeys 값을 전달하는 경우 NULL 함수는 빈 결과를 반환합니다.

릴리스 2.7.5는 다른 테이블의 카탈로그가 NULL로 설정된 경우 이제 관련 테이블과 연결된 모든 기본 키 또는 외래 키를 반환합니다.

Visual Studio Code용 Databricks 확장이 버전 1.1.3으로 업데이트됨

2023년 9월 21일

Visual Studio Code용 Databricks 확장 버전 1.1.3에서는 몇 가지 사소한 수정 사항을 추가합니다. 자세한 내용은 1.1.3 버전의 변경 로그를 참조하세요.

서비스 주체로 작업 실행이 GA로 제공됨

2023년 9월 21일

이제 서비스 주체의 역할 및 서비스 주체의 ID를 사용하여 작업을 실행하는 작업의 설정이 일반 공급됩니다.

서비스 주체를 관리하기 위한 역할 및 작업 실행을 위한 ID 구성을 참조하세요.

Databricks CLI가 버전 0.205.2으로 업데이트됨(공개 미리 보기)

2023년 9월 21일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.205.2로 업데이트되었습니다. 이 릴리스에는 몇 가지 사소한 업데이트가 포함되어 있습니다. 자세한 내용은 0.205.2 버전의 변경 로그를 참조하세요.

Databricks CLI가 버전 0.205.1으로 업데이트됨(공개 미리 보기)

2023년 9월 20일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.205.1로 업데이트되었습니다. 이 릴리스에서는 Databricks 자산 번들 등의 작업 태스크에 대한 대상 재정의를 사용할 수 있습니다. 자세한 내용은 0.205.1 버전의 변경 로그를 참조하세요.

Go용 Databricks SDK가 버전 0.20.0으로 업데이트됨(베타)

2023년 9월 20일

Go용 Databricks SDK 버전 0.20.0에서는 12개 이상의 API를 추가하고, 6개의 필드를 추가하고, 몇 가지 필드와 메서드를 변경하고, 몇 가지 API를 제거합니다. 자세한 내용은 0.20.0 버전의 변경 로그를 참조하세요.

Python용 Databricks SDK가 버전 0.9.0으로 업데이트됨(베타)

2023년 9월 20일

Python용 Databricks SDK 버전 0.9.0에서는 몇 가지 메서드와 필드를 변경하고, 약 10개의 필드를 추가하고, 약 20개의 데이터 클래스를 추가하고, 추가 변경 및 제거를 도입합니다. 자세한 내용은 0.9.0 버전의 변경 로그를 참조하세요.

Python용 Databricks SDK가 버전 0.7.1로 업데이트됨(베타)

2023년 9월 20일

Python용 Databricks SDK 버전 0.7.1에는 파일 다운로드 성능을 향상시키기 위한 사소한 수정 사항이 포함되어 있습니다. 자세한 내용은 0.7.1 버전의 변경 로그를 참조하세요.

Databricks Terraform 공급자 버전이 1.26.0으로 업데이트됨

2023년 9월 20일

Databricks Terraform 공급자 버전 1.26.0에서는 Unity 카탈로그 볼륨의 init 스크립트에 대한 지원을 추가하고, 몇 가지 추가 개선 사항 및 버그 수정 등을 포함합니다. 자세한 내용은 1.26.0 버전의 변경 로그를 참조하세요.

Databricks Runtime 14.0용 Databricks Connect

2023년 9월 20일

Databricks Runtime 14.0용 Databricks Connect는 중단 후 쿼리에 다시 연결하는 전체 구조적 스트리밍(foreachBatch 포함) 및 장기 실행 쿼리를 지원합니다.

공개 미리 보기의 Lakeview 대시보드

2023년 9월 20일

Lakeview 대시보드를 사용하면 간소화되고 통합된 데이터 거버넌스 모델을 사용하여 시각화 및 데이터 세트를 공유할 수 있습니다. 대시보드를 참조하세요.

Scala에 대한 Databricks Connect V2가 공개 미리 보기로 제공됨

2023년 9월 19일

이제 Databricks Runtime 13.3 LTS용 Databricks Connect는 DataFrames, Delta, 구조적 스트리밍 등을 비롯한 공개 미리 보기에서 Scala를 지원합니다.

Python의 경우 이제 쿼리 취소가 지원되며 DatabricksSession 클래스를 Azure Databricks Notebooks 및 작업에서 사용할 수 있습니다.

공개 미리 보기로 지원되는 GPU 모델

2023년 9월 19일

Azure Databricks의 모델 서빙은 GPU 컴퓨팅 리소스를 사용하여 PyTorch 및 TensorFlow 모델의 배포를 지원합니다. 이 기능은 선택한 지역에서 [공개 미리 보기]로 제공되며, mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflow, mlflow.transformers 버전으로 로깅된 모델의 GPU 배포에도 적용됩니다. GPU 워크로드 유형을 참조하세요.

이제 Unity Catalog에서 주문형 기능 계산을 사용할 수 있음(공개 미리 보기)

2023년 9월 14일

이제 기계 학습 기능을 유추할 때 온디맨드 방식으로 계산할 수 있습니다. 기능 컴퓨팅 로직, 모델, 데이터는 모두 Unity 카탈로그에 의해 관리됩니다. 이는 모델이 사용자의 현재 위치와 같이 유추 시점에만 사용할 수 있는 입력을 사용하여 기능 값을 컴퓨팅할 수 있도록 합니다. 자세한 내용은 Python 사용자 정의 함수를 사용하여 기능 값을 온디맨드로 컴퓨팅하기를 참조하십시오.

Databricks Runtime 14.0이 GA로 제공됨

2023년 9월 14일

이제 Databricks Runtime 14.0 및 Databricks Runtime 14.0 ML이 일반 공급됩니다.

Databricks Runtime 14.0(EoS) 및 Machine Learning용 Databricks Runtime 14.0(EoS)을 참조하세요.

계정 메일 알림 업그레이드

2023년 9월 14일

사용자가 Azure Databricks 계정에 추가되면 Databricks는 더 이상 메일 알림 보내지 않습니다. 사용자는 작업 영역에 대한 액세스 권한이 부여되면 계속해서 메일 알림 받습니다.

Databricks Terraform 공급자 버전이 1.25.1로 업데이트됨

2023년 9월 13일

Databricks Terraform 공급자 버전 1.25.1이 사소한 개선 및 버그 수정으로 릴리스되었습니다. 자세한 내용은 1.25.1 버전의 변경 로그를 참조하세요.

Go용 Databricks SDK가 버전 0.19.2로 업데이트됨(베타)

2023년 9월 13일

Go용 Databricks SDK 버전 0.19.2에는 하나의 사소한 수정 사항이 포함되어 있습니다. 자세한 내용은 0.19.2 버전의 변경 로그를 참조하세요.

Databricks CLI가 버전 0.205.0으로 업데이트됨(공개 미리 보기)

2023년 9월 13일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.205.0으로 업데이트되었습니다. 공개 미리 보기에서 Databricks 자산 번들을 지원하기 위한 Databricks CLI의 첫 번째 릴리스입니다. 자세한 내용은 0.205.0 버전의 변경 로그를 참조하세요.

/Workspace의 예약된 위치

2023년 9월 13일

이제 위치 /Workspace가 예약되었습니다. Azure Databricks의 루트 경로를 기준으로 /Workspace 디렉터리를 더 이상 정의할 수 없습니다.

Databricks 자산 번들(공개 미리 보기)

2023년 9월 12일

이제 Databricks 자산 번들이 공개 미리 보기로 제공되며, 엔드투엔드 데이터, 분석 및 ML 프로젝트를 원본 파일 컬렉션으로 표현할 수 있습니다. 이를 통해 소스 제어, 코드 검토, 테스트 및 CI/CD와 같은 데이터 엔지니어링 모범 사례를 더 간단하게 적용할 수 있습니다.

Databricks Terraform 공급자 버전이 1.25.0으로 업데이트됨

2023년 9월 12일

Databricks Terraform 공급자 버전 1.25.0에는 Databricks SQL 웨어하우스에 대한 IS_OWNER 권한 추가, 사소한 수정 사항, 문서 업데이트 등이 포함됩니다. 자세한 내용은 1.25.0 버전의 변경 로그를 참조하세요.

Visual Studio Code용 Databricks 확장이 버전 1.1.2로 업데이트됨

2023년 9월 12일

Visual Studio Code용 Databricks 확장 버전 1.1.2에서는 Azure Databricks Notebooks에서 %run 및 # MAGIC에 대한 실험적 지원을 추가하고 여러 로컬 Databricks CLI 설치와 관련된 경로 문제 등을 해결합니다. 자세한 내용은 1.1.2 버전의 변경 로그를 참조하세요.

Partner Connect에서 Snowplow가 지원됨

2023년 9월 12일

이제 Partner Connect를 사용하여 Azure Databricks 작업 영역을 Snowplow에 연결할 수 있습니다. 자세한 정보는 Snowplow에 연결을 참고하세요.

Databricks CLI가 버전 0.204.1으로 업데이트됨(공개 미리 보기)

2023년 9월 11일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.204.1로 업데이트되었습니다. 자세한 내용은 0.204.1 버전의 변경 로그를 참조하세요.

행 필터 및 열 마스크를 사용하여 중요한 데이터 필터링(공개 미리 보기)

2023년 9월 11일

이제 테이블에 행 필터 및 열 마스크를 적용하여 특정 사용자가 중요한 데이터에 액세스하지 못하도록 방지할 수 있습니다. 이러한 필터 및 마스크는 SQL UDF(사용자 정의 함수)로 구현됩니다. 행 필터 및 열 마스크를 사용하여 중요한 테이블 데이터 필터링을 참조하세요.

이제 시스템 테이블에 Marketplace 스키마가 포함됨(공개 미리 보기)

2023년 9월 8일

이제 시스템 테이블에 마켓플레이스 공급자 데이터를 저장하는 marketplace 스키마가 포함됩니다. marketplace.listing_access_events 테이블을 쿼리하여 목록에서 수행된 작업에 대한 소비자 정보를 검색할 수 있습니다. 자세한 내용은 Marketplace 시스템 테이블 참조를 보세요.

이제 가격 책정 시스템 테이블을 사용할 수 있음(공개 미리 보기)

2023년 9월 8일

이제 시스템 테이블에는 시간 경과에 따른 SKU 비용을 모니터링할 수 있는 가격 책정 테이블(system.billing.list_prices)이 포함됩니다. 이러한 로그는 비용 분석을 수행하고 가격 변경을 모니터링하는 데 도움이 될 수 있습니다. 시스템 가격 책정 테이블 참조를 참조하세요.

Go용 Databricks SDK가 버전 0.19.1로 업데이트됨(베타)

2023년 9월 7일

Go용 Databricks SDK 버전 0.19.1에서는 몇 가지 사소한 업데이트 및 수정 사항을 계속합니다. 자세한 내용은 0.19.1 버전의 변경 로그를 참조하세요.

Databricks ODBC 드라이버 2.7.3

2023년 9월 7일

Databricks ODBC 드라이버(다운로드) 버전 2.7.3이 릴리스되었습니다. 이 릴리스에는 다음과 같은 기능 및 수정 사항이 포함되어 있습니다.

• 제3자 종속성을 업그레이드하여 취약성을 수정합니다.
• SQL_ATTR_MAX_ROWS는 클라이언트가 빠른 로드(예: 미리 보기)를 신속하게 로드하기 위해 쿼리에서 페치할 행 수를 제한할 수 있도록 지원합니다.
• MacOS 지원이 업데이트되었습니다. 이제 드라이버에서 Apple Silicon/M1을 지원합니다.
• SSO(Single Sign-On)를 용이하게 하는 OAuth2 브라우저 기반 인증을 지원합니다.

Important

기본 키 및 외래 키 API를 사용하는 경우 호출자가 기본 테이블 또는 외래 테이블의 카탈로그에 대한 SQLForeignKeys 값을 전달하면 NULL 함수는 빈 결과를 반환합니다. 이 문제는 개발자에게 알려져 있습니다.

Databricks CLI가 버전 0.204.0으로 업데이트됨(공개 미리 보기)

2023년 9월 6일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.204.0으로 업데이트되었습니다. 이 릴리스에는 사용 권한 관련 명령 그룹화, 여러 명령 추가 및 변경 등이 포함됩니다. 자세한 내용은 0.204.0 버전의 변경 로그를 참조하세요.

이제 데이터 탐색기가 카탈로그 탐색기임

2023년 9월 6일

데이터 탐색기의 이름이 카탈로그 탐색기로 변경되어 데이터 개체뿐만 아니라 Unity 카탈로그의 모든 보안 개체에서 작업하는 데 사용할 수 있다는 사실을 인식합니다. 카탈로그 탐색기란?을 참조하세요.

Go용 Databricks SDK가 버전 0.19.0으로 업데이트됨(베타)

2023년 9월 4일

Go용 Databricks SDK 버전 0.19.0에서는 권한 API의 이름을 바꾸고, 8개의 API를 추가하고, 5개의 필드를 추가하고, 몇 가지 필드를 변경 및 제거하고, 몇 가지 메서드를 변경합니다. 자세한 내용은 0.19.0 버전의 변경 로그를 참조하세요.

Python용 Databricks SDK가 버전 0.8.0으로 업데이트됨(베타)

2023년 9월 4일

Python용 Databricks SDK 버전 0.8.0에서는 권한 API의 이름을 바꾸고, 6개의 필드를 추가하고, 6개의 데이터 클래스를 추가하고, 몇 가지 변경 및 제거를 도입합니다. 자세한 내용은 0.8.0 버전의 변경 로그를 참조하세요.

Unity Catalog에서 허용 목록 권한 위임

2023년 9월 1일

이제 Unity 카탈로그의 허용 목록에서 항목을 관리하기 위한 권한을 위임할 수 있습니다. 공유 컴퓨팅의 허용 목록 라이브러리 및 초기화 스크립트를 참조하세요.

리포지토리의 GitHub 앱 통합이 일반 공급됨

2023년 9월 1일

리포지토리의 GitHub 앱 통합이 일반 공급됩니다. 이 기능을 사용하면 리포지토리에서 GitHub와 통합할 때 더 간단한 Git 자격 증명 관리를 수행할 수 있습니다.

Important

GitHub 엔터프라이즈 서버에서는 GitHub 앱이 지원되지 않습니다.