2024년 5월
이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2024년 5월에 릴리스되었습니다.
참고 항목
릴리스가 준비되었습니다. Azure Databricks 계정은 초기 릴리스 날짜 후 일주일 이후까지 업데이트되지 않을 수 있습니다.
이제 서버리스 방화벽 구성에서 더 많은 컴퓨팅 유형이 지원됨
2024년 5월 31일
이제 Azure Databricks는 서버리스 작업, Notebook, Delta Live Tables 파이프라인 및 NCC(네트워크 연결 구성)를 사용하여 CPU 엔드포인트 액세스를 제공하는 모델에 대한 방화벽 구성을 지원합니다. 계정 관리자는 안정적인 서브넷을 통해 안전하고 제어된 액세스를 보장하기 위해 NCC를 만들고 작업 영역에 연결할 수 있습니다.
서버리스 컴퓨팅 액세스를 위한 방화벽 구성을 참조하세요.
Databricks Runtime 15.0 시리즈 지원 종료
2024년 5월 31일
Machine Learning용 Databricks Runtime 15.0 및 Databricks Runtime 15.0에 대한 지원은 5월 31일에 종료되었습니다. Databricks 지원 수명 주기를 참조하세요.
Databricks Runtime 15.3(베타)
2024년 5월 30일
이제 Databricks Runtime 15.3 및 Databricks Runtime 15.3 ML을 베타 릴리스로 사용할 수 있습니다.
Databricks Runtime 15.3(EoS) 및 머신러닝용 Databricks Runtime 15.2(EoS)을 참조하세요.
이제 모든 Databricks 런타임 버전에서 컴퓨팅 메트릭 UI를 사용할 수 있음
2024년 5월 30일
컴퓨팅 메트릭 UI가 모든 Databricks 런타임 버전으로 롤아웃되었습니다. 이전에는 이러한 메트릭이 Databricks Runtime 13.3 이상에서 실행되는 컴퓨팅 리소스에서만 사용할 수 있었습니다. 컴퓨팅 메트릭 보기를 참조 하세요.
Notebook 및 SQL 편집기 결과 테이블의 검색 및 필터링 향상
2024년 5월 28일
이제 Notebook 및 SQL 편집기 내의 결과 테이블에 있는 기존 값의 드롭다운 목록에서 열을 쉽게 검색하고 필터 값을 선택할 수 있습니다.
새 대시보드는 Databricks Marketplace 공급자가 목록 사용량을 모니터링하는 데 도움이 됩니다.
2024년 5월 28일
새 공급자 분석 대시보드를 사용하면 Databricks Marketplace 공급자가 목록 보기, 요청 및 설치를 모니터링할 수 있습니다. 대시보드는 Marketplace 시스템 테이블에서 데이터를 끌어옵니다. 대시보드를 사용하여 목록 사용 메트릭 모니터링을 참조하세요.
에서 시스템 생성 페더레이션 쿼리 보기 Query Profile
2024년 5월 24일
이제 Lakehouse 페더레이션은 시스템 생성 페더레이션 쿼리 및 해당 메트릭을 쿼리 프로필에서 볼 수 있도록 지원합니다. 그래프 보기에서 페더레이션 검색 노드를 클릭하여 데이터 원본으로 푸시된 쿼리를 표시합니다. 시스템 생성 페더레이션 쿼리 보기를 참조 하세요.
컴퓨팅 평면 아웃바운드 IP 주소를 작업 영역 IP 허용 목록에 추가해야 합니다.
2024년 5월 24일
작업 영역에서 보안 클러스터 연결 및 IP 액세스 목록을 사용하는 경우 컴퓨팅 평면에서 제어 평면에 액세스하는 데 사용하는 모든 공용 IP를 허용 목록에 추가하거나 백 엔드 Private Link구성해야 합니다. 이 변경 내용은 2024년 7월 29일에 모든 새 작업 영역과 2024년 8월 26일에 기존 작업 영역에 영향을 줍니다. 자세한 내용은 Databricks 커뮤니티 게시물을 참조하세요.
예를 들어 VNet 삽입을 사용하는 작업 영역에서 보안 클러스터 연결을 사용하도록 설정하는 경우 Databricks는 작업 영역에 안정적인 송신 공용 IP가 있는 것이 좋습니다. 해당 공용 IP 및 다른 모든 IP는 허용 목록에 있어야 합니다. 보안 클러스터 연결을 사용하는 경우 송신 IP 주소를 참조하세요. 또는 Azure Databricks 관리형 VNet을 사용하고 공용 IP에 액세스하도록 관리되는 NAT 게이트웨이를 구성하는 경우 해당 IP가 허용 목록에 있어야 합니다.
작업 영역에 대한 IP 액세스 목록 구성을 참조하세요.
Snowflake용 Lakehouse Federation에서 OAuth가 지원됨
2024년 5월 24일
이제 Unity 카탈로그를 사용하여 OAuth를 사용하여 Snowflake 연결을 만들 수 있습니다. Snowflake에서 페더레이션된 쿼리 실행을 참조하세요.
작업 영역 브라우저에서 작업 영역 개체 일괄 이동 및 삭제
2024년 5월 24일
이제 작업 영역에서 여러 항목을 선택하여 이동하거나 삭제할 수 있습니다. 여러 개체를 선택하면 작업 표시줄이 나타나고 항목을 이동하거나 삭제할 수 있는 옵션이 있습니다. 또한 마우스를 사용하여 여러 항목을 선택하고 새 위치로 끌 수 있습니다. 개체에 대한 기존 권한은 대량 이동 및 삭제 작업 중에 계속 적용됩니다.
Unity 카탈로그 개체는 최근 및 즐겨찾기에서 사용할 수 있습니다.
2024년 5월 23일
이제 최근 목록에서 카탈로그 및 스키마와 같은 Unity 카탈로그 개체를 찾을 수 있습니다. 카탈로그 탐색기 및 스키마 브라우저에서 Unity 카탈로그 개체를 즐겨찾고 작업 영역 홈페이지에서 즐겨찾는 개체를 찾을 수도 있습니다.
새 dbt-databricks 커넥터 1.8.0에서 분리된 dbt 아키텍처를 채택함
2024년 5월 23일
DBT-Databricks 커넥터 1.8.0은 분리된 새 dbt 아키텍처를 채택한 첫 번째 버전입니다. 고객이 두 라이브러리에 대한 버전을 지정할 필요가 없도록 dbt-core에 의존하지 않고 이제 커넥터는 어댑터와 dbt-core 간의공유 추상화 계층에 의존합니다. 따라서 커넥터는 더 이상 Databricks 기능 버전을 dbt-core 버전과 일치시킬 필요가 없으며 의미 체계 버전 관리 기능을 자유롭게 채택 할 수 있습니다. 즉, 커넥터 개발자는 더 이상 모델당 컴퓨팅과 같은 중요한 기능을 패치로 릴리스할 필요가 없습니다.
이 릴리스에서는 다음과 같은 기능도 제공합니다.
- 구체화된 뷰 및 스트리밍 테이블의 선언 및 작동이 개선되어 자동 새로 고침을 예약하는 기능이 포함되었습니다.
- Unity 카탈로그의 보안 가능한 개체 및 태그지원. dbt 작업에서 모델을 선택하는 데 자주 사용되는 메타데이터인 dbt 태그와 구분하기 위해 이러한 태그의 이름은 모델 구성
databricks_tags지정 됩니다. - 메타데이터 처리 성능이 몇 가지 개선되었습니다.
새 규정 준수 및 보안 설정 API(공개 미리 보기)
2024년 5월 23일
Databricks는 작업 영역에서 규정 준수 보안 프로필, 향상된 보안 모니터링 및 자동 클러스터 업데이트 설정에 대한 새로운 API를 도입했습니다. 참조
- 규정 준수 보안 프로필 API
- 향상된 보안 모니터링 API
- 자동 클러스터 업데이트 API
Databricks Runtime 15.2가 GA로 제공됨
2024년 5월 22일
이제 Databricks Runtime 15.2 및 Databricks Runtime 15.2 ML이 일반 공급됩니다.
Databricks Runtime 15.2(EoS) 및 Databricks Runtime 15.2 for Machine Learning(EoS)참조하세요.
Delta Sharing을 위한 새 Tableau 커넥터
2024년 5월 22일
새 Tableau Delta Sharing Connector는 델타 공유 오픈 공유 프로토콜을 사용하여 공유된 데이터에 대한 Tableau Desktop 액세스를 간소화합니다. Tableau: 공유 데이터 읽기를 참조하세요.
새로운 딥 러닝 권장 사항 모델 예제
2024년 5월 22일
Databricks는 2타워 모델과 메타의 DLRM을 포함하여 최신 딥 러닝 권장 사항 모델을 보여주는 두 가지 새로운 예제를 발표했습니다. 딥 러닝 권장 사항 모델에 대한 자세한 내용은 추천 모델 학습을 참조하세요.
스토리지 자격 증명 및 외부 위치를 특정 작업 영역에 바인딩(공개 미리 보기)
2024년 5월 22일
이제 스토리지 자격 증명 및 외부 위치를 특정 작업 영역에 바인딩하여 다른 작업 영역에서 해당 개체에 대한 액세스를 차단할 수 있습니다. 이 기능은 작업 영역을 사용하여 사용자 데이터 액세스를 격리하는 경우 특히 유용합니다. 예를 들어 별도의 프로덕션 및 개발 작업 영역 또는 중요한 데이터를 처리하기 위한 전용 작업 영역이 있는 경우 유용합니다.
자세한 내용은 (선택 사항) 특정 작업 영역에 외부 위치 할당 및 (선택 사항) 특정 작업 영역에 스토리지 자격 증명 할당을 참조하세요.
Git 폴더가 GA로 제공됨
2024년 5월 22일
이제 Git 폴더를 일반 공급할 수 있습니다. Databricks Git 폴더에 대한 Git 통합을 참조하세요. 이전 "리포지토리" 기능의 사용자인 경우 Databricks Repos의 변경 내용을 참조 하세요.
Unity 카탈로그에서 미리 학습된 모델(공개 미리 보기)
2024년 5월 21일
이제 Databricks에는 Unity 카탈로그에서 미리 학습된 고품질 GenAI 모델이 포함되어 있습니다. 미리 학습된 이러한 모델을 사용하면 유추 워크플로에 대한 최신 AI 기능에 액세스하여 사용자 지정 모델을 빌드하는 데 드는 시간과 비용을 절약할 수 있습니다. 미리 학습된 모델은 Unity 카탈로그 및 Marketplace에서 참고하십시오.
Mosaic AI 벡터 검색이 GA로 제공됨
2024년 5월 21일
이제 모자이크 AI 벡터 검색이 일반 공급됩니다. 모자이크 AI 벡터 검색을 참조하세요.
Databricks 도우미 자동 완성(공개 미리 보기)
2024년 5월 20일
Databricks Assistant 자동 완성은 Notebook, 쿼리 및 파일을 입력할 때 AI 기반 제안을 실시간으로 제공합니다. 사용하도록 설정하려면 설정이동하고 Databricks Assistant 자동 완성을 토글> 자세한 내용은 AI 기반 자동 완성을 참조 하세요.
Foundation Model Training에서 Meta Llama 3 지원
2024년 5월 20일
이제 Foundation Model Training에서 Meta Llama 3을 지원합니다. 파운데이션 모델 미세 조정을 참조 하세요.
Git 폴더 UI에 대한 새로운 변경 내용
2024년 5월 17일
Git 폴더 상호 작용에 대한 사용자 인터페이스의 일부 변경 내용을 확인할 수 있습니다. 다음을 추가했습니다.
Git 폴더를 공유하면 Git 폴더를 만들기 위해 링크를 복사하라 는 메시지가 표시되는 새 경고가 배너에 표시됩니다. 단추를 클릭하면 URL이 로컬 클립보드에 복사되어 다른 사용자에게 보낼 수 있습니다. 받는 사람이 브라우저에서 해당 URL을 로드하면 사용자는 동일한 원격 Git 리포지토리에서 복제된 자신의 Git 폴더를 만들 수 있는 작업 영역으로 이동합니다. 받는 사람이 URL에 액세스하면 Git 폴더에서 가져온 값으로 미리 채워진 Git 폴더 만들기 대화 상자가 UI에 표시됩니다.
마찬가지로 다른 사용자가 만든 Git 폴더를 볼 때 새 단추인 Git 폴더 만들기가 새 경고 배너에 나타납니다. Git 폴더 만들기 대화 상자에서 미리 채워진 값을 기반으로 동일한 Git 리포지토리에 대한 고유한 Git 폴더를 만들려면 이 단추를 클릭합니다.
기본 모델 학습(공개 미리 보기)
2024년 5월 13일
이제 Databricks는 Foundation Model Training을 지원합니다. Foundation Model Training을 사용하면 사용자 고유의 데이터를 사용하여 기본 모델을 사용자 지정하여 특정 애플리케이션에 대한 성능을 최적화합니다. 기본 모델을 미세 조정하거나 계속 학습하면 모델을 처음부터 학습하는 것보다 훨씬 적은 데이터, 시간 및 컴퓨팅 리소스를 사용하여 고유한 모델을 학습할 수 있습니다. 학습 데이터, 검사점 및 미세 조정된 모델은 모두 Databricks 플랫폼에 상주하며 거버넌스 및 생산성 도구와 통합됩니다.
자세한 내용은 파운데이션 모델 미세 조정을 참조 하세요.
사용자가 결과 테이블에서 클립보드로 데이터를 복사할 수 있도록 허용
2024년 5월 9일
이제 관리자는 사용자가 결과 테이블에서 클립보드로 데이터를 복사할기능을 사용하거나 사용하지 않도록 설정할 수 있습니다. 이전에는 이 기능이 Notebook으로 제한되었습니다. 이제 이 설정은 다음 인터페이스에 적용됩니다.
- Notebooks
- 대시보드
- 지니 공간
- 카탈로그 탐색기
- 파일 편집기
- SQL 편집기
Unity 카탈로그 개체의 특성 태그 값은 이제 1000자 길이(공개 미리 보기)가 될 수 있습니다.
2024년 5월 8일
이제 Unity 카탈로그의 특성 태그 값은 최대 1,000자까지 가능합니다. 태그 키의 문자 제한은 255로 유지됩니다. Unity Catalog 보안 개체에 태그를 적용참조하세요.
새 미리 보기 페이지
2024년 5월 8일
새 미리 보기 페이지에서 Databricks 미리 보기에 대한 액세스를 사용하도록 설정하고 관리합니다. Azure Databricks 미리 보기 관리를 참조하세요.
Mosaic AI Vector Search의 새로운 기능
2024년 5월 8일
새로운 기능에는 다음이 포함되었습니다.
- 이제 IP 액세스 목록이 지원됩니다.
- 이제 CMK(고객 관리형 키) 는 2024년 5월 8일 이후에 만든 엔드포인트에서 지원됩니다. CMK에 대한 벡터 검색 지원은 공개 미리 보기로 제공됩니다.
- 감사 로그 및 비용 특성 추적이 향상되었습니다. 진단 로그 참조를 확인하세요.
- 이제 생성된 임베딩을 델타 테이블로 저장할 수 있습니다. 벡터 검색 인덱스 만들기를 참조하세요.
모자이크 AI 벡터 검색을 참조하세요.
자격 증명 통과 및 Hive 메타스토어 테이블 액세스 제어는 더 이상 사용되지 않습니다.
2024년 5월 7일
자격 증명 통과 및 Hive 메타스토어 테이블 액세스 제어 Databricks Runtime 15.0에서 더 이상 사용되지 않으며 향후 DBR 버전에서 지원이 제거됩니다.
계정의 여러 작업 영역에서 데이터 액세스를 관리하고 감사하는 중앙 위치를 제공하여 데이터의 보안 및 거버넌스를 간소화하려면 Unity 카탈로그로 업그레이드합니다. Unity 카탈로그란?.
Databricks JDBC 드라이버 2.6.38
2024년 5월 6일
Databricks JDBC 드라이버 버전 2.6.38을 릴리스했습니다(다운로드). 이 릴리스에는 다음과 같은 새로운 기능과 향상된 기능이 추가됩니다.
- 서버에서 .를 사용하는
SPARK_CLI_SERVICE_PROTOCOL_V8경우 네이티브 매개 변수가 있는 쿼리가 지원됩니다. 쿼리의 매개 변수 수 제한은 네이티브 쿼리 모드에서256. - 볼륨 지원을 사용한
Unity Catalog데이터 수집 Unity 카탈로그 를 사용하여클라우드 개체 스토리지에 연결하여Unity Catalog볼륨에 대해 자세히 알아보세요. 이를 사용하려면UseNativeQuery1설정합니다. -
QueryProfile애플리케이션에서 쿼리IHadoopStatement를 검색할query id수 있도록 인터페이스가 추가되었습니다. Databricksquery idREST API를 사용하여 쿼리의 메타데이터를 가져오는 데 사용할 수 있습니다. - 서버에서 .를 사용하는
SPARK_CLI_SERVICE_PROTOCOL_V9경우 메타데이터 Thrift 호출에 대한 비동기 작업 이 기능을 사용하려면EnableAsyncModeForMetadataOperation속성을1설정합니다. - JWT 어설션 지원. 이제 커넥터는 클라이언트 자격 증명을 사용하여 JWT 어설션 OAuth를 지원합니다. 이렇게 하려면
UseJWTAssertion속성을1설정합니다.
이 릴리스에서는 다음과 같은 문제도 해결합니다.
- 잭슨 라이브러리 업데이트. 이제 커넥터는 잭슨 JSON 파서에 대해 잭슨 주석 2.16.0(이전 2.15.2), jackson-core 2.16.0(이전 2.15.2), jackson-databind-2.16.0(이전 2.15.2) 라이브러리를 사용합니다.
- 커넥터는 META-INF 디렉터리에 섀딩되지 않은 클래스 파일을 포함합니다.
작업 영역 스토리지 계정에 대한 방화벽 지원이 일반 공급됨
2024년 5월 6일
새 Azure Databricks 작업 영역을 만들 때 Azure Storage 계정은 작업 영역 스토리지 계정이라고 하는 관리되는 리소스 그룹에 만들어집니다. 이제 방화벽을 사용하도록 설정하여 권한 있는 리소스 및 네트워크에서만 작업 영역 스토리지 계정에 대한 액세스를 제한할 수 있습니다. 작업 영역 스토리지 계정에 대한 방화벽 지원 사용을 참조하세요.
Databricks Runtime 15.2(베타)
2024년 5월 2일
이제 Databricks Runtime 15.2 및 Databricks Runtime 15.2 ML을 베타 릴리스로 사용할 수 있습니다.
Databricks Runtime 15.2(EoS) 및 Databricks Runtime 15.2 for Machine Learning(EoS)참조하세요.
이제 Notebook에서 Spark Connect DataFrames의 열 이름을 검색하고 자동 완성합니다.
2024년 5월 1일
이제 Databricks Notebook은 Spark Connect DataFrames에서 열 이름을 자동으로 검색하고 표시하며 자동 완성을 사용하여 열을 선택할 수 있습니다.