2024년 6월
이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2024년 6월에 릴리스되었습니다.
참고 항목
릴리스가 준비되었습니다. Azure Databricks 계정은 초기 릴리스 날짜 후 일주일 이후까지 업데이트되지 않을 수 있습니다.
Notebook - 순서가 다른 구문 강조 표시
2024년 6월 16일
이제 Notebooks에서 강조 표시된 Python 구문 오류는 변수가 선언되기 전에 사용될 때 사용자에게 경고하고 수정을 제안합니다.
Notebooks Assistant에서 오류를 자동으로 진단함
2024년 6월 16일
이제 Databricks 도우미가 Notebooks의 코드 오류를 자동으로 진단합니다. 이는 생성형 AI를 사용하여 코드와 오류 메시지를 분석해 Notebook에서 직접 수정 사항을 제안합니다. 자세한 내용은 사용 설정하고 Databricks Assistant을 시도해 보세요.
카탈로그 탐색기 개선 사항
2024년 6월 28일
카탈로그 탐색기에서 다음과 같은 개선 사항이 수행되었습니다.
최근 Unity 카탈로그 개체, 즐겨 찾는 Unity 카탈로그 개체, 검색할 카탈로그 및 스키마를 표시하는 빠른 액세스 섹션이 추가되었습니다.
위쪽 막대 및 아코디언 구조를 제거하고, 더 간단한 탐색을 위해 스키마 브라우저가 있는 사이드바의 기어 아이콘 메뉴로 다음 진입점을 이동했습니다.
- 컴퓨팅 선택
- Delta Sharing
- 스토리지 자격 증명
- 외부 위치
- 연결들
- DBFS 찾아보기
카탈로그 탐색기 맨 위에서 델타 공유 및 외부 데이터에 액세스할 수 있으며, 이는 빠른 액세스 섹션 위에 있습니다.
단일 Model Serving 엔드포인트에서 여러 외부 모델 제공
2024년 6월 27일
Mosaic AI 모델 서빙은 이제 모델 서빙 엔드포인트당 여러 외부 모델 제공을 지원합니다. 엔드포인트에 여러 외부 모델 제공을 참조하세요.
이제 Databricks 도우미가 GA로 제공됨
2024년 6월 27일
Databricks 도우미는 일반 공급으로 릴리스됩니다. 도우미 기능은 다음과 같습니다.
- 코드를 생성, 디버그, 최적화 및 설명합니다.
- 데이터에서 시각화를 만듭니다. Databricks Assistant를 사용하여 시각화 만들기를 참조하세요.
- 디버그 작업(공개 미리 보기 기능).
- SQL 쿼리를 코딩하고 편집합니다.
- Azure Databricks 문서 및 지식 기반에서 관련 도움말을 찾습니다.
자세한 내용은 Databricks 도우미란?을 참조하세요.
이제 Databricks Assistant에서 스레드에 제목을 제공함
2024년 6월 27일
도움말 스레드를 보다 쉽게 탐색하기 위해 Databricks 도우미는 프롬프트의 컨텍스트에 따라 스레드의 제목을 지정합니다.
활성화 참조하시고 Databricks Assistant을 사용해 보세요.
서버리스 Notebooks 환경 관리자
2024년 6월 27일
이제 환경 쪽 패널을 사용하여 서버리스 Notebooks에 대한 Python 종속성을 설치할 수 있습니다. 이 패널에서는 Notebook에 대한 라이브러리 요구 사항을 편집, 보기 및 내보낼 수 있는 단일 위치를 제공합니다. Notebook 종속성 설치를 참조하세요.
Notebook 디버깅 콘솔
2024년 6월 27일
이제 Notebook 디버그 콘솔사용하여 Notebook 디버깅 세션 중에 라이브 변수 값을 검사하고 코드 조각을 실행할 수 있습니다.
Azure Databricks 워크플로에 정기적인 일정을 빠르게 추가
2024년 6월 28일
이제 간격 및 시간 단위만 지정하여 Azure Databricks 워크플로에 간단한 일정을 추가할 수 있습니다(예: 4시간마다 워크플로 실행). 이 새로운 일정 유형은 단 몇 번의 클릭으로 일정을 추가할 수 있도록 하여 기존 고급 일정 유형을 보완합니다. 일정에 따라 작업 실행을 참조하세요.
Databricks Runtime 15.3이 GA로 제공됨
2024년 6월 24일
이제 Databricks Runtime 15.3 및 Databricks Runtime 15.3 ML이 일반 공급됩니다.
Databricks Runtime 15.3(EoS) 및 Databricks Runtime 15.3 for Machine Learning(EoS)참조하세요.
Azure Geographies가 일반 공급됨
2024년 6월 24일
이제 Azure Geographies가 일반 공급됩니다. Azure Geographies는 일부 AI 기능에 대한 고객 콘텐츠를 처리할 때 데이터 보존을 관리합니다.
자세한 내용은 Databricks 지정 서비스를 참조하세요.
새로운 향상된 카탈로그 만들기 UI
2024년 6월 18일
새 카탈로그 만들기 UI를 사용하면 카탈로그를 만들고 구성하는 전체 프로세스를 단계별로 진행하여 유용한 프롬프트를 제공하고 필요한 구성을 선택적 구성과 구분합니다. 동일한 사용자 인터페이스를 사용하여 표준, 공유 및 외국 카탈로그를 만들 수 있습니다.
카탈로그 만들기참조하세요.
네트워크 연결 구성에서 서브넷에 대한 업데이트
2024년 6월 18일
Databricks는 모든 지역의 NCC(네트워크 연결 구성)에서 서브넷을 업데이트하고 있습니다. 새 서브넷 ID는 기존 서브넷 ID의 액세스를 허용하여 Azure Databricks에서 중단 없는 액세스를 보장하는 기존 Azure Storage 방화벽 규칙에 자동으로 추가됩니다.
네트워크 연결 구성 API를 사용하여 서브넷 ID를 가져와서 새 Azure Storage 계정에 대한 스토리지 네트워크 규칙에 추가하는 경우 중단이 발생하지 않습니다. 그러나 기존 서브넷 ID 집합을 하드 코딩하는 경우 중단이 발생할 수 있습니다. Databricks는 최신 정보에 API를 사용하는 것이 좋습니다. 네트워크 연결 구성 API를 참조하세요.
이 업데이트는 2024년 6월 20일 오후 8시에서 오전 12시 PDT 사이에 발생하는 동안 네트워크 연결 구성 API에 대한 가동 중지 시간이 발생할 수 있습니다.
청구 시스템 테이블은 기본적으로 사용하도록 설정됩니다.
2024년 6월 18일
이제 system.billing 스키마는 모든 Unity 카탈로그 작업 영역에서 기본적으로 사용하도록 설정됩니다.
청구 가능한 사용량 시스템 테이블을 참조하세요.
Lakehouse 모니터링이 일반 공급됨
2024년 6월 13일
이제 Databricks Lakehouse 모니터링이 일반 공급됩니다.
이제 Delta Sharing를 사용한 볼륨 공유가 일반 공급됨
2024년 6월 13일
이제 표 형식 데이터가 아닌 데이터를 볼륨으로 공유하기 위한 Delta Sharing 지원이 일반 공급됩니다. 서로 다른 Unity 카탈로그 메타스토어(다른 Databricks 계정 및 다른 클라우드의 작업 영역 포함)에서 Databricks 작업 영역 간에 볼륨을 공유할 수 있습니다.
볼륨은 클라우드 개체 스토리지 위치에 있는 스토리지의 논리적 볼륨을 나타내는 Unity 카탈로그 개체입니다. 주로 표 형식 데이터가 아닌 데이터 자산에 대한 거버넌스를 제공하기 위한 것입니다. Databricks의 Delta Sharing 기능은 Unity 카탈로그와 원활하게 통합되어 공유 볼륨 데이터의 사용량을 관리, 통제, 감사 및 추적할 수 있습니다.
공유에 볼륨 추가을 참조하세요.
이제 Databricks Vector Search에 대한 CMK(고객 관리형 키)가 일반 공급됨
2024년 6월 12일
이제 벡터 검색 엔드포인트의 CMK(고객 관리형 키)가 일반 공급됩니다.
Mosaic AI 에이전트 프레임워크(공개 미리 보기)
2024년 6월 12일
Mosaic AI Agent Framework는 개발자가 RAG(프로덕션 품질 검색 보강 세대) 애플리케이션을 빌드, 배포 및 평가할 수 있도록 설계된 Databricks의 도구 집합입니다. 에이전트 프레임워크를 사용하면 사용자 고유의 데이터를 사용하여 단일 플랫폼에서 LLM 애플리케이션을 만들거나 최적화할 수 있습니다.
에이전트 프레임워크에는 다음과 같은 기능이 포함됩니다.
- 에이전트 및 체인을 만들고 기록합니다.
- 에이전트 및 체인을 매개 변수화하여 빠르게 실험하고 반복합니다.
- 관련 문서 검색, 응답 정확도, 비용 및 대기 시간의 검색에서 실행을 비교하는 기본 제공 메트릭입니다.
- 검색 및 응답 정확도를 위해 LLM 심사를 사용자 지정합니다.
- 자동화된 요청 및 응답 로깅을 사용하여 AI 애플리케이션을 배포합니다.
- 사용자 피드백을 얻기 위한 내장 검토 앱입니다.
- 에이전트 평가는 생성형 AI 애플리케이션의 품질, 대기 시간 및 비용을 평가합니다.
- MLflow 추적을 사용하여 코드 실행에서 추적을 분석하고 비교합니다.
자세한 내용은 Azure Databricks의 RAG(검색 증강 생성)를 참조하세요.
이제 예측 최적화가 일반 공급됨
2024년 6월 11일
이제 Unity 카탈로그 관리 테이블에 대한 예측 최적화를 일반적으로 사용할 수 있습니다. 이제 예측 최적화는 액체 클러스터링이 설정된 테이블에서 클러스터링을 적용하기 위해 OPTIMIZE을 실행합니다.
Unity 카탈로그 관리 테이블에 대한 예측 최적화를 참조하십시오.
엔드포인트를 제공하는 데 경로 최적화를 사용할 수 있음
2024년 6월 11일
이제 모델 서빙 또는 기능 서빙 워크플로에 대한 경로 최적화 서빙 엔드포인트를 만들 수 있습니다. 서빙 엔드포인트에 대한 경로 최적화 구성을 참조하세요.
작업 영역 스토리지 계정 방화벽을 사용한 Model Serving 지원
2024년 6월 11일
이제 작업 영역 스토리지 계정에 대한 방화벽 지원을 통해 모델 서빙이 지원됩니다. 작업 영역 스토리지 계정에 대한 방화벽 지원 사용을 참조하세요.
열 매핑이 이제 GA입니다.
2024년 6월 10일
이제 Delta Lake 열 매핑을 일반적으로 사용할 수 있습니다. 이제 DROP FEATURE 사용하여 열 매핑을 사용하지 않도록 설정하고 테이블 프로토콜을 다운그레이드할 수 있습니다. Delta Lake 열 매핑를 사용하여 열 이름 바꾸기 및 삭제 방법에 대한 내용을
이제 워크플로 시스템 테이블을 사용할 수 있습니다(공개 미리 보기)
2024년 6월 10일
system.lakeflow 스키마에는 계정의 작업을 모니터링하는 데 사용할 수 있는 4개의 새 테이블이 포함되어 있습니다.
작업 시스템 테이블을 참조하세요.
이러한 시스템 테이블에 액세스할 수 없는 경우 계정에서 system.lakeflow 스키마를 사용하도록 설정했는지 확인합니다.
시스템 테이블 스키마 사용을 참조하세요.
이제 함수 호출이 공개 미리 보기로 제공됨
2024년 6월 10일
이제 함수 호출이 공개 미리 보기로 제공됩니다. 이 기능은 파운데이션 모델 API 토큰당 종량제 모델인 DBRX Instruct 및 Meta-Llama-3-70B-Instruct를 사용하여 제공됩니다. Azure Databricks에서 함수 호출을 참조하세요.
vector_search()를 사용하여 벡터 인덱스 쿼리
2024년 6월 10일
이제 AI Functions는 SQL을 사용하여 vector_search() 인덱스를 쿼리할 수 있는 를 지원합니다.
vector_search 함수를 참조하세요.
모자이크 AI 벡터 검색이 하이브리드 검색을 지원함
2024년 6월 7일
이제 Mosaic AI 벡터 검색은 벡터 기반 포함 검색과 기존 키워드 기반 검색 기술을 결합하는 하이브리드 키워드 유사성 검색을 지원합니다. 이 방법은 벡터 기반 유사성 검색을 사용하여 쿼리의 의미 체계 관계 및 컨텍스트를 캡처하는 동시에 쿼리의 정확한 단어와 일치합니다. 이러한 두 가지 기술을 통합하여 하이브리드 키워드 유사성 검색은 정확한 키워드뿐만 아니라 개념적으로 유사한 키워드가 포함된 문서를 검색하여 보다 포괄적이고 관련 있는 검색 결과를 제공합니다. 자세한 내용은 Mosaic AI 벡터 검색을 참조하세요.
이제 GTE에서 Model Serving이 지원됨
2024년 6월 7일
이제 Mosaic AI 모델 서빙은 포함 벡터에 텍스트를 매핑할 수 있는 텍스트 포함 모델인 GTE(일반 텍스트 포함)를 지원합니다. GTE는 파운데이션 모델 API의 일부로 지원되며 토큰당 종량제 서빙 엔드포인트 지역에서 사용할 수 있습니다. 파운데이션 모델 API 사용을 참조하세요.
Databricks Assistant: 스레드 및 쿼리 환경이 기본적으로 사용하도록 설정됨
2024년 6월 6일
이제 Databricks Assistant(공개 미리 보기)는 기본적으로 세션 환경의 편집기 컨텍스트 전체에서 쿼리 스레드 및 기록을 추적합니다. 계정 또는 개별 작업 영역의 모든 작업 영역에 대한 사용을 관리할 수 있습니다.
자세한 내용은 Databricks 도우미란?을 참조하세요.
향상된 Notebook Markdown editor
2024년 6월 5일
이제Notebooks에서 Markdown 셀의 라이브 미리 보기를 보고 머리글, 목록 및 링크와 같은 일반적인 Markdown 요소에 대한 툴바에 액세스할 수 있습니다. 아이디어를 전달하는 데 더 많은 시간을 할애하고 구문을 기억하는 시간을 줄입니다.
노트북에서 카탈로그 탐색기 테이블을 빠르게 접근하기
2024년 6월 5일
이제 Notebook에서 직접 카탈로그 탐색기 테이블에 쉽게 액세스할 수 있습니다. 노트북 셀의 테이블 이름 위에 마우스를 올려놓으면 카탈로그 탐색기 페이지로 연결되는 링크를 얻을 수 있으며, 열과 사용 권한 등의 세부 정보를 확인할 수 있습니다.
Databricks ODBC 드라이버 2.8.2
2024년 6월 4일
이제 Databricks ODBC 드라이버(다운로드) 2.8.2 버전이 일반 공급됩니다. 이 릴리스에는 다음과 같은 새로운 기능과 향상된 기능이 추가됩니다.
- 이제 고객은 확장 SQL
PUT,GET및REMOVE명령을 사용하여 Unity 카탈로그 볼륨에서 큰 데이터 세트를 수집하고 관리할 수 있습니다. - 이제 기본 OAuth 구성 값이 업데이트되고 규정을 준수합니다. 업데이트된 구성 옵션에는 권한 부여 엔드포인트, OAuth 클라이언트 ID, OAuth 사용자-컴퓨터 범위 및 OAuth 컴퓨터 간 범위가 포함됩니다. 자세한 내용은 릴리스 정보를 참조하세요.
- 외래 2.6.2(이전 2.6.0) 및 libCURL 8.7.1(이전 8.6.0)을 포함한 제3자 라이브러리가 업데이트되었습니다.
- 드라이버가 Windows 신뢰할 수 있는 루트 CA 인증서 저장소에 추가된 경우 이제 프라이빗 서명 CA(인증 기관)를 수락합니다.
이 릴리스에서는 다음 문제도 해결합니다.
- 테이블 주석의 길이가
MaxCommentLen초과하면 클라이언트가 이전에 오류를 반환했습니다. 기본 동작이 이제MaxCommentLen에 지정된 제한을 준수하도록 테이블 주석을 잘립니다. - 이전에는 클라이언트가 특정 상황에서
SQLCancel을 실행할 때 오류를 반환했습니다.
이제 새 Databricks Notebook UI가 일반 공급됨
2024년 6월 4일
새로운 Databricks Notebooks UI는 개발자에게 간소화된 데이터 중심 제작 환경을 제공합니다. 주요 기능은 다음과 같습니다.
- 최신 UX: 업데이트된 UI 및 기타 기능을 사용하여 간소화된 코딩 환경을 통해 Notebook 조직을 향상시킵니다.
- 새 결과 테이블: 결과 출력에서 직접 검색 및 필터링 기능을 사용하여 코드 없는 데이터 탐색을 수행합니다.