다음을 통해 공유

2024년 8월

  • 아티클

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2024년 8월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 계정은 초기 릴리스 날짜 후 일주일 이후까지 업데이트되지 않을 수 있습니다.

새 리소스 할당량 API를 사용하여 할당량에 대한 Unity 카탈로그 개체 사용 모니터링

2024년 8월 30일

새 리소스 할당량 API를 사용하면 Unity 카탈로그 보안 개체의 사용량을 리소스 할당량에 대해 모니터링할 수 있습니다. 곧 할당량 한도에 접근할 때 메일 알림 받을 수도 있습니다. Unity 카탈로그 리소스 할당량과 리소스 할당량 API 참조의 사용을 모니터링하세요.

MPT 7B Instruct 및 MPT 30B Instruct 모델 사용 중지

2024년 8월 30일

MPT 7B Instruct 및 MPT 30B Instruct 모델은 현재 단종되었습니다. 권장되는 대체 모델은 사용 중지된 모델을 참조하세요.

AskSupport가 Azure Databricks Assistant로 대체됨

2024년 8월 29일

Databricks Slack 기반 지원 채널인 AskSupport가 Databricks 작업 영역에서 사용할 수 있는 Databricks Assistant로 대체되었습니다. Databricks Assistant를 사용하여 기술 문서를 검색하고, 티켓을 만들고, 컨텍스트 인식 지원을 받을 수 있습니다.

AI Assistant를 사용하려면 계정 콘솔에서 AI Assistant를 사용하도록 설정해야 합니다.

계정 콘솔에 추가된 가져오기 가능한 비용 관리 대시보드(공개 미리 보기)

2024년 8월 28일

이제 계정 관리자는 계정 콘솔에서 사용자 지정 가능한 비용 관리 대시보드를 계정의 모든 Unity 카탈로그 작업 영역으로 가져올 수 있습니다. 대시보드에는 계정 전체 사용을 모니터링하는 대시보드와 단일 작업 영역 사용을 모니터링하는 두 가지 버전이 있습니다.

레이크플로 시스템 테이블은 추가 열로 확장됩니다.

2024년 8월 23일

system.lakeflow 스키마의 테이블은 추가 열로 확장되고 있습니다. 다음과 같은 변경 사항이 적용되었습니다:

  • jobs가 description 열을 추가하여 확장됩니다.
  • job_run_timeline에 run_type, run_name, compute_ids, termination_code 및 job_parameters 열이 추가됩니다.
  • job_task_run_timeline은 job_run_id, parent_run_id 및 termination_code 열로 확장되었습니다.

스키마 변경은 호환성이 손상되지 않으며 기존 워크플로를 중단하지 않습니다. 새 열은 이미 내보낸 행에 대해 백필되지 않습니다. 자세한 내용은 작업 시스템 테이블을 참조하세요.

Python 코드 서식 오류 강조 표시

2024년 8월 23일

Notebook 및 파일 편집기에서 Python 코드는 예기치 않은 들여쓰기, 긴 줄 길이 등과 같은 서식 오류 및 경고를 강조 표시할 수 있습니다. Python 서식 강조 표시를 참조 하세요.

Delta 공유: 이제 더 많은 Delta Lake 기능이 Python 및 Power BI 커넥터에서 지원됨

2024년 8월 21일

이제 델타 공유 Python 커넥터 1.1.0 이상 및 Power BI v2.132.908.0 이상이 지원됩니다.

  • 열 이름 매핑 모드
  • 삭제 벡터
  • 균일한 형식

이러한 Delta Lake 기능은 Databricks Runtime 14.1 이상 및 오픈 소스 델타 공유 Apache Spark 커넥터 3.1 이상에서 이미 지원되었습니다.

Delta Lake 기능 지원 매트릭스를 참조하세요.

Delta 공유에 TimestampNTZ에 대한 지원이 추가됨

2024년 8월 21일

Delta 공유는 Databricks Runtime 14.1 이상 및 오픈 소스 Delta 공유 Apache Spark 커넥터 3.3 이상에서 TimestampNTZ에 대한 지원을 추가합니다.

Delta Lake 기능 지원 매트릭스를 참조하세요.

Azure Databricks 작업 For each 작업은 GA입니다.

2024년 8월 21일

이제 For each 작업을 일반적으로 사용할 수 있습니다. For each 작업을 사용하여 다른 작업을 루프에서 실행하여 작업의 각 반복에 다른 매개 변수 집합을 전달할 수 있습니다. 이 For each 작업은 Notebook, JAR, Python 스크립트 또는 SQL 작업과 같은 표준 작업 작업을 반복할 수 있습니다. 루프에서 매개 변수가 있는 Azure Databricks 작업 실행 작업을 참조하세요.

작업 영역 관리자에 대한 Azure RBAC 권한

2024년 8월 20일

이전에는 사용자에게 Azure에서 Azure Databricks 작업 영역 관리자 역할을 부여하기 위해 기본 제공 Azure RBAC(역할 기반 액세스 제어) 기여자 또는 소유자 역할이 필요했습니다. 이제 사용자에게 Azure Databricks 작업 영역 관리자 역할을 부여할 수 있는 권한 Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action 있는 사용자 지정 Azure RBAC 역할을 만들 수 있습니다. 이러한 사용자는 Azure Databricks 서비스를 관리하고 진단 로깅을 구성할 수 있습니다. 자세한 내용은 필요한 Azure 관리자 권한을 참조하세요.

Databricks Runtime 15.4 LTS가 GA로 제공됨

2024년 8월 19일

이제 Databricks Runtime 15.4 LTS 및 Databricks Runtime 15.4 LTS ML이 일반 공급됩니다.

Databricks Runtime 15.4 LTS 및 Machine Learning용 Databricks Runtime 15.4 LTS를 참조하세요.

개인 설정된 Notebook 자동 완성

2024년 8월 19일

이제 Notebook 자동 완성은 개별 Unity 카탈로그 메타데이터 및 사용량에 따라 제안의 우선 순위를 지정하여 각 사용자에 대한 사용자 지정 제안 순위를 제공합니다. 개인 설정된 자동 완성을 참조하세요.

2024년 8월 18일

이제 사용자는 웹 터미널과 노트북 셀에서 심링크를 만들 수 있습니다. 심볼릭 링크 위에 마우스를 올리면 해당 경로와 경로 복사 옵션이 포함된 툴팁이 나타납니다. 모든 대상은 /Workspace 디렉터리 내에 있어야 합니다.

작업 컴퓨팅에 대한 작업 영역의 기본 액세스 모드 구성

2024년 8월 16일

이제 작업 영역 관리자는 작업 영역에서 작업 컴퓨팅에 대한 기본 액세스 모드를 구성할 수 있습니다. 이 기본 액세스 모드는 정의된 액세스 모드 없이 컴퓨팅 리소스에 적용됩니다. 자세한 내용은 작업 컴퓨팅에 대한 기본 액세스 모드를 참조하세요.

Databricks Assistant에 대한 새 슬래시 명령

2024년 8월 14일

Databricks Assistant는 일반적인 작업의 바로 가기로 다음 슬래시 명령을 추가했습니다.

  • /findTables: Unity 카탈로그 메타데이터를 기반으로 관련 테이블을 검색합니다.
  • /findQueries: Unity 카탈로그 메타데이터를 기반으로 관련 쿼리를 검색합니다.
  • /prettify: 가독성을 위해 코드 서식을 지정합니다.
  • /rename: 컨텍스트에 따라 Notebook 셀 및 기타 요소에 업데이트된 이름을 제안합니다.
  • /settings: 도우미에서 직접 Notebook 설정을 조정합니다.

자세한 내용은 프롬프트에 슬래시 명령어 사용을 참조하세요.

이제 작업 영역 검색에서 볼륨을 지원합니다.

2024년 8월 14일

이제 볼륨이 검색 결과에 포함됩니다. 작업 영역 개체 검색을 참조하세요.

기본 모델 미세 조정에서 지원되는 Meta Llama 3.1 405B 모델

2024년 8월 14일

메타 라마 3.1 405B 모델은 이제 파운데이션 모델 미세 조정에서 지원됩니다. 지원되는 모델을 참조하세요.

Databricks JDBC 드라이버 2.6.40

2024년 8월 13일

이제 JDBC 드라이버 다운로드에서 Databricks JDBC Driver 버전 2.6.40을 사용할 수 있습니다. 이 릴리스에서는 중복 WARNING 로그 메시지를 제거하여 로깅 유용성 및 보안을 향상합니다.

이번 릴리스에는 다음과 같은 개선 사항과 새로운 기능이 포함되어 있습니다.

  • OIDC 검색 엔드포인트 지원. 이제 드라이버는 OIDC 검색 엔드포인트를 설정하여 토큰을 가져오고 권한 부여 엔드포인트를 검색할 수 있습니다.
  • 화살표 지원이 업데이트되었습니다. 이제 드라이버는 Apache 화살표 버전 14.0.2를 사용합니다. 이전 버전의 드라이버는 Apache Arrow 버전 9.0.0을 사용했습니다.
  • ProxyIgnoreList 지원. 이제 UseProxy1설정되면 드라이버는 ProxyIgnoreList 속성을 지원합니다.
  • 토큰 새로 고침 지원. 이제 드라이버는 선택적 새로 고침 토큰을 지원합니다. 액세스 토큰을 저장하고 유효한 경우 새 연결에 다시 사용합니다. 드라이버가 새로 고침 토큰을 사용하여 액세스 토큰을 갱신할 수 없는 경우 다시 로그인합니다.
  • 인증 지원이 업데이트되었습니다. 이제 드라이버는 Google Cloud에서 브라우저 기반(U2M) 및 M2M(클라이언트 자격 증명) 인증을 지원합니다.
  • 통합 기본 OAuth 옵션이 추가되었습니다.
  • 이제 OAuth 리디렉션 포트를 구성할 수 있습니다. 이렇게 하려면 OAuth2RedirectUrlPort 속성을 포트로 설정합니다.

전체 구성 정보는 드라이버 다운로드 패키지와 함께 설치된 Databricks JDBC 드라이버 가이드를 참조하세요.

90일 후에 사용하지 않으면 Databricks 개인용 액세스 토큰이 해지됨

2024년 8월 13일

이제 Databricks는 90일 이상 사용되지 않은 PAT(개인용 액세스 토큰)를 자동으로 해지합니다. 자세한 내용은 개인 액세스 토큰 모니터링 및 해지를 참조하세요.

이제 클러스터 API에서 부분 구성 업데이트가 지원됨

2024년 8월 13일

새 API 호출을 사용하면 클러스터 구성을 부분적으로 업데이트할 수 있으므로 업데이트하려는 특성만 지정해야 합니다. REST API 참조에서 업데이트 클러스터 구성(부분) 참조하세요.

Notebook 셀의 줄 바꿈

2024년 8월 12일

이제 Notebook 셀에서 줄 바꿈을 사용하거나 사용하지 않도록 설정하여 텍스트를 여러 줄로 줄 바꿈하거나 가로 스크롤로 한 줄에 유지할 수 있습니다. 줄 바꿈을 참조하세요.

2024년 8월 12일

이제 벡터 검색 인덱스에 사용할 테이블의 열 하위 집합을 지정할 수 있습니다. 기본 키 열과 포함 열은 항상 동기화됩니다. 벡터 검색 인덱스를 만들고 쿼리를 하는 방법을 참조하세요.

파일은 더 이상 작업 영역 폴더에서 동일한 이름을 가질 수 없음

2024년 8월 9일

이제 Databricks는 자산의 이름이 자산의 파일 확장명을 고려하여 다른 파일의 이름과 정확히 일치하는 경우 작업 영역 폴더에서 자산을 만들거나 이름을 바꾸는 것을 방지합니다. 예를 들어, 같은 작업 영역 폴더에 기본 이름이 test.py이고 확장자가 test인 노트북이 이미 있는 경우, .py라는 이름의 파일을 더 이상 만들 수 없습니다.

자세한 내용은 작업 영역 폴더의 자산 명명을 참조하세요.

이제 컴퓨팅 정책 적용이 사용 가능함

2024년 8월 8일

정책 준수 적용을 사용하면 작업 영역 관리자가 최신 버전의 정책을 준수하도록 작업 영역의 컴퓨팅 리소스를 업데이트할 수 있습니다. 이 기능은 UI 또는 클러스터 정책 API를 통해 사용할 수 있습니다.

정책 준수 또는 클러스터 정책 API 적용을 참조하세요.

이제 Foundation Model API 토큰당 종량제가 일반 공급됨

2024년 8월 7일

기본 모델 API 토큰당 종량제는 이제 GA입니다. 토큰당 종량제 Foundation Model API을 참조하세요.

Databricks 클린 룸을 사용하여 안전하게 비공개로 데이터 프로젝트에 대한 공동 작업(공개 미리 보기)

2024년 8월 6일

Databricks Clean Rooms는 델타 공유 및 서버리스 컴퓨팅을 사용하여 여러 당사자가 서로의 데이터에 직접 액세스하지 않고도 중요한 엔터프라이즈 데이터를 공유하고 공동 작업할 수 있는 안전하고 개인 정보 보호 환경을 제공합니다.

클린 룸을 사용하면 다른 Databricks 계정의 사용자가 공동 작업하여 중요한 데이터를 이동하거나 노출하지 않고도 광고 캠페인, 투자 결정 또는 연구 개발과 같은 공유 프로젝트에 대한 고유한 인사이트를 생성할 수 있습니다. Machine Learning 워크로드에 대한 기본 지원을 제공하는 Python을 포함하여 Databricks Notebook에서 지원하는 모든 언어를 사용하여 임시 환경에서 복잡한 워크로드를 실행합니다.

사용해 보려면 Azure Databricks 담당자에게 문의하세요.

Azure Databricks Clean Rooms란?을 참조하세요.

이제 Mosaic AI Vector Search가 HIPAA를 준수함

2024년 8월 6일

모자이크 AI 벡터 검색은 이제 모든 지역에서 HIPAA 규격입니다.

Notebook 및 쿼리 결과 테이블의 열 서식 지정

2024년 8월 6일

통화, 백분율, URL, 소수 자릿수 제어 등과 같은 열 서식 옵션을 사용하여 결과 테이블을 더 읽기 쉽게 사용자 지정합니다. 서식 열을 참조하세요.

이제 행 필터 및 열 마스크가 GA로 개선되었습니다.

2024년 8월 6일

테이블에 행 필터 및 열 마스크를 적용하는 기능은 이제 Databricks Runtime 12.2 이상에서 일반적으로 사용할 수 있습니다. 행 필터 및 열 마스크는 지정된 사용자가 중요한 데이터에 액세스할 수 없도록 합니다. 이러한 필터 및 마스크는 SQL UDF(사용자 정의 함수)로 구현됩니다. GA는 공개 미리 보기에서 사용할 수 없는 다음 기능을 지원합니다.

  • 정책 매개 변수의 상수 식(문자열, 숫자, 구간, 부울, null)

  • 구체화된 뷰 및 스트리밍 테이블(공개 미리 보기).

  • MERGE 문

  • 테이블 표본 추출

단일 사용자 컴퓨팅 세분화된 액세스 제어에 대한 별도의 지원 릴리스는 행 필터 및 열 마스크가 적용된 테이블에서 작업하기 위한 컴퓨팅 옵션도 확장합니다.

행 필터와 열 마스크을 사용하여 중요한 테이블 데이터를 필터링하는 방법을 참조하세요.

Lakehouse 페더레이션은 GA(일반 공급)

2024년 8월 1일

Databricks Runtime 15.2 이상 및 Databricks SQL 버전 2024.30 이상에서는 다음 데이터베이스 형식의 Lakehouse Federation 커넥터를 GA(일반 공급)로 사용할 수 있습니다.

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse(SQL Data Warehouse)
  • Databricks

이 릴리스에서 향상된 기능은 다음과 같습니다.

  • Snowflake 및 Microsoft SQL Server 커넥터에서 SSO(Single Sign-On) 인증을 지원합니다.

  • 서버리스 컴퓨팅 환경에서 SQL Server 커넥터에서 Azure Private Link를 지원합니다. 3단계: 프라이빗 엔드포인트 만들기 규칙(을)를 참고하세요.

  • 추가 푸시다운(문자열, 수학, 기타 함수)을 지원합니다.

  • 다양한 쿼리 셰이프에서 푸시다운 성공률이 향상되었습니다.

  • 추가 푸시다운 디버깅 기능:

    • EXPLAIN FORMATTED 출력에 푸시다운된 쿼리 텍스트가 표시됩니다.
    • 쿼리 프로필 UI는 푸시다운된 쿼리 텍스트, 페더레이션된 노드 식별자 및 JDBC 쿼리 실행 시간(자세한 정보 표시 모드)을 표시합니다. 시스템 생성 페더레이션 쿼리 보기를 참조 하세요.