2024년 7월

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2024년 7월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 계정은 초기 릴리스 날짜 후 일주일 이후까지 업데이트되지 않을 수 있습니다.

동시 작업에 대한 제한 증가

2024년 7월 31일

동시에 실행되는 작업에 대한 작업 영역 제한이 2000으로 높아졌습니다. 리소스 한도를 참조하세요.

Notebook에서 이미지 포함 및 끌어서 놓기

2024년 7월 31일

이제 Markdown 셀에 직접 이미지를 포함하여 Notebook에 이미지를 표시할 수 있습니다. 바탕 화면에서 markdown 셀로 직접 이미지를 끌어서 놓아 자동으로 업로드하고 표시합니다. 이미지 표시 및 이미지 끌어서 놓기를 참조하세요.

Notebook에서 사용할 수 있는 명령 팔레트

2024년 7월 31일

이제 명령 팔레트를 사용하여 Notebook에서 작업을 신속하게 수행할 수 있습니다. 노트북에서 자주 사용하는 작업에 액세스하려면 MacOS의 경우 Cmd + Shift + P를, Windows의 경우 Ctrl + Shift + P를 누르세요. 명령 팔레트를 참조하세요.

워크플로 시스템 스키마가 lakeflow으로 이름이 변경되었습니다.

2024년 7월 31일

workflow 스키마가 lakeflow업데이트되고 있습니다. 파이프라인과 같이 현재 테이블과 새 테이블을 모두 포함하므로 lakeflow 전환하는 것이 좋습니다. 고객은 메타스토어에 표시되도록 lakeflow 스키마에 옵트인해야 합니다. 작업 시스템 테이블을 참조하세요.

LakeFlow Connect(게이트형 공개 미리 보기)

2024년 7월 31일

LakeFlow Connect는 데이터베이스 및 엔터프라이즈 애플리케이션에서 데이터를 수집하고 Azure Databricks에 로드할 수 있는 네이티브 커넥터를 제공합니다. LakeFlow Connect는 효율적인 증분 읽기 및 쓰기를 활용하여 데이터 수집을 더 빠르고 확장 가능하며 비용 효율적으로 만드는 반면, 데이터는 다운스트림 사용을 위해 최신 상태로 유지됩니다.

Salesforce Sales Cloud, Microsoft Azure SQL Database, Amazon RDS for SQL Server 및 Workday는 현재 지원됩니다. LakeFlow Connect를 참조하세요.

Cloudflare R2 스토리지에 대한 지원이 일반 공급됨

2024년 7월 30일

이제 Unity 카탈로그에 등록된 데이터에 대한 클라우드 스토리지로 Cloudflare R2를 사용할 수 있습니다. Cloudflare R2는 주로 데이터가 지역을 넘을 때 클라우드 공급자가 청구하는 데이터 송신 요금을 방지하려는 델타 공유 사용 사례를 위한 것입니다. R2 스토리지는 AWS S3, Azure Data Lake Storage Gen2 및 Google Cloud Storage에서 지원되는 모든 Databricks 데이터 및 AI 자산을 지원합니다. R2를 지원하려면 SQL Warehouse 또는 Databricks Runtime 14.3 이상이 필요합니다. Cloudflare R2 복제본 사용 또는 스토리지를 R2로 마이그레이션 및 Cloudflare R2에 연결하기 위한 스토리지 자격 증명 만들기를 참조하세요.

시스템 테이블을 사용하여 Databricks Assistant 활동 모니터링(공개 미리 보기)

2024년 7월 30일

이제 시스템 테이블을 사용하여 대시보드에서 Databricks Assistant 활동을 모니터링할 수 있습니다. 자세한 내용은 Databricks Assistant 시스템 테이블 참조 및 예제참조하세요.

이제 Delta 공유를 사용한 스키마 공유가 일반 공급됨

2024년 7월 30일

Delta 공유를 사용하여 스키마를 공유하는 기능은 GA입니다. 전체 스키마를 공유하면 나중에 스키마에 추가되는 테이블 및 뷰와 함께 스키마를 공유하는 시점에 스키마의 모든 테이블 및 뷰에 대한 액세스 권한이 수신자에게 제공됩니다. SQL 명령을 사용하여 공유에 스키마를 추가하려면 SQL 웨어하우스 또는 Databricks Runtime 13.2 이상을 실행하는 클러스터가 필요합니다. 카탈로그 탐색기를 사용하여 동일한 작업을 수행해도 컴퓨팅 요구 사항이 없습니다. 공유에 스키마 추가를 참조하세요.

Mosaic AI 에이전트 프레임워크를 northcentral 및 centralus에서 사용할 수 있음

2024년 7월 29일

이제 Mosaic AI 에이전트 프레임워크는 northcentral 및 centralus 지역에서 사용할 수 있습니다. 사용 가능 지역이 제한된 기능을 참조하세요.

Databricks Assistant가 작업 문제를 진단할 수 있음(공개 미리 보기)

2024년 7월 29일

이제 Databricks Assistant가 실패한 작업의 문제를 진단할 수 있습니다. 작업에서 오류 진단을 참조하세요.

Databricks Git 폴더 인증 및 공유 동작 업데이트

2024년 7월 29일

• Git 폴더 대화 상자 기반 인증 처리: 이제 사용자가 Git 폴더 대화 상자를 열 때 인증 오류를 복구할 수 있도록 사용자 환경이 간소화되었습니다. 대화 상자에서 Git 자격 증명을 직접 업데이트하여 자동 재시도를 트리거할 수 있습니다. 이 방법을 사용하여 인증 오류를 해결할 수 있습니다.
  • 인증 오류가 발생하면 이제 Git 폴더 대화 상자에 Git 폴더의 공급자 및 URL이 오류에 표시됩니다. 이전에는 숨겨졌기 때문에 오류를 해결하는 데 어떤 Git 자격 증명을 사용해야 하는지 알기 어려웠습니다.
• Git 폴더 공유: 사용자는 이제 다른 작업 영역 사용자에게 URL 링크를 공유할 수 있습니다. 받는 사람의 브라우저에서 URL이 열리면 Databricks가 열리고 미리 채워진 값(예: Git 공급자 및 Git 리포지토리 URL)이 있는 기존 Git 폴더 추가 대화 상자가 열립니다. 이렇게 하면 작업 영역 사용자 간에 일반적으로 사용되는 Git 리포지토리에 대한 Git 폴더 복제가 간소화됩니다. 자세한 내용은 모범 사례: Git 폴더에서 공동 작업하기를 참조하세요.
  • 이제 사용자는 다른 사용자의 Git 폴더에서 공동 작업하는 대신 자신의 작업 영역에 자신의 Git 폴더를 만들라는 메시지가 표시됩니다.
  • 이제 Git 폴더 대화 상자 상태가 URL에 유지됩니다. Git 폴더 대화 상자가 열릴 때 브라우저에서 URL을 복사하는 경우 나중에 열거나 다른 사용자와 공유할 수 있으며 동일한 정보가 표시됩니다.
• Git 폴더 차이 보기: Git 폴더 차이 보기에서 변경된 텍스트와 여러 줄의 변경 내용에 대해 더 진한 빨간색 및 녹색 강조 표시가 추가되어 커밋되지 않은 변경 내용에서 변경된 내용을 보다 쉽게 확인할 수 있습니다.
  • Notebook 또는 파일 편집기에서 Git 폴더 대화 상자를 열면 Git 폴더 대화 상자에서 해당 Notebook 또는 파일을 선택하고 기본적으로 변경 내용(차이)을 표시합니다.

클러스터 라이브러리 설치 시간 제한

2024년 7월 29일

클러스터에 라이브러리를 설치하는 데 이제 2시간의 시간 제한이 있습니다. 설치하는 데 2시간 이상 걸린 라이브러리는 실패한 것으로 표시됩니다. 클러스터 라이브러리에 대한 자세한 내용은 클러스터 라이브러리를 참조하세요.

컴퓨팅 평면 아웃바운드 IP 주소를 작업 영역 IP 허용 목록에 추가해야 합니다.

2024년 7월 29일

새 작업 영역에서 보안 클러스터 연결 및 IP 액세스 목록을 구성하는 경우, 컴퓨팅 평면이 제어 평면에 액세스할 수 있도록 모든 공용 IP를 허용 목록에 추가하거나, 백 엔드 Private Link을 구성해야 합니다. 이 변경 내용은 2024년 7월 29일의 모든 새 작업 영역과 2024년 8월 26일에 기존 작업 영역에 영향을 줍니다. 자세한 내용은 Databricks 커뮤니티 게시물을 참조하세요.

예를 들어 VNet 삽입을 사용하는 작업 영역에서 보안 클러스터 연결을 사용하도록 설정하는 경우 Databricks는 작업 영역에 안정적인 송신 공용 IP가 있는 것이 좋습니다. 해당 공용 IP 및 다른 모든 IP는 허용 목록에 포함되어야 합니다. 보안 클러스터 연결을 사용하는 경우 송신 IP 주소를 참조하세요. 또는 Azure Databricks 관리형 VNet을 사용하고 공용 IP에 액세스하도록 관리되는 NAT 게이트웨이를 구성하는 경우 해당 IP는 허용 목록에 있어야 합니다.

작업 영역에 대한 IP 액세스 목록 구성을 참조하세요.

Databricks Runtime 9.1 시리즈 지원 종료

2024년 7월 26일

Machine Learning용 Databricks Runtime 9.1 LTS 및 Databricks Runtime 9.1 LTS에 대한 지원이 2024년 9월 23일부터 2024년 12월 19일까지 연장되었습니다.

SSO(Single Sign-On)가 SQL Server용 Lakehouse Federation에서 지원됨

2024년 7월 25일

이제 Unity 카탈로그를 사용하여 SSO 인증을 사용하여 SQL Server 연결을 만들 수 있습니다. Microsoft SQL Server에서 페더레이션 쿼리 실행을 참조하세요.

이제 Delta 공유를 사용한 모델 공유가 일반 공급됨

2024년 7월 26일

AI 모델 공유에 대한 Delta 공유 지원은 이제 GA입니다. 공급자와 받는 사람 작업 영역 모두 Unity 카탈로그에 대해 사용하도록 설정해야 하며, 모델을 Unity 카탈로그에 등록해야 합니다.

공유에 모델 추가를 참조하세요.

Delta 공유를 사용하여 주석 및 기본 키 제약 조건 공유

2024년 7월 25일

Delta 공유는 이제 주석 및 기본 키 제약 조건을 포함하여 개체 메타데이터의 공유를 지원합니다.

• 모델 주석 및 모델 버전 주석은 Databricks-to-Databricks 공유에 한동안 포함되었지만 발표되지는 않았습니다.

• 이제 테이블 주석, 열 주석, 기본 키 제약 조건 및 볼륨 주석이 2024년 7월 25일 또는 그 이후에 수신자에게 공유된 Databricks-to-Databricks 공유에 포함됩니다.

  해당 날짜 이전에 받는 사람과 공유된 공유에 주석 또는 제약 조건을 포함하려면 주석 및 제약 조건 공유를 트리거하기 위해 받는 사람 액세스 권한을 취소하고 다시 부여해야 합니다.

델타 공유 대한 공유 만들기 및 관리참조하세요.

Databricks JDBC 드라이버 (OSS)

2024년 7월 25일

공개 미리 보기용으로 새 오픈 소스 Databricks JDBC 드라이버가 릴리스되었습니다. 이 드라이버는 JDBC API를 구현했으며 OAuth, Cloud Fetch 및 Unity 카탈로그 볼륨 수집과 같은 기능을 비롯한 다른 핵심 기능을 제공합니다. 자세한 내용은 Databricks JDBC 드라이버(OSS)를 참조하세요.

Databricks Runtime 15.4 LTS(베타)

2024년 7월 23일

Databricks Runtime 15.4 LTS 및 Databricks Runtime 15.4 ML은 이제 베타 릴리스로 사용할 수 있습니다.

Databricks Runtime 15.4 LTS 및 Machine Learning용 Databricks Runtime 15.4 LTS를 참조하세요.

Scala는 Unity 카탈로그 공유 컴퓨팅의 GA입니다.

2024년 7월 23일

Databricks Runtime 15.4 LTS 이상에서는 스칼라 UDF(사용자 정의 함수) 지원을 포함하여 공유 액세스 모드 Unity 카탈로그 사용 컴퓨팅에서 Scala를 일반적으로 사용할 수 있습니다. 구조적 스트리밍, Hive UDF 및 Hive 사용자 정의 집계 함수는 지원되지 않습니다. 제한 사항의 전체 목록은 Unity 카탈로그 대한컴퓨팅 액세스 모드 제한을 참조하세요.

단일 사용자 컴퓨팅은 세분화된 액세스 제어, 구체화된 뷰 및 스트리밍 테이블을 지원합니다.

2024년 7월 23일

Databricks Runtime 15.4 LTS는 작업 영역이 서버리스 컴퓨팅에 사용하도록 설정된 한 단일 사용자 컴퓨팅에서 세분화된 액세스 제어를 지원합니다. 쿼리가 다음 중 하나라도 액세스하면 Databricks Runtime 15.4 LTS의 단일 사용자 컴퓨팅 리소스가 쿼리를 서버리스 컴퓨팅에 전달하여 데이터 필터링을 실행합니다.

• 사용자에게 SELECT 권한이 없는 테이블을 통해 빌드된 뷰
• 동적 보기
• 행 필터 또는 열 필터가 적용된 테이블
• 구체화된 뷰 및 스트리밍 테이블

이러한 쿼리는 Databricks Runtime 15.3 이하에서 실행되는 단일 사용자 컴퓨팅에서 지원되지 않습니다.

자세한 내용은 단일 사용자 컴퓨팅에 대한 세분화된 액세스 제어를 참조 하세요.

이제 노드 타임라인 시스템 테이블을 사용할 수 있습니다(공개 미리 보기)

2024년 7월 23일

이제 system.compute 스키마에 node_timeline 테이블이 포함됩니다. 이 표는 계정에서 실행되는 범용 및 작업 컴퓨팅 리소스에 대한 분 단위 사용률 메트릭을 기록합니다. 노드 타임라인 테이블 스키마 참조하세요.

참고 항목

이 테이블에 액세스하려면, 관리자가 아직 compute 스키마를 사용하도록 설정하지 않았다면 설정해야 합니다. 시스템 테이블 스키마 사용을 참조하세요.

이제 Meta Llama 3.1이 Model Serving에서 지원됨

2024년 7월 23일

Mosaic AI Model Serving는 Meta와 협력하여 Meta에서 빌드하고 학습한 모델 아키텍처인 Meta Llama 3.1을 지원하며 Azure MACHINE Learning에서 AzureML 모델 카탈로그를 사용하여 배포합니다. Llama 3.1은 파운데이션 모델 API의 일부로 지원됩니다. 파운데이션 모델 API 사용을 참조하세요.

• Meta-Llama-3.1-405B-Instruct 및 Meta-Llama-3.1-70B-Instruct는 엔드포인트 지역에 서비스를 제공하는 토큰당 종량제에서 사용할 수 있습니다.
• 프로비전된 처리량을 사용하여 미국에서는 Llama 3.1 모델(8B, 70B 및 405B)의 전체 제품군의 프로덕션 사용을 사용할 수 있습니다.

2024년 7월 23일부터 Meta-Llama-3.1-70B-Instruct는 토큰당 종량제 엔드포인트에서 Meta-Llama-3-70B-Instruct에 대한 지원을 대체합니다.

Notebooks: 더 많이 표시되는 셀 제목 토글

2024년 7월 18일

사용자는 개발자 설정에서 승격된 셀 제목 표시를 활성화해 노트북 셀 제목을 UI에서 더 잘 보이게 할 수 있습니다. 승격된 셀 제목을 참조하세요.

작업 영역의 자산 이름에 /가 더 이상 사용되지 않음

2024년 7월 17일

경로 문자열의 모호성을 방지하기 위해 새 작업 영역 자산(예: Notebook, 폴더 및 쿼리)의 이름에 '/'를 사용하는 것은 더 이상 사용되지 않습니다. 이름에 '/'가 있는 기존 자산은 영향을 받지 않지만 기존 자산의 이름은 새 자산과 동일한 규칙을 따릅니다.

델타 공유를 사용하면 액체 클러스터링을 사용하는 테이블을 공유할 수 있습니다.

2024년 7월 16일

이제 델타 공유를 사용하면 액체 클러스터링에 사용할 수 있는 테이블을 공유할 수 있으며 받는 사람은 이에 대해 일괄 처리 쿼리를 실행할 수 있습니다. Liquid 클러스터링은 데이터 레이아웃 결정을 간소화하고 쿼리 성능을 최적화합니다. 액체 클러스터링을 위해 Delta 테이블 및 Delta Lake 기능 지원 매트릭스를 참조하세요.

이제 쿼리 기록 시스템 테이블을 사용할 수 있습니다(공개 미리 보기)

2024년 7월 16일

이제 Azure Databricks 시스템 테이블에 쿼리 기록 테이블이 포함됩니다. 이 표에서는 계정의 SQL 웨어하우스에서 실행되는 각 쿼리의 자세한 레코드를 기록합니다. 테이블에 액세스하려면 관리자가 새 query 시스템 스키마를 사용하도록 설정해야 합니다. 쿼리 기록 시스템 테이블 참조를 보세요.

이제 취약성 검사 보고서가 관리자에게 이메일로 전송됨

2024년 7월 16일

취약성 검사 보고서는 이제 향상된 보안 모니터링을 가능하게 하는 작업 영역의 작업 영역 관리자에게 전자 메일로 전송됩니다. 이전에는 작업 영역 관리자가 Azure Databricks에서 요청해야 했습니다. 향상된 보안 모니터링을 참조하세요.

Unity 카탈로그 외부 테이블에 대한 파티션 메타데이터 로깅

2024년 7월 15일

Databricks Runtime 13.3 LTS 이상에서는 선택적으로 Parquet, ORC, CSV 또는 JSON을 사용하는 Unity 카탈로그에 등록된 외부 테이블에 대해 파티션 메타데이터 로깅을 사용하도록 설정할 수 있습니다. 파티션 metatdata 로깅은 Hive 메타스토어와 일치하는 파티션 검색 전략입니다. 외부 테이블 에 대한파티션 검색을 참조하세요.

워크플로에 대한 서버리스 컴퓨팅이 일반 공급됨

2024년 7월 15일

워크플로에 대한 서버리스 컴퓨팅은 이제 일반 공급됩니다. 워크플로에 대한 서버리스 컴퓨팅을 사용하면 인프라를 구성하고 배포하지 않고도 Azure Databricks 작업을 실행할 수 있습니다. 워크플로에 대한 서버리스 컴퓨팅을 사용하여 Azure Databricks는 워크로드에 대한 컴퓨팅 최적화 및 크기 조정을 포함하여 작업을 실행하는 컴퓨팅 리소스를 효율적으로 관리합니다. 워크플로에 대한 서버리스 컴퓨팅을 사용하여 Azure Databricks 작업 실행을 참조하세요.

Notebook에 대한 서버리스 컴퓨팅이 일반 공급됨

2024년 7월 15일

이제 Notebook에 대한 서버리스 컴퓨팅을 일반 공급할 수 있습니다. Notebook용 서버리스 컴퓨팅은 Notebook에서 확장 가능한 컴퓨팅에 대한 주문형 액세스 권한을 제공하므로 Python 또는 SQL 코드를 즉시 작성하고 실행할 수 있습니다. Notebook에 대한 서버리스 컴퓨팅을 참조하세요.

이제 Python용 Databricks Connect에서 서버리스 컴퓨팅이 지원됨

2024년 7월 15일

이제 Python용 Databricks Connect 가 서버리스 컴퓨팅에 대한 연결을 지원합니다. 이 기능은 공개 미리 보기 상태로 지원됩니다. 서버리스 컴퓨팅에 대한 연결 구성을 참조하세요.

자연어 프롬프트를 사용하여 데이터 출력 필터링

2024년 7월 11일

이제 Databricks Assistant를 사용하여 자연어 프롬프트를 사용하여 데이터 출력을 필터링할 수 있습니다. 예를 들어 타이타닉 생존자 데이터 테이블을 필터링하려면 "70세 이상의 남성만 표시"를 입력할 수 있습니다. 자연어 프롬프트를 사용하여 데이터 필터링을 참조하세요.

외부 모델에 대한 일반 텍스트 비밀 지원

2024년 7월 11일

이제 외부 모델을 호스트하는 엔드포인트를 제공하는 모델에 API 키를 일반 텍스트 문자열로 직접 입력할 수 있습니다. 엔드포인트에 대한 공급자 구성을 참조하세요.

ai_forecast()를 사용하여 시계열 데이터 예측

2024년 7월 11일

이제 AI 함수는 분석자 및 데이터 과학자를 위해 시계열 데이터를 미래로 추정하도록 설계된 새로운 Databricks SQL 함수인 ai_forecast()를 지원합니다. ai_forecast 함수를 참조하세요.

다중 문 SQL 쿼리가 있는 파일에 대한 SQL 파일 작업이 일반 공급으로 제공됨

2024년 7월 10일

이제 SQL 파일 작업과 함께 다중 문 SQL 쿼리가 포함된 파일 사용에 대한 지원이 일반 공급됩니다. 이번 변경 내용을 통해 단일 파일에서 여러 SQL 문을 실행할 수 있습니다. 이전에는 각 문에 대해 별도의 파일을 추가해야 했습니다. SQL 파일 작업에 대해 자세히 알아보려면 작업용 SQL 작업를 참조하세요.

Lakehouse Federation에서 Salesforce Data Cloud가 지원됨(공개 미리 보기)

2024년 7월 10일

이제 Salesforce Data Cloud에서 관리하는 데이터에 대해 페더레이션 쿼리를 실행할 수 있습니다. Salesforce Data Cloud에서 페더레이션 쿼리 실행을 참조하세요.

이제 Databricks Assistant 시스템 테이블을 사용할 수 있음(공개 미리 보기)

2024년 7월 10일

이제 Databricks Assistant 이벤트가 system.access.assistant_events있는 시스템 테이블에 기록됩니다. Databricks Assistant 시스템 테이블 참조와 예제을 보세요.

계정 SCIM API v2.1(공개 미리 보기)

2024년 7월 10일

속도 및 안정성을 위해 계정 SCIM API가 v2.0에서 v2.1로 업데이트됩니다. Account SCIM v2.1 API 참조 자료의 PDF를 다운로드할 수 있습니다.

Unity 카탈로그 메타스토어당 테이블에 대한 리소스 할당량 증가

2024년 7월 3일

이제 Unity 카탈로그 메타스토어에서 최대 100만 개의 테이블을 등록할 수 있습니다. 리소스 할당량을 참조하세요.

Databricks Assistant는 Notebook 오류를 자동으로 진단할 수 있습니다.

2024년 7월 2일

이제 Databricks Assistant는 오류 메시지를 감지할 때 자동으로 Notebook에서 /fix을 실행할 수 있습니다. 도우미는 생성 AI를 사용하여 코드와 오류 메시지를 분석하여 Notebook에서 직접 수정 사항을 제안합니다. 자세한 내용은 코드 디버그: Python 및 SQL 예제를 참조하세요.

SQL 파일 작업을 사용하는 :param 구문에 대한 지원이 일반 공급으로 제공됨

2024년 7월 1일

Azure Databricks Jobs SQL 파일 작업에서 매개 변수화된 쿼리와 함께 :param 구문을 사용할 수 있는 지원이 이제 일반적으로 공급됩니다. 이제 콜론(:parameter_name)을 사용하여 이름을 접두사로 지정하여 쿼리 매개 변수를 참조할 수 있습니다. 이 구문은 기존에 지원되는 이중 중괄호({{parameter_name}}) 구문에 추가됩니다. SQL 파일 태스크에서 매개 변수가 있는 쿼리를 사용하는 방법에 대한 자세한 내용은 작업 매개 변수 구성참조하세요.