서버리스 컴퓨팅 릴리스 정보

이 문서에서는 Notebook 및 작업에 대한 서버리스 컴퓨팅에서 현재 사용 가능하고 예정된 기능과 동작에 대해 설명합니다.

서버리스 컴퓨팅에 대한 자세한 내용은 서버리스 컴퓨팅에 연결을 참조하세요.

Azure Databricks는 서버리스 컴퓨팅에 대한 업데이트를 주기적으로 릴리스하여 서버리스 컴퓨팅 런타임을 자동으로 업그레이드하여 플랫폼에 대한 향상된 기능 및 업그레이드를 지원합니다. 모든 사용자는 단기간에 배포된 동일한 업데이트를 받습니다.

서버리스 환경 버전

Notebook 및 작업에 대한 Databricks 서버리스 컴퓨팅은 Spark Connect 기반 아키텍처를 특징으로 하며, 애플리케이션에 영향을 주지 않고 독립적인 엔진 업그레이드를 지원합니다. 애플리케이션 호환성을 보장하기 위해 서버리스 워크로드는 최신 서버 버전과 호환되는 환경 버전 또는 클라이언트라고 하는 버전이 지정된 API를 사용합니다.

최신 환경 버전은 새 버전이 릴리스될 때까지 업데이트를 계속 받습니다. 사용자는 지원되는 다음 환경 버전 중에서 선택할 수 있습니다.

• 서버리스 환경 버전 2
• 서버리스 환경 버전 1

릴리스 정보

이 섹션에는 서버리스 컴퓨팅에 대한 릴리스 정보가 포함되어 있습니다. 릴리스 정보는 연도 및 주별로 구성됩니다. 서버리스 컴퓨팅은 항상 여기에 나열된 가장 최근에 릴리스된 버전을 사용하여 실행됩니다.

• 서버리스 Notebook에서 사용 가능한 높은 메모리 설정(공개 미리 보기)
• 버전 16.1
• 버전 15.4
• JDK가 JDK 8에서 JDK 17로 업그레이드됨
• 버전 15.1
• 버전 14.3

서버리스 Notebook에서 사용 가능한 높은 메모리 설정(공개 미리 보기)

2025년 2월 7일

이제 서버리스 컴퓨팅 Notebook 워크로드에 대해 더 높은 메모리 크기를 구성할 수 있습니다. 이 설정은 대화형 및 예약된 Notebook 워크로드 모두에 적용할 수 있습니다.

메모리가 높은 서버리스 사용량은 표준 메모리보다 DBU 방출 속도가 높습니다.

자세한 내용은 서버리스 워크로드에 대한 높은 메모리 구성을 참조하세요.

버전 16.1

2025년 2월 5일

이 서버리스 컴퓨팅 릴리스는 Databricks Runtime 16.0 및 Databricks Runtime 16.1에 대략적으로 해당합니다.

새로운 기능

• 재귀 스키마에 대한 Avro 지원: 이제 recursiveFieldMaxDepth 함수 및 from_avro 데이터 원본과 함께 avro 옵션을 사용할 수 있습니다. 이 옵션은 Avro 데이터 원본의 스키마 재귀에 대한 최대 깊이를 설정합니다. 스트리밍 Avro 데이터 읽기 및 쓰기를 참조 하세요.

• Avro용 Confluent 스키마 레지스트리에 대한 확장된 지원: Serverless는 이제 Confluent 스키마 레지스트리를 사용하여 Avro 스키마 참조를 지원합니다. 외부 Confluent 스키마 레지스트리에 대한 인증을 참조 하세요.

• 액체 클러스터링이 있는 테이블에 강제 클러스터링: 이제 OPTIMIZE FULL 구문을 사용하여 액체 클러스터링을 사용하도록 설정된 테이블의 모든 레코드를 강제로 다시 클러스터링할 수 있습니다. 모든 레코드에 대한 강제 클러스터링은참조하세요.

• 이제 Python용 델타 API는 ID 열을 지원합니다. 이제 Python용 델타 API를 사용하여 ID 열이 있는 테이블을 만들 수 있습니다. Delta Lake에서ID 열 사용에 대한 을 참조하세요.

• 스트리밍 쓰기 중에 액체 클러스터형 테이블 만들기: 이제 clusterBy 사용하여 구조적 스트리밍 쓰기를 사용하여 새 테이블을 만들 때 액체 클러스터링을 사용하도록 설정할 수 있습니다. 액체 클러스터링 사용을 참조하세요.

• OPTIMIZE FULL 절에 대한 지원: 서버리스 컴퓨팅은 이제 OPTIMIZE FULL 절을 지원합니다. 이 절은 이전에 클러스터링되었을 수 있는 데이터를 포함하여 액체 클러스터링을 사용하는 테이블의 모든 레코드를 최적화합니다.

• INSERT 및 테이블 참조의 WITH 옵션 사양 지원: 서버리스 컴퓨팅은 이제 데이터 원본의 동작을 제어하는 데 사용할 수 있는 문의 테이블 참조 및 테이블 이름에 대한 INSERT 지원합니다.

• 새 SQL 함수: 서버리스 컴퓨팅에서 다음 SQL 함수를 사용할 수 있습니다.

  • try_url_decode 오류에 관대한 url_decode버전입니다.
  • 함수에 대한 입력 식이 zeroifnull()경우 NULL 0을 반환합니다.
  • nullifzero 입력이 0이면 NULL를 반환하고, 그렇지 않으면 입력값을 그대로 반환합니다.
  • dayname(expr) 지정된 날짜의 요일에 대한 세 글자 영어 약어를 반환합니다.
  • uniform(expr1, expr2 [,seed]) 지정된 숫자 범위 내에서 독립적이고 동일하게 분산된 값을 가진 임의 값을 반환합니다.
  • randstr(length)length 알파 숫자 문자의 임의 문자열을 반환합니다.

• DeltaMergeBuilder 지원이 추가되었습니다. 작업 중에 withSchemaEvolution() 자동 스키마 진화를 사용하도록 설정하는 데 사용합니다MERGE. 예들 들어 mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}입니다.

• apache Spark의 데이터 정렬에 대한 지원은 공개 미리 보기로 제공됩니다. 이제 언어 인식, 대/소문자 구분 및 액세스를 구분하지 않는 데이터 정렬을 STRING 열 및 식에 할당할 수 있습니다. 이러한 데이터 정렬은 문자열 비교, 정렬, 그룹화 작업 및 많은 문자열 함수에 사용됩니다. 정렬 순서참조.

• Delta Lake의 데이터 정렬 지원은 공개 미리 보기로 제공됩니다. 이제 Delta 테이블을 만들거나 변경할 때 열에 대한 데이터 정렬을 정의할 수 있습니다. Delta Lake대한 데이터 정렬 지원을 참조하세요.

• 진공에 대한 LITE 모드는 공개 미리 보기입니다. 이제 VACUUM table_name LITE 사용하여 델타 트랜잭션 로그의 메타데이터를 활용하는 더 가벼운 진공 작업을 수행할 수 있습니다. 전체 모드와 라이트 모드 및 VACUUM참조.

• USE CATALOG with IDENTIFIER 절 매개 변수화 지원:IDENTIFIER 절 이제 USE CATALOG 문에 대해 지원됩니다. 이 지원을 사용하면 문자열 변수 또는 매개 변수 표식을 기반으로 현재 카탈로그를 매개 변수화할 수 있습니다.

• 테이블 및 뷰에 대한 COMMENT ONCOLUMN 지원:COMMENT ON 문은 이제 뷰 및 테이블 열에 대한 주석 변경을 지원합니다.

• 더 많은 함수에 대한 명명된 매개 변수 호출: 다음 함수는 명명된 매개 변수 호출 지원합니다.

  • variant_explode
  • variant_explode_outer
  • 인라인
  • inline_outer
  • posexplode
  • posexplode_outer

• SYNC METADATA 명령에 대한 REPAIR TABLE 매개 변수는 Hive 메타스토어에서 지원됩니다. 이제 SYNC METADATA 명령과 함께 REPAIR TABLE 매개 변수를 사용하여 Hive 메타스토어 관리 테이블의 메타데이터를 업데이트할 수 있습니다. REPAIR TABLE를 참조하십시오.

• 압축된 Apache Arrow 일괄 처리에 대한 향상된 데이터 무결성 : 데이터 손상으로부터 추가로 보호하기 위해 모든 LZ4 압축된 화살표 일괄 처리에는 이제 LZ4 콘텐츠 및 블록 체크섬이 포함됩니다. LZ4 프레임 형식 설명을 참조하세요.

• 기본 제공 Oracle JDBC 드라이버: 서버리스 컴퓨팅에는 이제 Oracle JDBC 드라이버가 기본 제공됩니다. DriverManager통해 고객이 업로드한 JDBC 드라이버 JAR을 사용하는 경우 사용자 지정 JAR을 명시적으로 사용하도록 스크립트를 다시 작성해야 합니다. 그렇지 않으면 기본 제공 드라이버가 사용됩니다. 이 드라이버는 Lakehouse 페더레이션만 지원합니다. 다른 사용 사례의 경우 사용자 고유의 드라이버를 제공해야 합니다.

• 경로를 사용하여 액세스하는 델타 테이블에 대한 자세한 오류: 경로를 사용하여 액세스하는 델타 테이블에 대한 새로운 오류 메시지 환경을 사용할 수 있습니다. 이제 모든 예외가 사용자에게 전달됩니다. 기본 파일을 델타 테이블로 읽을 수 없는 경우에 대비해 이제 예외 DELTA_MISSING_DELTA_TABLE이 예약됩니다.

동작 변경

• 중대한 변경: 호스트된 RStudio 서비스 종료: 이 릴리스에서는 Databricks에서 호스팅하는 RStudio Server가 서비스 종료되며 서버리스 컴퓨팅을 사용하는 모든 Azure Databricks 작업 공간에서 제공되지 않습니다. 자세한 내용을 알아보고 RStudio에 대한 대안 목록을 보려면 호스트된 RStudio Server 사용 중단 참조하세요.

• 호환성이 손상되는 변경: byte, short, int 및 long 형식을 더 넓은 형식으로 변경하기 위한 지원 제거: Delta 및 Iceberg 테이블에서 일관된 동작을 보장하려면 형식 확대 기능을 사용하도록 설정된 테이블에 다음 데이터 형식 변경을 더 이상 적용할 수 없습니다.

  • byte, short및 intlong to.decimal
  • byte, short및 int to.double

• 중첩된 문자 그룹에서 부정을 사용하여 regex 패턴의 올바른 구문 분석: 이 릴리스에는 중첩된 문자 그룹화에서 부정을 사용하여 regex 패턴의 올바른 구문 분석을 지원하는 변경 내용이 포함되어 있습니다. 예를 들어 [^[abc]] "'abc' 중 하나가 아닌 문자"로 구문 분석됩니다.

  또한 Photon 동작이 중첩된 문자 클래스의 Spark와 일치하지 않았습니다. 중첩된 문자 클래스를 포함하는 Regex 패턴은 더 이상 Photon을 사용하지 않고 대신 Spark를 사용합니다. 중첩 문자 클래스는 대괄호 안에 대괄호를 포함하는 패턴입니다(예: [[a-c][1-3]].).

• Delta Lake MERGE중복 일치 검색 개선:MERGE 이제 WHEN MATCHED 절에 지정된 조건을 고려합니다. 병합사용하여 Delta Lake 테이블에 Upsert를 참조하세요.

• addArtifact() 기능은 이제 컴퓨팅 유형 간에 일관됩니다.addArtifact(archive = True) 사용하여 서버리스 컴퓨팅에 종속성을 추가하면 보관 파일의 압축이 자동으로 해제됩니다. 이 변경으로 인해 addArtifact(archive = True) 동작이 단일 사용자 컴퓨팅과 일치하며, 이미 자동으로 보관 파일 압축을 풀 수 있습니다.

• VARIANT 데이터 형식은 더 이상 비교가 필요한 작업과 함께 사용할 수 없습니다.VARIANT 데이터 형식을 포함하는 쿼리에는 다음 절이나 연산자를 사용할 수 없습니다.

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

  또한 다음 DataFrame 함수를 사용할 수 없습니다.

  • df.dropDuplicates()
  • df.repartition()

  이러한 작업은 비교를 수행하고 VARIANT 데이터 형식을 사용하는 비교는 정의되지 않은 결과를 생성하며 Databricks에서 지원되지 않습니다. Azure Databricks 워크로드 또는 테이블에서 VARIANT 형식을 사용하는 경우 Databricks는 다음과 같은 변경 사항을 권장합니다.

  • 쿼리 또는 식을 업데이트하여 VARIANT 값을 비VARIANT 데이터 형식으로 명시적으로 캐스팅합니다.
  • 위의 작업과 함께 사용해야 하는 필드가 있는 경우 VARIANT 데이터 형식에서 해당 필드를 추출하고 비VARIANT 데이터 형식을 사용하여 저장합니다.

  쿼리 변형 데이터참조하세요.

버그 수정

• 표준 시간대 오프셋에는 이제 CSV, JSON 및 XML로 직렬화할 때 초가 포함됩니다. 표준 시간대 오프셋에 초가 포함된(1900년 이전의 타임스탬프에 일반적) 타임스탬프는 CSV, JSON 및 XML로 직렬화될 때 이전에는 초가 생략되었습니다. 기본 타임스탬프 포맷터가 수정되었으며 이제 이러한 타임스탬프에 대한 올바른 오프셋 값을 반환합니다.

기타 변경 내용

• cloudFiles 구조적 스트리밍 소스에 대한 이름이 바뀐 오류 코드: 다음 오류 코드의 이름이 바뀌었습니다.
  • _LEGACY_ERROR_TEMP_DBR_0143가 CF_INCORRECT_STREAM_USAGE으로 이름이 변경되었습니다.
  • _LEGACY_ERROR_TEMP_DBR_0260가 CF_INCORRECT_BATCH_USAGE 으로 이름이 변경되었습니다.

버전 15.4

2024년 10월 28일

이 서버리스 컴퓨팅 릴리스는 Databricks Runtime 15.4에 대략 해당합니다.

새로운 기능

• UTF-8 유효성 검사 함수: 이 릴리스에서는 UTF-8 문자열의 유효성을 검사하기 위한 다음 함수를 소개합니다.
  • is_valid_utf8은 문자열이 유효한 UTF-8 문자열인지 확인했습니다.
  • make_valid_utf8 대체 문자를 사용하여 잠재적으로 잘못된 UTF-8 문자열을 유효한 UTF-8 문자열로 변환합니다.
  • validate_utf8은 입력이 유효한 UTF-8 문자열이 아닌 경우 오류가 발생시킵니다.
  • try_validate_utf8은 입력이 유효한 UTF-8 문자열이 아닌 경우 NULL(을)를 반환합니다.
• ALTER TABLE사용하여 UniForm Iceberg 사용: 이제 데이터 파일을 다시 작성하지 않고 기존 테이블에서 UniForm Iceberg를 사용하도록 설정할 수 있습니다. 기존 테이블에서 Iceberg 읽기를 사용 설정하는 방법을 참조하세요.
• try_url_decode 함수: 이 릴리스에서는 URL로 인코딩된 문자열을 디코딩하는 try_url_decode 함수를 소개합니다. 문자열이 올바른 형식이 아닌 경우 함수는 오류를 발생시키는 대신 NULL(을)를 반환합니다.
• 필요에 따라 최적화 프로그램에서 강제되지 않은 외래 키 제약 조건에 의존하도록 허용합니다. 쿼리 성능을 향상시키려면 CREATE 때 제약 조건에 대한 키워드를 지정하거나 ALTER를 테이블에 수 있습니다.
• 선택적 덮어쓰기를 위해 병렬화된 작업이 실행되는 이제 데이터를 삭제하고 새 데이터를 병렬로 삽입하는 작업을 실행하여 쿼리 성능 및 클러스터 사용률을 개선합니다.
• 삽입된 데이터에 대한 별도의 변경 데이터 파일을 더 이상 쓰지 않습니다. 이러한 작업은 기본 Parquet 데이터 파일에 있는 숨겨진 _change_type 열을 사용하여 쓰기 증폭 없이 변경 내용을 기록합니다.
• 명령에 대한 COPY INTO 쿼리 대기 시간이 향상되었습니다. 이 릴리스에는 명령에 대한 쿼리 대기 시간을 개선하는 변경 내용이 COPY INTO 포함되어 있습니다. 이러한 개선은 RocksDB 상태 저장소에서 상태를 비동기식으로 로드하여 구현됩니다. 이 변경으로 이미 수집된 파일이 많은 쿼리와 같이 상태가 큰 쿼리의 시작 시간이 향상됩니다.
• check 제약 조건 테이블 기능 삭제 지원: 이제 checkConstraints를 사용하여 델타 테이블에서 ALTER TABLE table_name DROP FEATURE checkConstraints 테이블 기능을 제거할 수 있습니다. CHECK 제약 조건 사용 안 함을 참조 하세요.

동작 변경

• 뷰에 대한 스키마 바인딩 변경 : 뷰의 기본 쿼리에 있는 데이터 형식이 뷰를 처음 만들 때 사용한 데이터 형식과 변경될 때 Databricks는 안전한 캐스트를 수행할 수 없을 때 뷰에 대한 참조에 대한 오류를 더 이상 throw하지 않습니다.

  대신, 뷰 는 가능한 경우 일반 캐스팅 규칙을 사용하여 보완합니다. 이 변경을 통해 Databricks는 테이블 스키마 변경을 더 쉽게 허용할 수 있습니다.

• 외부 부울 논리에 대해 ! 문서화되지 않은 NOT 구문 허용 안 함: Databricks는 더 이상 부울 논리 외부의 ! 동의어 NOT 로 사용하는 것을 허용하지 않습니다. 이렇게 변경하면 혼동이 줄어들고 SQL 표준과 일치하며 SQL의 이식성이 높아집니다. 예시:

  CREATE ... IF ! EXISTS, 는 NULL이 아닙니다, ! NULL 열 또는 필드 속성, ! IN 및 는 사이로 다음으로 바꿔야 합니다.

  CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL 열 또는 필드 속성, NOT IN 및 NOT BETWEEN.

  부울 접두사 연산자! (예: !is_mgr 또는!(true AND false))는 이 변경의 영향을 받지 않습니다.

• 뷰에서 문서화되지 않은 열 정의 구문의 처리되지 않은 부분과 처리되지 않은 부분을 허용하지 않습니다. Databricks는 명명된 열 및 열 주석이 있는 CREATE VIEW 지원합니다.

  열 형식, NOT NULL 제약 조건 또는 DEFAULT 사양은 아무런 영향 없이 구문에서 허용되었습니다. Databricks는 이 구문 허용을 제거합니다. 이렇게 하면 혼동을 줄이고 SQL 표준에 맞게 조정되며 향후 향상된 기능을 사용할 수 있습니다.

• Spark 및 Photon에서 Base64 디코딩에 대한 일관된 오류 처리: 이 릴리스에서는 Photon이 이러한 오류의 Spark 처리와 일치하도록 Base64 디코딩 오류를 처리하는 방법을 변경합니다. 이러한 변경 전에 Photon 및 Spark 코드 생성 경로가 구문 분석 예외를 발생시키는 데 실패한 반면 Spark 해석 실행은 올바르게 발생하거나 IllegalArgumentException발생합니다ConversionInvalidInputError. 이 업데이트를 통해 Photon은 Base64 디코딩 오류 중에 Spark와 동일한 예외를 일관되게 발생시켜 보다 예측 가능하고 신뢰할 수 있는 오류 처리를 제공합니다.

• 잘못된 열에 CHECK 제약 조건을 추가하면 UNRESOLVED_COLUMN 반환됩니다. WITH_SUGGESTION 오류 클래스: Databricks Runtime 15.3 이상에서 더 유용한 오류 메시지를 제공하려면 잘못된 열 이름을 참조하는 ALTER TABLE ADD CONSTRAINT 제약 조건을 포함하는 CHECK 문이 UNRESOLVED_COLUMN 반환합니다. WITH_SUGGESTION 오류 클래스입니다. 이전에는 INTERNAL_ERROR(을)를 반환했습니다.

JDK가 JDK 8에서 JDK 17로 업그레이드됨

2024년 8월 15일

Notebook 및 워크플로에 대한 서버리스 컴퓨팅은 서버 쪽의 JDK(Java Development Kit) 8에서 JDK 17로 마이그레이션되었습니다. 이 업그레이드에는 다음과 같은 동작 변경 내용이 포함됩니다.

버그 수정

중첩된 문자 그룹에서 부정을 사용하여 regex 패턴의 올바른 구문 분석: 이 업그레이드를 통해 Azure Databricks는 이제 중첩된 문자 그룹화에서 부정을 사용하여 regex 패턴의 올바른 구문 분석을 지원합니다. 예를 들어 [^[abc]] "'abc' 중 하나가 아닌 문자"로 구문 분석됩니다.

또한 Photon 동작이 중첩된 문자 클래스의 Spark와 일치하지 않았습니다. 중첩된 문자 클래스를 포함하는 Regex 패턴은 더 이상 Photon을 사용하지 않고 대신 Spark를 사용합니다. 중첩 문자 클래스는 대괄호 안에 대괄호를 포함하는 패턴입니다(예: [[a-c][1-3]].).

버전 15.1

2024년 7월 23일

이 서버리스 컴퓨팅 릴리스는 Databricks Runtime 15.1에 대략 해당합니다.

새로운 기능

절별() 구문에 대한 지원 : 이제 절의 별() 구문을 사용하여 목록의 모든 열을 참조할 수 있습니다.

예들 들어 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)입니다.

변경

JSON 구문 분석의 오류 복구 개선: 이제 JSON 경로 식에 from_json() 사용되는 JSON 파서가 잘못된 구문에서 더 빠르게 복구되어 데이터 손실이 줄어듭니다.

구조체 필드, 배열 값, 지도 키 또는 지도 값에서 형식이 잘못된 JSON 구문이 발견되면 이제 JSON 파서는 읽을 수 없는 필드, 키 또는 요소에 대해서만 반환 NULL 됩니다. 후속 필드, 키 또는 요소가 제대로 구문 분석됩니다. 이 변경 전에 JSON 파서는 배열, 구조체 또는 맵 구문 분석을 중단했고 나머지 콘텐츠에 대해 반환 NULL 되었습니다.

버전 14.3

2024년 4월 15일

초기 서버리스 컴퓨팅 버전입니다. 이 버전은 서버리스가 아닌 일부 기능 및 레거시 기능에 대한 지원을 제거하는 일부 수정 사항이 포함된 Databricks Runtime 14.3 대략적으로 해당합니다.

지원되는 Spark 구성 매개 변수

서버리스 컴퓨팅에서 Spark의 구성을 자동화하기 위해 Azure Databricks는 대부분의 Spark 구성을 수동으로 설정하는 지원을 제거했습니다. 다음 Spark 구성 매개 변수만 수동으로 설정할 수 있습니다.

• spark.sql.legacy.timeParserPolicy(기본값은 )입니다.CORRECTED
• spark.sql.session.timeZone(기본값은 )입니다.Etc/UTC
• spark.sql.shuffle.partitions(기본값은 )입니다.auto
• spark.sql.ansi.enabled(기본값은 )입니다.true

이 목록에 없는 Spark 구성을 설정하면 서버리스 컴퓨팅에서 작업이 실행되지 않습니다.

Spark 속성 구성에 대한 자세한 내용은 Azure DatabricksSpark 구성 속성 설정 참조하세요.

input_file 함수는 더 이상 사용되지 않습니다.

input_file_name(), input_file_block_length()및 input_file_block_start() 함수는 더 이상 사용되지 않습니다. 이러한 함수를 사용하는 것은 매우 권장되지 않습니다.

대신 파일 메타데이터 열 사용하여 파일 메타데이터 정보를 검색합니다.

동작 변경

서버리스 컴퓨팅 버전 2024.15에는 다음과 같은 동작 변경 내용이 포함됩니다.

• unhex(hexStr) 버그 수정: 함수를 unhex(hexStr) 사용하는 경우 hexStr은 항상 전체 바이트에 왼쪽으로 패딩됩니다. 이전에는 unhex 함수가 처음 반바이트 바이트를 무시했습니다. 예: unhex('ABC') 이제 .x'0ABC'x'BC'
• 자동 생성된 열 별칭은 이제 안정적입니다. 사용자가 지정한 열 별칭 없이 식의 결과를 참조하면 자동 생성된 별칭이 안정됩니다. 새 알고리즘으로 인해 구체화된 뷰와 같은 기능에 사용된 이전에 자동 생성된 이름이 변경될 수 있습니다.
• CHAR 형식 필드가 있는 테이블 검색은 항상 패딩됩니다. 델타 테이블, 특정 JDBC 테이블 및 외부 데이터 원본은 CHAR 데이터를 패딩되지 않은 형식으로 저장합니다. 읽을 때 Azure Databricks는 이제 올바른 의미 체계를 보장하기 위해 선언된 길이에 공백이 있는 데이터를 패딩합니다.
• BIGINT/DECIMAL에서 TIMESTAMP로의 캐스트는 오버플로된 값에 대해 예외를 발생시킵니다. Azure Databricks는 값을 Unix epoch의 초 수로 처리하여 BIGINT 및 DECIMAL에서 TIMESTAMP로 캐스트하는 것을 허용합니다. 이전에는 Azure Databricks가 오버플로된 값을 반환했지만 이제 오버플로가 발생하면 예외를 발생시킵니다. 예외 대신 NULL을 반환하는 데 사용합니다 try_cast .
• PySpark UDF 실행이 단일 사용자 컴퓨팅 에서 UDF 실행의 정확한 동작과 일치하도록 개선되었습니다. 다음과 같은 변경 사항이 적용되었습니다.
  • 문자열 반환 형식이 있는 UDF는 더 이상 문자열이 아닌 값을 문자열로 암시적으로 변환하지 않습니다. 이전에는 반환 형식이 있는 UDF가 반환된 값의 str 실제 데이터 형식에 관계없이 결과에 래퍼를 적용 str(..) 했습니다.
  • timestamp 반환 형식이 있는 UDF는 더 이상 타임스탬프에 표준 시간대 변환을 암시적으로 적용하지 않습니다.