데이터 유형
적용 대상: Databricks SQL Databricks Runtime
데이터 형식 간의 충돌을 해결하는 방법을 제어하는 규칙은 SQL 데이터 형식 규칙을 참조하세요.
지원되는 데이터 유형
Azure Databricks는 다음 데이터 형식을 지원합니다.
데이터 형식 | 설명 |
---|---|
BIGINT | 8바이트 부호 있는 정수를 나타냅니다. |
BINARY | 바이트 시퀀스 값을 나타냅니다. |
BOOLEAN | 부울 값을 나타냅니다. |
DATE | 표준 시간대가 없는 연도, 월 및 일 필드의 값으로 구성된 값을 나타냅니다. |
DECIMAL(p,s) | 최대 정밀도 p 및 고정 눈금 s 가 있는 숫자를 나타냅니다. |
DOUBLE | 8바이트 배정밀도 부동 소수점 숫자를 나타냅니다. |
FLOAT | 4바이트 단정밀도 부동 소수점 숫자를 나타냅니다. |
INT | 4바이트 부호 있는 정수를 나타냅니다. |
INTERVAL intervalQualifier | 시간 간격(초 또는 월)을 나타냅니다. |
VOID | 형식화되지 않은 NULL을 나타냅니다. |
SMALLINT | 2바이트 부호 있는 정수를 나타냅니다. |
STRING | 문자열 값을 나타냅니다. |
TIMESTAMP | 세션 현지 표준 시간대가 있는 연도, 월, 일, 시간, 분 및 초 필드의 값으로 구성된 값을 나타냅니다. |
TIMESTAMP_NTZ | 필드 연도, 월, 일, 시간, 분 및 초의 값으로 구성된 값을 나타냅니다. 모든 작업은 표준 시간대를 고려하지 않고 수행됩니다. |
TINYINT | 1바이트 부호 있는 정수를 나타냅니다. |
ARRAY < elementType > | 형식 elementType 가 있는 요소 시퀀스로 구성된 값을 나타냅니다. |
MAP < keyType,valueType > | 키-값 쌍 세트로 구성된 값을 나타냅니다. |
STRUCT < [fieldName : fieldType [NOT NULL][COMMENT str][, …]] > | 필드 시퀀스로 설명된 구조체의 값을 나타냅니다. |
변체 | 반구조화된 데이터를 나타냅니다. |
OBJECT | 필드 집합에서 VARIANT 설명하는 구조체가 있는 값을 나타냅니다. |
Important
Delta Lake는 형식을 VOID
지원하지 않습니다.
데이터 형식 분류
데이터 유형은 다음 클래스로 그룹화됩니다.
- 정수 숫자 형식은 정수를 나타냅니다.
- 정확한 숫자 형식은 base-10 숫자를 나타냅니다.
- 이진 부동 소수점 형식은 지수 및 이진 표현을 사용하여 다양한 숫자를 처리합니다.
- 숫자 형식 은 모든 숫자 데이터 형식을 나타냅니다.
- 날짜-시간 형식은 날짜 및 시간 구성 요소를 나타냅니다.
- 단순 형식은 단일 값을 보유하여 정의된 형식입니다.
- 복합 형식은 복합 또는 단순 형식의 여러 구성 요소로 구성됩니다.
적용 대상: Databricks 런타임
Scala
Spark SQL 데이터 형식은 org.apache.spark.sql.types
패키지에 정의됩니다. 패키지를 가져와서 액세스합니다.
import org.apache.spark.sql.types._
SQL 형식 | 데이터 형식 | 값 유형 | 데이터 형식에 액세스하거나 만들기 위한 API |
---|---|---|---|
TINYINT | 바이트타입 | Byte | 바이트타입 |
SMALLINT | 쇼트타입 | Short | 쇼트타입 |
INT | 인터저타입 | 정수 | 인터저타입 |
BIGINT | 롱타입 | Long | 롱타입 |
FLOAT | 플롯타입 | Float | 플롯타입 |
DOUBLE | 더블타입 | Double | 더블타입 |
DECIMAL(p,s) | 데시말타입 | java.math.BigDecimal | 데시말타입 |
STRING | 스트링타입 | 문자열 | 스트링타입 |
BINARY | BinaryType | Array[Byte] | BinaryType |
BOOLEAN | BooleanType | Boolean | BooleanType |
TIMESTAMP | TimestampType | java.sql.timestamp | TimestampType |
TIMESTAMP_NTZ | TimestampNTZType | java.time.LocalDateTime | TimestampNTZType |
DATE | DateType | java.sql.Date | DateType |
연도-월 간격 | YearMonthIntervalType | java.time.Period | YearMonthIntervalType(3) |
일 시간 간격 | DayTimeIntervalType | java.time.Duration | DayTimeIntervalType(3) |
ARRAY | ArrayType | scala.collection.Seq | ArrayType(elementType [, containsNull]). (2) |
MAP | 맵타입 | scala.collection.Map | MapType(keyType, valueType [, valueContainsNull]). (2) |
STRUCT | StructType | org.apache.spark.sql.Row | StructType(fields). 필드는 StructField의 Seq입니다. 4. |
StructField | 이 필드의 데이터 형식의 값 형식(예: IntegerType 데이터 형식이 있는 StructField의 경우 Int) | StructField(name, dataType [, nullable]). 4 | |
변체 | VariantType | org.apache.spark.unsafe.type.VariantVal | VariantType |
OBJECT | 지원되지 않음 | 지원되지 않음 | 지원되지 않음 |
Java
Spark SQL 데이터 형식은 org.apache.spark.sql.types
패키지에 정의됩니다. 데이터 형식에 액세스하거나 만들려면 org.apache.spark.sql.types.DataTypes
에 제공된 팩터리 메서드를 사용합니다.
SQL 형식 | 데이터 형식 | 값 유형 | 데이터 형식에 액세스하거나 만들기 위한 API |
---|---|---|---|
TINYINT | 바이트타입 | byte 또는 Byte | DataTypes.ByteType |
SMALLINT | 쇼트타입 | short 또는 Short | DataTypes.ShortType |
INT | 인터저타입 | int 또는 Integer | DataTypes.IntegerType |
BIGINT | 롱타입 | long 또는 Long | DataTypes.LongType |
FLOAT | 플롯타입 | float 또는 Float | DataTypes.FloatType |
DOUBLE | 더블타입 | double 또는 Double | DataTypes.DoubleType |
DECIMAL(p,s) | 데시말타입 | java.math.BigDecimal | DataTypes.createDecimalType() DataTypes.createDecimalType(precision, scale). |
STRING | 스트링타입 | 문자열 | DataTypes.StringType |
BINARY | BinaryType | byte[] | DataTypes.BinaryType |
BOOLEAN | BooleanType | boolean 또는 Boolean | DataTypes.BooleanType |
TIMESTAMP | TimestampType | java.sql.timestamp | DataTypes.TimestampType |
TIMESTAMP_NTZ | TimestampNTZType | java.time.LocalDateTime | DataTypes.TimestampNTZType |
DATE | DateType | java.sql.Date | DataTypes.DateType |
연도-월 간격 | YearMonthIntervalType | java.time.Period | YearMonthIntervalType(3) |
일 시간 간격 | DayTimeIntervalType | java.time.Duration | DayTimeIntervalType(3) |
ARRAY | ArrayType | ava.util.List | DataTypes.createArrayType(elementType [, containsNull]).(2) |
MAP | 맵타입 | java.util.Map | DataTypes.createMapType(keyType, valueType [, valueContainsNull]).(2) |
STRUCT | StructType | org.apache.spark.sql.Row | DataTypes.createStructType(fields). 필드는 StructField의 목록 또는 배열입니다. 4 |
StructField | 이 필드의 데이터 형식의 값 형식(예: IntegerType 데이터 형식의 StructField의 경우 Int) | DataTypes.createStructField(name, dataType, nullable) 4 | |
변체 | VariantType | org.apache.spark.unsafe.type.VariantVal | VariantType |
OBJECT | 지원되지 않음 | 지원되지 않음 | 지원되지 않음 |
Python
Spark SQL 데이터 형식은 pyspark.sql.types
패키지에 정의됩니다. 패키지를 가져와서 액세스합니다.
from pyspark.sql.types import *
SQL 형식 | 데이터 형식 | 값 유형 | 데이터 형식에 액세스하거나 만들기 위한 API |
---|---|---|---|
TINYINT | 바이트타입 | int 또는 long (1) | ByteType() |
SMALLINT | 쇼트타입 | int 또는 long (1) | ShortType() |
INT | 인터저타입 | int 또는 long | IntegerType() |
BIGINT | 롱타입 | long(1) | LongType() |
FLOAT | 플롯타입 | float(1) | FloatType() |
DOUBLE | 더블타입 | float | DoubleType() |
DECIMAL(p,s) | 데시말타입 | decimal.Decimal | DecimalType() |
STRING | 스트링타입 | string | StringType() |
BINARY | BinaryType | ByteArray | BinaryType() |
BOOLEAN | BooleanType | bool | BooleanType() |
TIMESTAMP | TimestampType | datetime.datetime | TimestampType() |
TIMESTAMP_NTZ | TimestampNTZType | datetime.datetime | TimestampNTZType() |
DATE | DateType | datetime.date | DateType() |
연도-월 간격 | YearMonthIntervalType | 지원되지 않음 | 지원되지 않음 |
일 시간 간격 | DayTimeIntervalType | datetime.timedelta | DayTimeIntervalType(3) |
ARRAY | ArrayType | list, tuple 또는 array | ArrayType(elementType, [containsNull]).(2) |
MAP | 맵타입 | dict | MapType(keyType, valueType, [valueContainsNull]).(2) |
STRUCT | StructType | list, tuple, 또는 array | StructType(fields). 필드는 StructField의 Seq입니다. (4) |
StructField | 이 필드의 데이터 형식의 값 형식(예: IntegerType 데이터 형식의 StructField의 경우 Int) | StructField(name, dataType, [nullable]).(4) | |
변체 | VariantType | VariantVal | VariantType() |
OBJECT | 지원되지 않음 | 지원되지 않음 | 지원되지 않음 |
R
SQL 형식 | 데이터 형식 | 값 유형 | 데이터 형식에 액세스하거나 만들기 위한 API |
---|---|---|---|
TINYINT | 바이트타입 | integer(1) | ‘byte’ |
SMALLINT | 쇼트타입 | integer(1) | ‘short’ |
INT | 인터저타입 | 정수 | ‘integer’ |
BIGINT | 롱타입 | integer(1) | ‘long’ |
FLOAT | 플롯타입 | numeric(1) | ‘float’ |
DOUBLE | 더블타입 | numeric | ‘double’ |
DECIMAL(p,s) | 데시말타입 | 지원되지 않음 | 지원되지 않음 |
STRING | 스트링타입 | character | ‘string’ |
BINARY | BinaryType | 원시 | ‘binary’ |
BOOLEAN | BooleanType | 논리 | ‘bool’ |
TIMESTAMP | TimestampType | POSIXct | ‘timestamp’ |
TIMESTAMP_NTZ | TimestampNTZType | datetime.datetime | TimestampNTZType() |
DATE | DateType | 날짜 | ‘date’ |
연도-월 간격 | YearMonthIntervalType | 지원되지 않음 | 지원되지 않음 |
일 시간 간격 | DayTimeIntervalType | 지원되지 않음 | 지원되지 않음 |
ARRAY | ArrayType | vector or list | list(type=’array’, elementType=elementType, containsNull=[containsNull]).(2) |
MAP | 맵타입 | environment | list(type=’map’, keyType=keyType, valueType=valueType, valueContainsNull=[valueContainsNull]).(2) |
STRUCT | StructType | 명명된 목록 | list(type=’struct’, fields=fields). 필드는 StructField의 Seq입니다. (4) |
StructField | 이 필드의 데이터 형식의 값 형식(예: IntegerType 데이터 형식의 StructField의 경우 integer) | list(name=name, type=dataType, nullable=[nullable]).(4) | |
변체 | 지원되지 않음 | 지원되지 않음 | 지원되지 않음 |
OBJECT | 지원되지 않음 | 지원되지 않음 | 지원되지 않음 |
(1) 숫자는 런타임에 도메인으로 변환됩니다. 숫자가 범위 내에 있는지 확인합니다.
(2) (선택 사항) 기본값은 TRUE
입니다.
(3) 간격 유형
YearMonthIntervalType([startField,] endField)
: 다음 필드의 연속 하위 집합으로 구성된 1년 간격을 나타냅니다.startField
는 가장 왼쪽 필드이며endField
형식의 가장 오른쪽 필드입니다.startField
및endField
의 유효한 값은0(MONTH)
및1(YEAR)
입니다.DayTimeIntervalType([startField,] endField)
: 다음 필드의 연속 하위 집합으로 구성된 일-시간을 나타냅니다.startField
는 가장 왼쪽 필드이며endField
형식의 가장 오른쪽 필드입니다.startField
및endField
의 유효한 값은0(DAY)
,1(HOUR)
,2(MINUTE)
,3(SECOND)
입니다.
(4) StructType
StructType(fields)
은(는)StructField
의 시퀀스, 목록 또는 배열로 설명된 구조체의 값을 나타냅니다. 두 필드의 이름이 같아서는 안 됩니다.StructField(name, dataType, nullable)
은(는)StructType
의 필드를 나타냅니다. 필드 이름은name
으로 표시됩니다. 필드의 데이터 형식은 dataType으로 표시됩니다.nullable
은 해당 필드의 값이null
값을 가질 수 있는지 여부를 나타냅니다. 기본값입니다.