Azure Databricks를 사용하여 SQL Server 쿼리

이 문서에서는 Azure Databricks를 Microsoft SQL Server에 연결하여 데이터를 읽고 쓰는 방법을 보여 줍니다.

Important

이 문서에서 설명한 구성은 실험적입니다. 실험적 기능은 있는 그대로 제공되며 Databricks에서 고객 기술 지원을 통해 지원하지 않습니다. 전체 쿼리 페더레이션 지원을 받으려면 Azure Databricks 사용자가 Unity 카탈로그 구문 및 데이터 거버넌스 도구를 활용하는 데 도움이 되는 Lakehouse Federation을 대신 사용해야 합니다.

SQL Server에 대한 연결 구성

Databricks Runtime 11.3 LTS 이상에서는 키워드를 sqlserver 사용하여 포함된 드라이버를 사용하여 SQL Server에 연결할 수 있습니다. DataFrames를 사용하는 경우 다음 구문을 사용합니다.

Python

remote_table = (spark.read
  .format("sqlserver")
  .option("host", "hostName")
  .option("port", "port") # optional, can use default port 1433 if omitted
  .option("user", "username")
  .option("password", "password")
  .option("database", "databaseName")
  .option("dbtable", "schemaName.tableName") # (if schemaName not provided, default to "dbo")
  .load()
)

Scala

val remote_table = spark.read
  .format("sqlserver")
  .option("host", "hostName")
  .option("port", "port") // optional, can use default port 1433 if omitted
  .option("user", "username")
  .option("password", "password")
  .option("database", "databaseName")
  .option("dbtable", "schemaName.tableName") // (if schemaName not provided, default to "dbo")
  .load()

SQL을 사용하는 경우 다음 예제와 같이 테이블을 만드는 동안 절을 지정 sqlserverUSING 하고 옵션을 전달합니다.

DROP TABLE IF EXISTS sqlserver_table;
CREATE TABLE sqlserver_table
USING sqlserver
OPTIONS (
  dbtable '<schema-name.table-name>',
  host '<host-name>',
  port '1433',
  database '<database-name>',
  user '<username>',
  password '<password>'
);

레거시 JDBC 드라이버 사용

Databricks Runtime 10.4 LTS 이하에서는 JDBC 설정을 사용하여 드라이버 및 구성을 지정해야 합니다. 다음 예제에서는 JDBC 드라이버를 사용하여 SQL Server를 쿼리합니다. 읽기, 쓰기, 병렬 처리 구성 및 쿼리 푸시다운에 대한 자세한 내용은 JDBC를 사용하여 데이터베이스 쿼리를 참조하세요.

Python

driver = "com.microsoft.sqlserver.jdbc.SQLServerDriver"

database_host = "<database-host-url>"
database_port = "1433" # update if you use a non-default port
database_name = "<database-name>"
table = "<table-name>"
user = "<username>"
password = "<password>"

url = f"jdbc:sqlserver://{database_host}:{database_port};database={database_name}"

remote_table = (spark.read
  .format("jdbc")
  .option("driver", driver)
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .load()
)

Scala

val driver = "com.microsoft.sqlserver.jdbc.SQLServerDriver"

val database_host = "<database-host-url>"
val database_port = "1433" // update if you use a non-default port
val database_name = "<database-name>"
val table = "<table-name>"
val user = "<username>"
val password = "<password>"

val url = s"jdbc:sqlserver://{database_host}:{database_port};database={database_name}"

val remote_table = spark.read
  .format("jdbc")
  .option("driver", driver)
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .load()