函数

适用于:勾选“是” Databricks Runtime

Spark SQL 提供了两个函数功能来满足各种需求:内置函数和用户定义函数 (UDF)。

若要了解函数解析和函数调用,请参阅:函数调用

内置函数

本文介绍了用于聚合、数组和映射、日期和时间戳以及 JSON 数据的常用内置函数类别的用法和说明。

SQL 和 Python 用户定义的函数

SQL 和 Python 用户定义的函数 (UDF) 是你可以自行定义的函数,它会返回标量值或结果集。

有关详细信息,请参阅 CREATE FUNCTION (SQL、Python)

外部用户定义的函数

利用 UDF 可以在系统内置函数不足以执行所需任务时定义自己的函数。 若要使用 UDF,请先定义函数,然后将函数注册到 Spark 中,最后调用已注册的函数。 UDF 可以对单个行执行操作,也可以一次对多个行执行操作。 Spark SQL 还支持与 UDF、用户定义的聚合函数 (UDAF) 和用户定义的表函数 (UDTF) 的现有 Hive 实现集成。