通过

函数

  • 项目

适用于：勾选“是” Databricks Runtime

Spark SQL 提供了两个函数功能来满足各种需求：内置函数和用户定义函数 (UDF)。

若要了解函数解析和函数调用，请参阅：函数调用。

内置函数

本文介绍了用于聚合、数组和映射、日期和时间戳以及 JSON 数据的常用内置函数类别的用法和说明。

SQL 和 Python 用户定义的函数

SQL 和 Python 用户定义的函数（UDF）是可以自行定义的函数，可以返回标量值或结果集。

有关更多信息，请参阅 CREATE FUNCTION(SQL, Python)。

外部用户定义的函数

利用 UDF 可以在系统内置函数不足以执行所需任务时定义自己的函数。 若要使用 UDF，请先定义函数，然后将函数注册到 Spark 中，最后调用已注册的函数。 UDF 可以对单个行执行操作，也可以一次对多个行执行操作。 Spark SQL 还支持集成 UDF 的现有 Hive 实现、用户定义的聚合函数（UDAF）和用户定义的表函数（UDTF）。