Funções
Aplica-se a: 
Databricks Runtime
O Spark SQL fornece dois recursos de função para atender a uma ampla gama de necessidades: funções internas e funções definidas pelo usuário (UDFs).
Para saber mais sobre resolução de função e invocação de função, consulte: Invocação de função.
Funções incorporadas
Este artigo apresenta os usos e descrições de categorias de funções internas usadas com freqüência para agregação, matrizes e mapas, datas e carimbos de data/hora e dados JSON.
Funções definidas pelo usuário SQL e Python
Funções definidas pelo usuário (UDFs) SQL e Python são funções que você mesmo pode definir que podem retornar valores escalares ou conjuntos de resultados.
Consulte CREATE FUNCTION (SQL, Python) para obter mais informações.
Funções externas definidas pelo usuário
As UDFs permitem que você defina suas próprias funções quando as funções integradas do sistema não são suficientes para executar a tarefa desejada. Para usar UDFs, você primeiro define a função, depois registra a função com o Spark e, finalmente, chama a função registrada. Uma UDF pode atuar em uma única linha ou em várias linhas ao mesmo tempo. O Spark SQL também suporta a integração de implementações Hive existentes de UDFs, funções de agregação definidas pelo usuário (UDAF) e funções de tabela definidas pelo usuário (UDTF).