Funções de ordem superior
O Azure Databricks fornece primitivos dedicados para processar matrizes no Apache Spark SQL. Eles facilitam muito o trabalho com matrizes e o tornam mais conciso, eliminando grandes quantidades de códigos clichês normalmente necessários. Os primitivos giram em torno de dois constructos de programação funcionais: funções de ordem superior e funções anônimas (lambda). Elas funcionam juntas para permitir que você defina funções que manipulam matrizes no SQL. Uma função de ordem superior usa uma matriz, implementa a forma como a matriz é processada e qual será o resultado da computação. Ela delega a uma função lambda como processar cada item na matriz.
Introdução ao notebook de funções de ordem superior
Notebook do Python do tutorial de funções de ordem superior
Funções internas do Apache Spark
O Apache Spark tem funções internas para manipular tipos complexos (por exemplo, tipos de matriz), incluindo funções de ordem superior.
O notebook a seguir ilustra as funções internas do Apache Spark.