Funciones de orden superior
Azure Databricks proporciona tipos primitivos dedicados para la manipulación de matrices en Apache Spark SQL. Estos tipos hacen que el trabajo con matrices sea mucho más fácil y conciso, y eliminan las grandes cantidades de código reutilizable que suelen ser necesarias. Los tipos primitivos se resuelven en torno a dos construcciones de programación funcionales: funciones de orden superior y funciones anónimas (lambda). Funcionan conjuntamente para permitir la definición de funciones que manipulan matrices en SQL. Una función de orden superior toma una matriz, implementa cómo se procesa la matriz y cuál será el resultado del cálculo. Delega en una función lambda cómo procesar cada elemento de la matriz.
Cuaderno Introducción a las funciones de orden superior
Cuaderno Tutorial sobre las funciones de orden superior (Python)
Funciones integradas de Apache Spark
Apache Spark tiene funciones integradas para manipular tipos complejos (por ejemplo, tipos de matriz), incluidas funciones de orden superior.
En el siguiente cuaderno, se muestran las funciones integradas de Apache Spark.