Functies van een hogere orde
Azure Databricks biedt toegewezen primitieven voor het bewerken van matrices in Apache Spark SQL; deze maken het werken met matrices veel eenvoudiger en beknopter en doen er niets aan met de grote hoeveelheden standaardcode die doorgaans vereist zijn. De primitieven draaien om twee functionele programmeerconstructies: functies in hogere volgorde en anonieme (lambda)-functies. Deze werken samen om u in staat te stellen functies te definiëren waarmee matrices in SQL worden bewerkt. Een functie met een hogere volgorde gebruikt een matrix, implementeert hoe de matrix wordt verwerkt en wat het resultaat van de berekening is. Het delegeert aan een lambda-functie hoe elk item in de matrix moet worden verwerkt.
Inleiding tot notebook met functies in hogere volgorde
Zelfstudie over functies in hogere volgorde: Python-notebook
Ingebouwde Apache Spark-functies
Apache Spark heeft ingebouwde functies voor het bewerken van complexe typen (bijvoorbeeld matrixtypen), waaronder functies in hogere volgorde.
Het volgende notebook illustreert ingebouwde Apache Spark-functies.