Funkcje wyższego rzędu
Usługa Azure Databricks udostępnia dedykowane elementy pierwotne do manipulowania tablicami w usłudze Apache Spark SQL; sprawiają, że praca z tablicami jest znacznie łatwiejsza i bardziej zwięzła i nie jest zwykle wymagana z dużą ilością kodu kociołowego. Pierwotne obracają się wokół dwóch konstrukcji programowania funkcjonalnego: funkcji wyższej kolejności i funkcji anonimowych (lambda). Te funkcje współpracują ze sobą, aby umożliwić definiowanie funkcji, które manipulują tablicami w języku SQL. Funkcja wyższego rzędu przyjmuje tablicę, implementuje sposób przetwarzania tablicy i jaki będzie wynik obliczeń. Deleguje do funkcji lambda sposób przetwarzania każdego elementu w tablicy.
Wprowadzenie do notesu funkcji wyższego rzędu
Samouczek dotyczący funkcji wyższego rzędu w języku Python
Wbudowane funkcje platformy Apache Spark
Platforma Apache Spark ma wbudowane funkcje do manipulowania złożonymi typami (na przykład typami tablic), w tym funkcjami wyższego rzędu.
W poniższym notesie przedstawiono wbudowane funkcje platformy Apache Spark.