Delen via

Functies

  • Artikel

Van toepassing op:vinkje als ja aan Databricks Runtime

Spark SQL biedt twee functiefuncties om te voldoen aan een breed scala aan behoeften: ingebouwde functies en door de gebruiker gedefinieerde functies (UDF's).

Zie: Functie-aanroep voor meer informatie over functieomzetting en functie-aanroep.

Ingebouwde functies

Dit artikel bevat de gebruiks- en beschrijvingen van categorieën van veelgebruikte ingebouwde functies voor aggregatie, matrices en kaarten, datums en tijdstempels en JSON-gegevens.

Door de gebruiker gedefinieerde SQL- en Python-functies

Door de gebruiker gedefinieerde SQL- en Python-functies (UDF's) zijn functies die u zelf kunt definiëren die scalaire waarden of resultatensets kunnen retourneren.

Zie CREATE FUNCTION (SQL, Python) voor meer informatie.

Door de gebruiker gedefinieerde externe functies

Met UDF's kunt u uw eigen functies definiëren wanneer de ingebouwde functies van het systeem niet voldoende zijn om de gewenste taak uit te voeren. Als u UDF's wilt gebruiken, definieert u eerst de functie, registreert u vervolgens de functie bij Spark en roept u de geregistreerde functie aan. Een UDF kan op één rij reageren of op meerdere rijen tegelijk handelen. Spark SQL biedt ook ondersteuning voor integratie van bestaande Hive-implementaties van UDF's, door de gebruiker gedefinieerde statistische functies (UDAF) en door de gebruiker gedefinieerde tabelfuncties (UDTF).