Het clustergebruik van DLT-pijplijnen optimaliseren met verbeterde automatische schaalaanpassing

Artikel
03/05/2025

In dit artikel wordt beschreven hoe u verbeterde automatische schaalaanpassing kunt gebruiken om uw DLT-pijplijnen in Azure Databricks te optimaliseren.

Verbeterde automatische schaalaanpassing is standaard ingeschakeld voor alle nieuwe pijplijnen.

Voor serverloze pijplijnen is verbeterde automatische schaalaanpassing altijd ingeschakeld en kan deze niet worden uitgeschakeld. Zie Een serverloze DLT-pijplijn configureren.

Wat is verbeterde automatische schaalaanpassing?

Dankzij verbeterde automatische schaalaanpassing van Databricks wordt het clustergebruik geoptimaliseerd door clusterresources automatisch toe te wijzen op basis van het workloadvolume, met minimale gevolgen voor de latentie van gegevensverwerking van uw pijplijnen.

Verbeterde automatische schaalaanpassing verbetert de functionaliteit voor automatisch schalen van Azure Databricks cluster met de volgende functies:

Verbeterde automatische schaalaanpassing implementeert optimalisatie van streamingworkloads en voegt verbeteringen toe om de prestaties van batchworkloads te verbeteren. Verbeterde automatische schaalaanpassing optimaliseert de kosten door machines toe te voegen of te verwijderen wanneer de workload verandert.
Verbeterde automatische schaalaanpassing sluit proactief onderbenutte knooppunten af en garandeert dat er tijdens het afsluiten geen mislukte taken zijn. Met de bestaande functie voor automatisch schalen van clusters worden alleen knooppunten omlaag geschaald als het knooppunt niet actief is.

Verbeterde automatische schaalaanpassing is de standaardmodus voor automatisch schalen wanneer u een nieuwe pijplijn maakt in de DLT-gebruikersinterface. U kunt verbeterde automatische schaalaanpassing voor bestaande pijplijnen inschakelen door de pijplijninstellingen in de gebruikersinterface te bewerken. U kunt ook verbeterde automatische schaalaanpassing inschakelen wanneer u pijplijnen maakt of bewerkt met de DLT -API-.

Welke metrische gegevens gebruiken verbeterde automatische schaalaanpassing om een beslissing te nemen om omhoog of omlaag te schalen?

Verbeterde automatische schaalaanpassing maakt gebruik van twee metrische gegevens om te bepalen of u omhoog of omlaag kunt schalen:

taaksitegebruik: dit is de gemiddelde verhouding van het aantal actieve taaksites tot de totale taaksites die beschikbaar zijn in het cluster.
taakwachtrijgrootte: dit is het aantal taken dat moet worden uitgevoerd in taaksites.

Verbeterde automatische schaalaanpassing inschakelen voor een DLT-pijplijn

Ga op een van de volgende manieren te werk om verbeterde automatische schaalaanpassing te gebruiken:

Stel clustermodus in op uitgebreide automatische schaalaanpassing bij het maken of bewerken van een pijplijn in de DLT-gebruikersinterface.
Voeg de autoscale-instelling toe aan de configuratie van het pijplijncluster en stel het veld mode in op ENHANCED. Zie Compute configureren voor een DLT-pijplijn.

Gebruik de volgende richtlijnen bij het configureren van verbeterde automatische schaalaanpassing voor productiepijplijnen:

Laat de Min workers-instelling op de standaardinstelling staan.
Stel de Max workers-instelling in op een waarde op basis van budget- en pijplijnprioriteit.

In het volgende voorbeeld wordt een cluster geconfigureerd voor verbeterde automatische schaalvergroting met minimaal 5 werknemers en maximaal 10 werknemers. max_workers moet groter dan of gelijk zijn aan min_workers.

Notitie

Verbeterde automatische schaalaanpassing is alleen beschikbaar voor updates clusters. Verouderde automatische schaalaanpassing wordt gebruikt voor maintenance clusters.
De configuratie van de autoscale heeft twee modi:
- LEGACY: automatische schaalaanpassing van clustergebruiken.
- ENHANCED: Verbeterde automatische schaalaanpassing gebruiken.

{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

Als de pijplijn is geconfigureerd voor continue uitvoering, wordt deze automatisch opnieuw opgestart nadat de configuratie voor automatisch schalen is gewijzigd. Na het opnieuw opstarten verwacht u een korte periode van verhoogde latentie. Na deze korte periode van verhoogde latentie moet de clustergrootte worden bijgewerkt op basis van uw autoscale configuratie en moet de pijplijnlatentie terugkeren naar de eerdere latentiekenmerken.

Beperk de kosten voor pijplijnen die gebruikmaken van verbeterde automatische schaalaanpassing

Notitie

U kunt geen werkrollen configureren voor serverloze pijplijnen.

Als u de parameter Max-werkers instelt in de pijplijnen sectie Compute, wordt een bovengrens ingesteld voor automatisch schalen. Het verminderen van het aantal beschikbare werknemers kan de latentie voor sommige workloads verhogen, maar voorkomt dat de kosten van rekenbronnen pieken tijdens rekenintensieve bewerkingen.

Databricks raadt aan de instellingen van Max-werkers af te stemmen om de balans tussen kosten en latentie aan te passen aan uw specifieke behoeften.

het deelvenster Compute in de gebruikersinterface voor pijplijnen, waar u de max.werkrollen kunt instellen voor automatisch schalen

Bewaken van klassieke pijplijnen met verbeterde automatische schaalaanpassing ingeschakeld

U kunt het gebeurtenislogboek in de DLT-gebruikersinterface gebruiken om verbeterde metrische gegevens voor automatische schaalaanpassing voor klassieke pijplijnen te bewaken. Verbeterde gebeurtenissen voor automatisch schalen hebben het autoscale gebeurtenistype. Hier volgen voorbeelden van gebeurtenissen:

Gebeurtenis	Bericht
Aanvraag voor het wijzigen van het formaat van het cluster is gestart	`Scaling [up or down] to <y> executors from current cluster size of <x>`
Aanvraag voor het wijzigen van het formaat van het cluster is voltooid	`Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED`
Het verzoek voor het aanpassen van de clustergrootte is gedeeltelijk gelukt.	`Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED`
Verzoek tot aanpassing van clustergrootte is mislukt	`Achieved cluster size <x> for cluster <cluster-id> with status FAILED`

U kunt ook verbeterde gebeurtenissen voor automatisch schalen bekijken door rechtstreeks een query uit te voeren op het gebeurtenislogboek:

Delen via