Freigeben über

Viele kleine Spark-Aufträge

  • Artikel

Wenn viele kleine Aufträge angezeigt werden, ist es wahrscheinlich, dass Sie viele Vorgänge für relativ kleine Daten ausführen (<10 GB). Kleine Vorgänge dauern jeweils nur ein paar Sekunden, addieren sich aber, und so vermehrt sich auch der Mehraufwand pro Vorgang.

Der beste Ansatz zum Beschleunigen kleiner Aufträge besteht darin, mehrere Vorgänge parallel auszuführen. Delta Live Tables kümmert sich automatisch für Sie darum.

Folgende weitere Optionen stehen zur Verfügung:

  • Trennen Sie Ihre Vorgänge in mehrere Notebooks, und führen Sie sie parallel auf demselben Cluster aus, indem Sie Aufträge mit mehreren Aufgaben verwenden.
  • Verwenden Sie SQL-Warehouses, wenn alle Ihre Abfragen in SQL geschrieben wurden. SQL-Warehouses skalieren sehr gut für viele Abfragen, die parallel ausgeführt werden, da sie für diese Art von Workload entwickelt wurden.
  • Parametrisieren Sie Ihr Notebook und verwenden Sie für jede Aufgabe, um das Notebook mehrfach parallel auszuführen. Verwenden Sie Nebenläufigkeit, um den Grad der Parallelisierung festzulegen. Das funktioniert gut bei serverlosem Computing.