Freigeben über

Migrieren von Spark-Konfigurationen von Azure Synapse zu Fabric

  • Artikel

Apache Spark bietet zahlreiche Konfigurationen, die angepasst werden können, um die Erfahrung in verschiedenen Szenarien zu verbessern. In Azure Synapse Spark und Fabric Data Engineering haben Sie die Flexibilität, diese Konfigurationen oder Eigenschaften zu integrieren, um Ihre Erfahrung anzupassen. In Fabric können Sie Spark-Konfigurationen einer Umgebung hinzufügen und inline Spark-Eigenschaften direkt in Ihren Spark-Aufträgen verwenden. Verwenden Sie eine Umgebung, um Azure Synapse Spark-Poolkonfigurationen in Fabric zu verschieben.

Überlegungen zu Spark-Konfigurationen finden Sie unter Unterschiede zwischen Azure Synapse Spark und Fabric.

Voraussetzungen

  • Erstellen Sie einen Fabric-Arbeitsbereich in Ihrem Mandanten, falls dies noch nicht erfolgt ist.
  • Erstellen Sie eine Umgebung in Ihrem Arbeitsbereich, falls dies noch nicht erfolgt ist.

Option 1: Hinzufügen von Spark-Konfigurationen zur benutzerdefinierten Umgebung

Innerhalb einer Umgebung können Sie Spark-Eigenschaften festlegen, und diese Konfigurationen werden auf den ausgewählten Umgebungspool angewendet.

  1. Öffnen Sie Synapse Studio: Melden Sie sich bei Azure an. Navigieren Sie zu Ihrem Azure Synapse-Arbeitsbereich und öffnen Sie Synapse Studio.
  2. Lokalisieren von Spark-Konfigurationen:
    • Wechseln Sie zum Bereich Verwalten, und wählen Sie Apache Spark-Pools aus.
    • Suchen Sie den Apache Spark-Pool, wählen Sie Apache Spark-Konfiguration aus, und suchen Sie den Spark-Konfigurationsnamen für den Pool.
  3. Spark-Konfigurationen abrufen: Sie können diese Eigenschaften entweder abrufen, indem Sie Ansichtskonfigurationen auswählen oder die Konfiguration (.txt/.conf/.json-Format) aus Konfigurationen + Bibliotheken>Apache Spark-Konfigurationen exportieren.
  4. Sobald Sie Spark-Konfigurationen haben, fügen Sie Ihrer Umgebung benutzerdefinierte Spark-Eigenschaften in Fabric hinzu:
    • Wechseln Sie in der Umgebung zu Spark Compute>Spark-Eigenschaften.
    • Fügen Sie Spark-Konfigurationen hinzu. Sie können sie entweder manuell hinzufügen oder aus .yml importieren.
  5. Klicken Sie auf Speichern und Veröffentlichen.

Screenshot: Spark-Konfigurationen.

Lernen Sie mehr zum Hinzufügen von Spark-Konfigurationen zu einer Umgebung.

Zugehöriger Inhalt