Freigeben über

Migrieren von Spark-Bibliotheken von Azure Synapse zu Fabric

  • Artikel

Der Azure Synapse Spark-Pool bietet verschiedene Feedoptionen und benutzerdefinierte Bibliotheksoptionen. In Fabric verfügt jede Runtime über vorinstallierte Bibliotheken (integrierte Bibliotheken). Basierend auf Ihren Szenarios und spezifischen Anforderungen können Sie jedoch auch andere Bibliotheken mithilfe von Umgebungsbibliotheken und Inlinebibliotheken einschließen. Verwenden Sie Umgebungsbibliotheken, um Azure Synapse Spark-Poolbibliotheken in Fabric zu verschieben.

Informationen zu Überlegungen zu Spark-Bibliotheken finden Sie unter Unterschiede zwischen Azure Synapse Spark und Fabric.

Voraussetzungen

  • Erstellen Sie einen Fabric-Arbeitsbereich in Ihrem Mandanten, falls dies noch nicht erfolgt ist.
  • Erstellen Sie eine Umgebung in Ihrem Arbeitsbereich, falls dies noch nicht erfolgt ist.

Option 1: Hinzufügen von Spark-Bibliotheken zur benutzerdefinierten Umgebung

Sie können Spark-Poolbibliotheken wie folgt in eine Umgebung verschieben:

  1. Öffnen Sie Synapse Studio: Melden Sie sich bei Azure an. Navigieren Sie zu Ihrem Azure Synapse-Arbeitsbereich, und öffnen Sie Synapse Studio.
  2. Suchen von Spark-Bibliotheken:
    • Wechseln Sie zum Bereich Verwalten, und wählen Sie Apache Spark-Pools aus.
    • Suchen Sie den Apache Spark-Pool, wählen Sie Pakete aus, und suchen Sie die Spark-Bibliotheken für den Pool.
  3. Abrufen von Spark-Bibliotheken: Suchen Sie die im Pool installierten Dateien „requirements.txt“, „environment.yml“ oder Arbeitsbereichspakete. Rufen Sie die Liste der installierten Bibliotheken im Pool ab.
  4. Sobald die Spark-Bibliotheken vorliegen, fügen Sie einer Umgebung in Fabric benutzerdefinierte Spark-Bibliotheken hinzu. Wechseln Sie in Ihrer Umgebung zu Bibliotheken, und fügen Sie Bibliotheken hinzu:
    • Über Öffentliche Bibliotheken können Sie eine YML-Datei hochladen. Sie können Bibliotheken auch mithilfe von PyPI und Conda installieren.
    • Über Benutzerdefinierte Bibliotheken können Sie Bibliotheken mithilfe von JAR-, WHL-, oder TAR.GZ-Dateien installieren.
  5. Klicken Sie auf Änderungen speichern und Veröffentlichen.

Screenshot mit Spark-Bibliotheken.

Lernen Sie mehr zum Hinzufügen von Spark-Bibliotheken zu einer Umgebung.

Hinweis

Beachten Sie, dass die Bibliotheksinstallation einige Zeit in Anspruch nehmen kann.

Zugehöriger Inhalt