Spark-pools migreren van Azure Synapse Analytics naar Fabric
Hoewel Azure Synapse Spark-pools biedt, biedt Fabric Starter-pools en Aangepaste pools. De Starter-pool kan een goede keuze zijn als u één pool hebt zonder aangepaste configuraties of bibliotheken in Azure Synapse en als de gemiddelde knooppuntgrootte voldoet aan uw vereisten. Als u echter meer flexibiliteit zoekt met uw Spark-poolconfiguraties, raden we u aan aangepaste pools te gebruiken. Er zijn hier twee opties:
- Optie 1: Verplaats uw Spark-pool naar de standaardpool van een werkruimte.
- Optie 2: Verplaats uw Spark-pool naar een aangepaste omgeving in Fabric.
Als u meer dan één Spark-pool hebt en u van plan bent deze naar dezelfde infrastructuurwerkruimte te verplaatsen, raden we u aan optie 2 te gebruiken, meerdere aangepaste omgevingen en pools te maken.
Raadpleeg voor overwegingen voor Spark-pools de verschillen tussen Azure Synapse Spark en Fabric.
Vereisten
Als u er nog geen hebt, maakt u een Fabric-werkruimte in uw tenant.
Optie 1: Van Spark-pool naar de standaardpool van de werkruimte
U kunt een aangepaste Spark-pool maken vanuit uw Fabric-werkruimte en deze gebruiken als de standaardpool in de werkruimte. De standaardpool wordt gebruikt door alle notebooks en Spark-taakdefinities in dezelfde werkruimte.
Als u wilt overstappen van een bestaande Spark-pool van Azure Synapse naar een standaardgroep voor een werkruimte:
- Toegang tot de Azure Synapse-werkruimte: meld u aan bij Azure. Navigeer naar uw Azure Synapse-werkruimte, ga naar Analysegroepen en selecteer Apache Spark-pools.
- Zoek de Spark-pool: Zoek vanuit Apache Spark-pools de Spark-pool die u naar Fabric wilt verplaatsen en controleer de pooleigenschappen.
- Eigenschappen ophalen: haal de eigenschappen van de Spark-pool op, zoals de Apache Spark-versie, de familie van knooppuntgrootte, de grootte van het knooppunt of de automatische schaalaanpassing. Raadpleeg overwegingen voor Spark-pools om eventuele verschillen te bekijken.
- Maak een aangepaste Spark-pool in Fabric:
- Ga naar uw Fabric-werkruimte en selecteer Werkruimte-instellingen.
- Ga naar Data-engineer/Wetenschap en selecteer Spark-instellingen.
- Vouw op het tabblad Pool en in de sectie Standaardgroep voor werkruimte de vervolgkeuzelijst uit en selecteer Nieuwe pool maken.
- Maak uw aangepaste pool met de bijbehorende doelwaarden. Vul de naam, de knooppuntfamilie, de grootte van het knooppunt, de opties voor automatisch schalen en dynamische uitvoerdertoewijzing in.
- Selecteer een runtimeversie:
- Ga naar het tabblad Omgeving en selecteer de vereiste runtimeversie. Bekijk hier beschikbare runtimes.
- Schakel de optie Standaardomgeving instellen uit.
Notitie
In deze optie worden bibliotheken of configuraties op poolniveau niet ondersteund. U kunt de rekenconfiguratie echter aanpassen voor afzonderlijke items, zoals notebooks en Spark-taakdefinities, en inlinebibliotheken toevoegen. Als u aangepaste bibliotheken en configuraties aan een omgeving wilt toevoegen, kunt u een aangepaste omgeving overwegen.
Optie 2: Van Spark-pool naar aangepaste omgeving
Met aangepaste omgevingen kunt u aangepaste Spark-eigenschappen en -bibliotheken instellen. Een aangepaste omgeving maken:
- Toegang tot de Azure Synapse-werkruimte: meld u aan bij Azure. Navigeer naar uw Azure Synapse-werkruimte, ga naar Analysegroepen en selecteer Apache Spark-pools.
- Zoek de Spark-pool: Zoek vanuit Apache Spark-pools de Spark-pool die u naar Fabric wilt verplaatsen en controleer de pooleigenschappen.
- Eigenschappen ophalen: haal de eigenschappen van de Spark-pool op, zoals de Apache Spark-versie, de familie van knooppuntgrootte, de grootte van het knooppunt of de automatische schaalaanpassing. Raadpleeg overwegingen voor Spark-pools om eventuele verschillen te bekijken.
- Een aangepaste Spark-pool maken:
- Ga naar uw Fabric-werkruimte en selecteer Werkruimte-instellingen.
- Ga naar Data-engineer/Wetenschap en selecteer Spark-instellingen.
- Vouw op het tabblad Pool en in de sectie Standaardgroep voor werkruimte de vervolgkeuzelijst uit en selecteer Nieuwe pool maken.
- Maak uw aangepaste pool met de bijbehorende doelwaarden. Vul de naam, de knooppuntfamilie, de grootte van het knooppunt, de opties voor automatisch schalen en dynamische uitvoerdertoewijzing in.
- Maak een omgevingsitem als u er nog geen hebt.
- Spark-rekenkracht configureren:
- Ga in de omgeving naar Spark Compute Compute>.
- Selecteer de zojuist gemaakte pool voor de nieuwe omgeving.
- U kunt kernen en geheugen van stuurprogramma's en uitvoerders configureren.
- Selecteer een runtime-versie voor de omgeving. Bekijk hier beschikbare runtimes.
- Klik op Wijzigingen opslaan en publiceren .
Meer informatie over het maken en gebruiken van een omgeving.
