Delen via

Gegevens kopiëren en transformeren met dynamische parameters per uur

  • Artikel

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit scenario wilt u gegevens kopiëren van AWS S3 naar Azure Blob Storage en transformeren met Azure Databricks (met dynamische parameters in het script) volgens een uurschema voor 8 uur per dag gedurende meer dan 30 dagen.

De prijzen die in dit voorbeeld hieronder worden gebruikt, zijn hypothetisch en zijn niet bedoeld om exacte werkelijke prijzen te impliceren. Lees-/schrijf- en bewakingskosten worden niet weergegeven omdat ze doorgaans te verwaarlozen zijn en niet van invloed zijn op de totale kosten. Uitvoeringen van activiteiten worden ook afgerond op de dichtstbijzijnde 1000 in schattingen van de prijscalculator.

Raadpleeg de Azure-prijscalculator voor specifiekere scenario's en om uw toekomstige kosten te schatten voor het gebruik van de service.

Configuratie

Als u het scenario wilt uitvoeren, moet u een pijplijn maken met de volgende items:

  • Eén kopieeractiviteit met een invoergegevensset voor de gegevens die moeten worden gekopieerd uit AWS S3, een uitvoergegevensset voor de gegevens in Azure Storage.
  • Eén opzoekactiviteit voor het dynamisch doorgeven van parameters aan het transformatiescript.
  • Eén Azure Databricks-activiteit voor de gegevenstransformatie.
  • Eén schematrigger voor het uitvoeren van de pijplijn elk uur gedurende 8 uur per dag. Wanneer u een pijplijn wilt uitvoeren, kunt u deze direct activeren of plannen. Naast de pijplijn zelf telt elk triggerexemplaren als één activiteitsuitvoering.

Diagram toont een pijplijn met een schematrigger. Kopieer in de pijplijn activiteitsstromen naar een invoergegevensset, een uitvoergegevensset en opzoekactiviteit die naar een DataBricks-activiteit stroomt, die wordt uitgevoerd op Azure Databricks. De invoergegevensset stroomt naar een gekoppelde AWS S3-service. De uitvoergegevensset stroomt naar een gekoppelde Azure Storage-service.

Schatting van kosten

Operations Typen en eenheden
Pijplijn uitvoeren 4 uitvoeringen van activiteit per uitvoering (1 voor triggeruitvoering, 3 voor uitvoeringen van activiteit) = 960 uitvoeringen van activiteit, afgerond omdat de rekenmachine alleen stappen van 1000 toestaat.
Veronderstelling van gegevens kopiëren: DIU-uren per uitvoering = 10 min. 10 min \ 60 min * 4 Azure Integration Runtime (standaard DIU-instelling = 4) Zie dit artikel voor meer informatie over gegevensintegratie-eenheden en het optimaliseren van kopieerprestaties
Aanname van opzoekactiviteit uitvoeren: uren pijplijnactiviteit per uitvoering = 1 min. 1 min/ 60 min. Uitvoering van pijplijnactiviteit
Aanname van Databricks-activiteit uitvoeren: externe uitvoeringsuren per uitvoering = 10 min. 10 min/ 60 min uitvoering van externe pijplijnactiviteit

Voorbeeld van prijscalculator: voorbeeld van prijscalculator

Totaal aantal scenarioprijzen voor 30 dagen: $ 41,03

Schermopname van de prijscalculator die is geconfigureerd voor een kopieergegevens en transformatie met een scenario met dynamische parameters.

Gerelateerde inhoud