Delen via

Gegevensstroom vernieuwen

  • Artikel

Met gegevensstromen kunt u verbinding maken met, transformeren, combineren en laden van gegevens naar opslag voor downstreamverbruik. Een belangrijk element in gegevensstromen is het vernieuwingsproces, dat de transformatiestappen toepast die tijdens het ontwerpen zijn gedefinieerd om gegevens te extraheren, transformeren en laden in de doelopslag.

Schermopname van een voorbeeldgegevensstroom.

Een gegevensstroomvernieuwing kan op twee manieren worden geactiveerd, op aanvraag of door een vernieuwingsschema in te stellen. Een geplande vernieuwing wordt uitgevoerd op basis van de specifieke dagen en tijden die u opgeeft.

Vereisten

Dit zijn de vereisten voor het vernieuwen van een gegevensstroom:

Vernieuwing op aanvraag

Als u een gegevensstroom op aanvraag wilt vernieuwen, selecteert u het pictogram Vernieuwen in de lijst met werkruimten of herkomstweergaven.

Schermopname die laat zien waar u vernieuwen kunt selecteren in de lijstweergave van de werkruimte.

Er zijn andere manieren waarop een gegevensstroomvernieuwing op aanvraag kan worden geactiveerd. Wanneer het publiceren van een gegevensstroom is voltooid, wordt een vernieuwing op aanvraag gestart. Vernieuwen op aanvraag kan ook worden geactiveerd via een pijplijn die een gegevensstroomactiviteit bevat.

Geplande vernieuwing

Als u een gegevensstroom automatisch wilt vernieuwen volgens een planning, selecteert u het pictogram Gepland vernieuwen in de lijstweergave van de werkruimte:

Schermopname die laat zien waar geplande vernieuwing moet worden geselecteerd in de lijstweergave van de werkruimte.

In de sectie Vernieuwen kunt u de frequentie en tijdsleuven definiëren voor het vernieuwen van een gegevensstroom, tot 48 keer per dag. In de volgende schermopname ziet u een dagelijks vernieuwingsschema op basis van een interval van 12 uur.

Schermopname met een voorbeeld van een vernieuwingsinstelling van 12 uur per dag.

Vernieuwen annuleren

Vernieuwen van gegevensstromen annuleren is handig als u een vernieuwing tijdens piektijd wilt stoppen, als een capaciteit de limieten nadert of langer duurt dan verwacht. Gebruik de functie voor het annuleren van vernieuwen om te stoppen met het vernieuwen van gegevensstromen.

Als u een gegevensstroomvernieuwing wilt annuleren, selecteert u het pictogram Annuleren in de lijst met werkruimten of herkomstweergaven voor een gegevensstroom met vernieuwen in uitvoering.

Schermopname die laat zien waar het vernieuwingsschema voor gegevensstromen moet worden geconfigureerd op de pagina met instellingen voor gegevensstromen.

Zodra het vernieuwen van een gegevensstroom is geannuleerd, wordt de status van de vernieuwingsgeschiedenis van de gegevensstroom bijgewerkt met de annuleringsstatus:

Schermopname van de geschiedenisweergave voor het vernieuwen van gegevensstromen voor een geannuleerde gegevensstroomvernieuwing.

Beperkingen vernieuwen

Voor vernieuwingen van de gegevensstroom gelden enkele beperkingen:

  1. Per gegevensstroom mag u slechts 150 vernieuwingen per 24 uur (rolling window) hebben. Wanneer u deze limiet overschrijdt, krijgt u een foutmelding in de vernieuwingsgeschiedenis en worden de vernieuwingen hervat nadat u onder de limiet bent.
  2. Als de geplande gegevensstroomvernieuwing opeenvolgend mislukt, onderbreken we het vernieuwingsschema voor de gegevensstroom en verzenden we de eigenaar van de gegevensstroom een e-mail. In dit geval zijn de volgende regels van toepassing:
    • 72 uur (3 dagen)
      • Foutpercentage van 100% gedurende 72 uur
      • Minimaal 6 vernieuwingen (2 vernieuwingen per dag)
    • 168 uur (1 week)
      • Foutpercentage van 100% gedurende 168 uur
      • Minimaal 5 vernieuwingen (1 vernieuwing per dag)
  3. Eén evaluatie van een query heeft een limiet van 8 uur.
  4. De totale vernieuwingstijd van één gegevensstroom is beperkt tot maximaal 24 uur.
  5. Per gegevensstroom kunt u maximaal 50 gefaseerde query's of query's met uitvoerbestemming of combinatie van beide hebben.

Gevolgen voor annuleren vernieuwen voor uitvoergegevens

Een gegevensstroomvernieuwing kan worden gestopt via de vernieuwingsfunctie annuleren of als er een fout is opgetreden tijdens de verwerking van de query's van de gegevensstroom. Verschillende resultaten kunnen worden waargenomen, afhankelijk van het type bestemming en wanneer het vernieuwen is gestopt. Hier volgen de mogelijke resultaten voor de twee typen gegevensbestemmingen voor een query:

  • Query laadt gegevens naar fasering: gegevens van de laatste geslaagde vernieuwing zijn beschikbaar.
  • Query laadt gegevens naar een gegevensbestemming: gegevens die zijn geschreven tot het punt van annuleren is beschikbaar.

Niet alle query's in een gegevensstroom worden tegelijkertijd verwerkt, bijvoorbeeld als een gegevensstroom veel query's bevat of sommige query's afhankelijk zijn van andere. Als een vernieuwing wordt geannuleerd voordat een query wordt geëvalueerd die gegevens naar een bestemming laadt, is er geen wijziging in gegevens in de bestemming van die query.

Gerelateerde inhoud