DLT-pijplijnen ontwikkelen en fouten opsporen in notebooks

Belangrijk

De notebook-ervaring voor DLT-ontwikkeling bevindt zich in openbare preview.

In dit artikel worden functies in Azure Databricks-notebooks beschreven die helpen bij het ontwikkelen en opsporen van fouten in DLT-code.

Overzicht van functies

Wanneer u werkt aan een Python- of SQL-notebook dat is geconfigureerd als broncode voor een bestaande DLT-pijplijn, kunt u het notebook rechtstreeks verbinden met de pijplijn. Wanneer het notebook is verbonden met de pijplijn, zijn de volgende functies beschikbaar:

• Start en valideer de pijplijn vanuit het notebook.
• Bekijk de gegevensstroomgrafiek en het gebeurtenislogboek van de pijplijn voor de meest recente update in het notebook.
• Bekijk diagnostische gegevens van pijplijnen in de notebook-editor.
• Bekijk de status van het cluster van de pijplijn in het notebook.
• Open de DLT-gebruikersinterface vanuit het notebook.

Voorwaarden

• U moet een bestaande DLT-pijplijn hebben met een Python- of SQL-notebook die is geconfigureerd als broncode.
• U moet de eigenaar van de pijplijn zijn of de bevoegdheid CAN_MANAGE hebben.

Beperkingen

• De functies in dit artikel zijn alleen beschikbaar in Azure Databricks-notebooks. Werkruimtebestanden worden niet ondersteund.
• De webterminal is niet beschikbaar wanneer deze is gekoppeld aan een pijplijn. Als gevolg hiervan is het niet zichtbaar als een tabblad in het onderste deelvenster.

Een notebook verbinden met een DLT-pijplijn

Klik in het notitieblok op de vervolgkeuzelijst die wordt gebruikt om berekening te selecteren. In de vervolgkeuzelijst ziet u al uw DLT-pijplijnen met dit notebook als broncode. Als u het notebook wilt verbinden met een pijplijn, selecteert u het in de lijst.

De clusterstatus van de pijplijn weergeven

Om eenvoudig te zien wat de status is van het cluster van uw pijplijn, is deze zichtbaar in de vervolgkeuzelijst Compute met een groene kleur om aan te geven dat het cluster actief is.

Pijplijncode valideren

U kunt de pijplijn valideren om te controleren op syntaxisfouten in uw broncode zonder gegevens te verwerken.

Ga op een van de volgende manieren te werk om een pijplijn te valideren:

• Klik in de rechterbovenhoek van het notitieblok op Valideren.
• Druk op Shift+Enter in een willekeurige notitieblokcel.
• Klik in het vervolgkeuzemenu van een cel op Pijplijn valideren.

Notitie

Als u probeert uw pijplijn te valideren terwijl een bestaande update al wordt uitgevoerd, wordt er een dialoogvenster weergegeven waarin u wordt gevraagd of u de bestaande update wilt beëindigen. Als u op Jaklikt, wordt de bestaande update gestopt en wordt er automatisch een validatie update gestart.

Een pijplijnupdate starten

Als u een update van uw pijplijn wilt starten, klikt u op de knop Start in de rechterbovenhoek van het notitieblok. Zie Een update uitvoeren op een DLT-pijplijn.

De status van een update weergeven

In het bovenste deelvenster van het notebook wordt aangegeven of er een pijplijnupdate heeft plaatsgevonden.

• Starten
• Valideren
• Stoppen

Fouten en diagnostische gegevens weergeven

Nadat u een pijplijnupdate of validatie hebt gestart, worden eventuele fouten inline weergegeven met een rode onderstreping. Beweeg de muisaanwijzer over een fout om meer informatie weer te geven.

Pijplijn gebeurtenissen weergeven

Wanneer deze is gekoppeld aan een pijplijn, bevindt zich onder aan het notebook een tabblad DLT-gebeurtenislogboek.

De pijplijngegevensstroomgrafiek weergeven

Als u de gegevensstroomgrafiek van een pijplijn wilt weergeven, gebruikt u het tabblad DLT-grafiek onderaan het notebook. Als u een knooppunt in de grafiek selecteert, wordt het bijbehorende schema weergegeven in het rechterdeelvenster.

De DLT-gebruikersinterface openen vanuit het notebook

Als u eenvoudig naar de DLT-gebruikersinterface wilt gaan, gebruikt u het menu in de rechterbovenhoek van het notitieblok.

Toegang tot stuurprogrammalogboeken en de Spark-gebruikersinterface vanuit het notebook

De stuurprogrammalogboeken en de Spark-gebruikersinterface die zijn gekoppeld aan de pijplijn die wordt ontwikkeld, kunnen eenvoudig worden geopend vanuit het menu Weergave van het notebook.