Delen via

Een monitor maken met behulp van de Databricks-gebruikersinterface

  • Artikel

In dit artikel ziet u hoe u een gegevensmonitor maakt met behulp van de Databricks-gebruikersinterface. U kunt ook de API gebruiken.

Ga als volgt te werk om toegang te krijgen tot de Databricks-gebruikersinterface:

  1. Klik in de linkerzijbalk op cataloguspictogram om Catalogusverkenner te openen.
  2. Navigeer naar de tabel die u wilt bewaken.
  3. Klik op het tabblad Kwaliteit .
  4. Klik op de knop Aan de slag.
  5. Kies in Monitor makende opties die u wilt gebruiken om de monitor in te stellen.

Profileren

Selecteer in het menu Profieltype het type monitor dat u wilt maken. De profieltypen worden weergegeven in de tabel.

Profieltype Beschrijving
Tijdreeksprofiel Een tabel met waarden die in de loop van de tijd worden gemeten. Deze tabel bevat een tijdstempelkolom.
Deductieprofiel Een tabel met voorspelde waarden die worden uitgevoerd door een machine learning-classificatie of regressiemodel. Deze tabel bevat een tijdstempel, een model-id, modelinvoer (functies), een kolom met modelvoorspellingen en optionele kolommen met unieke observatie-id's en grondwaarlabels. Het kan ook metagegevens bevatten, zoals demografische informatie, die niet wordt gebruikt als invoer voor het model, maar kan nuttig zijn voor eerlijkheids- en vooroordelenonderzoeken of andere controle.
Momentopnameprofiel Elke door Delta beheerde tabel, externe tabel, weergave, gerealiseerde weergave of streamingtabel.

Als u TimeSeries of Inferenceselecteert, zijn aanvullende parameters vereist en worden deze beschreven in de volgende secties.

Notitie

  • Wanneer u voor het eerst een tijdreeks- of deductieprofiel maakt, analyseert de monitor alleen gegevens van de 30 dagen voorafgaand aan het maken ervan. Nadat de monitor is gemaakt, worden alle nieuwe gegevens verwerkt.
  • Monitors die zijn gedefinieerd voor gerealiseerde weergaven en streamingtabellen bieden geen ondersteuning voor incrementele verwerking.

Tip

Voor TimeSeries- en Inference-profielen is het een best practice om Change Data Feed (CDF) op uw tabel in te schakelen. Wanneer CDF is ingeschakeld, worden alleen nieuw toegevoegde gegevens verwerkt, in plaats van dat de hele tabel elke vernieuwing opnieuw wordt verwerkt. Dit maakt de uitvoering efficiënter en verlaagt de kosten wanneer u bewaking in veel tabellen schaalt.

TimeSeries profiel

Voor een TimeSeries profiel moet u de volgende selecties maken:

  • Geef de metrische granulariteiten op die bepalen hoe de gegevens in vensters in de tijd moeten worden gepartitioneert.
  • Geef de -tijdstempelkolom op in, de kolom in de tabel die de tijdstempel bevat. Het gegevenstype tijdstempelkolom moet TIMESTAMP zijn of een type dat kan worden geconverteerd naar tijdstempels met behulp van de to_timestampPySpark-functie.

Inference profiel

Voor een Inference profiel moet u naast de granulariteiten en de tijdstempel de volgende selecties maken:

  • Selecteer het probleemtype, de classificatie of de regressie.
  • Geef de voorspellingskolom op,, de kolom met de voorspelde waarden van het model.
  • U kunt desgewenst de kolom Label opgeven, de kolom met de werkelijke waarden voor de voorspellingen van het model.
  • Geef de kolom model-id op, de kolom met de id van het model dat wordt gebruikt voor voorspelling.

Schema

Als u een monitor wilt instellen die op geplande basis moet worden uitgevoerd, selecteert u Vernieuwen volgens schema en selecteert u de frequentie en tijd waarop de monitor moet worden uitgevoerd. Als u niet wilt dat de monitor automatisch draait, selecteert u Handmatig vernieuwen. Als u Handmatig vernieuwen selecteert, kunt u de metrische gegevens later vernieuwen op het tabblad Kwaliteit.

Meldingen

Als u e-mailmeldingen voor een monitor wilt instellen, voert u de e-mail in die moet worden gewaarschuwd en selecteert u de meldingen die u wilt inschakelen. Maximaal 5 e-mailberichten worden ondersteund per gebeurtenistype voor meldingen.

Algemeen

In de sectie Algemeen moet u één vereiste instelling en enkele extra configuratieopties opgeven:

  • U moet het Unity Catalog-schema opgeven waarin de metrische tabellen die door de monitor zijn gemaakt, worden opgeslagen. De locatie moet de indeling {catalog} hebben. {schema}.

U kunt ook de volgende instellingen opgeven:

  • Assets-map. Voer het absolute pad naar de bestaande map in om bewakingsassets op te slaan, zoals het gegenereerde dashboard. Assets worden standaard opgeslagen in de standaardmap: "/Users/{user_name}/databricks_lakehouse_monitoring/{table_name}". Als u een andere locatie in dit veld invoert, worden assets gemaakt onder '/{table_name}' in de map die u opgeeft. Deze map kan zich overal in de werkruimte bevinden. Voor monitors die zijn bedoeld om te worden gedeeld binnen een organisatie, kunt u een pad in de map /Gedeeld/gebruiken.

    Dit veld kan niet leeg blijven.

  • naam van de basislijntabel voor Unity Catalog. Naam van een tabel of weergave die basislijngegevens bevat voor vergelijking. Zie primaire invoertabel en basislijntabelvoor meer informatie over basislijntabellen.

  • Metrische segmenteringsexpressies. Met uitsnijdingsuitdrukkingen kunt u subsets van de tabel definiëren die u naast de tabel als geheel kunt bewaken. Als u een segmenteringsexpressie wilt maken, klikt u op Expressie toevoegen en voert u de definitie van de expressie in. Met de expressie "col_2 > 10" worden bijvoorbeeld twee segmenten gegenereerd: één voor col_2 > 10 en één voor col_2 <= 10. In een ander voorbeeld genereert de expressie "col_1" één segment voor elke unieke waarde in col_1. De gegevens worden afzonderlijk gegroepeerd op elke expressie, wat resulteert in een afzonderlijk segment voor elk predicaat en de bijbehorende aanvullingen.

  • Aangepaste metrische gegevens. Aangepaste metriek wordt weergegeven in de metrische tabellen zoals elke ingebouwde metriek. Zie Aangepaste metrische gegevens gebruiken met Databricks Lakehouse Monitoring voor meer informatie. Als u een aangepaste metrische waarde wilt configureren, klikt u op Aangepaste metrische gegevens toevoegen.

    • Voer een naam in voor de aangepaste metrische gegevens.
    • Selecteer de aangepaste metrische gegevens Type, een van Aggregate, Derivedof Drift. Zie Typen aangepaste metrische gegevens voor definities.
    • Selecteer in de vervolgkeuzelijst in Invoerkolommende kolommen waarin u de metrische waarde wilt toepassen.
    • Selecteer in het uitvoertype veld het Spark-gegevenstype van de metrische waarde.
    • Voer in het veld Definitie SQL-code in waarmee de aangepaste metrische gegevens worden gedefinieerd.

Monitorinstellingen bewerken in de gebruikersinterface

Nadat u een monitor hebt gemaakt, kunt u wijzigingen aanbrengen in de instellingen van de monitor door te klikken op de knop Monitorconfiguratie bewerken op het tabblad Kwaliteit .

Vernieuw en bekijk monitorresultaten in de gebruikersinterface

Als u de monitor handmatig wilt uitvoeren, klikt u op Metrische gegevens vernieuwen.

Raadpleeg Monitor metrische tabellenvoor informatie over de statistieken die zijn opgeslagen in monitor metrische tabellen. Metrische tabellen zijn Unity Catalog-tabellen. U kunt ze opvragen in notebooks of in de SQL-queryverkenner en ze bekijken in de Catalogus Verkenner.

Toegang beheren om uitvoer te bewaken

De metrische tabellen en het dashboard die door een monitor zijn gemaakt, zijn eigendom van de gebruiker die de monitor heeft gemaakt. U kunt Unity Catalog-bevoegdheden gebruiken om de toegang tot metrische tabellen te beheren. Als u dashboards in een werkruimte wilt delen, klikt u op de knop Delen in de rechterbovenhoek van het dashboard.

Een monitor verwijderen uit de gebruikersinterface

Als u een monitor uit de gebruikersinterface wilt verwijderen, klikt u op het kebabmenu naast de knop Vernieuw metrics en selecteert u Monitor verwijderen.