Querylogboekregistratie

Belangrijk

Azure HDInsight op AKS is op 31 januari 2025 buiten gebruik gesteld. Meer informatie in deze aankondiging.

U moet uw workloads migreren naar Microsoft Fabric- of een gelijkwaardig Azure-product om plotselinge beëindiging van uw workloads te voorkomen.

Belangrijk

Deze functie is momenteel beschikbaar als preview-versie. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews meer juridische voorwaarden bevatten die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet in algemene beschikbaarheid zijn vrijgegeven. Zie Azure HDInsight in AKS preview-informatievoor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight- met de details en volgt u ons voor meer updates over Azure HDInsight Community-.

Trino ondersteunt aangepaste gebeurtenislisteners die kunnen worden gebruikt om te luisteren naar levenscyclusgebeurtenissen van query's. U kunt uw eigen gebeurtenislisteners schrijven of een ingebouwde invoegtoepassing van HDInsight in AKS gebruiken waarmee gebeurtenissen worden vastgelegd in Azure Blob Storage.

U kunt ingebouwde logboekregistratie van query's op twee manieren inschakelen:

• U kunt ingebouwde querylogboekregistratie inschakelen tijdens het maken van Trino-cluster door hive-catalogus in te schakelen.

• U kunt ingebouwde querylogboekregistratie in uw cluster inschakelen met behulp van een ARM-sjabloon.

Dit artikel bevat informatie over het toevoegen van querylogboekregistratie aan uw cluster met behulp van een ARM-sjabloon.

Voorwaarden

• Een operationeel Trino-cluster met HDInsight in AKS.
• Maak ARM-sjabloon voor uw cluster.
• Bekijk het volledige cluster ARM-sjabloon voorbeeld.
• Bekendheid met ontwerpen en implementeren van ARM-sjablonen.

Querylogging inschakelen

Als u de ingebouwde invoegtoepassing voor querylogboekregistratie in uw Trino-cluster wilt inschakelen, voegt u clusterProfile.trinoProfile.userTelemetrySpec-gedeelte toe of werkt u het bij met de volgende eigenschappen in uw ARM-clustersjabloon.

Eigenschap	Beschrijving
path	Volledig gespecificeerd pad naar een map die als hoofdmap wordt gebruikt om verschillende querylogbestanden vast te leggen.
hivecatalogName	Deze catalogus wordt gebruikt om externe tabellen te koppelen aan de bestanden die zijn geschreven in het opslagaccount. Deze catalogus moet worden toegevoegd in uw cluster, Hive-catalogus toevoegen.
hivecatalogSchema	De invoegtoepassing voor het loggen van queries gebruikt dit schema om de externe tabel voor de logs te monteren. De invoegtoepassing maakt dit schema als het nog niet bestaat. Standaardwaarde - trinologs
partitionRetentionInDays	De query logging-plug-in verwijdert de partities in de logboektabellen die ouder zijn dan de opgegeven instelling. Standaardwaarde - 365

In het volgende voorbeeld ziet u hoe querylogging is ingeschakeld in een Trino-cluster. Voeg deze voorbeeld-json toe onder [*].properties.clusterProfile in de ARM-sjabloon.

       "trinoProfile": { 
          "userTelemetrySpec": { 
          "storage": { 
              "path": "https://querylogstorageaccount.blob.core.windows.net/logs/trinoquerylogs", 
              "hivecatalogName": "hive", 
              "hivecatalogSchema": "trinologs", 
              "partitionRetentionInDays": 365 
          } 
          }
      }   

Implementeer de bijgewerkte ARM-sjabloon om de wijzigingen in uw cluster weer te geven. Meer informatie over het implementeren van een ARM-sjabloon.

Notitie

• De plug-in maakt gebruik van door de gebruiker toegewezen beheerde identiteit (MSI) die is gekoppeld aan het cluster om te authenticeren bij de opslag. Voeg Contributor- en Storage Blob Data Owner-toegang toe aan de MSI om ervoor te zorgen dat de plug-in logboeken naar het opslagaccount kan schrijven.
  Door de gebruiker toegewezen MSI-naam wordt vermeld in de eigenschap msiResourceId in de resource-JSON van het cluster. Leer hoe je een rolkunt toewijzen.

• PartitionRetentionInDays verwijdert alleen de metagegevenspartitie uit de gekoppelde tabel. De gegevens worden niet verwijderd. Schoon de gegevens op volgens uw vereisten als u ze niet meer nodig hebt.

Metagegevensbeheer

Als de gebruiker een catalogusnaam opgeeft in de hiveCatalogName-eigenschap, koppelt de invoegtoepassing de logboekbestanden, die in het opslagaccount zijn geschreven, als externe tabellen en weergaven. Deze kunnen worden opgevraagd via Trino.

De invoegtoepassing maakt drie tabellen en drie weergaven, die kunnen worden gebruikt om query's uit te voeren op de levenscyclus-gebeurtenissen (QueryCompletedEvent, QueryCreatedEventen SplitCompletedEVent). Deze tabelweergaven & worden gemaakt binnen de catalogus en het schema die als gebruikersinvoer zijn opgegeven.

naam van tabellen:

• querycompleted: Bevat QueryCompleted gebeurtenissen die door Trino worden geactiveerd.
• querycreated: Bevat QueryCreatedEvents uitgevoerd door Trino.
• splitcompleted: Bevat SplitCompletedEvents uitgevoerd door Trino.

weergavenaam:

• vquerycompleted
• vquerycreated
• vsplitcompleted

Notitie

Gebruikers worden aangemoedigd om de weergaven te gebruiken omdat ze immuun zijn voor onderliggende schemawijzigingen en rekening houden met de beschreven tabel.

Tabelarchivering

De invoegtoepassing biedt ondersteuning voor het archiveren van de (N-1)de tabel in het scenario waarin de gebruiker besluit om de locatie van path of de externe locatie voor de logboeken te wijzigen. Als dat gebeurt, wijzigt de invoegtoepassing de naam van de tabel die verwijst naar het oude pad als <table_name>_archived, wordt in de gemaakte weergave het resultaat van de huidige en gearchiveerde tabellen in dit scenario samengevoegd.

Uw aangepaste invoegtoepassing maken

U kunt ook een aangepaste gebeurtenislistener-invoegtoepassing maken. Volg daarvoor de aanwijzingen op docs. Implementeer aangepaste invoegtoepassingen door de implementatiestappen van de plugin op te volgen zoals beschreven in .