Поделиться через

Создание приложения для выполнения команд управления

  • Статья

Применимо: ✅Microsoft Fabric✅Azure Data Explorer

В этой статье описано, как:

Необходимые условия

настройте среду разработки для использования клиентской библиотеки Kusto.

Выполните команду управления и обработайте результаты

В предпочтительной IDE или текстовом редакторе создайте проект или файл с именем команд управления по стандарту, подходящему для предпочитаемого языка. Затем добавьте следующий код:

  1. Создайте клиентское приложение, которое подключает кластер. Замените заполнитель <your_cluster_uri> именем кластера.

    Заметка

    Для команд управления вы будете использовать клиентский метод фабрики CreateCslAdminProvider.

    using Kusto.Data;
using Kusto.Data.Net.Client;

namespace ManagementCommands {
  class ManagementCommands {
    static void Main(string[] args) {
      var clusterUri = "<your_cluster_uri>";
      var kcsb = new KustoConnectionStringBuilder(clusterUri)
          .WithAadUserPromptAuthentication();

      using (var kustoClient = KustoClientFactory.CreateCslAdminProvider(kcsb)) {
      }
    }
  }
}

  2. Определите функцию, которая выводит выполняемую команду и ее результирующие таблицы. Эта функция распаковывает имена столбцов в результирующих таблицах и выводит каждую пару "имя-значение" в новой строке.

    static void PrintResultsAsValueList(string command, IDataReader response) {
  while (response.Read()) {
    Console.WriteLine("\n{0}\n", new String('-', 20));
    Console.WriteLine("Command: {0}", command);
    Console.WriteLine("Result:");
    for (int i = 0; i < response.FieldCount; i++) {
      Console.WriteLine("\t{0} - {1}", response.GetName(i), response.IsDBNull(i) ? "None" : response.GetString(i));
    }
  }
}

  3. Определите команду для выполнения. Команда создает таблицу с именем MyStormEvents и определяет схему таблицы как список имен столбцов и типов. Замените заполнитель <your_database> именем базы данных.

    string database = "<your_database>";
string table = "MyStormEvents";

// Create a table named MyStormEvents
// The brackets contain a list of column Name:Type pairs that defines the table schema
string command = @$".create table {table}
                  (StartTime:datetime,
                   EndTime:datetime,
                   State:string,
                   DamageProperty:int,
                   DamageCrops:int,
                   Source:string,
                   StormSummary:dynamic)";

  4. Выполните команду и распечатайте результат с помощью ранее определенной функции.

    Заметка

    Для выполнения команды вы будете использовать метод ExecuteControlCommand.

    using (var response = kustoClient.ExecuteControlCommand(database, command, null)) {
  PrintResultsAsValueList(command, response);
}

Полный код должен выглядеть следующим образом:

using Kusto.Data;
using Kusto.Data.Net.Client;

namespace ManagementCommands {
  class ManagementCommands {
    static void Main(string[] args) {
      string clusterUri = "https://<your_cluster_uri>";
      var kcsb = new KustoConnectionStringBuilder(clusterUri)
          .WithAadUserPromptAuthentication();

      using (var kustoClient = KustoClientFactory.CreateCslAdminProvider(kcsb)) {
        string database = "<your_database>";
        string table = "MyStormEvents";

        // Create a table named MyStormEvents
        // The brackets contain a list of column Name:Type pairs that defines the table schema
        string command = @$".create table {table} 
                          (StartTime:datetime,
                           EndTime:datetime,
                           State:string,
                           DamageProperty:int,
                           DamageCrops:int,
                           Source:string,
                           StormSummary:dynamic)";

        using (var response = kustoClient.ExecuteControlCommand(database, command, null)) {
          PrintResultsAsValueList(command, response);
        }
      }
    }

    static void PrintResultsAsValueList(string command, IDataReader response) {
      while (response.Read()) {
        Console.WriteLine("\n{0}\n", new String('-', 20));
        Console.WriteLine("Command: {0}", command);
        Console.WriteLine("Result:");
        for (int i = 0; i < response.FieldCount; i++) {
          Console.WriteLine("\t{0} - {1}", response.GetName(i), response.IsDBNull(i) ? "None" : response.GetString(i));
        }
      }
    }
  }
}

Запуск приложения

В командной оболочке используйте следующую команду для запуска приложения:

# Change directory to the folder that contains the management commands project
dotnet run .

Результат должен выглядеть следующим образом:

--------------------

Command: .create table MyStormEvents 
                 (StartTime:datetime,
                  EndTime:datetime,
                  State:string,
                  DamageProperty:int,
                  Source:string,
                  StormSummary:dynamic)
Result:
   TableName - MyStormEvents
   Schema - {"Name":"MyStormEvents","OrderedColumns":[{"Name":"StartTime","Type":"System.DateTime","CslType":"datetime"},{"Name":"EndTime","Type":"System.DateTime","CslType":"datetime"},{"Name":"State","Type":"System.String","CslType":"string"},{"Name":"DamageProperty","Type":"System.Int32","CslType":"int"},{"Name":"Source","Type":"System.String","CslType":"string"},{"Name":"StormSummary","Type":"System.Object","CslType":"dynamic"}]}
   DatabaseName - MyDatabaseName
   Folder - None
   DocString - None

Изменение политики пакетного приема на уровне таблицы

Вы можете настроить поведение пакетной обработки данных для таблиц, изменив соответствующую политику таблицы. Дополнительные сведения см. в политике IngestionBatching.

Заметка

Если вы не укажете все параметры PolicyObject, для неопределенных параметров будет задано значения по умолчанию. Например, при указании только "MaximumBatchingTimeSpan" параметры "MaximumNumberOfItems" и "MaximumRawDataSizeMB" будут установлены по умолчанию.

Например, можно изменить приложение, чтобы изменить политику пакетного приема время ожидания до 30 секунд, изменив политику ingestionBatching для таблицы MyStormEvents с помощью следующей команды:

// Reduce the default batching timeout to 30 seconds
command = @$".alter-merge table {table} policy ingestionbatching '{{ ""MaximumBatchingTimeSpan"":""00:00:30"" }}'";

using (var response = kustoClient.ExecuteControlCommand(database, command, null))
{
  PrintResultsAsValueList(command, response);
}

При добавлении кода в приложение и его запуске вы увидите результат, аналогичный следующему:

--------------------

Command: .alter-merge table MyStormEvents policy ingestionbatching '{ "MaximumBatchingTimeSpan":"00:00:30" }'
Result:
   PolicyName - IngestionBatchingPolicy
   EntityName - [YourDatabase].[MyStormEvents]
   Policy - {
  "MaximumBatchingTimeSpan": "00:00:30",
  "MaximumNumberOfItems": 500,
  "MaximumRawDataSizeMB": 1024
}
   ChildEntities - None
   EntityType - Table

Отображение политики хранения уровня базы данных

Команды управления можно использовать для отображения политики хранения базы данных.

Например, можно изменить приложение, чтобы отобразить политику хранения базы данных с помощью следующего кода. Результат курируется, чтобы проецировать два столбца из результата:

// Show the database retention policy (drop some columns from the result)
command = @$".show database {database} policy retention | project-away ChildEntities, EntityType";

using (var response = kustoClient.ExecuteControlCommand(database, command, null)) {
  PrintResultsAsValueList(command, response);
}

При добавлении кода в приложение и его запуске вы увидите результат, аналогичный следующему:

--------------------

Command: .show database YourDatabase policy retention | project-away ChildEntities, EntityType
Result:
   PolicyName - RetentionPolicy
   EntityName - [YourDatabase]
   Policy - {
  "SoftDeletePeriod": "365.00:00:00",
  "Recoverability": "Enabled"
}

Следующий шаг

Создание приложения для получения данных с помощью очередного поглощения