Получение данных из концентратора реального времени (предварительная версия)

В этой статье вы узнаете, как получить события из концентратора реального времени в новую или существующую таблицу.

Внимание

Эта функция доступна в предварительной версии.

Примечание.

В настоящее время концентратор реального времени поддерживает только потоки событий в качестве источника. Концентратор реального времени в настоящее время находится в предварительной версии.

Необходимые компоненты

• Рабочая область с емкостью с поддержкой Microsoft Fabric
• База данных KQL с разрешениями на редактирование
• Поток событий с источником данных

Исходный код

Чтобы получить данные из концентратора реального времени, необходимо выбрать поток в режиме реального времени из концентратора данных в качестве источника данных. Вы можете выбрать концентратор реального времени следующим образом:

На нижней ленте базы данных KQL либо:

• В раскрывающемся меню "Получить данные" в разделе "Непрерывный" выберите концентратор реального времени (предварительная версия).

• Выберите "Получить данные", а затем в окне "Получение данных" выберите поток в разделе концентратора реального времени.

  

• Выберите поток данных из списка потоков концентратора реального времени.

Настройка

1. Выберите целевую таблицу. Если вы хотите принять данные в новую таблицу, нажмите кнопку +Создать таблицу и введите имя таблицы.

   Примечание.

   Имена таблиц могут содержать до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.

2. В разделе "Настройка источника данных" заполните параметры, используя сведения в следующей таблице. Некоторые сведения о параметрах автоматически заполняются из потока событий.

   

   Параметр	Description
   Рабочая область	Расположение рабочей области eventstream. Имя рабочей области автоматически заполняется.
   Имя потока событий	Имя потока событий. Имя потока событий заполняется автоматически.
   Имя подключения к данным	Имя, используемое для ссылки на подключение к данным и управление ими в рабочей области. Имя подключения к данным заполняется автоматически. При необходимости можно ввести новое имя. Имя может содержать только буквенно-цифровые символы, тире и точки и содержать до 40 символов в длину.
   Событие обработки перед приемом в Eventstream	Этот параметр позволяет настроить обработку данных перед приемом данных в целевую таблицу. Если выбрано, вы продолжите процесс приема данных в Eventstream. Дополнительные сведения см. в разделе "Обработка события перед приемом в eventstream".
   Расширенные фильтры
   Сжатие	Сжатие данных событий, поступающих из концентратора. Параметры : None (по умолчанию) или сжатие Gzip.
   Свойства системы событий	При наличии нескольких записей на сообщение о событии системные свойства добавляются в первую. Дополнительные сведения см. в разделе "Свойства системы событий".
   Дата начала получения события	Подключение к данным извлекает существующие события, созданные с момента начала получения события. Он может получать только события, сохраненные центром, на основе срока хранения. Часовой пояс — UTC. Если время не указано, по умолчанию используется время создания подключения к данным.

3. Выберите Далее

Событие обработки перед приемом в Eventstream

Событие Process перед приемом в параметре Eventstream позволяет обрабатывать данные перед приемом в целевую таблицу. С помощью этого параметра процесс получения данных легко продолжается в Eventstream, а сведения о целевой таблице и источнике данных автоматически заполняются.

Чтобы обработать событие перед приемом в Eventstream:

1. На вкладке "Настройка" выберите событие process перед приемом в Eventstream.

2. В диалоговом окне "События процесса" в потоке событий нажмите кнопку "Продолжить" в потоке событий.

   Внимание

   Нажатие кнопки "Продолжить" в eventstream завершает процесс получения данных в аналитике в режиме реального времени и продолжается в потоке событий с автоматически заполненными сведениями о целевой таблице и источнике данных.

   

3. В eventstream выберите узел назначения базы данных KQL и в области базы данных KQL убедитесь, что обработка событий перед выбором приема и правильность сведений о назначении.

   

4. Выберите "Открыть обработчик событий", чтобы настроить обработку данных, а затем нажмите кнопку "Сохранить". Дополнительные сведения см. в разделе "Обработка данных о событиях с помощью редактора обработчика событий".

5. Вернитесь в область базы данных KQL, выберите "Добавить", чтобы завершить настройку целевого узла базы данных KQL.

6. Проверка приема данных в целевую таблицу.

Примечание.

Событие процесса перед приемом в процессе eventstream завершено, а остальные действия, описанные в этой статье, не требуются.

Проверка

Откроется вкладка "Проверка " с предварительным просмотром данных.

Чтобы завершить процесс приема, нажмите кнопку Готово.

Необязательно.

• Выберите средство просмотра команд, чтобы просмотреть и скопировать автоматические команды, созданные из входных данных.
• Измените автоматически выведенный формат данных, выбрав нужный формат из раскрывающегося списка. Данные считываются из концентратора в виде объектов EventData . Поддерживаемые форматы: Avro, Apache Avro, CSV, JSON, ORC, Parquet, PSV, RAW, SCsv, SOHsv, TSV, TXT и TSVE.
• Изменение столбцов.
• Изучите дополнительные параметры на основе типа данных.

Изменить столбцы

Примечание.

• Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить существующий столбец, сначала удалите новый столбец.
• Нельзя изменить тип существующего столбца. При попытке выполнить сопоставление для столбца, имеющего другой формат, могут отобразиться пустые столбцы.

Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:

• Тип таблицы — новая или существующая.
• Тип сопоставления — новое или существующее.

Тип таблицы	Тип сопоставления	Доступные корректировки
Новая таблица	Создать сопоставление	Переименование столбца, изменение типа данных, изменение источника данных, преобразование сопоставления, добавление столбца, удаление столбца
Существующая таблица	Создать сопоставление	Добавьте столбец (в котором можно изменить тип данных, переименовать и обновить)
Существующая таблица	Существующее сопоставление	ничего

Преобразования сопоставлений

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования во время приема. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне "Изменение столбцов ".

Преобразования сопоставления можно выполнять в столбце строки типа или даты и времени с источником с типом данных int или long. Поддерживаются следующие преобразования сопоставлений:

• DateTimeFromUnixSeconds;
• DateTimeFromUnixMilliseconds;
• DateTimeFromUnixMicroseconds;
• DateTimeFromUnixNanoseconds.

Дополнительные параметры на основе типа данных

Табличные (CSV, TSV, PSV):

Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. Чтобы использовать первую строку в качестве имен столбцов, включите первый заголовок столбца.

JSON:

Чтобы определить деление данных JSON, выберите расширенные>вложенные уровни от 1 до 100.

Итоги

В окне подготовки данных все три шага помечаются зелеными флажками при успешном завершении приема данных. Вы можете выбрать карточку для запроса, удалить данные приема или просмотреть панель мониторинга сводки приема. Выберите Закрыть, чтобы закрыть окно.

Связанный контент

• Сведения об управлении базой данных см. в разделе "Управление данными"
• Сведения о создании, хранении и экспорте запросов см. в разделе "Запрос данных" в наборе запросов KQL
• Сведения о получении данных из нового потока событий см. в статье "Получение данных из нового потока событий"