Получение данных из eventstream

Из этой статьи вы узнаете, как получить данные из существующего потока событий в новую или существующую таблицу.

Сведения о получении данных из нового потока событий см. в статье Получение данных из нового потока событий.

Необходимые условия

• Рабочая область с включенной поддержкой Microsoft Fabric производительностью
• База данных KQL с разрешениями на редактирование
• Поток событий с источником данных

Источник

Чтобы получить данные из потока событий, необходимо выбрать поток событий в качестве источника данных. Вы можете выбрать существующий поток событий следующим образом:

В нижней панели вашей базы данных KQL либо:

• В раскрывающемся меню получение данных в разделе Непрерывныйвыберите Поток событий>Существующий поток событий.

• Выберите Получить данные, а затем в окне Получить данные выберите Eventstream.

• В раскрывающемся меню Получение данных в разделе Непрерывныйвыберите Real-Time концентратор данных>существующий поток событий.

  

Настроить

1. Выберите целевую таблицу. Если вы хотите принять данные в новую таблицу, выберите + Создать таблицу и введите имя таблицы.

   Заметка

   Имена таблиц могут содержать до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.

2. В разделе Настройка источника данныхзаполните параметры, используя сведения в следующей таблице:

   

   настройка	Описание
   Рабочая область	Расположение рабочей области eventstream. Выберите рабочую область из раскрывающегося списка.
   Имя потока событий	Имя вашего потока событий. Выберите поток событий из раскрывающегося списка.
   Имя подключения к данным	Имя, используемое для ссылки на подключение к данным и управление ими в рабочей области. Имя подключения к данным заполняется автоматически. При необходимости можно ввести новое имя. Имя может содержать только буквенно-цифровые символы, тире и точки и содержать до 40 символов в длину.
   Обработка события перед приемом в Eventstream	Этот параметр позволяет настроить обработку данных перед приемом данных в целевую таблицу. Если выбрано, вы продолжите процесс приема данных в Eventstream. Для получения дополнительной информации см. раздел Процесс проверки события перед обработкой в Eventstream.
   расширенные фильтры
   Сжатие	Сжатие данных событий, поступающих из концентратора событий. Параметры : None (по умолчанию) или сжатие Gzip.
   Свойства системы событий	Если для сообщения о событии существует несколько записей, системные свойства добавляются к первой из них. Дополнительные сведения см. в разделе свойства системы событий.
   Дата начала получения события	Подключение к данным извлекает уже существующие события, созданные с даты начала их получения. Он может извлекать только события, сохраненные концентратором событий, в зависимости от срока хранения. Часовой пояс — UTC. Если время не указано, по умолчанию используется время создания подключения к данным.

3. Выберите "Далее"

Обработать событие перед его приемом в Eventstream.

Событие процесса перед приемом в eventstream позволяет обработать данные перед их загрузкой в целевую таблицу. С помощью этого параметра процесс получения данных легко продолжается в Eventstream, а сведения о целевой таблице и источнике данных автоматически заполняются.

Чтобы обработать событие перед загрузкой в Eventstream:

1. На вкладке Конфигурация выберите Обработка события перед приемом в Eventstream.

2. В диалоговом окне События процесса в Eventstream выберите Продолжить вEventstream.

   Важный

   При выборе Продолжить в Eventstream завершается процесс получения данных в Real-Time Intelligence и продолжается в Eventstream, причём сведения о целевой таблице и источнике данных заполняются автоматически.

   

3. В Eventstream выберите узел назначения базы данных KQL , и в области базы данных KQL убедитесь, что Обработка событий перед приемом выбрана и что правильность сведений о назначении подтверждена.

   

4. Выберите Открыть обработчик событий, чтобы настроить обработку данных, а затем нажмите Сохранить. Дополнительные сведения см. в разделе Обработка данных о событиях средактора обработчика событий.

5. Вернитесь в область базы данных KQL , выберите Добавить, чтобы завершить настройку узла назначения базы данных KQL .

6. Проверьте, загружены ли данные в целевую таблицу.

Заметка

Событие процесса завершено перед приемом в Eventstream, и остальные действия, описанные в этой статье, не требуются.

Осматривать

Откроется вкладка "Проверка" с предварительным просмотром данных.

Чтобы завершить процесс приема, нажмите кнопку Готово.

Необязательно:

• Выберите средство просмотра команд, чтобы просмотреть и скопировать автоматические команды, созданные из входных данных.
• Измените автоматически выведенный формат данных, выбрав нужный формат из раскрывающегося списка. Данные считываются из концентратора событий в виде объектов EventData. Поддерживаемые форматы: CSV, JSON, PSV, SCsv, SOHsv TSV, TXT и TSVE.
• Изменить столбцы.
• Изучите дополнительные параметры на основе типа данных.

Изменение столбцов

Заметка

• Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить его с существующим столбцом, сначала удалите новый столбец.
• Невозможно изменить существующий тип столбца. Если вы пытаетесь сопоставить столбец с другим форматом, вы можете в конечном итоге получить пустые столбцы.

Изменения, которые можно внести в таблицу, зависят от следующих параметров:

• тип таблицы является новым или существующим
• тип сопоставления является существующим или новым

Тип таблицы	Тип сопоставления	Доступные корректировки
Новая таблица	Новое картирование	Переименовать столбец, изменить тип данных, изменить источник данных, преобразование сопоставления, добавить столбец, удалить столбец
Существующая таблица	Новое сопоставление	Добавьте столбец (в котором можно изменить тип данных, переименовать и обновить)
Существующая таблица	Текущая карта	никакой

Трансформации отображения

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования на этапе приёма. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне Редактирование столбцов.

Преобразования сопоставления можно выполнять для столбца типа string или datetime, если источник имеет тип данных int или long. Поддерживаемые преобразования сопоставления:

• ДатаВремяИзUnixСекунд
• DateTimeFromUnixMilliseconds
• Дата и время из Unix-макросекунд
• ДатаВремяИзUnixНаносекунд

Дополнительные параметры на основе типа данных

табличный (CSV, TSV, PSV):

Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. Чтобы использовать первую строку в качестве имен столбцов, включите Первая строка — это заголовок столбца.

JSON:

Чтобы определить деление данных JSON, выберите Расширенные>вложенные уровниот 1 до 100.

Сводка

В окне подготовки данных все три шага помечаются зелеными галочками, когда прием данных завершается успешно. Вы можете выбрать карточку для запроса, удалить загруженные данные или просмотреть панель инструментов для сводного отчета по данным приема. Нажмите кнопку Закрыть, чтобы закрыть окно.

Связанное содержимое

• Сведения об управлении базой данных см. в статье Управление данными
• Сведения о создании, хранении и экспорте запросов см. в разделе Запрос данных в наборе запросов KQL