Создание ресурсов вручную для приема в Сетке событий

• Портал
• Портал - создавайте ресурсы вручную
• C#
• Python
• Шаблон Azure Resource Manager

Azure Data Explorer предлагает непрерывную загрузку из хранилища Azure (хранилище BLOB-объектов Azure и хранилище Azure Data Lake Storage 2-го поколения) с помощью конвейера приема Сетки событий. В конвейере приема Сетки событий служба сетки событий Azure направляет созданные или переименованные большие двоичные объекты из учетной записи хранения в Azure Data Explorer через концентратор событий Azure.

В этой статье вы узнаете, как вручную создать ресурсы, необходимые для приема сетки событий: подписка сетки событий, пространство имен Центров событий и концентратор событий. Пространство имен Центров событий и создание концентратора событий описаны в предварительных требованиях. Чтобы использовать автоматическое создание этих ресурсов при определении приема сетки событий, см. раздел Создание подключения к данным сетки событий в Azure Data Explorer.

Необходимые компоненты

• Подписка Azure. Создайте бесплатную учетную запись Azure.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
• Учетная запись хранения. Подписка на уведомление сетки событий может быть задана в учетных записях служба хранилища Azure для BlobStorageData Lake Storage 2-го поколения StorageV2или Data Lake Storage 2-го поколения.
• Пространство имен Центров событий и концентратор событий.

Примечание.

Для обеспечения максимальной производительности создавайте все ресурсы в том же регионе, что и кластер Azure Data Explorer.

Создание подписки Сетки событий

1. Войдите в свою учетную запись хранения на портале Azure.

2. В меню слева выберите "События>+ подписка на события".

   

3. В окне Создание подписки на событие на вкладке Основные введите следующие значения:

   

   Параметр	Рекомендуемое значение	Описание поля
   Имя.	test-grid-connection	Имя создаваемой подписки сетки событий.
   Схема событий	Схема сетки событий	Схема, которая должна использоваться для службы "Сетка событий Azure".
   Тип раздела	Учетная запись хранения	Тип раздела "Сетка событий". Заполняется автоматически.
   Исходный ресурс	gridteststorage1	Имя учетной записи хранения. Заполняется автоматически.
   Имя системного раздела	gridteststorage1...	Системный раздел, в котором служба хранилища Azure публикует события. Затем этот системный раздел пересылает событие подписчику, который получает и обрабатывает события. Заполняется автоматически.
   Фильтр по типам событий	Blob created (Большой двоичный объект создан)	Позволяет указать, о каких конкретных событиях нужно получать уведомления. При создании подписки выберите один из поддерживаемых типов: Microsoft.Storage.BlobCreated или Microsoft.Storage.BlobRenamed. Переименование BLOB-объектов поддерживается только для хранилища ADLSv2.

4. В разделе ENDPOINT DETAILS выберите Центры событий.

   

5. Выберите конечную точку и заполните созданный концентратор событий, например test-hub.

6. В разделе MANAGED IDENTITY FOR DELIVERY при необходимости выберите тип управляемого удостоверения, используя сведения в следующей таблице.

   

   Тип	Описание
   Нет (по умолчанию)	События не доставляются с помощью управляемых удостоверений.
   Назначено системой	События доставляются с помощью управляемого удостоверения, назначаемого системой. ВАЖНО. Прежде чем использовать этот параметр, убедитесь, что вы включили удостоверение, назначаемое системой в системе сетки событий, и предоставили ей роль Центры событий Azure отправителя данных в концентраторе событий. Дополнительные сведения см. в разделе "Включение управляемого удостоверения" для системных разделов.

   Внимание

   Если вы отключите локальную проверку подлинности в пространстве имен Центров событий, которое содержит концентратор событий, используемый для потоковых уведомлений, необходимо использовать управляемые удостоверения для доставки событий при использовании этой подписки на события.

7. Выберите вкладку Фильтры, если хотите отфильтровать события.

   Используйте фильтры тем, чтобы отслеживать определенные события тем. Настройте фильтры для получения уведомлений следующим образом:

   

   1. Выберите Включить фильтрацию тем
   2. Поле Тема начинается с - это буквальный префикс темы. Фильтр по типам событий Поскольку применяемый шаблон является startswith, он может охватывать несколько контейнеров, папок или больших двоичных объектов. Подстановочные знаки не допускаются.
      • Чтобы определить фильтр для контейнера больших двоичных объектов, задайте в поле следующее: /blobServices/default/containers/[container prefix].
      • Чтобы определить фильтр для префикса большого двоичного объекта (или папки в Azure Data Lake Gen2), задайте в поле следующее: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
   3. Поле Тема заканчивается на — это суффикс литерала большого двоичного объекта. Подстановочные знаки не допускаются.
   4. Поле Соответствие темы с учетом регистра указывает, учитываются ли фильтры префикса и суффикса.

   Дополнительные сведения о фильтрации событий см. в разделе События хранилища больших двоичных объектов.

   Используйте расширенные фильтры, чтобы добавить пользовательские фильтры, соответствующие вашим требованиям.

   Например, при использовании пакета SDK для Azure Data Lake для отправки файла создание файла запускает событие Сетки событий с размером 0. Это событие отбрасывается Azure Data Explorer. Очистка файла вызывает другое событие, если для параметра Закрыть установлено значение true. Это событие означает, что это последнее обновление и файловый поток закрыт. Чтобы избежать ненужных ошибок обработки и приема пустых файлов, отфильтруйте события CreateFile с помощью следующего фильтра:

   

   Параметр	Рекомендуемое значение	Описание поля
   Ключ	data.api	Поле в схеме событий, используемое для фильтрации.
   Оператор	Строка не находится в	Оператор, который будет вычисляться для выбранного ключа.
   Значение	CreateFile	Значение, используемое для оценки ключа.

8. Нажмите кнопку Создать

Следующий шаг

Создание подключения к данным сетки событий