Выберите средство приема данных

После выбора целевой платформы для исторических данных следует выбрать средство для переноса данных.

В этой статье описывается набор различных средств, используемых для переноса исторических данных на выбранную целевую платформу. В этой таблице перечислены средства, доступные для каждой целевой платформы, и общие средства для выполнения процесса приема.

Базовые журналы и архив Azure Monitor	Azure Data Explorer	Хранилище BLOB-объектов Azure	Общие средства
• Средство приема пользовательских журналов Azure Monitor • Прямой API	• LightIngest • Logstash	• Фабрика данных Azure или Azure Synapse • AzCopy	• Azure Data Box • Ускоритель переноса данных SIEM

Базовые журналы и архив Azure Monitor

Чтобы снизить стоимость приема, прежде чем принимать данные в базовые журналы или архив Azure Monitor, убедитесь, что таблица, в которую записываются данные, настроена как базовые журналы. Ознакомьтесь со средством приема пользовательских журналов Azure Monitor и методом прямого API для базовых журналов Azure Monitor.

Средство приема пользовательских журналов Azure Monitor

Средство приема пользовательских журналов — это скрипт PowerShell, который отправляет пользовательские данные в рабочую область журналов Azure Monitor. Вы можете указать в скрипте папку, в которой хранятся все файлы журнала, и скрипт будет отправлять файлы в эту папку. Скрипт принимает файлы журнала в формате CSV или JSON.

Прямой API

При использовании этого варианта вы будете принимать пользовательские журналы в журналы Azure Monitor. Вы принимаете журналы с помощью скрипта PowerShell, использующего REST API. Кроме того, для приема можно использовать любой другой язык программирования. Другие службы Azure можно использовать для абстрагирования уровня вычислений, например, Функции Azure или Azure Logic Apps.

Azure Data Explorer

Принять данные в Azure Data Explorer (ADX) можно несколькими способами.

Методы приема, принимаемые ADX, основываются на разных компонентах:

• пакеты SDK для различных языков, таких как .NET, Go, Python, Java, NodeJS и API;
• управляемые конвейеры, такие как Сетка событий или Центры событий BLOB-объектов хранилища, и Фабрика данных Azure;
• соединители или подключаемые модули, такие как Logstash, Kafka, Power Automate и Apache Spark.

Ознакомьтесь с методами LightIngest и Logstash, которые больше подходят для переноса данных.

LightIngest

Компания ADX разработала служебную программу LightIngest специально для переноса исторических данных. С помощью LightIngest можно копировать данные из локальной файловой системы или Хранилища BLOB-объектов Azure в ADX.

Ниже приведены некоторые основные преимущества и возможности LightIngest.

• Самое большое значение LightIngest приобретает, если требуется принять большой объем данных, так как продолжительность приема данных не ограничена.
• Программа LightIngest также полезна, если вы хотите запрашивать записи в зависимости от времени их создания, а не времени их приема.
• Вам не нужно разбираться со сложным определением размера для LightIngest, так как служебная программа не выполняет фактическое копирование. LightIngest сообщает ADX о больших двоичных объектах, которые необходимо скопировать, и ADX копирует данные.

Если вы выбрали LightIngest, ознакомьтесь с этими советами и рекомендациями.

• Для ускорения миграции и снижения затрат увеличьте размер кластера ADX, чтобы создать больше доступных узлов для приема. Уменьшите размер после завершения миграции.
• Чтобы повысить эффективность запросов после приема данных в ADX, убедитесь, что скопированные данные используют метку времени для исходных событий. Данные не должны использовать метку времени, которая соответствует времени копирования данных в ADX. В качестве пути к имени файла в составе свойства CreationTime укажите для LightIngest метку времени.
• Если путь или имена файлов не содержат метку времени, вы по-прежнему можете сообщить ADX о необходимости упорядочить данные с помощью политики секционирования.

Logstash

Logstash — это конвейер с открытым кодом на стороне сервера для обработки данных, который одновременно принимает данные из множества источников, преобразовывает данные, а затем отправляет их в избранный "тайник". Узнайте, как принимать данные из Logstash в Azure Data Explorer Logstash работает на компьютерах Windows, Linux и macOS.

Чтобы оптимизировать производительность, настройте размер уровня Logstash в соответствии с событиями в секунду. По возможности рекомендуется использовать LightIngest, так как LightIngest использует для копирования вычисления кластера ADX.

Хранилище BLOB-объектов Azure

Принять данные в Хранилище BLOB-объектов Azure можно несколькими способами.

• Фабрика данных Azure или Azure Synapse
• AzCopy
• Обозреватель службы хранилища Azure
• Python
• MSSQL Integration Services

Ознакомьтесь с методами Фабрики данных Azure (ADF) и Azure Synapse, которые больше подходят для переноса данных.

Фабрика данных Azure или Azure Synapse

Чтобы использовать действие Copy в конвейерах Фабрики данных Azure (ADF) или Synapse, выполните следующие действия.

1. Создайте и настройте локальную среду выполнения интеграции. Этот компонент отвечает за копирование данных с локального узла.
2. Создайте связанные службы для источника (файловая система) и приемника данных (хранилище больших двоичных объектов).
3. Чтобы скопировать данные, используйте средство копирования данных. Кроме того, можно использовать такие методы, как PowerShell, портал Azure, пакет SDK для .NET и т. д.

AzCopy

AzCopy — это простая служебная программа командной строки, которая копирует файлы в учетные записи хранения или из них. Программа AzCopy доступна для Windows, Linux и macOS. Узнайте, как скопировать локальные данные в хранилище BLOB-объектов Azure с помощью AzCopy.

Для копирования данных также можно использовать следующие варианты:

• узнайте, как оптимизировать производительность AzCopy;
• узнайте, как настроить AzCopy;
• узнайте, как использовать команду копирования.

Azure Data Box

В сценарии, когда SIEM источника не имеет хорошего подключения к Azure, прием данных с помощью средств, рассмотренных в этом разделе, может оказаться медленным или даже невозможным. В таком сценарии можно использовать Azure Data Box для локального копирования данных из центра обработки данных клиента на устройство, а затем отправить это устройство в центр обработки данных Azure. Несмотря на то что Azure Data Box не является заменой AzCopy или LightIngest, вы можете использовать это средство для ускорения передачи данных между центром обработки данных клиента и Azure.

Azure Data Box предлагает три разных ценовых категории в зависимости от объема данных для миграции:

• Диск Data Box
• Data Box
• Data Box Heavy

После завершения миграции данные будут доступны в учетной записи хранения в одной из ваших подписок Azure. Затем можно будет использовать AzCopy, LightIngest или ADF для приема данных из учетной записи хранения.

Ускоритель переноса данных SIEM

Помимо выбора средства приема, вашей команде необходимо уделить время настройке базовой среды. Чтобы упростить этот процесс, можно использовать ускоритель переноса данных SIEM, который автоматизирует следующие задачи.

• Развертывает виртуальную машину Windows, которая будет использоваться для перемещения журналов из источника на целевую платформу.
• Загружает и извлекает следующие средства в рабочий стол виртуальной машины:
  • LightIngest: используется для переноса данных в ADX
  • Средство приема пользовательских журналов Azure Monitor: используется для переноса данных в Log Analytics
  • AzCopy: используется для переноса данных в хранилище BLOB-объектов Azure
• Развертывает целевую платформу, в которую будут размещаться журналы журнала:
  • Учетная запись хранения Azure (Хранилище BLOB-объектов Azure)
  • Кластер и база данных Azure Data Explorer
  • Рабочая область журналов Azure Monitor (базовые журналы; включается с помощью Microsoft Sentinel)

Для использования ускорителя переноса данных SIEM выполните следующие действия.

1. На странице ускорителя миграции данных SIEM щелкните Развернуть в Azure в нижней части страницы и выполните проверку подлинности.
2. Выберите Основные сведения, выберите группу ресурсов и расположение, а затем нажмите кнопку Далее.
3. Выберите виртуальную машину миграции и выполните следующие действия.
   • Введите имя виртуальной машины, имя пользователя и пароль.
   • Выберите существующую виртуальную сеть или создайте новую виртуальную сеть для подключения к виртуальной машине.
   • Выберите размер виртуальной машины.
4. Выберите целевую платформу и выполните одно из следующих действий:
   • Пропустите этот шаг.
   • Укажите имя кластера ADX и имя базы данных, номер SKU и количество узлов.
   • Для учетных записей Хранилища BLOB-объектов Azure выберите существующую учетную запись. Если у вас нет учетной записи, укажите имя новой учетной записи, тип и избыточность.
   • Для журналов Azure Monitor укажите имя новой рабочей области.

Следующие шаги

Из этой статьи вы узнали, как выбрать средство для приема данных на целевую платформу.

Прием данных