Охота на угрозы с использованием записных книжек Jupyter

• Применяется к:

  Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

В рамках изучения безопасности и охоты на угроз запустите и выполните записные книжки Jupyter, чтобы выполнить программный анализ данных.

В этой статье вы создадите рабочую область Машинное обучение Azure, запустите записную книжку из Microsoft Sentinel в рабочую область Машинное обучение Azure и запустите код в записной книжке.

Внимание

Microsoft Sentinel общедоступен в единой платформе операций безопасности Майкрософт на портале Microsoft Defender. Для предварительной версии Microsoft Sentinel доступен на портале Defender без XDR Microsoft Defender или лицензии E5. Дополнительные сведения см . на портале Microsoft Defender в Microsoft Sentinel.

Необходимые компоненты

Перед выполнением действий, описанных в этой статье, рекомендуется узнать о записных книжках Microsoft Sentinel. См. раздел Использование записных книжек Jupyter для охоты на угрозы безопасности.

Чтобы использовать записные книжки Microsoft Sentinel, необходимо иметь перечисленные ниже роли и разрешения:

Тип	Сведения
Microsoft Sentinel	– Роль Участник Microsoft Sentinel для сохранения и запуска записных книжек из Microsoft Sentinel
Машинное обучение Azure	– Роль Владелец или Участник на уровне группы ресурсов, чтобы создать новую рабочую область Машинного обучения Azure при необходимости – Роль Участник в рабочей области Машинного обучения Azure, в которой вы запускаете записные книжки Microsoft Sentinel Дополнительные сведения см. в статье Управление доступом к рабочей области Машинного обучения Azure.

Создание рабочей области Машинное обучение Azure из Microsoft Sentinel

Чтобы создать рабочую область, выберите одну из следующих вкладок в зависимости от того, используете ли вы общедоступную или частную конечную точку.

• Рекомендуется использовать общедоступную конечную точку , если в рабочей области Microsoft Sentinel есть одна, чтобы избежать потенциальных проблем в сетевом взаимодействии.
• Если вы хотите использовать рабочую область Машинное обучение Azure в виртуальной сети, используйте частную конечную точку.

Общедоступная конечная точка

1. Для Microsoft Sentinel в портал Azure в разделе "Управление угрозами" выберите "Записные книжки".
   Для Microsoft Sentinel на портале Defender выберите записные книжки Управления>угрозами Microsoft Sentinel>.

2. Выберите настроить Машинное обучение Azure> Create новую рабочую область AML.

3. Задайте указанные ниже параметры и нажмите кнопку Далее.

   Поле	Description
   Подписка	Выберите подписку Azure, которую нужно использовать.
   Группа ресурсов	Используйте группу ресурсов, которая есть в подписке, или введите имя, чтобы создать группу ресурсов. Группа ресурсов содержит связанные ресурсы для решения Azure.
   Имя рабочей области	Введите уникальное имя для идентификации рабочей области. Имена должны быть уникальными в группе ресурсов. Используйте имя, которое позволит легко запомнить рабочую область и отличить ее от областей, созданных другими пользователями.
   Регион	Выберите ближайшее к пользователям и ресурсам данных расположение, чтобы создать рабочую область.
   Учетная запись хранения	Учетная запись службы хранилища используется в качестве хранилища данных по умолчанию для рабочей области. Вы можете создать новый ресурс служба хранилища Azure или выбрать существующий в подписке.
   Хранилище ключей	Хранилище ключей используется для хранения секретов и других конфиденциальных сведений, необходимых рабочей области. Вы можете создать новый ресурс Azure Key Vault или выбрать существующий в подписке.
   Application Insights.	Рабочая область использует Azure Application Insights для хранения сведений мониторинга о развернутых моделях. Вы можете создать новый ресурс приложение Azure Insights или выбрать существующий ресурс в подписке.
   Реестр контейнеров	Реестр контейнеров используется для регистрации образов DOCKER, используемых в обучении и развертываниях. Чтобы минимизировать расходы, новый ресурс Реестра контейнеров Azure создается только после создания первого образа. Кроме того, вы можете создать ресурс сейчас или выбрать существующий в подписке или выбрать его, или выбрать none , если вы не хотите использовать реестр контейнеров.

4. На вкладке "Сеть" выберите "Включить общедоступный доступ" из всех сетей.

   Определите все необходимые параметры на вкладках Дополнительно или Теги, а затем выберите Проверить и создать.

5. На вкладке Проверка и создание проверьте данные, убедитесь, что они верны, а затем нажмите кнопку Создать, чтобы начать развертывание рабочей области. Например:

   

   Создание рабочей области в облаке может занять несколько минут. При этом на странице Обзор рабочей области отображается текущее состояние развертывания, а после его завершения она обновляется.

Частная конечная точка

Пошаговое описание этой процедуры включает отсылки на конкретные статьи в документации по машинному обучению Azure. Дополнительные сведения см. в статье "Создание безопасной Машинное обучение Azure рабочей области".

1. Создайте поле перехода виртуальной машины в виртуальной сети. Так как виртуальная сеть ограничивает доступ из общедоступного Интернета, окно перехода используется как способ подключения к ресурсам за виртуальной сетью.

2. Откройте окно перехода и перейдите к рабочей области Microsoft Sentinel. Для доступа к виртуальной машине рекомендуется использовать Бастион Azure.

3. Для Microsoft Sentinel в портал Azure в разделе "Управление угрозами" выберите "Записные книжки".
   Для Microsoft Sentinel на портале Defender выберите записные книжки Управления>угрозами Microsoft Sentinel>.

4. Выберите настроить Машинное обучение Azure> Create новую рабочую область AML.

5. Задайте указанные ниже параметры и нажмите кнопку Далее.

   Поле	Description
   Подписка	Выберите подписку Azure, которую нужно использовать.
   Группа ресурсов	Используйте группу ресурсов, которая есть в подписке, или введите имя, чтобы создать группу ресурсов. Группа ресурсов содержит связанные ресурсы для решения Azure.
   Имя рабочей области	Введите уникальное имя для идентификации рабочей области. Имена должны быть уникальными в группе ресурсов. Используйте имя, которое позволит легко запомнить рабочую область и отличить ее от областей, созданных другими пользователями.
   Регион	Выберите ближайшее к пользователям и ресурсам данных расположение, чтобы создать рабочую область.
   Учетная запись хранения	Учетная запись службы хранилища используется в качестве хранилища данных по умолчанию для рабочей области. Вы можете создать новый ресурс служба хранилища Azure или выбрать существующий в подписке.
   Хранилище ключей	Хранилище ключей используется для хранения секретов и других конфиденциальных сведений, необходимых рабочей области. Вы можете создать новый ресурс Azure Key Vault или выбрать существующий в подписке.
   Application Insights.	Рабочая область использует Azure Application Insights для хранения сведений мониторинга о развернутых моделях. Вы можете создать новый ресурс приложение Azure Insights или выбрать существующий ресурс в подписке.
   Реестр контейнеров	Реестр контейнеров используется для регистрации образов DOCKER, используемых в обучении и развертываниях. Чтобы минимизировать расходы, новый ресурс Реестра контейнеров Azure создается только после создания первого образа. Кроме того, вы можете создать ресурс сейчас или выбрать существующий в подписке или выбрать его, или выбрать none , если вы не хотите использовать реестр контейнеров.

6. На вкладке "Сеть" выберите "Отключить общедоступный доступ" и используйте частную конечную точку. Обязательно используйте ту же виртуальную сеть, что и в поле перехода виртуальной машины. Например:

   

7. Определите все необходимые параметры на вкладках Дополнительно или Теги, а затем выберите Проверить и создать.

8. На вкладке Проверка и создание проверьте данные, убедитесь, что они верны, а затем нажмите кнопку Создать, чтобы начать развертывание рабочей области. Например:

   

   Создание рабочей области в облаке может занять несколько минут. При этом на странице Обзор рабочей области отображается текущее состояние развертывания, а после его завершения она обновляется.

9. В студии машинного обучения Azure на странице Вычислительная среда создайте новую вычислительную среду. На вкладке "Дополнительные параметры" выберите ту же виртуальную сеть, которую вы использовали для поля перехода виртуальной машины. Дополнительные сведения см. в статье Создание вычислительного экземпляра для Машинного обучения Azure и управление им.

10. Настройте сетевой трафик для доступа к Машинное обучение Azure за брандмауэром. Дополнительную информацию см. в статье Настройка входящего и исходящего сетевого трафика.

Выполните одно из следующих действий:

• Если у вас есть только одна частная ссылка: теперь вы можете переходить к записным книжкам с помощью одного из следующих методов:

  • Клонирование и запуск записных книжек из Microsoft Sentinel в машинном обучении Azure
  • Отправка записных книжек в машинное обучение Azure вручную
  • Клонирование репозитория записных книжек Microsoft Sentinel GitHub в терминале Машинное обучение Azure

• Если у вас есть другая частная ссылка, использующая другую виртуальную сеть, выполните следующие действия:

  1. На портале Azure перейдите в группу ресурсов рабочей области машинного обучения Azure и выполните поиск ресурсов Частной зоны DNS с именами privatelink.api.azureml.ms и privatelink.notebooks.azure.ms. Например:

     

  2. Для каждого ресурса, включая privatelink.api.azureml.ms и privatelink.notebooks.azure.ms, добавьте ссылку в виртуальной сети.

     Для ресурса необходимо выбрать >Ссылки в виртуальной сети>Добавить. Дополнительные сведения см. в статье о связывании виртуальной сети.

Дополнительные сведения см. в разделе:

• Поток сетевого трафика при использовании защищенной рабочей области
• Защита ресурсов рабочей области Машинного обучения Azure с помощью виртуальных сетей

После завершения развертывания вернитесь к записным книжкам в Microsoft Sentinel и запустите записные книжки из новой рабочей области Машинное обучение Azure.

Если у вас несколько записных книжек, обязательно выберите для их запуска рабочую область AML по умолчанию. Например:

Запуск записной книжки в рабочей области Машинное обучение Azure

После создания рабочей области Машинное обучение Azure запустите записную книжку в этой рабочей области из Microsoft Sentinel. Помните, что если в учетной записи хранения Azure включены частные конечные точки, вы не сможете запускать записные книжки в рабочей области Машинное обучение Azure из Microsoft Sentinel. Необходимо скопировать шаблон записной книжки из Microsoft Sentinel и отправить записную книжку в Студия машинного обучения Azure.

Чтобы запустить записную книжку Microsoft Sentinel в рабочей области Машинное обучение Azure, выполните следующие действия.

1. Для Microsoft Sentinel в портал Azure в разделе "Управление угрозами" выберите "Записные книжки".
   Для Microsoft Sentinel на портале Defender выберите записные книжки Управления>угрозами Microsoft Sentinel>.

2. Перейдите на вкладку "Шаблоны", чтобы просмотреть записные книжки, которые предоставляет Microsoft Sentinel.

3. Выберите записную книжку, чтобы просмотреть ее описание, требуемые для нее типы и источники данных.

4. Когда вы найдете записную книжку, которую вы хотите использовать, выберите "Создать из шаблона " и "Сохранить ", чтобы клонировать ее в собственную рабочую область.

5. При необходимости измените имя. Если записная книжка уже существует в рабочей области, перезаписать существующую записную книжку или создать новую. По умолчанию записная книжка сохраняется в каталоге /Users/<Your_User_Name>/ выбранной рабочей области AML.

   

6. После сохранения записной книжки надпись на кнопке Сохранить записную книжку меняется на Запустить записную книжку. Выберите Запустить записную книжку, чтобы открыть ее в рабочей области AML.

   Например:

   

7. В верхней части страницы выберите вычислительный экземпляр, который будет использоваться для сервера записной книжки.

   Если у вас нет вычислительного экземпляра, вы можете его создать. Если вычислительный экземпляр остановлен, запустите его. Дополнительные сведения см. в статье о запуске записной книжки в Студии машинного обучения Azure.

   Только вы можете просматривать и использовать созданные вами вычислительные операции. Ваши файлы пользователя хранятся отдельно от виртуальной машины и являются общими для всех вычислительных операций в рабочей области.

   Если вы создаете новый вычислительный экземпляр для тестирования записных книжек, выберите для него категорию Общего назначения.

   Ядро также отображается в правом верхнем углу окна Машинное обучение Azure. Если нужное ядро не выбрано, выберите другую версию в раскрывающемся списке.

8. После создания и запуска сервера записной книжки запустите ячейки записной книжки. В каждой ячейке выберите значок Выполнить, чтобы запустить код записной книжки.

   Дополнительные сведения см. в статье о сочетаниях клавиш режима команд.

9. Если записная книжка зависает или вы хотите начать заново, можно перезапустить ядро и повторно запустить ячейки записной книжки с самого начала. При перезапуске ядра переменные и состояние удаляются. Повторно запустите все ячейки инициализации и проверки подлинности после перезапуска.

   Чтобы начать заново, выберите Операции ядра>Перезапустить ядро. Например:

   

Запуск кода в записной книжке

Всегда выполняйте ячейки кода записной книжки по порядку. Пропуск ячеек может привести к возникновению ошибок.

В записной книжке:

• Ячейки Markdown содержат текст, включая HTML, и статические изображения.
• Ячейки Код содержат код. После выбора ячейки кода выполните код в ячейке, щелкнув значок Запуск слева от ячейки или нажав клавиши SHIFT + ENTER.

Например, выполните следующую ячейку кода в записной книжке:

# This is your first code cell. This cell contains basic Python code.

# You can run a code cell by selecting it and then selecting
# the Play button to the left of the cell, or by pressing SHIFT+ENTER.
# Code output displays below the code.

print("Congratulations, you just ran this code cell")

y = 2 + 2

print("2 + 2 =", y)

Пример кода выдает следующие выходные данные:

Congratulations, you just ran this code cell

2 + 2 = 4

Переменные, заданные в ячейке кода записной книжки, сохраняются между ячейками, что позволяет объединить ячейки в цепочку. Например, в следующей ячейке кода используется значение y из предыдущей ячейки:

# Note that output from the last line of a cell is automatically
# sent to the output cell, without needing the print() function.

y + 2

Результат выглядит так:

6

Загрузка всех записных книжек Microsoft Sentinel

В этом разделе описывается, как с помощью Git скачать все записные книжки, доступные в репозитории Microsoft Sentinel GitHub, из записной книжки Microsoft Sentinel непосредственно в рабочую область Машинное обучение Azure.

Хранение записных книжек Microsoft Sentinel в рабочей области Машинное обучение Azure позволяет легко обновлять их.

1. В записной книжке Microsoft Sentinel введите следующий код в пустую ячейку, а затем выполните следующую ячейку:

   !git clone https://github.com/Azure/Azure-Sentinel-Notebooks.git azure-sentinel-nb
   

   Копия содержимого репозитория GitHub создается в каталоге azure-Sentinel-nb в папке пользователя в рабочей области Машинное обучение Azure.

2. Скопируйте нужные записные книжки из этой папки в рабочую папку.

3. Чтобы обновить записные книжки в соответствии с недавними изменениями в GitHub, выполните следующее:

   !cd azure-sentinel-nb && git pull
   

Связанный контент

• Записные книжки Jupyter с возможностями охоты Microsoft Sentinel
• Начало работы с записными книжками Jupyter и MSTICPy в Microsoft Sentinel