Фильтр порогового значения
Важно!
Поддержка Студии машинного обучения (классической) будет прекращена 31 августа 2024 г. До этой даты рекомендуется перейти на Машинное обучение Azure.
Начиная с 1 декабря 2021 года вы не сможете создавать новые ресурсы Студии машинного обучения (классической). Существующие ресурсы Студии машинного обучения (классическая версия) можно будет использовать до 31 августа 2024 г.
- См. сведения о перемещении проектов машинного обучения из ML Studio (классической) в Машинное обучение Azure.
- См. дополнительные сведения о Машинном обучении Azure.
Поддержка документации по ML Studio (классической) прекращается, а сама документация может не обновляться в будущем.
Создает фильтр порогового значения, который ограничивает значения.
Категория: преобразование данных / фильтр
Примечание
Область применения: только Машинное обучение Studio (классическая версия)
Подобные модули перетаскивания доступны в конструкторе машинного обучения Azure.
Обзор модуля
В этой статье описывается, как использовать модуль фильтра пороговых значений в Машинное обучение Studio (классическая модель) для определения фильтра, который ограничивает числовые значения указанным диапазоном.
Пороговые фильтры обычно используются при обработке цифровых сигналов. Фильтр порогового значения проверяет каждое значение входного набора данных и изменяет все значения, которые не соответствуют условиям границы. Обычно этот тип фильтра используется для следующих приложений:
- замена всех измерений с отрицательными значениями на нулевые значения;
- преобразование изображения с оттенками серого в черно-белые области путем определения числового граничного значения для всех пикселей.
После определения фильтра, соответствующего вашим потребностям, можно применить фильтр к данным, подключив набор данных и фильтр к модулю Apply Filter .
Выходные данные модуля Apply Filter — это набор данных, содержащий выбранные столбцы, преобразованные в соответствии с параметрами фильтра порогового значения .
Кроме того, если выбрать опцию Индикатор, то вместо возвращения значения фильтра будет возвращаться столбец, содержащий логические значения, которые указывают, соответствует ли значение в каждой строке указанному условию фильтра или нет. Это может быть полезно при тестировании нового фильтра.
Совет
Необходимо отфильтровать данные из набора данных или удалить отсутствующие значения? Вместо этого используйте следующие модули:
- Очистка отсутствующих данных. Используйте этот модуль для удаления отсутствующих значений или замены отсутствующих значений заполнителями.
- Раздел и пример. Используйте этот модуль для разделения или фильтрации набора данных по критериям, таким как диапазон дат, определенное значение или регулярные выражения.
- Значения клипа. Используйте этот модуль, чтобы задать диапазон и сохранить только значения в этом диапазоне.
Настройка фильтра порогового значения
Добавьте модуль фильтра пороговых значений в эксперимент. Этот модуль можно найти в разделе "Преобразование данных" в категории "Фильтр ".
В поле "Тип" укажите тип фильтра для применения:
LessThan: изменяет значения, которые меньше указанного уровня на уровне границы, и проходит через все остальные значения.
GreaterThan: изменяет значения, превышающие указанный уровень границы, и передает все остальные значения.
MagnitudeLessThan: изменяет значения меньше указанного уровня на уровень границы, но сохраняет знак исходного значения.
MagnitudeGreaterThan: изменяет значения больше указанного уровня на уровень границы, но сохраняет знак исходного значения.
InRange: передает все значения, входящие в указанный диапазон, и изменяет значения за пределами диапазона до ближайшего значения границы.
OutOfRange: передает все значения, которые выходят за пределы указанного диапазона, и изменяет значения внутри диапазона на ближайшее значение границы.
InRangeWithStd: передает все значения, которые попадают в указанный диапазон стандартных отклонений, и изменяет значения за пределами диапазона до ближайшего значения границы.
OutOfRangeWithStd: передает все значения, которые выходят за пределы указанного диапазона стандартных отклонений, и изменяет значения внутри диапазона на ближайшее значение границы.
Для параметра Level введите значение границы, которое будет применяться в каждом типе порогового значения.
При выборе фильтра LessThan указанное число определяет наименьшее значение, которое можно передать без замены.
При выборе фильтра GreaterThan указанное число определяет наибольшее значение, которое можно передать без замены.
Если выбран фильтр MagnitudeLessThan , введите одно положительное или отрицательное число для level. Любое значение, которое меньше этого значения, заменяется значением уровня.
Если выбран фильтр MagnitudeGreaterThan , введите одно положительное или отрицательное число для level. Любое значение, большее, чем это значение, заменяется значением уровня.
Если выбрать фильтры, InRange илиOutOfRange, укажите верхние или нижние границы. Для нижней границы введите наименьшее число, включаемого в диапазон. Для верхней границы введите наибольшее число, включаемого в диапазон.
Если выбран один из типов фильтров, использующих стандартные отклонения (InRangeWithStd, OutOfRangeWithStd), необходимо указать константу Alpha . Значения альфа-времени отклонения используются для вычисления результата фильтра.
При необходимости выберите параметр индикатора , чтобы создать столбец, указывающий, будет ли значение затронуто фильтром. Если индикатор не выбран, фильтр создает значения замены.
Подключение фильтр для применения фильтра и подключения набора данных.
Используйте селектор столбцов, чтобы указать, к каким столбцам следует применить фильтр. По умолчанию модуль "Применить фильтр " применяет преобразование фильтра ко всем выбранным числовым столбцам.
Запустите эксперимент.
Вычисления не выполняются, пока не подключите набор данных к модулю Apply Filter и запустите эксперимент. На этом этапе указанное преобразование применяется к выбранным числовым столбцам.
Примеры
Примеры использования фильтров в машинном обучении см. в этом эксперименте в коллекции ИИ Azure:
- Фильтры: в этом эксперименте демонстрируются все типы фильтров с помощью спроектированного набора данных волнообразной формы.
Примеры значений индикаторов
В следующем примере предполагается, что применяется фильтр порогового значения, указывающий диапазон с нижней границей 2 и верхней границей 4:
| Значение | Индикатор | Заменить на |
|---|---|---|
| 1 | FALSE | 2 |
| 2 | TRUE | 2 |
| 3 | true | 3 |
| 4 | true | 4 |
| 5 | FALSE | 4 |
Примеры величины в фильтре
Типы фильтров MagnitudeLessThan и MagnitudeGreaterthan сначала оценивают значение по указанному уровню, а затем предоставляют значение замены, которое зависит от знака исходных значений.
Примеры фильтров величины
Типы фильтров MagnitudeLessThan и MagnitudeGreaterthan сначала оценивают значение по указанному уровню, а затем предоставляют значение замены, которое зависит от знака исходных значений.
Например, в следующей таблице показаны результаты при использовании фильтра MagnitudeLessThan со значениями 5 и –5.
| Исходное значение | Level | Новое значение |
|---|---|---|
| 3.07 | 5 | 5 Значение меньше 5; Поэтому значение заменяется на level |
| 3.07 | -5 | 3.07 Значение не меньше -5; поэтому значение не заменяется |
| -3.93 | 5 | -5 Значение меньше 5; Поэтому значение заменяется на level , но сохраняется знак исходного значения. |
| -3.93 | -5 | -3.93 Значение не меньше -5; поэтому значение не заменяется |
| 5.75 | 5 | 5.75 Значение не меньше -5; поэтому значение не заменяется |
| -5.75 | -5 | -5.75 Значение не меньше -5; поэтому значение не заменяется |
Технические примечания
В этом разделе содержатся сведения о реализации, советы и ответы на часто задаваемые вопросы.
Сведения о реализации
Модуль Фильтр порогового значения использует следующие методы, чтобы определить пороговые значения в зависимости от типа фильтра.
LessThan: режим меньше чем определяется следующим образом:
MagnitudeLessThan: режим меньшего размера определяется следующим образом:
Для сложных входных данных величина каждого элемента ограничивается в соответствии со следующей формулой:
MagnitudeGreaterThan: больше, чем режим величины, определяется следующим образом:
Для сложных входных данных величина каждого элемента ограничивается в соответствии со следующей формулой:
Параметры модуля
| Имя | Диапазон | Тип | По умолчанию | Описание |
|---|---|---|---|---|
| Тип | Любой | ThresholdType | LessThan; | Выберите используемый способ задания порогового значения |
| Индикатор | Любой | Логическое значение | false | Выберите этот параметр, чтобы вернуться к столбцу, содержащему не отфильтрованные значения, а указание вида true или false на то, выполнены ли условия фильтра. |
| Level | Любой | Float | 0,0 | Задайте значение на замену |
| Нижняя граница | Любой | Float | -1.0 | Укажите нижнюю границу диапазона |
| Верхняя граница | Любой | Float | 1.0 | Укажите верхнюю границу диапазона |
| Коэффициент альфа | Любой | Float | 3.0 | Используйте это значение, умноженное на вычисляемое стандартное отклонение, в качестве порогового значения |
Выходные данные
| Имя | Тип | Description |
|---|---|---|
| Filter | Интерфейс IFilter | Реализация фильтра |
См. также раздел
Фильтр
Применение фильтра
Список модулей в алфавитном порядке