Поделиться через

Преобразование данных — фильтр

  • Статья

Важно!

Поддержка Студии машинного обучения (классической) будет прекращена 31 августа 2024 г. До этой даты рекомендуется перейти на Машинное обучение Azure.

Начиная с 1 декабря 2021 года вы не сможете создавать новые ресурсы Студии машинного обучения (классической). Существующие ресурсы Студии машинного обучения (классическая версия) можно будет использовать до 31 августа 2024 г.

Поддержка документации по ML Studio (классической) прекращается, а сама документация может не обновляться в будущем.

В этой статье описывается, как использовать модули фильтров в Машинное обучение Studio (классическая модель) для преобразования цифровых данных. Модули в этой группе инструментов для Машинное обучение Studio (классическая модель) основаны на фильтрах, разработанных для технологии цифровой обработки сигналов.

Примечание

Область применения: только Машинное обучение Studio (классическая версия)

Подобные модули перетаскивания доступны в конструкторе машинного обучения Azure.

Фильтры обычно применяются к данным на этапе обработки данных или на этапе предварительной обработки. Фильтры повышают ясность сигнала, используемого для машинного обучения. Например, для выполнения этих задач обработки можно использовать модули фильтров в Машинное обучение Studio (классическая модель):

  • Очистка форм волн, используемых для распознавания речи.
  • Выявление трендов или удаление сезонных эффектов в шумных данных продаж или экономики.
  • Анализ шаблонов или артефактов в сигналах телеметрии.

Эти модули обеспечивают простую настройку фильтров с помощью хорошо изученных алгоритмов для математического преобразования данных волнообразной формы. Также можно создать пользовательский фильтр, если правильные коэффициенты для применения к данным уже определены.

Если необходимо выполнить такие задачи, как исключение данных из набора данных на основе строк, удаление отсутствующих значений или уменьшение размера набора данных, используйте следующие модули:

  • Очистка отсутствующих данных: удаление отсутствующих значений или замена отсутствующих значений заполнителями.
  • Раздел и пример. Разделение или фильтрация набора данных с помощью таких критериев, как диапазон дат, определенное значение или регулярные выражения.
  • Значения клипа: задайте диапазон значений и сохраните только значения в этом диапазоне.

Фильтры в обработке цифровых сигналов

Как и вы можете подключить фильтр к камере, чтобы компенсировать освещение или создать специальные эффекты, вы можете применить фильтр к данным, используемым для машинного обучения. Фильтры могут помочь улучшить ясность сигнала, записать интересные характеристики или уменьшить шум.

Идеальный фильтр устраняет все шумы и имеет единую чувствительность к желаемому сигналу. Но при проектировании даже довольно хорошего фильтра может потребоваться много итераций или комбинаций методов. Если вы успешно разрабатываете эффективный фильтр, попробуйте сохранить фильтр, чтобы его можно было повторно использовать при преобразовании новых данных.

В целом фильтрация основана на принципах анализа сигнала. При проектировании фильтра вы ищете способы подавления или усиления частей сигнала, для предоставления базовых тенденций, снижения шума и помех или выявления значений данных, которые в противном случае могут не восприниматься.

Различные методы применяются для разложения отдельных тенденций или компонентов формы волн, которые создают фактические значения данных. Ряд значений можно проанализировать с помощью тригонометрических функций для идентификации и изоляции отдельных форм волн. (Это верно, является ли это эконометрический ряд или составные частоты звуковых сигналов.) Затем фильтры можно применить к этим волновым формам, чтобы устранить шум, усилить некоторые волны или удалить целевые компоненты.

Если фильтрация применяется к шумному ряду, чтобы изолировать различные компоненты, можно указать, какие частоты следует удалить или усилить, указав соответствующий диапазон частот.

Цифровые фильтры в Машинное обучение Studio (классическая модель)

В Машинное обучение Studio (классическая модель) поддерживаются следующие типы фильтров:

  • Фильтры на основе декомпозиции формы волн. Примеры включают конечный импульсный ответ (FIR) и фильтры бесконечного импульсного отклика (IIR). Эти фильтры работают путем удаления определенных компонентов из общей серии. Затем можно просмотреть и исследовать упрощенную форму волн.
  • Фильтры, основанные на скользящем среднем или скользящей медиане. Эти фильтры сглаживают колебания в последовательности данных за счет усреднения по определенным временным окнам. Окна могут быть фиксированными или скользящими, а также могут иметь различные формы. Например, пик треугольного окна находится в текущей точке данных (увеличивает вес текущего значения) и затухает до и после точки данных (меньше влияет на вес предыдущих и последующих значений).
  • Определяемые пользователем, или пользовательские, фильтры. Если вы уже знаете преобразования, которые должны применяться к ряду данных, можно создать определяемый пользователем фильтр. Вы предоставляете числовые коэффициенты, применяемые для преобразования ряда данных. Пользовательский фильтр может эмулировать фильтр FIR или IIR. Однако с помощью настраиваемого фильтра вы можете более контролировать значения, применяемые в каждой точке ряда.

Терминология фильтра

В следующем списке содержатся простые определения терминов, которые используются в параметрах и свойствах фильтров:

  • Passband: диапазон частот, которые могут проходить через фильтр, не затухая или ослабляя.
  • Stopband: диапазон частот между указанными ограничениями, через которые сигналы не передаются. Для определения полосы затухания необходимо задать частоты срезов.
  • Высокий проход: Пусть только высокие частоты через.
  • Низкий проход: примите только частоты ниже указанного значения выреза.
  • Угол: определяет границу между частотами остановки и передачи. Обычно вы можете решить, включать частоту сопряжения в полосу или нет. Фильтр первого порядка приводит к постепенному затуханию до частоты угла. После этого фильтр вызывает экспоненциальное затухание. Фильтры более высокого порядка (например, фильтры Баттерворта и Чебишева) имеют более крутые наклоны после частоты угла. Фильтры более высокого порядка затеняют значения в стоп-диапазоне гораздо быстрее и быстрее.
  • Фильтр Bandstop (также называемый фильтром отклонения полосы или фильтром notch ): имеет только один стоп-канал. Чтобы определить стоп-полосу, укажите две частоты: высокую частоту отсечения и низкую частоту отсечения. Фильтр bandpass обычно имеет два стоп-полосы: один с обеих сторон требуемого компонента.
  • Рябь: небольшой, нежелательный вариант, который происходит периодически. В Машинное обучение можно указать количество рябь, допускаемого в рамках параметров в структуре фильтра IIR.

Совет

Нужны дополнительные сведения? Если вы не знакомы с цифровой обработкой сигналов, ознакомьтесь с общими сведениями о цифровой обработке сигналов. Веб-сайт предоставляет определения и полезные визуальные средства, объясняющие базовую терминологию и концепции.

Список модулей

В категорию "Преобразование данных" включены следующие модули: "Фильтр ".

См. также раздел