Udostępnij za pośrednictwem

Przekształcanie danych — filtr

  • Artykuł

Ważne

Obsługa programu Machine Learning Studio (wersja klasyczna) zakończy się 31 sierpnia 2024 r. Zalecamy przejście do usługi Azure Machine Learning przed tym terminem.

Od 1 grudnia 2021 r. nie będzie można tworzyć nowych zasobów programu Machine Learning Studio (wersja klasyczna). Do 31 sierpnia 2024 r. można będzie nadal korzystać z istniejących zasobów programu Machine Learning Studio (wersja klasyczna).

Dokumentacja programu ML Studio (wersja klasyczna) jest wycofywana i może nie być aktualizowana w przyszłości.

W tym artykule opisano sposób używania modułów filtrów w programie Machine Learning Studio (wersja klasyczna) do przekształcania danych cyfrowych. Moduły w tej grupie narzędzi dla programu Machine Learning Studio (wersja klasyczna) są oparte na filtrach opracowanych na potrzeby technologii przetwarzania sygnałów cyfrowych.

Uwaga

Dotyczy: tylko Machine Learning Studio (wersja klasyczna)

Podobne moduły przeciągania i upuszczania są dostępne w projektancie Azure Machine Learning.

Filtry są zwykle stosowane do danych na etapie przetwarzania danych lub na etapie przetwarzania wstępnego. Filtry zwiększają przejrzystość sygnału używanego do uczenia maszynowego. Można na przykład użyć modułów filtrowania w programie Machine Learning Studio (wersja klasyczna) dla tych zadań przetwarzania:

  • Wyczyść kształty fal, które są używane do rozpoznawania mowy.
  • Wykrywanie trendów lub usuwanie skutków sezonowych w hałaśliwych danych sprzedaży lub danych ekonomicznych.
  • Analizowanie wzorców lub artefaktów w sygnałach telemetrycznych.

Te moduły zapewniają łatwą konfigurację filtrów przy użyciu dobrze zbadanych algorytmów w celu matematycznego przekształcania danych falowych. Możesz również utworzyć filtr niestandardowy, jeśli określono już prawidłowe współczynniki, które mają być stosowane do danych.

Jeśli musisz wykonać zadania, takie jak wykluczenie danych z zestawu danych w oparciu o wiersz, usunięcie brakujących wartości lub zmniejszenie rozmiaru zestawu danych, użyj następujących modułów:

  • Wyczyść brakujące dane: usuń brakujące wartości lub zastąp brakujące wartości symbolami zastępczymi.
  • Partycjonowanie i próbka: dzielenie lub filtrowanie zestawu danych przy użyciu kryteriów, takich jak zakres dat, określona wartość lub wyrażenia regularne.
  • Wartości klipu: ustaw zakres wartości i zachowaj tylko wartości w tym zakresie.

Filtry w przetwarzaniu sygnałów cyfrowych

Podobnie jak w przypadku dołączania filtru do aparatu w celu zrekompensowania oświetlenia lub tworzenia efektów specjalnych, można zastosować filtr do danych używanych do uczenia maszynowego. Filtry mogą pomóc poprawić przejrzystość sygnału, przechwytywać interesujące cechy lub zmniejszać szum.

Idealny filtr wyeliminowałby cały szum i miał jednolitą czułość dla żądanego sygnału. Jednak projektowanie nawet całkiem dobrego filtru może przyjmować wiele iteracji lub kombinacji technik. Jeśli uda Ci się zaprojektować skuteczny filtr, rozważ zapisanie filtru, aby można było go ponownie użyć podczas przekształcania nowych danych.

Ogólnie rzecz biorąc, filtrowanie opiera się na zasadach analizy kształtów falowych. Podczas projektowania filtru szukasz sposobów pomijania lub wzmacniania części sygnału, uwidaczniania podstawowych trendów, zmniejszania szumu i interferencji lub identyfikowania wartości danych, które w przeciwnym razie mogą nie być postrzegane.

Różne techniki są stosowane do dekompilowania poszczególnych trendów lub składników falowych, które tworzą rzeczywiste wartości danych. Serię wartości można analizować przy użyciu funkcji trygonometrycznych w celu identyfikowania i izolowania poszczególnych kształtów fal. (Dotyczy to niezależnie od tego, czy jest to seria econometryczna, czy złożone częstotliwości sygnałów dźwiękowych). Filtry można następnie zastosować do tych kształtów fal, aby wyeliminować szum, wzmocnić niektóre fale lub usunąć docelowe składniki.

W przypadku zastosowania filtrowania do hałaśliwych serii w celu odizolowania różnych składników można określić, z którymi częstotliwościami mają być usuwane lub wzmacniane, określając pasmo częstotliwości do pracy.

Filtry cyfrowe w programie Machine Learning Studio (wersja klasyczna)

Następujące typy filtrów są obsługiwane w programie Machine Learning Studio (wersja klasyczna):

  • Filtry oparte na dekompozycji kształtów falowych. Przykłady obejmują skończoną reakcję impulsową (FIR) i nieskończone filtry odpowiedzi impulsowej (IIR). Te filtry działają, usuwając określone składniki z ogólnej serii. Następnie można wyświetlić i zbadać uproszczony kształt fali.
  • Filtry oparte na wartościach ruchomych lub medianach. Te filtry wygładzają różnice w serii danych, średnio w różnych oknach czasu. Okna mogą być stałe lub przesuwane i mogą mieć różne kształty. Na przykład trójkątne okno szczytowe w bieżącym punkcie danych (wagi bieżącej wartości jest silniejsze) i odchyli się przed i po punkcie danych (wagi poprzedzające i następujące wartości są mniej silnie silne).
  • Filtry zdefiniowane przez użytkownika lub niestandardowe. Jeśli znasz już przekształcenia, które mają być stosowane do serii danych, możesz utworzyć filtr zdefiniowany przez użytkownika. Należy podać współczynniki liczbowe, które są stosowane do przekształcania serii danych. Filtr niestandardowy może emulować filtr FIR lub IIR. Jednak w przypadku filtru niestandardowego masz większą kontrolę nad wartościami, które mają być stosowane w każdym punkcie serii.

Terminologia filtru

Poniższa lista zawiera proste definicje terminów, które są używane w parametrach i właściwościach filtrów:

  • Passband: zakres częstotliwości, które mogą przechodzić przez filtr bez osłabienia lub osłabienia.
  • Stopband: zakres częstotliwości między określonymi limitami, przez które sygnały nie są przekazywane. Należy zdefiniować pasm stopband, ustawiając częstotliwości odcięcia.
  • Wysokie przekazywanie: zezwalaj tylko na wysokie częstotliwości.
  • Niski przepustek: akceptuj tylko częstotliwości poniżej określonej wartości odciętej.
  • Narożnik: definiuje granicę między częstotliwościami pasma stopband i pasma. Zazwyczaj istnieje możliwość podjęcia decyzji, czy narożnik jest uwzględniony w pasmie, czy wykluczony z zespołu. Filtr pierwszej kolejności powoduje stopniowe zatłoczenie aż do częstotliwości rogu. Następnie filtr powoduje attenurację wykładniczą. Filtry wyższego poziomu (takie jak filtry Butterworth i Chebyszew) mają strome nachylenia po częstotliwości narożnika. Filtry wyższego rzędu zduplikują wartości w pasmie stopband znacznie szybciej i w pełni.
  • Filtr Bandstop (nazywany również filtrem odrzucania przedziału lub filtrem nacięcie ): ma tylko jedną opaskę stopband. Należy zdefiniować opaskę stopband, określając dwie częstotliwości: wysoką częstotliwość odcięcia i niską częstotliwość odcięcia. Filtr pasmowy zwykle ma dwa paski stopband: jeden po obu stronach żądanego składnika.
  • Tętnienie: mała, niepożądane odmiany, które występują okresowo. W Machine Learning można określić ilość fal do tolerowania w ramach parametrów w projekcie filtru IIR.

Porada

Potrzebujesz więcej informacji? Jeśli dopiero zaczynasz przetwarzanie sygnałów cyfrowych, zobacz Wprowadzenie do przetwarzania sygnałów cyfrowych. Witryna internetowa zawiera definicje i przydatne pomoce wizualne, które wyjaśniają podstawową terminologię i pojęcia.

Lista modułów

W kategorii Przekształcanie danych — filtrowanie znajdują się następujące moduły:

  • Zastosuj filtr: stosuje filtr do określonych kolumn zestawu danych.
  • Filtr FIR: tworzy filtr FIR do przetwarzania sygnału.
  • Filtr IIR: tworzy filtr IIR do przetwarzania sygnału.
  • Filtr mediany: tworzy filtr mediany używany do płynnego przetwarzania danych na potrzeby analizy trendów.
  • Filtr średniej ruchomej: tworzy filtr średniej ruchomej, który wygładzi dane na potrzeby analizy trendów.
  • Filtr progu: tworzy filtr progu, który ogranicza wartości.
  • Filtr zdefiniowany przez użytkownika: tworzy niestandardowy filtr FIR lub IIR.

Zobacz też