Wprowadzenie
Możemy ocenić nasze modele klasyfikacji pod względem rodzajów błędów, które popełniają, takich jak fałszywie ujemne i fałszywie dodatnie. Może to dać wgląd w rodzaje błędów popełnianych przez model, ale nie musi dostarczać szczegółowych informacji na temat tego, jak model może wykonać, jeśli niewielkie korekty zostały dokonane w jego kryteriach decyzyjnych. W tym miejscu omówimy krzywe charakterystyczne operatora odbiornika (ROC), które opierają się na idei macierzy pomyłek, ale dostarczają nam bardziej szczegółowych informacji, które pozwalają nam ulepszyć nasze modele do większego stopnia.
Scenariusz:
W tym module użyjemy następującego przykładowego scenariusza, aby wyjaśnić i przećwiczyć pracę z krzywymi ROC.
Twoja organizacja charytatywna ratownictwa lawinowego pomyślnie zbudowała model uczenia maszynowego, który może oszacować, czy obiekt wykryty przez lekkie czujniki jest turystą, czy naturalnym obiektem, takim jak drzewo lub skała. Pozwala to śledzić liczbę osób na górze, więc wiesz, czy zespół ratowniczy jest potrzebny, gdy lawina uderza. Model działa rozsądnie dobrze, choć zastanawiasz się, czy istnieje miejsce na poprawę. Wewnętrznie model musi podjąć binarną decyzję, czy obiekt jest obiektem podwyżki, czy nie, ale jest to oparte na prawdopodobieństwie. Czy ten proces podejmowania decyzji można dostosować, aby poprawić jego wydajność?
Wymagania wstępne
- Znajomość modeli uczenia maszynowego
Cele szkolenia
Zawartość tego modułu:
- Dowiedz się, jak tworzyć krzywe ROC.
- Dowiedz się, jak oceniać i porównywać modele przy użyciu tych krzywych.
- Przećwicz dostrajanie modelu przy użyciu cech wykreślionych na krzywych ROC.