Trenowanie i ocenianie modelu
Trenowanie i ocenianie modelu to iteracyjny proces dodawania danych i etykiet do zestawu danych szkoleniowych w celu dokładniejszego uczenia modelu. Aby dowiedzieć się, jakie typy danych i etykiet należy ulepszyć, program Language Studio udostępnia ocenianie na stronie Wyświetlanie szczegółów modelu w okienku po lewej stronie.
Poszczególne jednostki i ogólny wynik modelu są podzielone na trzy metryki, aby wyjaśnić, jak działają i gdzie należy je poprawić.
| Metryczne | opis |
|---|---|
| Dokładność | Współczynnik pomyślnych rozpoznawania jednostek do wszystkich prób rozpoznawania. Wysoki wynik oznacza, że o ile jednostka jest rozpoznawana, jest ona poprawnie oznaczona etykietą. |
| Odwołaj | Współczynnik pomyślnych rozpoznawania jednostek do rzeczywistej liczby jednostek w dokumencie. Wysoki wynik oznacza, że znajduje dobrze jednostkę lub jednostki, niezależnie od tego, czy przypisuje im odpowiednią etykietę |
| Wynik F1 | Kombinacja precyzji i kompletności zapewniająca pojedynczą metrykę oceniania |
Wyniki są dostępne zarówno dla jednostki, jak i dla modelu jako całości. Możesz znaleźć wynik jednostki dobrze, ale cały model nie.
Jak interpretować metryki
W idealnym przypadku chcemy, aby nasz model dobrze oceniał zarówno precyzję, jak i kompletność, co oznacza, że rozpoznawanie jednostek działa dobrze. Jeśli obie metryki mają niski wynik, oznacza to, że model ma trudności z rozpoznawaniem jednostek w dokumencie, a po wyodrębnieniu tej jednostki nie przypisuje jej poprawnej etykiety z dużą pewnością.
Jeśli precyzja jest niska, ale kompletność jest wysoka, oznacza to, że model rozpoznaje jednostkę dobrze, ale nie oznacza jej jako prawidłowego typu jednostki.
Jeśli precyzja jest wysoka, ale kompletność jest niska, oznacza to, że model nie zawsze rozpoznaje jednostkę, ale gdy model wyodrębnia jednostkę, zastosowana jest poprawna etykieta.
Macierz pomyłek
Na tej samej stronie Wyświetl szczegóły modelu znajduje się inna karta w górnej części macierzy Pomyłek. Ten widok zawiera wizualną tabelę wszystkich jednostek i sposób ich wykonania, dając pełny widok modelu i miejsce, w którym brakuje.
Macierz pomyłek umożliwia wizualną identyfikację miejsca dodawania danych w celu zwiększenia wydajności modelu.