Testowanie modelu

Po pomyślnym wytrenowanym modelu możesz użyć tłumaczeń do oceny jakości modelu. Aby podjąć świadomą decyzję o tym, czy używać naszego standardowego modelu, czy modelu niestandardowego, należy ocenić różnicę między wynikiem BLEU modelu niestandardowego a modelem standardowym BLEU. Jeśli model jest trenowany w wąskiej domenie, a dane treningowe są zgodne z danymi testowymi, możesz oczekiwać wysokiej oceny BLEU.

Wynik BLEU

BLEU (Dwujęzyczna ocena understudy) to algorytm oceny dokładności lub dokładności tekstu przetłumaczonego z jednego języka na inny. Usługa Custom Translator używa metryki BLEU jako jednego sposobu przekazywania dokładności tłumaczenia.

Wynik BLEU jest liczbą z zakresu od zera do 100. Wynik zerowy wskazuje tłumaczenie o niskiej jakości, w którym nic w tłumaczeniu nie pasuje do odwołania. Wynik 100 wskazuje idealne tłumaczenie, które jest identyczne z odwołaniem. Nie jest konieczne uzyskanie wyniku 100 — wynik BLEU z zakresu od 40 do 60 wskazuje na wysokiej jakości tłumaczenie.

Dowiedz się więcej

Szczegóły modelu

1. Wybierz blok Szczegóły modelu.

2. Wybierz nazwę modelu. Przejrzyj datę/godzinę trenowania, łączny czas trenowania, liczbę zdań używanych do trenowania, dostrajania, testowania i słownika. Sprawdź, czy system wygenerował zestaw testów i dostrajania. Użyj elementu , Category ID aby wysyłać żądania tłumaczenia.

3. Oceń wynik BLEU modelu. Przejrzyj zestaw testów: wynik BLEU jest wynikiem modelu niestandardowego, a punkt odniesienia BLEU jest wstępnie wytrenowany model odniesienia używany do dostosowywania. Wyższa ocena BLEU oznacza wysoką jakość tłumaczenia przy użyciu modelu niestandardowego.

   

Testowanie jakości tłumaczenia modelu

1. Wybierz blok Test modelu .

2. Wybierz pozycję Nazwa modelu.

3. Ocena tłumaczenia przez człowieka z modelu niestandardowego i modelu linii bazowej (nasz wstępnie wytrenowany punkt odniesienia używany do dostosowywania) względem odwołania (tłumaczenia docelowego z zestawu testowego).

4. Jeśli wyniki trenowania są zadowalające, umieść żądanie wdrożenia dla wytrenowanego modelu.

Następne kroki

• Dowiedz się , jak opublikować/wdrożyć model niestandardowy.
• Dowiedz się , jak tłumaczyć dokumenty przy użyciu modelu niestandardowego.