Dostosowywanie modelu językowego za pomocą usługi Azure AI Video Indexer

Usługa Azure AI Video Indexer obsługuje automatyczne rozpoznawanie mowy dzięki integracji z usługą Microsoft Custom Speech Service. Model językowy można dostosować, przekazując tekst adaptacji. Ten tekst pochodzi z domeny, której słownictwo ma być używane przez aparat do adaptacji. Po wytrenowaniu modelu nowe wyrazy pojawiające się w tekście adaptacji są rozpoznawane, przy założeniu domyślnej wymowy, a model językowy uczy się nowych prawdopodobnych sekwencji słów. Zobacz listę obsługiwanych języków usługi Azure AI Video Indexer w obsługiwanych językach.

Na przykład "Kubernetes" (w kontekście usługi Azure Kubernetes) to słowo, które jest bardzo specyficzne. Ponieważ słowo jest nowe w usłudze Azure AI Video Indexer, jest uznawane za "społeczności". Wytrenuj model, aby rozpoznał go jako "Kubernetes". W innych przypadkach słowa istnieją, ale model językowy nie oczekuje ich pojawienia się w określonym kontekście. Na przykład "usługa kontenera" nie jest sekwencją 2-wyrazową, którą niespecjalizowany model językowy rozpoznałby jako określony zestaw wyrazów.

Istnieją dwa sposoby dostosowywania modelu językowego:

• Opcja 1. Edytowanie transkrypcji wygenerowanej przez usługę Azure AI Video Indexer. Edytując i poprawiając transkrypcję, trenujesz model językowy, aby zapewnić lepsze wyniki w przyszłości.
• Opcja 2. Przekazywanie plików tekstowych w celu wytrenowania modelu językowego. Plik może zawierać listę wyrazów, tak jak chcesz, aby były wyświetlane w transkrypcji usługi Video Indexer lub odpowiednie wyrazy zawarte naturalnie w zdaniach i akapitach. W miarę jak lepsze wyniki są osiągane przy użyciu drugiego podejścia, zaleca się, aby plik przekazywania zawierał pełne zdania lub akapity związane z zawartością.

Ważne

Nie dołączaj wyrazów ani zdań jako aktualnie niepoprawnie transkrypcji (na przykład "społeczności" w pliku przekazywania, ponieważ spowoduje to negację zamierzonego wpływu. Dołącz tylko wyrazy tak, jak chcesz, aby były wyświetlane (na przykład "Kubernetes").

Optymalizowanie niestandardowego modelu językowego

Usługa Azure AI Video Indexer uczy się na podstawie prawdopodobieństwa kombinacji słów, aby dowiedzieć się najlepiej:

• Podaj wystarczająco dużo rzeczywistych przykładów zdań, jak by były wypowiadane.
• Umieść tylko jedno zdanie na wiersz, a nie więcej. W przeciwnym razie system nauczy się prawdopodobieństwa w zdaniach.
• Dobrze jest umieścić jedno słowo jako zdanie, aby zwiększyć słowo przeciwko innym, ale system uczy się najlepiej z pełnych zdań.
• W przypadku wprowadzania nowych słów lub akronimów, jeśli to możliwe, podaj jak najwięcej przykładów użycia w pełnym zdaniu, aby dać jak najwięcej kontekstu systemowi.
• Spróbuj umieścić kilka opcji adaptacji i zobaczyć, jak działają dla Ciebie.
• Unikaj wielokrotnego powtarzania tego samego zdania. Może to spowodować stronniczość względem reszty danych wejściowych.
• Unikaj dołączania nietypowych symboli (~, # @ % &), ponieważ zostaną one odrzucone. Zdania, w których się pojawią, również zostaną odrzucone.
• Unikaj umieszczania zbyt dużych danych wejściowych, takich jak setki tysięcy zdań, ponieważ spowoduje to rozcieńczenie efektu zwiększenia.

Wymagania wstępne

• Konto platformy Azure
• Konto usługi Azure AI Video Indexer

Portal internetowy

Tworzenie modelu językowego

1. Przejdź do witryny internetowej usługi Azure AI Video Indexer i zaloguj się.
2. Aby dostosować model na koncie, wybierz przycisk Dostosowywanie Con tryb namiotu l po lewej stronie.
3. Wybierz kartę Język . Zostanie wyświetlona lista obsługiwanych języków.
4. W obszarze wybranego języka wybierz pozycję Dodaj model.
5. Wpisz nazwę modelu językowego i naciśnij Enter. Ten krok umożliwia utworzenie modelu i przekazanie plików tekstowych do modelu.
6. Aby dodać plik tekstowy, wybierz pozycję Dodaj plik. Zostanie otwarty Eksplorator plików.
7. Przejdź do pliku tekstowego i wybierz go. Do modelu językowego można dodać wiele plików tekstowych. Możesz również dodać plik tekstowy, wybierając przycisk ... po prawej stronie modelu językowego i wybierając pozycję Dodaj plik.
8. Po zakończeniu przekazywania plików tekstowych wybierz zieloną opcję Train (Trenowanie ).

Proces trenowania może potrwać kilka minut. Po zakończeniu trenowania obok modelu pojawi się wytrenowany . Możesz wyświetlić podgląd, pobrać i usunąć plik z modelu.

Korzystanie z modelu językowego w nowym filmie wideo

Aby użyć modelu językowego w nowym filmie wideo, wykonaj jedną z następujących czynności:

1. Wybierz przycisk Przekaż w górnej części strony.
2. Upuść plik audio lub wideo lub wyszukaj plik.
3. Wybierz model językowy utworzony z listy rozwijanej Język źródłowy wideo.
4. Wybierz opcję Przekaż w dolnej części strony, a nowy film wideo zostanie zindeksowany przy użyciu modelu językowego.

Ponowne indeksowanie przy użyciu modelu językowego

1. Zaloguj się do strony głównej usługi Azure AI Video Indexer .
2. Kliknij przycisk ... na filmie wideo i wybierz pozycję Ponownie zaindeksuj.
3. Wybierz listę rozwijaną Język źródłowy wideo i wybierz model językowy utworzony z listy.
4. Wybierz przycisk Ponownie indeksu, a film wideo zostanie ponownie zindeksowany przy użyciu modelu językowego.

Edytowanie modelu językowego

Model językowy można edytować, zmieniając jego nazwę, dodając do niego pliki i usuwając z niego pliki. Jeśli dodasz lub usuniesz pliki z modelu językowego, musisz ponownie wytrenować model, wybierając zieloną opcję Trenowanie .

Zmienianie nazwy modelu językowego

Nazwę modelu językowego można zmienić, wybierając przycisk wielokropka (...) po prawej stronie modelu językowego i wybierając pozycję Zmień nazwę. Wprowadź nową nazwę.

Dodaj pliki

1. Wybierz pozycję Dodaj plik. Zostanie otwarty Eksplorator plików.
2. Przejdź do pliku tekstowego i wybierz go. Do modelu językowego można dodać wiele plików tekstowych.

Możesz również dodać plik tekstowy, wybierając przycisk wielokropka (...) po prawej stronie modelu językowego i wybierając pozycję Dodaj plik.

Usuń pliki

Ta akcja powoduje całkowite usunięcie pliku z modelu językowego.

1. Wybierz przycisk wielokropka (...) po prawej stronie pliku tekstowego.
2. Wybierz Usuń. Zostanie wyświetlone nowe okno z informacją, że usunięcie nie może zostać cofnięte.
3. Wybierz opcję Usuń w nowym oknie.

Usuwanie modelu językowego

Ta akcja powoduje całkowite usunięcie modelu językowego z konta. Wszystkie klipy wideo, które używały modelu deletedlLanguage, zachowają ten sam indeks do momentu ponownego indeksowania wideo. Jeśli ponownie zaindeksujesz wideo, możesz przypisać nowy model językowy do wideo. W przeciwnym razie usługa Azure AI Video Indexer użyje domyślnego modelu do ponownego indeksowania wideo.

1. Wybierz przycisk wielokropka (...) po prawej stronie modelu językowego.
2. Wybierz Usuń. Zostanie wyświetlone nowe okno z informacją, że usunięcie nie może zostać cofnięte.
3. Wybierz opcję Usuń w nowym oknie.

Dostosowywanie modeli językowych przez poprawianie transkrypcji

Usługa Azure AI Video Indexer dostosowuje modele językowe na podstawie rzeczywistych poprawek, które użytkownicy wykonują do transkrypcji swoich filmów wideo. Przechwytuje wszystkie wiersze poprawione w transkrypcji wideo i dodaje je do pliku tekstowego o nazwie From transcript edits. Te zmiany są używane do ponownego trenowania modelu językowego, który został użyty do indeksowania wideo.

Uwzględniane są również edycje, które zostały wykonane na osi czasu widżetu.

Jeśli podczas indeksowania tego wideo nie określono modelu językowego, wszystkie edycje tego filmu wideo są przechowywane w domyślnym modelu językowym nazywanym Account adaptations wykrytym językiem wideo.

Jeśli wiele edycji zostało wykonanych w tym samym wierszu, do aktualizowania modelu językowego jest używana tylko ostatnia wersja poprawionego wiersza.

Uwaga

Do dostosowywania są używane tylko poprawki tekstowe. Poprawki, które nie obejmują rzeczywistych wyrazów (na przykład znaków interpunkcyjnych lub spacji), nie są uwzględniane.

1. Wybierz wideo, które chcesz edytować z biblioteki.
2. Wybierz kartę Oś czasu .
3. Wybierz ikonę ołówka, aby edytować transkrypcję transkrypcji.
4. Na karcie Język na stronie dostosowywania Con tryb namiotu l zostaną wyświetlone poprawki transkrypcji. Aby wyświetlić plik "Od edycji transkrypcji" dla każdego z modeli językowych, wybierz go, aby go otworzyć.

API

Tworzenie modelu językowego

Żądanie Create Language Model (Tworzenie modelu językowego) tworzy nowy niestandardowy model językowy dla określonego konta. Pliki dla modelu językowego można przekazać przy użyciu tego żądania. Alternatywnie możesz utworzyć model językowy w tym miejscu i przekazać pliki dla modelu później, aktualizując model językowy.

Oprócz podawania wartości wymaganych parametrów należy przekazać pliki w treści przy użyciu metody FormData. Istnieją dwa sposoby definiowania pary kluczy dla tego zadania:

1. Klucz to nazwa pliku, a wartość to plik txt.
2. Klucz to nazwa pliku, a wartość jest adresem URL do pliku txt.

Uwaga

Nadal musisz wytrenować model z włączonymi plikami dla modelu, aby poznać zawartość jego plików.

Przykładowa odpowiedź

{
    "id": "dfae5745-6f1d-4edd-b224-42e1ab57a891",
    "name": "TestModel",
    "language": "En-US",
    "state": "None",
    "languageModelId": "00000000-0000-0000-0000-000000000000",
    "files": [
    {
        "id": "25be7c0e-b6a6-4f48-b981-497e920a0bc9",
        "name": "hellofile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-28T11:55:34.6733333"
    },
    {
        "id": "33025f5b-2354-485e-a50c-4e6b76345ca7",
        "name": "worldfile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-28T11:55:34.86"
    }
    ]
}

Trenowanie modelu językowego

Żądanie Train Language Model trenuje niestandardowy model językowy dla określonego konta z zawartością przekazanych i włączonych plików w modelu językowym.

Uwaga

Najpierw należy utworzyć model językowy i przekazać jego pliki. Pliki można przekazywać podczas tworzenia modelu językowego lub przez zaktualizowanie modelu językowego.

Przykładowa odpowiedź

{
    "id": "41464adf-e432-42b1-8e09-f52905d7e29d",
    "name": "TestModel",
    "language": "En-US",
    "state": "Waiting",
    "languageModelId": "531e5745-681d-4e1d-b124-12e5ab57a891",
    "files": [
    {
        "id": "84fcf1ac-1952-48f3-b372-18f768eedf83",
        "name": "RenamedFile",
        "enable": false,
        "creator": "John Doe",
        "creationTime": "2018-04-27T20:10:10.5233333"
    },
    {
        "id": "9ac35b4b-1381-49c4-9fe4-8234bfdd0f50",
        "name": "hellofile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-27T20:10:10.68"
    }
    ]
}

Jest id to unikatowy identyfikator służący do rozróżniania modeli językowych, który languageModelId jest używany zarówno do przekazywania wideo do indeksowania , jak i ponownego indeksowania żądań wideo (nazywanych linguisticModelId również w usłudze Azure AI Video Indexer przekazywania/ponownego indeksowania żądań).

Usuwanie modelu językowego

Żądanie Usuń model językowy usuwa niestandardowy model językowy z określonego konta. Dowolny film wideo, który używał usuniętego modelu językowego, zachowuje ten sam indeks do momentu ponownego indeksowania wideo. Jeśli ponownie zaindeksujesz wideo, możesz przypisać nowy model języka do wideo. W przeciwnym razie usługa Azure AI Video Indexer używa domyślnego modelu do ponownego indeksowania wideo.

Przykładowa odpowiedź

Po pomyślnym usunięciu modelu językowego nie ma zwracanej zawartości.

Aktualizowanie modelu językowego

Żądanie Update Language Model aktualizuje niestandardowy model osoby językowej na określonym koncie.

Uwaga

Musisz już utworzyć model językowy. Za pomocą tego wywołania można włączyć lub wyłączyć wszystkie pliki w modelu, zaktualizować nazwę modelu językowego i przekazać pliki do dodania do modelu językowego.

Aby przekazać pliki do dodania do modelu językowego, należy przekazać pliki w treści przy użyciu metody FormData, a także podawać wartości dla powyższych wymaganych parametrów. Istnieją dwa sposoby wykonania tego zadania:

• Klucz to nazwa pliku, a wartość to plik txt.
• Klucz to nazwa pliku, a wartość jest adresem URL do pliku txt.

Przykładowa odpowiedź

{
    "id": "41464adf-e432-42b1-8e09-f52905d7e29d",
    "name": "TestModel",
    "language": "En-US",
    "state": "Waiting",
    "languageModelId": "531e5745-681d-4e1d-b124-12e5ab57a891",
    "files": [
    {
        "id": "84fcf1ac-1952-48f3-b372-18f768eedf83",
        "name": "RenamedFile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-27T20:10:10.5233333"
    },
    {
        "id": "9ac35b4b-1381-49c4-9fe4-8234bfdd0f50",
        "name": "hellofile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-27T20:10:10.68"
    }
    ]
}

id Użyj plików zwróconych w odpowiedzi, aby pobrać zawartość pliku.

Aktualizowanie pliku z modelu językowego

Żądanie Update Language Model File umożliwia zaktualizowanie nazwy i enable stanu pliku w niestandardowym modelu językowym na określonym koncie.

Przykładowa odpowiedź

{
  "id": "84fcf1ac-1952-48f3-b372-18f768eedf83",
  "name": "RenamedFile",
  "enable": false,
  "creator": "John Doe",
  "creationTime": "2018-04-27T20:10:10.5233333"
}

id Użyj pliku zwróconego w odpowiedzi, aby pobrać zawartość pliku.

Pobieranie określonego modelu językowego

Żądanie Get Language Model zwraca informacje dotyczące określonego modelu językowego na określonym koncie, takim jak język i pliki, które znajdują się w modelu językowym.

Przykładowa odpowiedź

{
    "id": "dfae5745-6f1d-4edd-b224-42e1ab57a891",
    "name": "TestModel",
    "language": "En-US",
    "state": "None",
    "languageModelId": "00000000-0000-0000-0000-000000000000",
    "files": [
    {
        "id": "25be7c0e-b6a6-4f48-b981-497e920a0bc9",
        "name": "hellofile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-28T11:55:34.6733333"
    },
    {
        "id": "33025f5b-2354-485e-a50c-4e6b76345ca7",
        "name": "worldfile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-28T11:55:34.86"
    }
    ]
}

id Użyj pliku zwróconego w odpowiedzi, aby pobrać zawartość pliku.

Pobieranie wszystkich modeli językowych

Żądanie Pobierz modele językowe zwraca wszystkie niestandardowe modele językowe na określonym koncie na liście.

Przykładowa odpowiedź

[
    {
        "id": "dfae5745-6f1d-4edd-b224-42e1ab57a891",
        "name": "TestModel",
        "language": "En-US",
        "state": "None",
        "languageModelId": "00000000-0000-0000-0000-000000000000",
        "files": [
        {
            "id": "25be7c0e-b6a6-4f48-b981-497e920a0bc9",
            "name": "hellofile",
            "enable": true,
            "creator": "John Doe",
            "creationTime": "2018-04-28T11:55:34.6733333"
        },
        {
            "id": "33025f5b-2354-485e-a50c-4e6b76345ca7",
            "name": "worldfile",
            "enable": true,
            "creator": "John Doe",
            "creationTime": "2018-04-28T11:55:34.86"
        }
        ]
    },
    {
        "id": "dfae5745-6f1d-4edd-b224-42e1ab57a892",
        "name": "AnotherTestModel",
        "language": "En-US",
        "state": "None",
        "languageModelId": "00000000-0000-0000-0000-000000000001",
        "files": []
    }
]

Usuwanie pliku z modelu językowego

Żądanie Usuń plik modelu językowego usuwa określony plik z określonego modelu językowego na określonym koncie.

Przykładowa odpowiedź

Po pomyślnym usunięciu pliku z modelu językowego nie ma zwracanej zawartości.

Pobieranie metadanych w pliku z modelu językowego

Żądanie Pobierz dane pliku modelu językowego zwraca zawartość pliku i metadanych określonego pliku z wybranego modelu językowego na twoim koncie.

Przykładowa odpowiedź

{
    "content": "hello\r\nworld",
    "id": "84fcf1ac-1952-48f3-b372-18f768eedf83",
    "name": "Hello",
    "enable": true,
    "creator": "John Doe",
    "creationTime": "2018-04-27T20:10:10.5233333"
}

Uwaga

Zawartość tego przykładowego pliku to słowa "hello" i "world" w dwóch oddzielnych wierszach.

Pobieranie pliku z modelu językowego

Żądanie pobierania zawartości pliku modelu językowego pobiera plik tekstowy zawierający zawartość określonego pliku z określonego modelu językowego na określonym koncie. Ten plik tekstowy powinien być zgodny z zawartością pliku tekstowego, który został pierwotnie przekazany.

Przykładowa odpowiedź

Odpowiedź to pobieranie pliku tekstowego z zawartością pliku w formacie JSON.