Suporte de idioma para classificação de texto personalizada
Use este artigo para saber mais sobre os idiomas atualmente suportados pelo recurso de classificação de texto personalizado.
Opção multilingue
Com a classificação de texto personalizada, você pode treinar um modelo em um idioma e usar para classificar documentos em outro idioma. Este recurso é útil porque ajuda a economizar tempo e esforço. Em vez de criar projetos separados para cada idioma, você pode lidar com conjuntos de dados multilíngues em um projeto. Seu conjunto de dados não precisa estar totalmente no mesmo idioma, mas você deve habilitar a opção multilíngue para seu projeto durante a criação ou posterior nas configurações do projeto. Se notar que o seu modelo tem um desempenho fraco em determinadas línguas durante o processo de avaliação, considere adicionar mais dados nessas línguas ao seu conjunto de formação.
Você pode treinar seu projeto inteiramente com documentos em inglês e consultá-lo em: francês, alemão, mandarim, japonês, coreano e outros. A classificação de texto personalizada facilita a escala de seus projetos para vários idiomas usando tecnologia multilíngue para treinar seus modelos.
Sempre que identificar que uma determinada língua não está a funcionar tão bem como outras línguas, pode adicionar mais documentos para essa língua no seu projeto. Na página de rotulagem de dados no Language Studio, você pode selecionar o idioma do documento que está adicionando. Quando você introduz mais documentos para essa linguagem no modelo, ela é introduzida a mais sintaxe dessa linguagem e aprende a prevê-la melhor.
Não se espera que adicione o mesmo número de documentos para todos os idiomas. Você deve construir a maioria do seu projeto em um idioma e adicionar apenas alguns documentos em idiomas que você observa que não estão tendo um bom desempenho. Se você criar um projeto principalmente em inglês e começar a testá-lo em francês, alemão e espanhol, poderá observar que o alemão não funciona tão bem quanto os outros dois idiomas. Nesse caso, considere adicionar 5% dos seus documentos originais em inglês em alemão, treinar um novo modelo e testar novamente em alemão. Você deve ver melhores resultados para consultas alemãs. Quanto mais documentos rotulados você adicionar, maior a probabilidade de os resultados melhorarem.
Quando você adiciona dados em outro idioma, não deve esperar que isso afete negativamente outros idiomas.
Idiomas suportados pela classificação de texto personalizada
A classificação de texto personalizada suporta .txt ficheiros nos seguintes idiomas:
| Linguagem | Código do Idioma |
|---|---|
| Afrikaans | af |
| Amárico | am |
| Árabe | ar |
| Assamês | as |
| Azerbaijanês | az |
| Bielorrusso | be |
| Búlgaro | bg |
| Bengalês | bn |
| Bretão | br |
| Bósnio | bs |
| Catalão | ca |
| Checo | cs |
| Galês | cy |
| Dinamarquês | da |
| Alemão | de |
| Grego | el |
| English (US) | en-us |
| Esperanto | eo |
| Espanhol | es |
| Estónio | et |
| Basco | eu |
| Persa | fa |
| Finlandês | fi |
| Francês | fr |
| Frísio Ocidental | fy |
| Irlandês | ga |
| Gaélico escocês | gd |
| Galego | gl |
| Guzerate | gu |
| Hausa | ha |
| Hebraico | he |
| Hindi | hi |
| Croata | hr |
| Húngaro | hu |
| Arménio | hy |
| Indonésio | id |
| Italiano | it |
| Japonês | ja |
| Javanês | jv |
| Georgiano | ka |
| Cazaque | kk |
| Khmer | km |
| Canarês | kn |
| Coreano | ko |
| Curdo (Kurmanji) | ku |
| Quirguize | ky |
| Latim | la |
| Laos | lo |
| Lituano | lt |
| Letão | lv |
| Malgaxe | mg |
| Macedónio | mk |
| Malaiala | ml |
| Mongol | mn |
| Marata | mr |
| Malaio | ms |
| Birmanês | my |
| Nepalês | ne |
| Neerlandês | nl |
| Norueguês (Bokmal) | nb |
| Odia | or |
| Punjabi | pa |
| Polaco | pl |
| Pashto | ps |
| Português (Brasil) | pt-br |
| Português (Portugal) | pt-pt |
| Romeno | ro |
| Russo | ru |
| Sânscrito | sa |
| Sindhi | sd |
| Cingalês | si |
| Eslovaco | sk |
| Esloveno | sl |
| Somali | so |
| Albanês | sq |
| Sérvio | sr |
| Sundanês | su |
| Sueco | sv |
| Suaíli | sw |
| Tâmil | ta |
| Telugu | te |
| Tailandês | th |
| Filipino | tl |
| Turco | tr |
| Uigur | ug |
| Ucraniano | uk |
| Urdu | ur |
| Usbeque | uz |
| Vietnamita | vi |
| Xhosa | xh |
| Iídiche | yi |
| Chinês (Simplificado) | zh-hans |
| Zulu | zu |