Supporto della lingua per Riconoscimento entità denominata personalizzata
Questo articolo contiene informazioni sulle lingue attualmente supportate dalla funzionalità riconoscimento entità denominata personalizzata.
Opzione multilingue
Con il Riconoscimento entità denominata personalizzato, è possibile eseguire il training di un modello in una lingua e usarlo per estrarre le entità dai documenti in un'altra lingua. Questa funzionalità è efficiente, perché consente di risparmiare tempo e lavoro. Anziché compilare progetti separati per ogni lingua, è possibile gestire un set di dati multilingue in un unico progetto. Il set di dati non deve essere interamente nella stessa lingua, ma è necessario abilitare l'opzione multilingue per il progetto durante la creazione o successivamente nelle impostazioni del progetto. Se si nota che le prestazioni del modello sono scarse in determinate lingue durante il processo di valutazione, valutare l’aggiunta di altri dati in queste lingue al set di training.
È possibile eseguire il training del progetto con documenti tutti in inglese ed eseguirne query in: francese, tedesco, mandarino, giapponese, coreano e altre lingue. Il riconoscimento entità denominata personalizzata semplifica la scalabilità dei progetti in più lingue usando una tecnologia multilingue per il training dei modelli.
Ogni volta che si rileva che le prestazioni per una determinata lingua non sono soddisfacenti come per altre lingue, è possibile aggiungere altri documenti per tale lingua nel progetto. Nella pagina di etichettatura dati in Language Studio, è possibile selezionare la lingua del documento che viene aggiunto. Quando si introducono altri documenti per tale lingua nel modello, si introducono più elementi di sintassi di tale lingua e le stime saranno migliori.
Non è previsto che si aggiunga lo stesso numero di documenti per ogni lingua. È preferibile creare la maggior parte del progetto in un’unica lingua e aggiungere solo alcuni documenti nelle lingue le cui prestazioni sono insoddisfacenti. Se si crea un progetto principalmente in inglese e si inizia a testarlo in francese, tedesco e spagnolo, si potrebbe rilevare che le prestazioni per il tedesco non sono soddisfacenti come per le altre due lingue. In tal caso, valutare l’aggiunta del 5% dei documenti originali in inglese in tedesco, eseguire il training di un nuovo modello e ripetere i test per il tedesco. In tal modo, i risultati per le query in tedesco dovrebbero migliorare. Maggiore è il numero di documenti etichettati aggiunti, maggiori sono le probabilità di ottenere risultati migliori.
Quando si aggiungono dati in un'altra lingua, non è previsto un impatto negativo su altre lingue.
Supporto di versioni in lingue diverse
Il Riconoscimento entità denominata personalizzato supporta file .txt nelle lingue seguenti:
| Lingua | Codice lingua |
|---|---|
| Afrikaans | af |
| Amharico | am |
| arabo | ar |
| Assamese | as |
| Azero | az |
| Bielorusso | be |
| Bulgaro | bg |
| Bengalese | bn |
| Breton | br |
| Bosniaco | bs |
| Catalano | ca |
| Ceco | cs |
| Gallese | cy |
| Danese | da |
| Tedesco | de |
| Greco | el |
| Inglese (Stati Uniti) | en-us |
| Esperanto | eo |
| Spagnolo | es |
| Estone | et |
| Basco | eu |
| Persiano | fa |
| Finlandese | fi |
| Francese | fr |
| Frisone occidentale | fy |
| Irlandese | ga |
| Scozzese Gaelico | gd |
| Galiziano | gl |
| Gujarati | gu |
| Hausa | ha |
| Ebraico | he |
| Hindi | hi |
| Croato | hr |
| Ungherese | hu |
| Armeno | hy |
| Indonesiano | id |
| Italiano | it |
| Giapponese | ja |
| Giavanese | jv |
| Georgiano | ka |
| Kazako | kk |
| Khmer | km |
| Kannada | kn |
| Coreano | ko |
| Curdo (Kurmanji) | ku |
| Kirghiso | ky |
| Latino | la |
| Lao | lo |
| Lituano | lt |
| Lettone | lv |
| Malgascio | mg |
| Macedone | mk |
| Malayalam | ml |
| Mongolo | mn |
| Marathi | mr |
| Malese | ms |
| Birmano | my |
| Nepalese | ne |
| Olandese | nl |
| Norvegese (Bokmål) | nb |
| Odia | or |
| Punjabi | pa |
| Polacco | pl |
| Pashto | ps |
| Portoghese (Brasile) | pt-br |
| Portoghese (Portogallo) | pt-pt |
| Romeno | ro |
| Russo | ru |
| Sanskrit | sa |
| Sindhi | sd |
| Sinhala | si |
| Slovacco | sk |
| Sloveno | sl |
| Somalo | so |
| Albanese | sq |
| Serbo | sr |
| Sundanese | su |
| Svedese | sv |
| Swahili | sw |
| Tamil | ta |
| Telugu | te |
| Thai | th |
| Pilipino | tl |
| Turco | tr |
| Uiguro | ug |
| Ucraino | uk |
| Urdu | ur |
| Uzbeco | uz |
| Vietnamita | vi |
| Xhosa | xh |
| Yiddish | yi |
| Cinese semplificato | zh-hans |
| Zulu | zu |