Obsługa wielojęzycznych i emoji w funkcjach usługi językowej
Obsługa wielojęzycznych i emoji doprowadziła do kodowania Unicode, które używają więcej niż jednego punktu kodu do reprezentowania pojedynczego wyświetlanego znaku nazywanego grafemem. Na przykład emoji, takie jak 🌷 i 👍 mogą używać kilku znaków do tworzenia kształtu z dodatkowymi znakami dla atrybutów wizualnych, takich jak odcienie skóry. Podobnie słowo अनुच्छेद
hindi jest kodowane jako pięć liter i trzy znaki łączące.
Ze względu na różne długości możliwych kodowań wielojęzycznych i emoji funkcje usługi językowej mogą zwracać przesunięcia w odpowiedzi.
Przesunięcia w odpowiedzi interfejsu API
Zawsze, gdy przesunięcia są zwracane odpowiedzi interfejsu API, pamiętaj:
- Elementy w odpowiedzi mogą być specyficzne dla wywoływanego punktu końcowego.
- Ładunki HTTP POST/GET są kodowane w formacie UTF-8, co może być lub nie jest domyślnym kodowaniem znaków w kompilatorze po stronie klienta lub systemie operacyjnym.
- Przesunięcia odnoszą się do liczb grafu na podstawie standardu Unicode 8.0.0 , a nie liczby znaków.
Wyodrębnianie podciągów z tekstu z przesunięciami
Przesunięcia mogą powodować problemy podczas korzystania z metod podciągów opartych na znakach, na przykład metody .NET substring(). Jednym z problemów jest to, że przesunięcie może spowodować zakończenie metody podciągnięcia w środku kodowania grafu wieloznakowego zamiast końca.
Na platformie .NET rozważ użycie klasy StringInfo , która umożliwia pracę z ciągiem jako serią elementów tekstowych, a nie pojedynczych obiektów znaków. Możesz również wyszukać biblioteki rozdzielacze grafu w preferowanym środowisku oprogramowania.
Funkcje usługi językowej również zwracają te elementy tekstowe dla wygody.
Punkty końcowe, które zwracają przesunięcie, będą obsługiwać stringIndexType
parametr . Ten parametr dostosowuje offset
atrybuty i length
w danych wyjściowych interfejsu API w celu dopasowania do żądanego schematu iteracji ciągów. Obecnie obsługujemy trzy typy:
textElement_v8
(wartość domyślna): iteruje grafy zgodnie ze standardem Unicode 8.0.0unicodeCodePoint
: iteruje punkty kodu Unicode, domyślny schemat dla języka Python 3utf16CodeUnit
: iteruje jednostki kodu UTF-16, schemat domyślny dla języków JavaScript, Java i .NET
stringIndexType
Jeśli żądane jest zgodne z wybranym środowiskiem programowania, wyodrębnianie podciągów można wykonać przy użyciu standardowych metod podciągów lub wycinków.