Wprowadzenie do analizy tekstu

5 min

Azure AI Language to część ofert usług azure AI, które mogą wykonywać zaawansowane przetwarzanie języka naturalnego za pośrednictwem tekstu bez struktury. Funkcje analizy tekstu w języku AI platformy Azure obejmują:

Rozpoznawanie nazwanych jednostek identyfikuje osoby, miejsca, zdarzenia i inne. Tę funkcję można również dostosować w celu wyodrębnienia kategorii niestandardowych.
Łączenie jednostek identyfikuje znane jednostki wraz z linkiem do Wikipedii.
Wykrywanie danych osobowych identyfikujących (PII) identyfikuje dane osobowe, w tym informacje o zdrowiu osobistym (PHI).
Wykrywanie języka identyfikuje język tekstu i zwraca kod języka, taki jak "en" dla języka angielskiego.
Analiza tonacji i wyszukiwania opinii określa, czy tekst jest pozytywny, czy negatywny.
Podsumowanie podsumowuje tekst, identyfikując najważniejsze informacje.
Wyodrębnianie kluczowych fraz zawiera główne pojęcia z tekstu bez struktury.

Rozpoznawanie i łączenie jednostek

Język sztucznej inteligencji platformy Azure można podać tekstem bez struktury i zwróci listę jednostek w rozpoznanym tekście. Jednostka jest elementem określonego typu lub kategorii; w niektórych przypadkach podtyp, taki jak pokazano w poniższej tabeli.

Type	Podtyp	Przykład
Osoba		„Bill Gates”, „John”
Lokalizacja		„Paryż”, „Nowy Jork”
Organizacja		„Microsoft”
Ilość	Liczba	„6” lub „sześć”
Ilość	Procent	„25%” lub „pięćdziesiąt procent”
Ilość	Liczba porządkowa	„1.” lub „pierwszy”
Ilość	Wiek	„3 miesiące” lub „30 lat”
Ilość	Waluta	„10,99”
Ilość	Wymiar	„10 kilometrów”, „40 cm”
Ilość	Temperatura	„45 stopni”
Data/godzina		„18:30, 4 lutego 2012”
Data/godzina	Date	„2 maja 2017” lub „02.05.2017”
Data/godzina	Czas	„8:00” lub „20:00”
Data/godzina	Zakres dat	„od 2 maja do 5 maja”
Data/godzina	Zakres czasu	„Od 18:00 do 19:00”
Data/godzina	Czas trwania	„1 minuta i 45 sekund”
Data/godzina	Zestaw	„każdy wtorek”
URL		"`https://www.bing.com`"
Poczta e-mail		"`support@microsoft.com`"
Numer telefonu w Stanach Zjednoczonych		„(312) 555-0176”
Adres IP		„10.0.1.125”

Język AI platformy Azure obsługuje również łączenie jednostek, aby ułatwić uściślanie jednostek przez połączenie z określonym odwołaniem. W przypadku rozpoznanych jednostek usługa zwraca adres URL odpowiedniego artykułu w witrynie Wikipedia.

Załóżmy na przykład, że używasz języka AI platformy Azure do wykrywania jednostek w następującym wyodrębnieniu przeglądu restauracji:

„I ate at the restaurant in Seattle last week” (Jadłem w tej restauracji w Seattle w ubiegłym tygodniu)

Jednostka	Type	Podtyp	Adres URL witryny Wikipedia
Seattle	Lokalizacja		https://en.wikipedia.org/wiki/Seattle
last week (ubiegły tydzień)	Data/godzina	Zakres dat

Wykrywanie języka

Użyj możliwości wykrywania języka języka języka usługi Azure AI Language, aby zidentyfikować język, w którym jest napisany tekst. Do analizy można przesłać wiele dokumentów jednocześnie. Dla każdego przesłanego dokumentu usługa wykryje następujące jednostki:

Nazwa języka (na przykład „angielski”).
Kod języka ISO 639-1 (na przykład "en").
Wynik wskazujący poziom pewności wykrywania języka.

Rozważ na przykład następujący scenariusz: prowadzisz restaurację i umożliwiasz klientom wypełnianie ankiet oraz przekazywanie opinii na temat jedzenia, obsługi, pracowników itd. Załóżmy, że klienci przekazali następujące recenzje:

Recenzja 1: "Fantastyczne miejsce na lunch. Zupa była pyszne."

Recenzja 2: "Comida maravillosa y gran servicio"."

Recenzja 3: "Croque monsieur avec frites był wspaniały. Bon appetit!""

Możesz użyć funkcji analizy tekstu w języku azure AI, aby wykryć opis języka tych przeglądów; i może odpowiedzieć następującymi wynikami:

Dokument	Nazwa języka	Kod ISO 6391	Ocena
Recenzja 1	English	en	1.0
Recenzja 2	Hiszpański	es	1.0
Recenzja 3	English	en	0,9

Zauważ, że język wykryty dla recenzji 3 to angielski, chociaż tekst zawiera mieszankę angielskiego i francuskiego. Usługa wykrywania języka koncentruje się na języku dominującym w tekście. Usługa korzysta z algorytmu, aby określić dominujący język, uwzględniając np. długość fraz lub całkowitą ilość tekstu w danym języku w porównaniu z tekstem w innych językach. Zwracana wartość będzie wskazywać dominujący język wraz z jego kodem. Wynik ufności może być mniejszy niż 1 w wyniku tekstu w języku mieszanym.

Może istnieć tekst, który jest niejednoznaczny w naturze lub ma zawartość języka mieszanego. Takie sytuacje mogą stanowić wyzwanie. Przykład niejednoznacznej zawartości to dokument z niewielką ilością tekstu lub obejmujący wyłącznie znaki interpunkcyjne. Na przykład użycie języka sztucznej inteligencji platformy Azure do analizowania tekstu ":-)" powoduje wyświetlenie wartości nieznanej dla nazwy języka i identyfikatora języka oraz wyniku wartości NaN (która służy do wskazywania nie liczby).

Analiza tonacji i wyszukiwanie opinii

Funkcje analizy tekstu w języku sztucznej inteligencji platformy Azure mogą oceniać tekst i zwracać wyniki i etykiety tonacji dla każdego zdania. Ta możliwość jest przydatna do wykrywania pozytywnej i negatywnej tonacji w mediach społecznościowych, w recenzjach klientów, na forach dyskusyjnych i nie tylko.

Język AI platformy Azure używa wstępnie utworzonego modelu klasyfikacji uczenia maszynowego do oceny tekstu. Usługa zwraca wyniki tonacji w trzech kategoriach: pozytywnych, neutralnych i ujemnych. W każdej z kategorii zostanie podana ocena z zakresu od 0 do 1. Wyniki wskazują, jak prawdopodobne jest, że podany tekst jest określoną tonacją. Podano również jedną tonację dokumentu.

Na przykład można przeanalizować pod kątem tonacji następujące dwie recenzje restauracji:

Recenzja 1: "Mieliśmy kolację w tej restauracji ostatniej nocy i pierwszą rzeczą, którą zauważyłem, było to, jak uprzejmy był personel. Zostaliśmy powitani w przyjazny sposób i zabrani do naszego stołu od razu. Stół był czysty, krzesła były wygodne, a jedzenie było niesamowite."

oraz

Recenzja 2: "Nasze doświadczenie w jadalni w tej restauracji było jednym z najgorszych, jakie kiedykolwiek miałem. Usługa była powolna, a jedzenie było okropne. Nigdy nie będę jeść w tym zakładzie ponownie."

Wynik tonacji dla pierwszej recenzji może być: Tonacja dokumentu: pozytywny wynik: .90 Neutral score: .10 Ujemny wynik: .00

Druga recenzja może zwrócić odpowiedź: Tonacja dokumentu: negatywny wynik dodatni: .00 Neutral score: .00 Ujemny wynik: .99

Wyodrębnianie kluczowych fraz

Wyodrębnianie kluczowych fraz identyfikuje główne punkty z tekstu. Rozważmy omówiony wcześniej scenariusz dotyczący restauracji. Jeśli masz dużą liczbę ankiet, przeczytanie recenzji może zająć dużo czasu. Zamiast tego możesz użyć funkcji wyodrębniania kluczowych fraz usługi Językowej, aby podsumować główne punkty.

Na przykład możesz otrzymać następującą recenzję:

"Mieliśmy tutaj kolację na uroczystość urodzinową i mieliśmy fantastyczne doświadczenie. Zostaliśmy powitani przez przyjaznych hostów i zabrani do naszego stołu od razu. Atmosfera była zrelaksowana, jedzenie było niesamowite, a obsługa była wspaniała. Jeśli lubisz wspaniałe jedzenie i uważne usługi, powinieneś spróbować tego miejsca."

Wyodrębnianie kluczowych fraz może zapewnić pewien kontekst dla tej recenzji przez wyodrębnienie następujących fraz:

birthday celebration (świętowanie urodzin)
fantastic experience (fantastyczne doświadczenie)
friendly hostess (miła hostessa)
great food (świetne jedzenie)
attentive service (uprzejma obsługa)
dinner (obiad)
table
ambiance (atmosfera)
place (miejsce)

Oprócz korzystania z analizy tonacji w celu określenia, czy jest to pozytywna recenzja, możesz również użyć usługi fraz kluczowych do identyfikowania ważnych elementów przeglądu.

Tworzenie zasobu dla języka sztucznej inteligencji platformy Azure

Aby używać języka azure AI w aplikacji, musisz aprowizować odpowiedni zasób w ramach subskrypcji platformy Azure. Możesz wybrać jeden z następujących typów zasobów: