Wprowadzenie
Modele podstawowe, takie jak GPT-4, to najnowocześniejsze modele przetwarzania języka naturalnego przeznaczone do zrozumienia, wygenerowania i interakcji z językiem ludzkim. Aby zrozumieć znaczenie modeli podstawowych, ważne jest, aby zbadać ich pochodzenie, które wynikają z postępów w dziedzinie przetwarzania języka naturalnego.
Informacje na temat przetwarzania języka naturalnego
Przetwarzanie języka naturalnego (NLP) to typ sztucznej inteligencji (AI), który koncentruje się na zrozumieniu, interpretowaniu i generowaniu języka ludzkiego. Oto niektóre typowe przypadki użycia nlp:
- Konwersja zamiany mowy na tekst i zamiana tekstu na mowę. Na przykład wygeneruj napisy dla filmów wideo.
- Tłumaczenie maszynowe. Na przykład przetłumacz tekst z języka angielskiego na japoński.
- Klasyfikacja tekstu. Na przykład oznacz wiadomość e-mail jako spam lub nie spam.
- Wyodrębnianie jednostek. Na przykład wyodrębnij słowa kluczowe lub nazwy z dokumentu.
- Podsumowanie tekstu. Na przykład wygeneruj krótkie podsumowanie jednego akapitu z wielostronicowego dokumentu.
- Odpowiadanie na pytania. Na przykład podaj odpowiedzi na pytania, takie jak "Co to jest stolica Francji?"
Uwaga
W tym module skupisz się na eksplorowaniu podstawowych modeli używanych do odpowiadania na pytania. Modele podstawowe, które eksplorujesz, mogą służyć do obsługi aplikacji do czatów, w których używasz modelu językowego do generowania odpowiedzi na pytanie użytkownika.
Zrozumienie znaczenia architektury transformatora
Najnowszy przełom w przetwarzaniu języka naturalnego (NLP) jest winien rozwojowi architektury Transformer .
Transformatory zostały wprowadzone w Uwaga jest wszystko, czego potrzebujesz papieru przez Vaswani, et al. od 2017 roku. Architektura transformera dostarczyła dwie innowacje dla NLP, które doprowadziły do powstania modeli podstawowych:
- Zamiast przetwarzać wyrazy sekwencyjnie, transformatory przetwarzają każde słowo niezależnie i równolegle przy użyciu uwagi.
- Obok semantycznej podobieństwa między wyrazami funkcja Transformers używa kodowania pozycyjnego, aby uwzględnić informacje o położeniu słowa w zdaniu.
Modele podstawowe przeznaczone dla przypadków użycia NLP są często określane jako modele dużych języków (LLM) lub modele językowe. W tym module zapoznasz się z dostępnymi modelami językowymi, sposobem wybierania modelu dla danego przypadku użycia oraz sposobu używania modelu językowego z portalem usługi Azure AI Foundry. Koncentrujesz się na modelach językowych, które ułatwiają opracowywanie generujących aplikacji sztucznej inteligencji, które służą jako aplikacje do czatów, które odpowiadają na pytania, odpowiadając na pytania użytkownikom.