Generowanie sztucznej inteligencji za pomocą usługi Azure Database for PostgreSQL — serwer elastyczny
DOTYCZY: 
Azure Database for PostgreSQL — serwer elastyczny
Generowanie sztucznej inteligencji (GenAI) odnosi się do klasy algorytmów sztucznej inteligencji, które mogą uczyć się na podstawie istniejącej zawartości multimedialnej i tworzyć nową zawartość. Utworzoną zawartość można dostosować przy użyciu technik, takich jak monity i dostrajanie. Algorytmy GenAI stosują określone modele uczenia maszynowego:
- Transformatory i rekursowe sieci neuronowe (RN) na potrzeby generowania tekstu.
- Generowanie obrazów w sieciach niepożądanych (GAN).
- Autoencodery odmiany (VAE) na potrzeby generowania obrazów itp.
GenAI jest używana w syntezie obrazów i muzyki, opiece zdrowotnej, typowych zadaniach, takich jak autouzupełnianie tekstu, podsumowanie tekstu i tłumaczenie. Techniki genAI umożliwiają korzystanie z funkcji dotyczących danych, takich jak klastrowanie i segmentacja, semantyczne wyszukiwanie i zalecenia, modelowanie tematów, odpowiadanie na pytania i wykrywanie anomalii.
OpenAI
OpenAI to organizacja badawcza i firma zajmująca się sztuczną inteligencją (AI) znana z pionierskiej pracy w dziedzinie sztucznej inteligencji i uczenia maszynowego. Ich misją jest zapewnienie, że sztuczna inteligencja ogólna (AGI), która odnosi się do wysoce autonomicznych systemów sztucznej inteligencji, które mogą przewyższać ludzi w najbardziej cennej gospodarczo pracy, korzyści dla całej ludzkości. OpenAI przyniósł na rynek najnowocześniejsze modele generowania, takie jak GPT-3, GPT-3,5 i GPT-4 (generator wstępnie wytrenowany transformator).
Azure OpenAI to oferta usługi LLM platformy Azure, która ułatwia tworzenie aplikacji GenAI przy użyciu platformy Azure. Usługa Azure OpenAI Service zapewnia klientom zaawansowaną sztuczną inteligencję języka za pomocą biblioteki OpenAI GPT-4, GPT-3, Codex, DALL-E i Whisper z zabezpieczeniami i obietnicą przedsiębiorstwa platformy Azure. Usługa Azure OpenAI współtworzy interfejsy API za pomocą interfejsu OpenAI, zapewniając zgodność i bezproblemowe przejście z jednego do drugiego.
Dzięki usłudze Azure OpenAI klienci uzyskują możliwości zabezpieczeń platformy Microsoft Azure podczas uruchamiania tych samych modeli co openAI. Usługa Azure OpenAI oferuje prywatną sieć, dostępność regionalną i odpowiedzialne filtrowanie zawartości sztucznej inteligencji.
Dowiedz się więcej o usłudze Azure OpenAI.
Model dużego języka (LLM)
Model dużego języka (LLM) to typ modelu sztucznej inteligencji wyszkolony na ogromnych ilościach danych tekstowych, aby zrozumieć i wygenerować język podobny do człowieka. Maszyny LLM są zwykle oparte na architekturach uczenia głębokiego, takich jak Transformers, i są znane z ich zdolności do wykonywania szerokiej gamy zadań interpretacji języka naturalnego i generowania. GPT openAI, który obsługuje ChatGPT, jest LLM.
Najważniejsze cechy i możliwości dużych modeli językowych obejmują:
- Skala: Ogromna skala pod względem liczby parametrów używanych w architekturze LLM jest dla nich charakterystyczna. Modele takie jak GPT-3 (Generative Pretrained Transformer 3) zawierają od setek milionów do bilionów parametrów, które umożliwiają przechwytywanie złożonych wzorców w języku.
- Wstępne trenowanie: maszyny LLM są wstępnie trenowane na dużych korpusach danych tekstowych z Internetu, co umożliwia im naukę gramatyki, składni, semantyki i szerokiej gamy wiedzy na temat języka i świata.
- Dostrajanie: Po wstępnym trenowaniu maszyny LLM mogą być dostosowane do określonych zadań lub domen z mniejszymi zestawami danych specyficznymi dla zadań. Ten proces dostrajania umożliwia dostosowanie ich do bardziej wyspecjalizowanych zadań, takich jak klasyfikacja tekstu, tłumaczenie, podsumowanie i odpowiadanie na pytania.
GPT
GPT oznacza generacyjny wstępnie wytrenowany transformator i odnosi się do serii dużych modeli językowych opracowanych przez openAI. Modele GPT to sieci neuronowe wstępnie wytrenowane na ogromnych ilościach danych z Internetu, dzięki czemu mogą zrozumieć i wygenerować tekst podobny do człowieka.
Poniżej przedstawiono omówienie głównych modeli GPT i ich kluczowych cech:
GPT-3: Wydany w czerwcu 2020 r. jest dobrze znanym modelem serii GPT. Ma 175 miliardów parametrów, dzięki czemu jest jednym z największych i najbardziej zaawansowanych modeli językowych. GPT-3 osiągnął niezwykłą wydajność w szerokim zakresie zadań interpretacji języka naturalnego i generowania. Może wykonywać zadania, takie jak uzupełnianie tekstu, tłumaczenie, odpowiadanie na pytania i nie tylko z płynnością na poziomie człowieka. GPT-3 jest podzielony na różne rozmiary modelu, począwszy od najmniejszych (125M parametrów) do największych (175B parametrów).
GPT-4: Czy najnowszy model GPT firmy OpenAI ma 1,76 bilionów parametrów.
Wektory
Wektor jest koncepcją matematyczną używaną w algebra liniowej i geometrii do reprezentowania ilości, które mają zarówno wielkość, jak i kierunek. W kontekście uczenia maszynowego wektory są często używane do reprezentowania punktów danych lub funkcji.
Poniżej przedstawiono niektóre kluczowe atrybuty i operacje wektora:
- Wielkość: Długość lub rozmiar wektora, często oznaczany jako norma, reprezentuje wielkość danych, które reprezentuje. Jest to nieujemna liczba rzeczywista.
- Kierunek: wskazuje orientację lub kąt ilości reprezentowanej w odniesieniu do punktu odniesienia lub układu współrzędnych.
- Składniki: Wektor można rozkładać na jego składniki wzdłuż różnych osi lub wymiarów. W układzie współrzędnych kartezjańskich 2D wektor może być reprezentowany jako (x, y), gdzie x i y są jego składnikami wzdłuż osi x i osi y, odpowiednio. Wektor w n wymiarach to krotka n-krotka {x1, x2... xn}.
- Dodawanie i mnożenie skalarne: wektory można dodawać razem w celu utworzenia nowych wektorów i mogą być mnożone przez skalarne (liczby rzeczywiste).
- Kropka Product i Cross Product: Wektory można łączyć przy użyciu produktów kropkowych (produktu skalarnych) i produktów krzyżowych (produktu wektorowego).
Wektorowe bazy danych
Wektorowa baza danych, znana również jako system zarządzania wektorami baz danych (DBMS), jest typem systemu bazy danych przeznaczonym do wydajnego przechowywania danych wektorów i zarządzania nimi oraz zarządzania nimi. Tradycyjne relacyjne bazy danych obsługują głównie dane strukturalne w tabelach, podczas gdy wektorowe bazy danych są zoptymalizowane pod kątem magazynu i pobierania wielowymiarowych punktów danych reprezentowanych jako wektory. Te bazy danych są przydatne w przypadku aplikacji, w których są zaangażowane operacje, takie jak wyszukiwanie podobieństwa, dane geoprzestrzenne, systemy rekomendacji i klastrowanie.
Oto niektóre kluczowe cechy wektorowych baz danych:
- Magazyn wektorowy: bazy danych wektorów przechowują punkty danych jako wektory z wieloma wymiarami. Każdy wymiar reprezentuje funkcję lub atrybut punktu danych. Te wektory mogą reprezentować szeroką gamę typów danych, w tym dane liczbowe, kategorialne i tekstowe.
- Wydajne operacje wektorów: bazy danych wektorów są zoptymalizowane pod kątem wykonywania operacji wektorowych, takich jak dodawanie wektorów, odejmowanie, produkty kropkowe i obliczenia podobieństwa (na przykład podobieństwo cosinus lub odległość euklidesowa).
- Wydajne wyszukiwanie: efektywne mechanizmy indeksowania mają kluczowe znaczenie dla szybkiego pobierania podobnych wektorów. Bazy danych wektorów używają różnych mechanizmów indeksowania, aby umożliwić szybkie pobieranie.
- Języki zapytań: udostępniają języki zapytań i interfejsy API dostosowane do operacji wektorów i wyszukiwania podobieństwa. Te języki zapytań umożliwiają użytkownikom efektywne wyrażanie kryteriów wyszukiwania.
- Wyszukiwanie podobieństw: są one excel w wyszukiwaniach podobieństwa, umożliwiając użytkownikom znajdowanie punktów danych podobnych do danego punktu zapytania. Ta cecha jest cenna w systemach wyszukiwania i rekomendacji.
- Obsługa danych geoprzestrzennych: niektóre wektorowe bazy danych są przeznaczone do danych geoprzestrzennych, dzięki czemu są one odpowiednie dla aplikacji, takich jak usługi oparte na lokalizacji, GIS (Geographic Information Systems) i zadania związane z mapą.
- Obsługa różnych typów danych: bazy danych wektorów mogą przechowywać różne typy danych, w tym wektory, obrazy, tekst i nie tylko.
Baza danych PostgreSQL może uzyskać możliwości wektorowej bazy danych za pomocą pgvector rozszerzenia.
Osadzanie
Osadzanie to pojęcie w uczeniu maszynowym i przetwarzaniu języka naturalnego (NLP), które obejmuje reprezentowanie obiektów, takich jak wyrazy, dokumenty lub jednostki, jako wektory w przestrzeni wielowymiarowej. Te wektory są często gęste, co oznacza, że mają dużą liczbę wymiarów i są one poznane za pomocą różnych technik, w tym sieci neuronowych. Osadzanie ma na celu przechwytywanie relacji semantycznych i podobieństw między obiektami w przestrzeni wektorów ciągłych.
Typowe typy osadzania to:
- word: W NLP osadzanie wyrazów reprezentuje wyrazy jako wektory. Każde słowo jest mapowane na wektor w przestrzeni wielowymiarowej, gdzie wyrazy o podobnych znaczeniach lub kontekstach znajdują się bliżej siebie.
Word2VeciGloVeto popularne techniki osadzania wyrazów. - dokument: reprezentują one dokumenty jako wektory.
Doc2Vecjest popularnie używany do tworzenia osadzania dokumentów. - obraz: Obrazy mogą być reprezentowane jako osadzanie w celu przechwytywania funkcji wizualnych, co umożliwia wykonywanie zadań takich jak rozpoznawanie obiektów.
Osadzanie ma kluczowe znaczenie dla reprezentowania złożonych, wielowymiarowych danych w postaci łatwej do przetworzenia przez modele uczenia maszynowego. Można je wytrenować na dużych zestawach danych, a następnie używać ich jako funkcji dla różnych zadań i są używane przez llMs.
Usługa PostgreSQL może uzyskać możliwości generowania wektorowych osadzania za pomocą integracji rozszerzenia OpenAI rozszerzenia AI platformy Azure.
Scenariusze
Generowanie sztucznej inteligencji oferuje szeroką gamę aplikacji w różnych domenach i branżach, w tym technologii, opieki zdrowotnej, rozrywki, finansów, produkcji i nie tylko. Poniżej przedstawiono kilka typowych zadań, które można wykonać za pomocą generowania sztucznej inteligencji:
- Wyszukiwanie semantyczne:
- Usługa GenAI umożliwia semantyczne wyszukiwanie danych, a nie wyszukiwanie leksykograficzne. Ten ostatni szuka dokładnych dopasowań do zapytań, podczas gdy wyszukiwanie semantyczne wyszukuje zawartość spełniającą intencję zapytania wyszukiwania.
- Czatboty i Asystent wirtualny:
- Twórz czatboty, które mogą angażować się w naturalne konwersacje kontekstowe, na przykład w celu zaimplementowania samodzielnej pomocy dla klientów.
- Systemy rekomendacji:
- Popraw algorytmy rekomendacji, generując osadzanie lub reprezentacje elementów lub użytkowników.
- Klastrowanie i segmentacja:
- Osadzane algorytmy generowania genAI umożliwiają grupowanie danych klastrowania w taki sposób, aby podobne dane zostały zgrupowane razem. Umożliwia to scenariusze, takie jak segmentacja klientów, dzięki czemu reklamodawcy mogą kierować klientów w różny sposób na podstawie ich atrybutów.
- Generowanie zawartości:
- Generowanie tekstu: generowanie tekstu przypominającego człowieka dla aplikacji, takich jak czatboty, tworzenie powieści/poezji i zrozumienie języka naturalnego.
- Generowanie obrazów: tworzenie realistycznych obrazów, dzieł sztuki lub projektów graficznych, rozrywkowych i reklamowych.
- Generowanie wideo: generowanie filmów, animacji lub efektów wideo dla filmów, gier i marketingu.
- Generacja muzyki.
- Tłumaczenie:
- Tłumaczenie tekstu między różnymi językami.
- Podsumowania:
- Podsumowanie długich artykułów lub dokumentów w celu wyodrębnienia kluczowych informacji.
- Rozszerzanie danych:
- Generowanie dodatkowych przykładów danych w celu rozszerzania i ulepszania zestawów danych szkoleniowych dla modeli uczenia maszynowego (ML).
- Tworzenie syntetycznych danych dla scenariuszy, które są trudne lub kosztowne do zebrania w świecie rzeczywistym, takie jak obrazowanie medyczne.
- Odkrycie narkotyków:
- Generowanie struktur molekularnych i przewidywanie potencjalnych kandydatów na leki do badań farmaceutycznych.
- Programowanie gier:
- Twórz zawartość gry, w tym poziomy, postacie i tekstury.
- Generowanie realistycznych środowisk i krajobrazów w grze.
- Denozowanie i uzupełnianie danych:
- Wyczyść hałaśliwe dane, generując czyste próbki danych.
- Wypełnij brakujące lub niekompletne dane w zestawach danych.
Następne kroki
Zapoznaj się z następującymi artykułami, aby dowiedzieć się, jak wykonywać wyszukiwanie semantyczne za pomocą elastycznego serwera usługi Azure Database for PostgreSQL i usługi Azure OpenAI oraz jak wykorzystać możliwości usług Azure Cognitive Services do analizowania tonacji, wykrywania języka, wyodrębniania kluczowych fraz i bardziej zaawansowanych operacji, które można zastosować w tekście.