Udostępnij za pośrednictwem

Kiedy należy używać dostrajania interfejsu Azure OpenAI

  • Artykuł

Podczas podejmowania decyzji, czy dostrajanie jest właściwym rozwiązaniem do zbadania danego przypadku użycia, istnieją pewne kluczowe terminy, które warto znać:

  • Prompt Engineering to technika, która obejmuje projektowanie monitów dotyczących modeli przetwarzania języka naturalnego. Ten proces poprawia dokładność i trafność w odpowiedziach, optymalizując wydajność modelu.
  • Pobieranie rozszerzonej generacji (RAG) zwiększa wydajność modelu dużego języka (LLM) przez pobieranie danych ze źródeł zewnętrznych i dołączanie ich do monitu. Rozwiązanie RAG umożliwia firmom osiągnięcie dostosowanych rozwiązań przy zachowaniu istotności danych i optymalizacji kosztów.
  • Dostrajanie ponownie wytrenuje istniejący model dużego języka przy użyciu przykładowych danych, co spowoduje utworzenie nowego "niestandardowego" modelu dużego języka zoptymalizowanego przy użyciu podanych przykładów.

Co to jest dostrajanie w usłudze Azure OpenAI?

Kiedy mówimy o precyzyjnym dostrajaniu, naprawdę oznaczamy nadzorowane dostrajanie nie ciągłego wstępnego szkolenia lub uczenia wzmacniania za pośrednictwem ludzkiej opinii (RLHF). Nadzorowane dostrajanie odnosi się do procesu ponownego trenowania wstępnie wytrenowanych modeli na określonych zestawach danych, zazwyczaj w celu poprawy wydajności modelu w określonych zadaniach lub wprowadzenia informacji, które nie były dobrze reprezentowane, gdy model podstawowy został pierwotnie wytrenowany.

Dostrajanie jest zaawansowaną techniką, która wymaga odpowiedniej wiedzy. Poniższe pytania pomogą Ci ocenić, czy wszystko jest gotowe do dostrajania i jak dobrze przemyślane przez ten proces. Można ich użyć, aby kierować kolejnymi krokami lub identyfikować inne podejścia, które mogą być bardziej odpowiednie.

Dlaczego chcesz dostosować model?

  • Należy wyraźnie przedstawić konkretny przypadek użycia do dostrajania i zidentyfikować model , który chcesz dostosować.
  • Dobre przypadki użycia dostrajania obejmują kierowanie modelem do zawartości wyjściowej w określonym i dostosowanym stylu, tonu lub formacie albo scenariuszach, w których informacje potrzebne do kierowania modelem są zbyt długie lub złożone, aby zmieścić się w oknie monitu.

Typowe znaki, które mogą nie być jeszcze gotowe do dostrajania:

  • Nie ma wyraźnego przypadku użycia do dostrajania lub niezdolności do wyrażania o wiele więcej niż "Chcę zrobić model lepiej".
  • Jeśli zidentyfikujesz koszt jako podstawowy motywator, zachowaj ostrożność. Dostrajanie może obniżyć koszty niektórych przypadków użycia przez skrócenie monitów lub umożliwienie korzystania z mniejszego modelu, ale istnieje wyższy koszt z góry trenowania i trzeba będzie zapłacić za hostowanie własnego modelu niestandardowego. Aby uzyskać więcej informacji na temat dostrajania kosztów dostosowywania usługi Azure OpenAI, zapoznaj się ze stroną cennika.
  • Jeśli chcesz dodać wiedzę z domeny do modelu, zacznij od pobierania rozszerzonej generacji (RAG) z funkcjami takimi jak azure OpenAI na danych lub osadzanie. Często jest to tańsza, bardziej elastyczna i potencjalnie bardziej efektywna opcja w zależności od przypadku użycia i danych.

Co próbowano do tej pory?

Dostrajanie jest zaawansowaną funkcją, a nie punktem wyjścia dla generacyjnych podróży sztucznej inteligencji. Znasz już podstawy korzystania z dużych modeli językowych (LLMs). Zacznij od oceny wydajności modelu podstawowego z monitem inżynieryjnym i/lub pobieraniem rozszerzonej generacji (RAG), aby uzyskać punkt odniesienia dla wydajności.

Posiadanie punktu odniesienia dla wydajności bez precyzyjnego dostrajania jest niezbędne do poznania, czy dostrajanie ma lepszą wydajność modelu. Dostrajanie przy użyciu nieprawidłowych danych sprawia, że model podstawowy jest gorszy, ale bez punktu odniesienia trudno jest wykryć regresje.

Jeśli wszystko jest gotowe do dostrajania:

  • Powinien być w stanie zademonstrować dowody i wiedzę na temat metod opartych na inżynierii monitu i rag.
  • Możliwość dzielenia się konkretnymi doświadczeniami i wyzwaniami przy użyciu technik innych niż precyzyjne dostrajanie, które zostały już wypróbowane w twoim przypadku użycia.
  • Należy mieć oceny ilościowe wydajności punktu odniesienia, jeśli jest to możliwe.

Typowe znaki, które mogą nie być jeszcze gotowe do dostrajania:

  • Począwszy od dostrajania bez testowania innych technik.
  • Niewystarczająca wiedza lub wiedza na temat tego, jak dostrajanie ma zastosowanie specjalnie do dużych modeli językowych (LLMs).
  • Brak pomiarów porównawczych w celu oceny precyzyjnego dostrajania.

Co nie działa z alternatywnymi podejściami?

Zrozumienie, gdzie brakuje monitów inżynieryjnych, powinno dostarczyć wskazówek dotyczących dostosowywania. Czy model podstawowy kończy się niepowodzeniem w przypadkach brzegowych lub wyjątkach? Czy model podstawowy nie stale dostarcza danych wyjściowych w odpowiednim formacie i nie można dopasować wystarczającej liczby przykładów w oknie kontekstowym, aby go naprawić?

Przykłady awarii z modelem podstawowym i inżynierią monitów pomogą Zidentyfikować dane, które muszą zebrać w celu dostrajania, oraz sposób oceny dostosowanego modelu.

Oto przykład: Klient chciał użyć biblioteki GPT-3.5-Turbo, aby przekształcić pytania języka naturalnego w zapytania w określonym, niestandardowym języku zapytań. W wierszu polecenia podano wskazówki ("Zawsze zwracaj GQL") i użyto programu RAG do pobrania schematu bazy danych. Jednak składnia nie zawsze była poprawna i często kończyła się niepowodzeniem w przypadku przypadków brzegowych. Zebrali tysiące przykładów pytań dotyczących języka naturalnego i równoważnych zapytań dotyczących bazy danych, w tym przypadków, w których model wcześniej zakończył się niepowodzeniem, i wykorzystali te dane do dostosowania modelu. Połączenie nowego, dostosowanego modelu z zaprojektowanym monitem i pobieraniem przyniosło dokładność danych wyjściowych modelu do akceptowalnych standardów użycia.

Jeśli wszystko jest gotowe do dostrajania:

  • Zapoznaj się z jasnymi przykładami dotyczącymi podejścia alternatywnego i tego, co zostało przetestowane, jak to możliwe, aby poprawić wydajność.
  • Zidentyfikowano braki przy użyciu modelu podstawowego, takie jak niespójna wydajność w przypadkach brzegowych, brak możliwości dopasowania wystarczającej liczby monitów strzałów w oknie kontekstowym w celu kierowania modelem, dużym opóźnieniem itp.

Typowe oznaki, które mogą nie być gotowe do dostrajania, obejmują:

  • Niewystarczająca wiedza z modelu lub źródła danych.
  • Brak możliwości znalezienia odpowiednich danych do obsługi modelu.

Jakie dane będą używane do dostrajania?

Nawet w przypadku doskonałego użycia dostrajanie jest tak dobre, jak jakość danych, które można dostarczyć. Musisz być gotów zainwestować czas i wysiłek, aby dostrajać pracę. Różne modele wymagają różnych ilości danych, ale często trzeba mieć możliwość zapewnienia dość dużych ilości danych wyselekcjonowanych wysokiej jakości.

Innym ważnym punktem jest nawet w przypadku danych wysokiej jakości, jeśli dane nie są w wymaganym formacie dostrajania, należy zatwierdzić zasoby inżynieryjne w celu prawidłowego sformatowania danych.

Data Babbage-002
Davinci-002		 GPT-3.5-Turbo
GPT-4o i GPT-4o mini
GPT-4
Objętość Tysiące przykładów Tysiące przykładów
Formatuj Monit/zakończenie Rozmowa konwersacyjna

Jeśli wszystko jest gotowe do dostrajania:

  • Zidentyfikowano zestaw danych do dostrajania.
  • Odpowiednio sformatował zestaw danych na potrzeby trenowania.
  • Wyselekcjonowane zestaw danych w celu zapewnienia jakości.

Typowe znaki, które mogą nie być jeszcze gotowe do dostrajania:

  • Zestaw danych nie został jeszcze zidentyfikowany.
  • Format zestawu danych nie jest zgodny z modelem, który chcesz dostosować.

Jak zmierzysz jakość dostosowanego modelu?

Nie ma jednej właściwej odpowiedzi na to pytanie, ale należy jasno zdefiniować cele dotyczące tego, jak wygląda sukces z dostrajaniem. W idealnym przypadku nie powinno to być tylko jakościowe, ale powinno obejmować ilościowe miary sukcesu, takie jak wykorzystanie zestawu blokady danych do weryfikacji, a także testowanie akceptacyjne użytkowników lub testowanie A/B dostosowanego modelu do modelu podstawowego.

Następne kroki