Udostępnij za pośrednictwem

Konfigurowanie i zagadnienia dotyczące ai_generate_text()

  • Artykuł

Ważne

Ta funkcja jest dostępna w publicznej wersji zapoznawczej.

Ostrzeżenie

Funkcja ai_generate_text() sztucznej inteligencji jest przestarzała. Usługa Databricks zaleca używanie ai_query z modelami zewnętrznymi.

W tym artykule opisano, co należy wziąć pod uwagę i co należy skonfigurować przed rozpoczęciem korzystania z ai_generate_text() funkcji, w szczególności sposób pobierania poświadczeń uwierzytelniania i bezpiecznego przechowywania ich. Obejmuje również ograniczenia funkcjonalności i zagadnienia dotyczące wydajności kosztów.

Co to jest ai_generate_text()?

Funkcja ai_generate_text() jest wbudowaną funkcją SQL usługi Azure Databricks, która umożliwia uzyskiwanie dostępu do dużych modeli językowych (LLM) bezpośrednio z bazy danych SQL. Ta funkcja obsługuje obecnie dostęp do modeli OpenAI i Azure OpenAI oraz umożliwia klientom używanie ich jako bloków konstrukcyjnych w potokach danych i obciążeniach uczenia maszynowego. Aby uzyskać informacje o składni i wzorcach projektowych, zobacz zawartość ręczną języka funkcji ai_generate_text.

Możliwe przypadki użycia obejmują ai_generate_text() tłumaczenie, podsumowanie, zalecane akcje, identyfikację tematu lub motywu i wiele innych.

Poniżej przedstawiono kilka zalet korzystania z usługi LLMs w usłudze Azure Databricks:

  • Ujednolicona warstwa dostępu i zarządzania w ramach oprogramowania open source i własnościowych maszyn LLM.
  • Bezserwerowa, automatyczna skalowanie, zintegrowana z danymi infrastruktura LLM.
  • Prostota typu punkt-kliknij, aby dostosować maszyny LLM do wymagań biznesowych i przypadków użycia.
  • W przypadku zaawansowanych użytkowników narzędzia do szybkiego opracowywania i dostosowywania maszyn LLM typu open source.

Wymagania

  • Rejestracja w publicznej wersji zapoznawczej funkcji sztucznej inteligencji. Aby zarejestrować się w publicznej wersji zapoznawczej, wypełnij i prześlij formularz rejestracji usługi AI Functions w publicznej wersji zapoznawczej.
  • Usługa Azure Databricks SQL Pro lub bezserwerowa.
  • Dowiedz się, że włączenie i użycie tej funkcji kieruje dane do opuszczenia środowiska SQL i przekazania ich do dostawców modeli LLM innych firm: OpenAI i Azure OpenAI.
  • Masz dostęp do usługi Azure OpenAI lub OpenAI.
  • Wdrożony model GPT 3.5 Turbo.

Pobieranie szczegółów uwierzytelniania

Aby użyć ai_generate_text() funkcji, musisz mieć dostęp do usługi Azure OpenAI lub OpenAI.

Pobierz szczegóły uwierzytelniania dla usługi Azure OpenAI, wykonując następujące kroki. Szczegóły uwierzytelniania wypełniają resourceName parametry i deploymentName .ai_generate_text()

  1. Przejdź do usług Cognitive Services w witrynie Azure Portal i wybierz pozycję Azure OpenAI.
  2. Wybierz zasób, którego chcesz użyć.
  3. Wybierz pozycję Klucze i punkt końcowy w obszarze Zarządzanie zasobami.
  4. Skopiuj klucz i nazwę zasobu.
  5. Wybierz pozycję Wdrożenia modelu w obszarze Zarządzanie zasobami .
  6. Skopiuj nazwę wdrożenia modelu.

W przypadku interfejsu OpenAI możesz przejść do pozycji OpenAI i wybrać klucze interfejsu API, aby utworzyć klucz.

Uwaga

Nie można skopiować kluczy dla istniejącej konfiguracji klucza.

Można:

  • Pobierz klucz z osoby, nazywanej również podmiotem zabezpieczeń, który utworzył konfigurację.
  • Utwórz nowy klucz i skopiuj klucz podany po pomyślnym utworzeniu.

Przechowywanie tokenów dostępu

Ważne

Nie dołączaj tokenu do zwykłego tekstu w notesie, kodzie lub repozytorium git.

Możesz użyć wpisów tajnych usługi Azure Databricks do przechowywania tokenów interfejsu API. Użyj interfejsu wiersza polecenia usługi Databricks lub interfejsu API wpisów tajnych 2.0, aby utworzyć wpisy tajne. Kroki opisane w poniższym przykładzie korzystają z interfejsu wiersza polecenia wpisy tajne:

  1. Jeśli nie masz jeszcze zakresu wpisów tajnych, aby zachować klucze OpenAI, utwórz go:

    databricks secrets create-scope openai

  2. Musisz przyznać uprawnienia do odczytu lub wyższym użytkownikom lub grupom, które mogą łączyć się z usługą OpenAI. Usługa Databricks zaleca utworzenie grupy openai-users i dodanie dozwolonych użytkowników do tej grupy.

    databricks secrets put-acl openai openai-users READ

  3. Utwórz wpis tajny dla tokenu dostępu interfejsu API. Usługa Databricks zaleca format <resource-name>-key:

    databricks secrets put-secret openai demo-key --string-value yourkey123

Ograniczenia

  • ai_generate_text() nie jest obsługiwany w klastrach interakcyjnych lub zadań.
  • Jedynymi modelami obsługiwanymi w wersji zapoznawczej są openai/gpt-3.5-turbo i azure_openai/gpt-35-turbo.
  • Limit tokenu dla openai/gpt-3.5-turbo tokenów i azure_openai/gpt-35-turbo wynosi 4096 tokenów.

Zagadnienia dotyczące kosztów i wydajności

  • Usługi OpenAI i Azure OpenAI wymagają subskrypcji i opłat oddzielnie od usługi Azure Databricks.
    • Koszty tokenów usług OpenAI i Azure OpenAI Services mają zastosowanie zarówno do danych wejściowych, jak i wyjściowych.
    • Aby uzyskać szczegółowe informacje, zobacz stronę cennika interfejsu OpenAI i cennik usługi Azure OpenAI.
  • W ramach danego zapytania wywołania interfejsów API LLM są wykonywane sekwencyjnie dla kolumn, w których są wywoływane funkcje.
    • W porównaniu z większością funkcji SQL zapytania używające ai_generate_text() zwykle działają wolniej.
  • Czas odpowiedzi zapytania, który wywołuje funkcje sztucznej inteligencji, zależy od zadania określonego w wierszu polecenia, a także liczby dostarczonych i żądanych tokenów.
  • Usługa Azure OpenAI service jest dostępna tylko w niewielkiej liczbie regionów świadczenia usługi Azure w momencie obowiązywania tej wersji zapoznawczej.

Dodatkowe zasoby

Zapoznaj się z dokumentacją ręczną języka, aby zapoznać się ze składnią i wzorcami projektowymi funkcji ai_generate_text.

Zobacz Analizowanie recenzji klientów za pomocą ai_generate_text() i interfejsu OpenAI , aby zapoznać się z przykładem użycia ai_generate_text() w scenariuszu biznesowym.