Freigeben über

Einrichtung von und Überlegungen zu ai_generate_text()

  • Artikel

Wichtig

Dieses Feature befindet sich in der Public Preview.

Warnung

Die KI-Funktion ai_generate_text() ist veraltet. Databricks empfiehlt die Verwendung von ai_query mit externen Modellen.

In diesem Artikel wird beschrieben, was zu beachten und einzurichten ist, bevor Sie die ai_generate_text()-Funktion verwenden, insbesondere wie Sie Authentifizierungsinformationen abrufen und sicher speichern. Außerdem werden Funktionseinschränkungen und Überlegungen zum Kosten-Nutzen-Verhältnis behandelt.

Was ist ai_generate_text()?

Die ai_generate_text()-Funktion ist eine integrierte Azure Databricks SQL-Funktion, mit der Sie direkt von SQL aus auf große Sprachmodelle (LLMs) zugreifen können. Diese Funktion unterstützt derzeit den Zugriff auf OpenAI- und Azure OpenAI-Modelle und ermöglicht es Kunden, diese als Bausteine in Datenpipelines und Machine Learning-Workloads zu verwenden. Informationen zu Syntax- und Entwurfsmustern finden Sie unter „ai_generate_text“-Funktion im Handbuch zur Sprache.

Mögliche Anwendungsfälle für ai_generate_text() sind Übersetzungen, Zusammenfassungen, Handlungsempfehlungen, Themenfindung und vieles mehr.

Im Folgenden finden Sie einige Vorteile der Verwendung von LLMs in Azure Databricks:

  • Einheitliche Zugriffs- und Verwaltungsebene für Open-Source- und proprietäre LLMs
  • Serverlose, automatisch skalierende, datenintegrierte LLM-Infrastruktur
  • Einfache Anpassung von LLMs an Ihre Geschäftsanforderungen und Anwendungsfälle durch Zeigen und Klicken
  • Für fortgeschrittene Benutzer*innen: Tools für die schnelle Entwicklung und Anpassung von Open-Source-LLMs

Anforderungen

  • Registrierung für die Public Preview von KI-Funktionen. Um sich für die Public Preview zu registrieren, füllen Sie das Registrierungsformular „AI Functions: Public Preview“ aus, und übermitteln Sie es.
  • Azure Databricks SQL Pro oder Serverless.
  • Verstehen, dass die Aktivierung und Verwendung dieser Funktion dazu führt, dass Daten Ihre SQL-Umgebung verlassen und an LLM-Modelldrittanbieter weitergeleitet werden: OpenAI und Azure OpenAI
  • Zugriff auf Azure OpenAI oder OpenAI
  • Ein bereitgestelltes GPT 3.5 Turbo-Modell

Abrufen von Authentifizierungsdetails

Um die ai_generate_text()-Funktion verwenden zu können, müssen Sie auf Azure OpenAI oder OpenAI zugreifen können.

Rufen Sie die Authentifizierungsdetails für Azure OpenAI mit den folgenden Schritten ab. Ihre Authentifizierungsdetails füllen die resourceName- und deploymentName-Parameter von ai_generate_text() auf.

  1. Navigieren Sie im Azure-Portal zu Cognitive Services, und wählen Sie Azure OpenAI aus.
  2. Wählen Sie die Ressource aus, die Sie verwenden möchten.
  3. Wählen Sie unter „Ressourcenverwaltung“ die Option Schlüssel und Endpunkt aus.
  4. Kopieren Sie Ihren Schlüssel und den Namen Ihrer Ressource.
  5. Wählen Sie unter „Ressourcenverwaltung“ die Option Modellimplementierung aus.
  6. Kopieren Sie den Modellimplementierungsnamen.

Für OpenAI können Sie zu OpenAI navigieren und API-Schlüssel auswählen, um Ihren Schlüssel zu erstellen.

Hinweis

Sie können keine Schlüssel für eine vorhandene Schlüsselkonfiguration kopieren.

Sie haben folgende Möglichkeiten:

  • Rufen Sie den Schlüssel von der Person ab, die auch als Prinzipal bezeichnet wird und die Konfiguration erstellt hat.
  • Erstellen Sie einen neuen Schlüssel, und kopieren Sie den Schlüssel, der bei der erfolgreichen Erstellung bereitgestellt wurde.

Speichern von Zugriffstoken

Wichtig

Schließen Sie Ihr Token nicht in Nur-Text in Ihr Notebook, Ihren Code oder Ihr Git-Repository ein.

Sie können Azure Databricks-Geheimnisse verwenden, um Ihre API-Token zu speichern. Verwenden Sie die Databricks-CLI oder die Geheimnis-API 2.0, um Ihre Geheimnisse zu erstellen. Die Schritte im folgenden Beispiel verwenden die Geheimnis-CLI:

  1. Wenn Sie noch nicht über einen Geheimnisbereich verfügen, in dem Ihre OpenAI-Schlüssel gespeichert werden können, erstellen Sie einen:

    databricks secrets create-scope openai

  2. Sie müssen Benutzern oder Gruppen, die eine Verbindung mit OpenAI herstellen dürfen, READ-Berechtigungen oder höher erteilen. Databricks empfiehlt, eine openai-users-Gruppe zu erstellen und dieser Gruppe zulässige Benutzer hinzuzufügen.

    databricks secrets put-acl openai openai-users READ

  3. Erstellen Sie ein Geheimnis für Ihr API-Zugriffstoken. Databricks empfiehlt das Format <resource-name>-key:

    databricks secrets put-secret openai demo-key --string-value yourkey123

Begrenzungen

  • ai_generate_text() wird in interaktiven Clustern oder Auftragsclustern nicht unterstützt.
  • Die einzigen Modelle, die in der Vorschau unterstützt werden, sind openai/gpt-3.5-turbo und azure_openai/gpt-35-turbo.
  • Das Tokenlimit für openai/gpt-3.5-turbo und azure_openai/gpt-35-turbo beträgt 4096 Token.

Überlegungen zu Kosten und Leistung

  • OpenAI- und Azure OpenAI Service erfordern Abonnements und werden separat von Azure Databricks berechnet.
  • Innerhalb einer bestimmten Abfrage werden Aufrufe der LLM-APIs sequenziell für die Spalten durchgeführt, für die die Funktionen aufgerufen werden.
    • Im Vergleich zu den meisten SQL-Funktionen werden Abfragen mit ai_generate_text() tendenziell langsamer ausgeführt.
  • Die Antwortzeit einer Abfrage, die KI-Funktionen aufruft, hängt sowohl von der im Prompt angegebenen Aufgabe als auch von der Anzahl der bereitgestellten und angeforderten Token ab.
  • Azure OpenAI Service ist zum Zeitpunkt dieser Vorschau nur in wenigen Azure-Regionen verfügbar.

Zusätzliche Ressourcen

Syntax- und Entwurfsmuster für die Funktion „ai_generate_text“ finden Sie im Handbuch zur Sprache.

Weitere Informationen dazu, wie Sie ai_generate_text() in einem Geschäftsszenario verwenden können, finden Sie unter Analysieren von Kundenbewertungen mit „ai_generate_text()“ und OpenAI.