Delen via

Instellen en overwegingen voor ai_generate_text()

  • Artikel

Belangrijk

Deze functie is beschikbaar als openbare preview.

Waarschuwing

De AI-functie ai_generate_text() is afgeschaft. Databricks raadt het gebruik van ai_query aan met externe modellen.

In dit artikel wordt beschreven wat u moet overwegen en wat u moet instellen voordat u de ai_generate_text() functie gaat gebruiken, met name hoe u verificatiereferenties ophaalt en veilig opslaat. Het omvat ook functionaliteitsbeperkingen en overwegingen voor kostenprestaties.

Wat is ai_generate_text()?

De ai_generate_text() functie is een ingebouwde Azure Databricks SQL-functie waarmee u rechtstreeks vanuit SQL toegang hebt tot grote taalmodellen (LLM's). Deze functie ondersteunt momenteel de toegang tot OpenAI- en Azure OpenAI-modellen en stelt klanten in staat om ze te gebruiken als bouwstenen in gegevenspijplijnen en machine learning-workloads. Raadpleeg de inhoud van de ai_generate_text-functie in de-taalhandleiding voor syntaxis- en ontwerppatronen.

Mogelijke gebruiksvoorbeelden voor ai_generate_text() vertaling, samenvatting, aanbevolen acties, onderwerp- of themaidentificatie en nog veel meer.

Hier volgen enkele voordelen van het gebruik van LLM's in Azure Databricks:

  • Geïntegreerde toegangs- en beheerlaag voor open source en eigen LLM's.
  • Serverloze, automatisch schaalbare, gegevens-geïntegreerde LLM-infrastructuur.
  • Wijs-en-klikgemak om LLM's aan te passen aan de vereisten en gebruikssituaties van uw bedrijf.
  • Voor geavanceerde gebruikers, hulpprogramma's voor snelle ontwikkeling en aanpassing van opensource-LLM's.

Vereisten

  • Inschrijving in de openbare preview van AI-functies. Als u zich wilt inschrijven voor de openbare preview, vult u het inschrijvingsformulier voor openbare preview-versie van AI Functions in en verzendt u deze.
  • Azure Databricks SQL Pro of Serverless.
  • Begrijp dat de activering en het gebruik van deze functionaliteit gegevens omsturen om uw SQL-omgeving te verlaten en door te geven aan externe LLM-modelproviders: OpenAI en Azure OpenAI.
  • U hebt toegang tot Azure OpenAI of OpenAI.
  • Een GPT 3.5 Turbo-model geïmplementeerd.

Verificatiedetails ophalen

Als u de ai_generate_text() functie wilt gebruiken, moet u toegang hebben tot Azure OpenAI of OpenAI.

Haal verificatiedetails voor Azure OpenAI op met de volgende stappen. Uw verificatiegegevens vullen de resourceName en deploymentName parameters van ai_generate_text().

  1. Navigeer naar Cognitive Services in azure Portal en selecteer Azure OpenAI.
  2. Selecteer de resource die u wilt gebruiken.
  3. Selecteer Sleutels en eindpunt onder Resourcebeheer.
  4. Kopieer uw sleutel en de naam van uw resource.
  5. Selecteer Modelimplementaties onder ResourceBeheer.
  6. Kopieer de naam van de modelimplementatie.

Voor OpenAI kunt u naar OpenAI navigeren en API-sleutels selecteren om uw sleutel te maken.

Notitie

U kunt geen sleutels kopiëren voor een bestaande sleutelconfiguratie.

U hebt de volgende mogelijkheden:

  • Haal de sleutel op van de persoon, ook wel de principal genoemd, die de configuratie heeft gemaakt.
  • Maak een nieuwe sleutel en kopieer de sleutel die is opgegeven na succesvolle aanmaak.

Toegangstokens opslaan

Belangrijk

Bewaar uw token niet in platte tekst in uw notebook, code of git-opslagplaats.

U kunt Azure Databricks-geheimen gebruiken om uw API-tokens op te slaan. Gebruik de Databricks CLI of Secrets API 2.0 om uw geheimen te maken. In de stappen in het volgende voorbeeld wordt de Secrets CLI gebruikt:

  1. Als u nog geen geheime ruimte hebt om uw OpenAI-sleutels in op te slaan, maakt u er een:

    databricks secrets create-scope openai

  2. U moet leesmachtigingen of hoger verlenen aan gebruikers of groepen die verbinding mogen maken met OpenAI. Databricks raadt aan om een groep openai-users te maken en toegestane gebruikers toe te voegen aan die groep.

    databricks secrets put-acl openai openai-users READ

  3. Maak een geheim voor uw API-toegangstoken. Databricks raadt de indeling <resource-name>-keyaan:

    databricks secrets put-secret openai demo-key --string-value yourkey123

Beperkingen

  • ai_generate_text() wordt niet ondersteund in interactieve clusters of werklading clusters.
  • De enige modellen die worden ondersteund in de preview zijn openai/gpt-3.5-turbo en azure_openai/gpt-35-turbo.
  • De tokenlimiet voor openai/gpt-3.5-turbo en azure_openai/gpt-35-turbo is 4096 tokens.

Overwegingen voor kosten en prestaties

  • Voor OpenAI- en Azure OpenAI-services zijn abonnementen en kosten afzonderlijk van Azure Databricks vereist.
    • De tokenkosten van OpenAI en Azure OpenAI Services zijn van toepassing op zowel invoer als uitvoer.
    • Zie de pagina met prijzen van OpenAI en de pagina met Prijzen van Azure OpenAI voor meer informatie.
  • Binnen een bepaalde query worden aanroepen naar de LLM-API's opeenvolgend uitgevoerd voor de kolommen waarop de functies worden aangeroepen.
    • In vergelijking met de meeste SQL-functies worden query's die worden gebruikt ai_generate_text() , meestal trager uitgevoerd.
  • De reactietijd van een query die AI-functies aanroept, is afhankelijk van de taak die is opgegeven in de prompt, evenals het aantal tokens dat is opgegeven en aangevraagd.
  • De Azure OpenAI-service is alleen beschikbaar in een klein aantal Azure-regio's op het moment van deze preview.

Aanvullende bronnen

Zie de taalhandleiding voor syntaxis- en ontwerppatronen voor de functie ai_generate_text.

Zie Klantbeoordelingen analyseren met ai_generate_text() en OpenAI- voor een voorbeeld van het gebruik van ai_generate_text() in een bedrijfsscenario.