Tillämpa AI på data med hjälp av Azure Databricks AI Functions
Viktigt!
Den här funktionen finns som allmänt tillgänglig förhandsversion.
Den här artikeln beskriver Azure Databricks AI Functions och de funktioner som stöds.
Vad är AI Functions?
AI Functions är inbyggda funktioner som du kan använda för att tillämpa AI, till exempel textöversättning eller attitydanalys, på dina data som lagras på Databricks. De kan köras var som helst i Databricks, inklusive Databricks SQL, anteckningsböcker, Delta Live Tables och arbetsflöden.
AI Functions är enkla att använda, snabba och skalbara. Analytiker kan använda dem för att tillämpa dataintelligens på sina egna data, medan dataforskare och maskininlärningstekniker kan använda dem för att skapa batchpipelines i produktionsklass.
AI Functions tillhandahåller allmänna och uppgiftsspecifika funktioner.
-
ai_queryär en generell funktion som gör att du kan använda alla typer av AI-modeller på dina data. Se -funktionen för generell användning:ai_query. - Uppgiftsspecifika funktioner ger ai-funktioner på hög nivå för uppgifter som att sammanfatta text och översättning. Dessa uppgiftsspecifika funktioner drivs av de senaste generativa AI-modellerna som är värd för och hanterade av Databricks. Se Uppgiftsspecifika AI-funktioner för funktioner och modeller som stöds.
Allmän funktionsändamål: ai_query
Med funktionen ai_query() kan du använda alla AI-modeller för data för både generativa AI- och klassiska ML-uppgifter, inklusive att extrahera information, sammanfatta innehåll, identifiera bedrägerier och prognostisera intäkter.
I följande tabell sammanfattas de modelltyper som stöds, de associerade modellerna och deras krav.
| Typ | Modeller som stöds | Krav |
|---|---|---|
| Databricks-hostade grundmodeller |
Dessa modeller görs tillgängliga genom Foundation Model API:er. |
Kräver ingen slutpunktsetablering eller konfiguration. |
| Finjusterade grundmodeller | Finjusterade grundmodeller distribuerade på Mosaic AI Model Serving | Kräver att du skapar en tillhandahållen genomströmningsslutpunkt i Model Serving. Se Batch-slutsatsdragning med anpassade modeller eller finjusterade grundmodeller. |
| Grundmodeller som finns utanför Databricks | Modeller som görs tillgängliga genom användning av externa modeller . Se Access Foundation-modeller som finns utanför Databricks. | Kräver att du skapa en extern modell som betjänar slutpunkten. |
| Anpassade traditionella ML- och DL-modeller | Alla traditionella ML- eller DL-modeller, till exempel scikit-learn, xgboost eller PyTorch | Kräver att du skapa en anpassad modell som betjänar slutpunkten |
Använda ai_query med grundmodeller
I följande exempel visas hur du använder ai_query med hjälp av en grundmodell som hanteras av Databricks. Syntaxinformation och parametrar finns i ai_query funktion funktion.
SELECT text, ai_query(
"databricks-meta-llama-3-3-70b-instruct",
"Summarize the given text comprehensively, covering key points and main ideas concisely while retaining relevant details and examples. Ensure clarity and accuracy without unnecessary repetition or omissions: " || text
) AS summary
FROM uc_catalog.schema.table;
Använda ai_query med traditionella ML-modeller
ai_query stöder traditionella ML-modeller, inklusive helt anpassade modeller. Dessa modeller måste distribueras på modellserverslutpunkter. Syntaxinformation och parametrar finns i ai_query funktion funktion.
SELECT text, ai_query(
endpoint => "spam-classification",
request => named_struct(
"timestamp", timestamp,
"sender", from_number,
"text", text),
returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10
uppgiftsspecifika AI-funktioner
Uppgiftsspecifika funktioner är begränsade till en viss uppgift så att du kan automatisera rutinuppgifter, till exempel enkla sammanfattningar och snabböversättningar. Dessa funktioner anropar en toppmodern generativ AI-modell som underhålls av Databricks och de kräver ingen anpassning.
Ett exempel finns i Analysera kundrecensioner med hjälp av AI Functions.
I följande tabell visas de funktioner som stöds och vilken uppgift de utför.
| Funktion | Beskrivning |
|---|---|
| ai_analyze_sentiment | Utför attitydanalys på indatatext med hjälp av en toppmodern generativ AI-modell. |
| ai_classify | Klassificera indatatext enligt etiketter som du anger med hjälp av en toppmodern generativ AI-modell. |
| ai_extract | Extrahera entiteter som anges av etiketter från text med hjälp av en toppmodern generativ AI-modell. |
| ai_korrigera_grammatik | Korrigera grammatiska fel i text med hjälp av en toppmodern generativ AI-modell. |
| ai_gen | Svara på uppmaningen från användaren med hjälp av en toppmodern generativ AI-modell. |
| ai_mask | Maskera angivna entiteter i text med hjälp av en toppmodern generativ AI-modell. |
| ai_similarity | Jämför två strängar och beräkna den semantiska likhetspoängen med hjälp av en toppmodern generativ AI-modell. |
| ai_summarize | Generera en sammanfattning av text med hjälp av SQL och den senaste generativa AI-modellen. |
| ai_translate | Översätta text till ett angivet målspråk med hjälp av en toppmodern generativ AI-modell. |
| ai_forecast | Prognostisera data upp till en angiven horisont. Den här tabellvärdesfunktionen är utformad för att extrapolera tidsseriedata i framtiden. |
| vector_search | Sök efter och fråga ett Mosaic AI Vector Search index med hjälp av en toppmodern generativ AI-modell. |
Använda AI Functions i befintliga Python-arbetsflöden
AI Functions kan enkelt integreras i befintliga Python-arbetsflöden.
Följande skriver utdata från ai_query till en utdatatabell:
df_out = df.selectExpr(
"ai_query('databricks-meta-llama-3-3-70b-instruct', CONCAT('Please provide a summary of the following text: ', text), modelParameters => named_struct('max_tokens', 100, 'temperature', 0.7)) as summary"
)
df_out.write.mode("overwrite").saveAsTable('output_table')
Följande skriver denna sammanfattade text i en tabell:
df_summary = df.selectExpr("ai_summarize(text) as summary")
df_summary.write.mode('overwrite').saveAsTable('summarized_table')
Använda AI Functions i produktionsarbetsflöden
För storskalig batchinferens kan ai_query integreras med produktionsarbetsflöden som Databricks-arbetsflöden och strukturerad direktuppspelning. Detta möjliggör bearbetning i produktionsklass i stor skala. Mer information finns i Utföra batch-LLM-slutsatsdragning med AI Functions.
Övervaka AI-funktioners förlopp
För att förstå hur många slutsatsdragningar som har slutförts eller misslyckats och felsöka prestanda kan du övervaka förloppet för AI-funktioner med hjälp av frågeprofilfunktionen.
Utför följande steg från frågefönstret för SQL-redigeraren på din arbetsyta:
- Välj länken Körning--- längst ned i fönstret Råresultat. Prestandafönstret visas till höger.
- Klicka på Visa frågeprofil för att se prestandainformation.
- Klicka på AI Query för att se mått för den specifika frågan, inklusive antalet slutförda och misslyckade slutsatsdragningar och den totala tid som begäran tog att slutföra.
