Applicare l'intelligenza artificiale ai dati usando Funzioni di intelligenza artificiale di Azure Databricks
Importante
Questa funzionalità è disponibile in anteprima pubblica.
Questo articolo descrive Funzioni di intelligenza artificiale di Azure Databricks e le funzioni supportate.
Che cosa sono le funzioni di intelligenza artificiale?
Le funzioni di intelligenza artificiale sono funzioni predefinite che è possibile usare per applicare l'intelligenza artificiale, ad esempio la traduzione testuale o l'analisi del sentiment, sui dati archiviati in Databricks. Possono essere eseguiti da qualsiasi posizione in Databricks, tra cui Databricks SQL, notebook, tabelle live Delta e flussi di lavoro.
Le funzioni di intelligenza artificiale sono semplici da usare, veloci e scalabili. Gli analisti possono usarli per applicare l'intelligence dei dati ai dati proprietari, mentre i data scientist e i tecnici di Machine Learning possono usarli per creare pipeline batch di livello di produzione.
Le funzioni di intelligenza artificiale forniscono funzioni per utilizzo generico e specifiche dell'attività.
-
ai_queryè una funzione per utilizzo generico che consente di applicare qualsiasi tipo di modello di intelligenza artificiale ai dati. Consulta la funzione per utilizzo generico :ai_query. - Le funzioni specifiche delle attività offrono funzionalità di intelligenza artificiale di alto livello per attività come il riepilogo di testo e traduzione. Queste funzioni specifiche dell'attività sono basate su modelli di intelligenza artificiale generativi all'avanguardia ospitati e gestiti da Databricks. Vedere funzioni di intelligenza artificiale specifiche dell'attività per funzioni e modelli supportati.
funzione per utilizzo generico: ai_query
La funzione ai_query() consente di applicare qualsiasi modello di intelligenza artificiale ai dati per attività di intelligenza artificiale generative e ml classiche, tra cui l'estrazione di informazioni, il riepilogo del contenuto, l'identificazione delle frodi e la previsione dei ricavi.
La tabella seguente riepiloga i tipi di modello supportati, i modelli associati e i relativi requisiti.
| TIPO | Modelli supportati | Requisiti |
|---|---|---|
| Modelli di base ospitati da Databricks |
Questi modelli vengono resi disponibili usando le API Foundation Model. |
Non richiede alcun provisioning o configurazione degli endpoint. |
| Modelli di base ottimizzati | Modelli di base ottimizzati distribuiti in Mosaic AI Model Serving | Richiede di creare un endpoint con velocità effettiva fornita in Model Serving. Consulta inferenza batch usando modelli personalizzati o modelli fondamentali ottimizzati. |
| Modelli di base ospitati all'esterno di Databricks | Modelli resi disponibili usando modelli esterni. Vedere Modelli di base di Access ospitati all'esterno di Databricks. | È necessario creare un modello esterno che gestisce l'endpoint. |
| Modelli di Machine Learning e DL personalizzati | Qualsiasi modello di ML o DL tradizionale, ad esempio scikit-learn, xgboost o PyTorch | È necessario creare un modello personalizzato che gestisce l'endpoint |
Usare ai_query con i modelli di base
L'esempio seguente illustra come usare ai_query usando un modello di base ospitato da Databricks. Per informazioni dettagliate sulla sintassi e sui parametri della funzione ai_query, vedere la funzione.
SELECT text, ai_query(
"databricks-meta-llama-3-3-70b-instruct",
"Summarize the given text comprehensively, covering key points and main ideas concisely while retaining relevant details and examples. Ensure clarity and accuracy without unnecessary repetition or omissions: " || text
) AS summary
FROM uc_catalog.schema.table;
Usare ai_query con modelli di Machine Learning tradizionali
ai_query supporta modelli di Machine Learning tradizionali, inclusi quelli completamente personalizzati. Questi modelli devono essere distribuiti in endpoint di gestione del modello. Per informazioni dettagliate sulla sintassi e sui parametri della funzione ai_query, vedere la funzione.
SELECT text, ai_query(
endpoint => "spam-classification",
request => named_struct(
"timestamp", timestamp,
"sender", from_number,
"text", text),
returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10
funzioni di intelligenza artificiale specifiche dell'attività
Le funzioni specifiche dell'attività hanno come ambito un'attività specifica, in modo da poter automatizzare le attività di routine, ad esempio semplici riepiloghi e traduzioni rapide. Queste funzioni richiamano un modello di intelligenza artificiale generativo all'avanguardia gestito da Databricks e non richiedono alcuna personalizzazione.
Per un esempio, vedere Analizzare le recensioni dei clienti usando Funzioni di intelligenza artificiale.
Nella tabella seguente sono elencate le funzioni supportate e le attività eseguite da ognuna.
| Funzione | Descrizione |
|---|---|
| ai_analyze_sentiment | Esegui l'analisi del sentiment sul testo di input utilizzando un modello AI generativo all'avanguardia. |
| ai_classify | Classificare il testo di input in base alle etichette fornite usando un modello di intelligenza artificiale generativo all'avanguardia. |
| ai_extract | Estrarre le entità specificate dalle etichette dal testo usando un modello di intelligenza artificiale generativo all'avanguardia. |
| ai_fix_grammar | Correggere gli errori grammaticali nel testo usando un modello di intelligenza artificiale generativo all'avanguardia. |
| ai_gen | Rispondere al prompt fornito dall'utente usando un modello di intelligenza artificiale generativo all'avanguardia. |
| ai_mask | Mascherare le entità specificate nel testo usando un modello di intelligenza artificiale generativo all'avanguardia. |
| ai_similarity | Confrontare due stringhe e calcolare il punteggio di somiglianza semantica usando un modello di intelligenza artificiale generativo all'avanguardia. |
| ai_summarize | Generare un riepilogo del testo usando SQL e il modello di intelligenza artificiale generativo all'avanguardia. |
| ai_translate | Tradurre il testo in una lingua di destinazione specificata usando un modello di intelligenza artificiale generativo all'avanguardia. |
| ai_forecast | Prevedere i dati fino a un orizzonte specificato. Questa funzione con valori di tabella è progettata per estrapolare i dati delle serie temporali in futuro. |
| vector_search | Effettuare ricerche e query su un indice di Ricerca vettoriale di Mosaic AI utilizzando un modello di intelligenza artificiale generativa all'avanguardia. |
Usare funzioni di intelligenza artificiale nei flussi di lavoro Python esistenti
Le funzioni di intelligenza artificiale possono essere facilmente integrate nei flussi di lavoro Python esistenti.
Di seguito viene scritto l'output del ai_query in una tabella di output:
df_out = df.selectExpr(
"ai_query('databricks-meta-llama-3-3-70b-instruct', CONCAT('Please provide a summary of the following text: ', text), modelParameters => named_struct('max_tokens', 100, 'temperature', 0.7)) as summary"
)
df_out.write.mode("overwrite").saveAsTable('output_table')
Di seguito viene scritto il testo riepilogato in una tabella:
df_summary = df.selectExpr("ai_summarize(text) as summary")
df_summary.write.mode('overwrite').saveAsTable('summarized_table')
Usare funzioni di intelligenza artificiale nei flussi di lavoro di produzione
Per l'inferenza batch su larga scala, ai_query può essere integrata con flussi di lavoro di produzione, ad esempio flussi di lavoro di Databricks e Structured Streaming. Ciò consente l'elaborazione di livello di produzione su larga scala. Per altri dettagli, vedere Eseguire l'inferenza LLM batch usando funzioni di intelligenza artificiale.
Monitorare lo stato delle funzioni di intelligenza artificiale
Per comprendere il numero di inferenze completate o non riuscite e risolvere i problemi relativi alle prestazioni, è possibile monitorare lo stato di avanzamento delle funzioni di intelligenza artificiale usando la funzionalità del profilo di query.
Eseguire i passaggi seguenti dalla finestra di query dell'editor SQL nell'area di lavoro:
- Seleziona il collegamento In esecuzione--- nella parte inferiore della finestra risultati non elaborati. La finestra delle prestazioni viene visualizzata a destra.
- Fare clic su Visualizza il profilo della query per visualizzare i dettagli delle prestazioni.
- Fare clic su query di intelligenza artificiale per visualizzare le metriche per tale query specifica, tra cui il numero di inferenze completate e non riuscite e il tempo totale impiegato per il completamento della richiesta.
