Sdílet prostřednictvím

Dotazování obsluhovaného modelu pomocí ai_query

  • Článek

Důležité

Tato funkce je ve verzi Public Preview.

Tento článek popisuje, jak dotazovat model obsluhující koncový bod z SQL pomocí ai_query(). Pro případy použití s více než 100 řádky dat doporučuje Databricks používat ai_query se zřízeným koncovým bodem propustnosti. Viz Provést dávkovou inferenci LLM pomocí ai_query.

Co je ai_query()?

Tato ai_query() funkce je integrovaná funkce SQL v Azure Databricks, která je součástí funkcí AI. Umožňuje přístup k těmto typům modelů z dotazů SQL:

  • Vlastní modely hostované koncovým bodem obsluhující model
  • Modely hostované rozhraními API modelu Databricks Foundation
  • Externí modely (modely třetích stran hostované mimo Databricks)

Vzory syntaxe a návrhu najdete v tématu ai_query funkce.

Pokud se tato funkce používá k dotazování modelu obsluhujícího koncový bod, je k dispozici pouze v pracovních prostorech a oblastech, whereje k dispozici a povolená služba Obsluha modelu.

Požadavky

Dotazování koncového bodu pomocí ai_query()

Model za koncovým bodem můžete dotazovat pomocí ai_query() bezserverových nebo pro SQL Warehouse. Informace o hodnocení formátů požadavků a odpovědí najdete v části Základní modely dotazů.

Poznámka:

  • Pro Databricks Runtime 14.2 a vyšší je tato funkce podporovaná v prostředích poznámkových bloků, včetně poznámkových bloků a úloh Databricks.
  • Pro Databricks Runtime 14.1 a novější není tato funkce podporovaná v prostředích poznámkových bloků, včetně poznámkových bloků Databricks.

Příklad: Dotazování velkého jazykového modelu

Následující příklad dotazuje model za sentiment-analysis koncovým bodem s text datovou sadou a určuje návratový typ požadavku.

SELECT text, ai_query(
    "sentiment-analysis",
    text,
    returnType => "STRUCT<label:STRING, score:DOUBLE>"
  ) AS predict
FROM
  catalog.schema.customer_reviews
LIMIT 10

Příklad: Dotazování prediktivního modelu

Následující příklad se dotazuje klasifikačního modelu za koncovým bodem spam-classification a předpovídá, jestli je text spamem v inbox_messagestable. Model má 3 vstupní funkce: časové razítko, odesílatel, text. Model vrátí logické pole.

SELECT text, ai_query(
  endpoint => "spam-classification",
  request => named_struct(
    "timestamp", timestamp,
    "sender", from_number,
    "text", text),
  returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10