Sdílet prostřednictvím

Rozhraní API základního modelu Databricks

  • Článek

Tento článek obsahuje přehled rozhraní API základního modelu v Azure Databricks. Zahrnuje požadavky na použití, podporované modely a omezení.

Co jsou rozhraní API modelu Foundation Databricks?

Rozhraní API základního modelu AI, která umožňují přístup k špičkovým otevřeným modelům a dotazování na nich z koncového bodu obsluhy, teď podporuje rozhraní API základního modelu. Pomocí rozhraní API pro základní modely můžete rychle a snadno vytvářet aplikace, které využívají vysoce kvalitní model generující AI bez údržby vlastního nasazení modelu. Rozhraní API základního modelu je určená služba Databricks, což znamená, že ke správě rezidence dat při zpracování obsahu zákazníka používá Geos Databricks .

Rozhraní API základního modelu jsou k dispozici v následujících cenových režimech:

  • Platba za token: Nejjednodušší způsob, jak začít používat základní modely v Databricks a doporučuje se začít s rozhraními API základního modelu. Tento režim není určený pro aplikace s vysokou propustností ani pro výkonné produkční úlohy.
  • Zřízená propustnost: Tento režim se doporučuje pro všechny produkční úlohy, zejména pro ty, které vyžadují vysokou propustnost, záruky výkonu, jemně vyladěné modely nebo mají další požadavky na zabezpečení. Koncové body zřízené propustnosti jsou k dispozici s certifikacemi dodržování předpisů, jako je HIPAA.

Pokyny k používání těchto režimů a podporovaných modelů najdete v tématu Použití rozhraní API základních modelů.

Pomocí rozhraní API základního modelu můžete provést následující akce:

  • Dotazem na generalizovaný LLM ověřte platnost projektu před investováním dalších zdrojů.
  • Dotazování generalizovaného LLM za účelem vytvoření rychlého testování konceptu pro aplikaci založenou na LLM před investicemi do trénování a nasazení vlastního modelu.
  • K vytvoření chatovacího robota pomocí načítání rozšířené generace (RAG) použijte základní model spolu s vektorovou databází.
  • Nahraďte proprietární modely otevřenými alternativami pro optimalizaci nákladů a výkonu.
  • Efektivně porovnejte LLM a zjistěte, který z nich je nejlepším kandidátem pro váš případ použití, nebo prohození produkčního modelu s lepším výkonem.
  • Vytvořte aplikaci LLM pro vývoj nebo produkci na základě škálovatelného řešení s podporou LLM založeného na sla, které může podporovat špičky provozu v produkčním prostředí.

Požadavky

  • Token rozhraní API Databricks pro ověření požadavků koncového bodu
  • Bezserverové výpočetní prostředky (pro zřízené modely propustnosti)
  • Pracovní prostor v jedné z následujících podporovaných oblastí:

Použití rozhraní API základního modelu

Pro použití rozhraní API základního modelu máte několik možností.

Rozhraní API jsou kompatibilní s OpenAI, takže pro dotazování můžete použít klienta OpenAI. K dotazování podporovaných modelů můžete použít také uživatelské rozhraní, rozhraní PYTHON SDK pro základní modely, sadu SDK pro nasazení MLflow nebo rozhraní REST API. Databricks doporučuje používat klientskou sadu SDK nebo rozhraní API OpenAI pro rozšířené interakce a uživatelské rozhraní pro vyzkoušení této funkce.

Příklady vyhodnocování najdete v tématu Modely generování dotazů AI.

Rozhraní API základního modelu s platbami za tokeny

V pracovním prostoru Azure Databricks můžete přistupovat k modelům s platbami za tokeny. Tyto modely se doporučují pro začátek. Přístup k nim v pracovním prostoru získáte kliknutím na kartu Obsluha na levém bočním panelu. Rozhraní API základního modelu se nacházejí v horní části zobrazení seznamu koncových bodů.

Obsluha seznamu koncových bodů

Následující tabulka shrnuje podporované modely pro platby za token. Další informace o modelu najdete v podporovaných modelech pro platby za token .

Pokud chcete otestovat a chatovat s těmito modely, můžete to udělat pomocí AI Playground. Podívejte se na chat s LLMs a prototypy aplikací GenAI pomocí AI Playground.

Důležité

  • Od 11. prosince 2024 nahrazuje Meta-Llama-3.3-70B-Instruct verzi Meta-Llama-3.1-70B-Instruct v koncových bodech API základního modelu zpoplatněných za token.
  • Meta-Llama-3.1-405B-Instruct je největší opensourcový špičkový velký jazykový model vytvořený a natrénovaný meta a distribuovaný službou Azure Machine Learning pomocí katalogu modelů AzureML.
  • Následující modely jsou teď vyřazené. Doporučené náhradní modely najdete v části Vyřazené modely .
    • Llama 2 70B Chat
    • MPT 7B – pokyn
    • MPT 30B – pokyn
Model Typ úkolu Koncový bod Notes
GTE Large (angličtina) Vkládání databricks-gte-large-en Negeneruje normalizované vkládání.
Meta-Llama-3.3-70B-Instruct Chat databricks-meta-llama-3-3-70b-instruct
Meta-Llama-3.1-405B-Instruct* Chat databricks-meta-llama-3-1-405b-instruct Viz omezení rozhraní API základního modelu pro dostupnost oblastí.
DbRX – pokyn Chat databricks-dbrx-instruct Viz omezení rozhraní API základního modelu pro dostupnost oblastí.
Mixtral-8x7B – pokyn Chat databricks-mixtral-8x7b-instruct Viz omezení rozhraní API základního modelu pro dostupnost oblastí.
BGE Large (angličtina) Vkládání databricks-bge-large-en Viz omezení rozhraní API základního modelu pro dostupnost oblastí.

* Pokud při používání tohoto modelu narazíte na selhání koncových bodů nebo chyby stabilizace, obraťte se na svůj tým účtu Databricks.

Rozhraní API základního modelu zřízené propustnosti

Zřízená propustnost poskytuje koncové body s optimalizovaným odvozováním pro úlohy základních modelů, které vyžadují záruky výkonu. Databricks doporučuje zřízenou propustnost pro produkční úlohy. Podrobné pokyny k nasazení rozhraní API základních modelů se zřízenou propustností najdete v podrobném průvodci nasazením rozhraní API základního modelu ve zřízeném režimu.

Podpora zřízené propustnosti zahrnuje:

  • základní modely všech velikostí. K základním modelům můžete přistupovat pomocí Webu Databricks Marketplace nebo si je můžete stáhnout z webu Hugging Face nebo jiného externího zdroje a zaregistrovat je v katalogu Unity. Druhý přístup funguje s libovolnou jemně vyladěnou variantou podporovaných modelů bez ohledu na použitou metodu jemného ladění.
  • doladěné varianty základních modelů, jako jsou modely doladěné pomocí proprietárních dat.
  • Plně vlastní váhy a tokenizátory, jako jsou ty, které jsou vytrénované úplně od začátku, nebo trvalé předem natrénované nebo jiné varianty využívající architekturu základního modelu (například CodeLlama).

Následující tabulka shrnuje podporované architektury modelů pro zřízenou propustnost.

Důležité

Meta Llama 3.3 má licenci na LLAMA 3.3 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění dodržování podmínek této licence a Zásady přijatelného použití Llama 3.3.

Meta Llama 3.2 je licencovaný v rámci licence LLAMA 3.2 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění souladu s podmínkami této licence a zásadami přijatelného použití Llama 3.2.

Meta Llama 3.1 jsou licencované v rámci licence LLAMA 3.1 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění dodržování předpisů s příslušnými licencemi modelu.

Architektura modelu Typy úkolů Notes
Meta Llama 3.3 Chat nebo dokončení Viz Omezení zřízené propustnosti pro varianty modelu Meta Llama, které jsou podporované a jejich dostupnost v oblasti.
Meta Llama 3.2 3B Chat nebo dokončení
Meta Llama 3.2 1B Chat nebo dokončení
Meta Llama 3.1 Chat nebo dokončení
Meta Llama 3 Chat nebo dokončení
Meta Llama 2 Chat nebo dokončení
DBRX Chat nebo dokončení Viz Omezení zřízené propustnosti pro dostupnost oblastí.
Mistral Chat nebo dokončení
Mixtral Chat nebo dokončení
MPT Chat nebo dokončení
GTE v1.5 (angličtina) Vkládání Negeneruje normalizované vkládání.
BGE v1.5 (angličtina) Vkládání

Omezení

Viz omezení rozhraní API základního modelu.

Další materiály