Rozhraní API modelu Databricks Foundation

Tento článek obsahuje přehled rozhraní API základních modelů v Azure Databricks. Zahrnuje požadavky na použití, podporované modely a omezení.

Co jsou API Foundation modelu od Databricks?

obsluha modelu AI v systému model AI teď podporuje rozhraní API základních modelů, která umožňují přístup k špičkovým otevřeným modelům a dotazování na nich z koncového bodu obsluhy. Tyto modely jsou hostované službou Databricks a můžete rychle a snadno vytvářet aplikace, které je používají bez údržby vlastního nasazení modelu. Rozhraní API základního modelu je určenou službou Databricks, která používá geografickou službu Geos Databricks ke správě umístění dat při zpracování datového obsahu zákazníka.

Rozhraní API základního modelu jsou k dispozici v následujících cenových režimech:

• Platba za tokeny: Toto je nejjednodušší způsob, jak začít přístup k základním modelům na platformě Databricks, a doporučuje se pro zahájení práce s API základních modelů. Tento režim není určený pro aplikace s vysokou propustností ani pro výkonné produkční úlohy.
• Zřízená propustnost: Tento režim se doporučuje pro všechny produkční úlohy, zejména pro ty, které vyžadují vysokou propustnost, záruky výkonu, jemně vyladěné modely nebo mají další požadavky na zabezpečení. Předdefinované koncové body propustnosti jsou k dispozici s certifikacemi pro dodržování předpisů, jako je HIPAA.

Pokyny k používání těchto režimů a podporovaných modelů najdete v tématu Použití rozhraní API základních modelů.

Pomocí rozhraní API základního modelu můžete provést následující:

• Dotazem na generalizovaný LLM ověřte platnost projektu před investováním dalších zdrojů.
• Dotazování generalizovaného LLM za účelem vytvoření rychlého testování konceptu pro aplikaci založenou na LLM před investicemi do trénování a nasazení vlastního modelu.
• K vytvoření chatovacího robota pomocí načítání rozšířené generace (RAG) použijte základní model spolu s vektorovou databází.
• Nahraďte proprietární modely otevřenými alternativami pro optimalizaci nákladů a výkonu.
• Efektivně porovnejte LLM, abyste zjistili, který z nich je nejlepším kandidátem pro váš konkrétní případ použití, nebo nahraďte produkční model lépe fungujícím modelem.
• Vytvořte aplikaci LLM pro účely vývoje nebo produkce na základě škálovatelného řešení pro poskytování LLM, které je zajištěno SLA a dokáže zvládnout špičky provozu ve vašem produkčním prostředí.

Požadavky

• Token rozhraní API Databricks k ověřování požadavků koncového bodu
• Bezserverové výpočetní prostředky (pro zřízené modely propustnosti)
• Pracovní prostor v jedné z následujících podporovaných oblastí:
  • oblasti s platbou za tokeny.
  • oblasti zřízené propustnosti.

Použití API základního modelu

Pro použití rozhraní API základního modelu máte několik možností.

Rozhraní API jsou kompatibilní s OpenAI, takže pro dotazování můžete použít klienta OpenAI. K dotazování podporovaných modelů můžete použít také uživatelské rozhraní, rozhraní PYTHON SDK pro základní modely, sadu SDK pro nasazení MLflow nebo rozhraní REST API. Databricks doporučuje používat klientskou sadu SDK nebo rozhraní API OpenAI pro rozšířené interakce a uživatelské rozhraní pro vyzkoušení této funkce.

Příklady bodování najdete v základních modelech pro dotazy .

Model rozhraní API s platbou za každý token

Předkonfigurované koncové body, které obsluhují modely s platbami za tokeny, jsou přístupné ve vašem pracovním prostoru Azure Databricks. Tyto modely plateb za token se doporučují pro začátek. Přístup k nim v pracovním prostoru získáte tak, že na levém bočním panelu přejdete na kartu Obsluha. Rozhraní API základního modelu se nacházejí v horní části zobrazení seznamu koncových bodů.

• Podporované modely plateb za tokeny.
• Viz Dotazování základních modelů pro pokyny, jak dotazovat rozhraní API základních modelů.
• Informace o požadovaných parametrech a syntaxi najdete v referenční rozhraní REST API základního modelu.

rozhraní API s předem nastavenou propustností základního modelu

Zřízená propustnost poskytuje koncové body s optimalizovaným odvozováním pro úlohy základních modelů, které vyžadují záruky výkonu. Databricks doporučuje vyhrazenou propustnost pro produkční úlohy.

• Architektury modelů, které podporují poskytovanou propustnost.
• Podrobný průvodce nasazením rozhraní API základního modelu v režimu zřízené propustnosti najdete v tématu Rozhraní API základního modelu se zřízenou propustností.

Podpora předem určené propustnosti zahrnuje:

• základní modely všech velikostí. K základním modelům můžete přistupovat pomocí Webu Databricks Marketplace nebo si je můžete stáhnout z webu Hugging Face nebo jiného externího zdroje a zaregistrovat je v katalogu Unity. Druhý přístup funguje s libovolnou vyladěnou variantou podporovaných modelů.
• Vyladěné varianty základních modelů, jako jsou modely, které jsou vyladěné pomocí proprietárních dat.
• plně vlastní váhy a tokenizátory, jako jsou ty, které jsou natrénované úplně od začátku, nebo jiné varianty pomocí architektury základního modelu (například CodeLlama).

Omezení

Viz omezení rozhraní API základního modelu.

Další zdroje informací

• Dotazování základních modelů

• rozhraní API základního modelu zřízené propustnosti

• Referenční rozhraní REST API modelu Foundation

• Provedení dávkového odvozování pomocí LLM s použitím ai_query

• Podporované modely pro platbu za token