Podporované modely pro platby za token
Důležitý
V
Viz omezení rozhraní API základního modelu pro modely s platbou za tokeny, které jsou podporované pouze v regionech USA.
Tento článek popisuje nejmodernější otevřené modely podporované rozhraními API modelu Databricks Foundation v režimu plateb za token.
Žádosti o dotazy můžete těmto modelům odesílat pomocí koncových bodů pro platby za token, které jsou k dispozici v pracovním prostoru Databricks. Pro názvy koncových bodů modelu, které se mají použít, se podívejte do tabulky základních modelů dotazů a do tabulky podporovaných modelů s platbou za token .
Kromě podpory modelů v režimu plateb za token nabízí rozhraní API základních modelů také režim zřízené propustnosti. Databricks doporučuje zřízenou propustnost pro produkční úlohy. Tento režim podporuje všechny modely řady modelů architektury (například modely DBRX), včetně jemně vyladěných a vlastních předtrénovaných modelů podporovaných v režimu plateb za token. Pro seznam podporovaných architektur viz API základního modelu s předem stanovenou propustností.
S těmito podporovanými modely můžete pracovat pomocí AI Playground.
Meta Llama 3.3 70B Instrukce
Důležitý
Od 11. prosince 2024 nahrazuje Meta-Llama-3.3-70B-Instruct podporu pro Meta-Llama-3.1-70B-Instruct v rozhraních API základního modelu na koncových bodech účtovaných na základě počtu tokenů.
Důležitý
Meta Llama 3.3 má licenci na LLAMA 3.3 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění dodržování podmínek této licence a Zásady přijatelného použití Llama 3.3.
Meta-Llama-3.3-70B-Instruct je nejmodernější rozsáhlý jazykový model s kontextem 128 000 tokenů, vytvořený a natrénovaný společností Meta. Model podporuje více jazyků a je optimalizovaný pro případy použití dialogu. Další informace o meta llama 3.3.
Podobně jako u jiných velkých jazykových modelů může výstup Llama-3 vynechat některá fakta a příležitostně vytvářet falešné informace. Databricks doporučuje používat načítání rozšířené generace (RAG) ve scénářích, kde je přesnost obzvláště důležitá.
Meta Llama 3.1 405B Pokyn
Důležitý
Použití tohoto modelu s rozhraními API základního modelu je ve verzi Public Preview. Pokud při používání tohoto modelu narazíte na selhání koncových bodů nebo chyby stabilizace, obraťte se na svůj tým účtu Databricks.
Důležitý
Meta Llama 3.1 má licenci na LLAMA 3.1 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění dodržování licenčních podmínek platných pro dané modely.
Meta-Llama-3.1-405B-Instruct je největší otevřeně dostupný špičkový velký jazykový model, sestavený a natrénovaný společností Meta, a je distribuován službou Azure Machine Learning pomocí katalogu modelů AzureML. Použití tohoto modelu umožňuje zákazníkům odemknout nové funkce, jako jsou pokročilé, vícekrokové uvažování a vysoce kvalitní syntetické generace dat. Tento model je konkurenceschopný s GPT-4-Turbo z hlediska kvality.
Podobně jako Meta-Llama-3.1-70B-Instruct má tento model kontext 128 000 tokenů a podporu napříč deseti jazyky. Je v souladu s lidskými preferencemi pro užitečnost a bezpečnost a je optimalizovaný pro případy použití dialogu. Další informace o modelech Meta Llama 3.1.
Podobně jako v jiných velkých jazykových modelech může výstup Llama-3.1 vynechat některá fakta a příležitostně vytvářet falešné informace. Databricks doporučuje používat načítání rozšířené generace (RAG) ve scénářích, kde je přesnost obzvláště důležitá.
DBRX – pokyn
Důležitý
DBRX je poskytován v rámci licenčního Databricks Open Model license, Copyright © Databricks, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění dodržování příslušných licencí modelu, včetně zásad přijatelného použití Databricks.
DBRX Instruct je nejmodernější směs expertních (MoE) jazykových modelů trénovaný Databricks.
Model překonává zavedené open-source modely v standardních srovnávacích testech a exceluje v širší sadě úkolů zpracování přirozeného jazyka, jako jsou shrnování textu, odpovídání na otázky, extrakce a kódování.
DBRX Instruct dokáže zpracovat až 32k tokenů vstupní délky a vygeneruje výstupy až 4k tokenů. Díky architektuře MoE je DBRX Instruct vysoce efektivní pro odvozování a aktivací pouze 36B parametrů z celkového počtu 132B natrénovaných parametrů. Koncový bod pro platby za token, který slouží tomuto modelu, má limit rychlosti jednoho dotazu za sekundu. Viz omezení a oblasti služby nasazování modelů.
Podobně jako v jiných velkých jazykových modelech může výstup DBRX Instruct vynechat některá fakta a příležitostně vytvářet falešné informace. Databricks doporučuje používat načítání rozšířené generace (RAG) ve scénářích, kde je přesnost obzvláště důležitá.
Modely DBRX používají následující výchozí výzvu k zajištění relevance a přesnosti v odpovědích modelu:
You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.
Mixtral-8x7B Instruct
Mixtral-8x7B Instruct je vysoce kvalitní řídký model směsi expertů (SMoE), který je natrénovaný Mistral AI. Mixtral-8x7B Instruct se dá použít pro různé úkoly, jako jsou otázky, shrnutí a extrakce.
Mixtral dokáže zpracovat kontextové délky až 32 tisíc tokenů. Mixtral může zpracovávat angličtinu, francouzštinu, italštinu, němčinu a španělštinu. Mixtral je srovnatelný nebo překonává Llama 2 70B a GPT3.5 u většiny srovnávacích testů (Mixtral výkon), zatímco během inferencí je čtyřikrát rychlejší než Llama 70B.
Podobně jako u jiných velkých jazykových modelů by se model Mixtral-8x7B Instruct neměl spoléhat na to, aby vytvořil fakticky přesné informace. Přestože jsme vyvinuli velké úsilí k vyčištění předtrénovacích dat, je možné, že tento model může generovat oplzlé, zaujaté nebo jinak urážlivé výstupy. Aby se snížilo riziko, Databricks ve výchozím nastavení používá variantu systému nouzového režimu Mistral výzvy.
GTE Large (En)
Důležitý
GTE Large (En) je poskytován podle a podmíněn licencí Apache 2.0, Copyright © The Apache Software Foundation, Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění dodržování licenčních podmínek platných pro dané modely.
Obecné zapuštění textu (GTE) je model zapuštění textu, který může mapovat libovolný text na 1024-dimenzionální vektor zapuštění a zapuštěné okno o 8192 tokenech. Tyto vektory lze použít v vektorových databázích pro LLM a pro úlohy, jako je načítání, klasifikace, odpovídání na otázky, clustering nebo sémantické vyhledávání. Tento koncový bod slouží anglické verzi modelu a negeneruje normalizované vkládání.
Modely vkládání jsou zvláště efektivní, když se používají společně s LLM pro případy použití rozšířené generace (RAG). GtE lze použít k vyhledání relevantních fragmentů textu ve velkých blocích dokumentů, které lze použít v kontextu LLM.
BGE Large (En)
BAAI General Embedding (BGE) je model vkládání textu, který může mapovat libovolný text na vektor vložení o 1024 dimenzích a vkládací okno s 512 tokeny. Tyto vektory lze použít v vektorových databázích pro LLM a pro úlohy, jako je načítání, klasifikace, odpovídání na otázky, clustering nebo sémantické vyhledávání. Tento koncový bod slouží anglické verzi modelu a generuje normalizované vkládání.
Modely vkládání jsou zvláště efektivní, když se používají společně s LLM pro případy použití rozšířené generace (RAG). BGE lze použít k vyhledání relevantních fragmentů textu ve velkých blocích dokumentů, které lze použít v kontextu LLM.
V aplikacích RAG můžete zlepšit výkon systému načítání zahrnutím parametru instrukce. Autoři BGE doporučují vyzkoušet instrukce "Represent this sentence for searching relevant passages:" pro vkládání dotazů, i když jeho dopad na výkon závisí na doméně.
Další zdroje informací
- Dotaz na základní modely
- Referenční rozhraní REST API modelu
Foundation