Migrace optimalizovaných koncových bodů LLM na zřízenou propustnost pro obsluhu.

Důležitý

Tato dokumentace byla vyřazena a nemusí být aktualizována. Produkty, služby nebo technologie uvedené v tomto obsahu se už nepodporují.

Tento článek popisuje, jak migrovat stávající koncové body llm obsluhující koncové body do zřízeného prostředí propustnosti dostupné pomocí rozhraní API modelu Foundation Model API.

Co se mění?

Zřízená propustnost poskytuje jednodušší prostředí pro spouštění optimalizovaných koncových bodů pro obsluhu LLM. Databricks upravila systém obsluhy modelu LLM tak, aby:

• Rozsahy škálování je možné nakonfigurovat v termínech přirozených pro LLM, jako jsou tokeny za sekundu místo konkurenčnosti.
• Zákazníci už nemusí select typy úloh GPU sami.

Nové koncové body pro provoz LLM se ve výchozím nastavení vytvářejí s předem přidělenou propustností. Pokud chcete pokračovat v výběru typu úlohy GPU, podporuje se toto prostředí pouze pomocí rozhraní API.

Migrace koncových bodů služby LLM do zřízené propustnosti

Nejjednodušší způsob, jak migrovat existující koncový bod na zřízenou propustnost, je update koncový bod s novou verzí modelu. Po select nové verzi modelu uživatelské rozhraní zobrazí zkušenosti se zřízenou propustností. Uživatelské rozhraní zobrazuje tokeny za sekundu na základě srovnávacích testů Databricks pro typické případy použití.

Výkon s touto aktualizovanou nabídkou je přísně lepší z důvodu vylepšení optimalizace a cena koncového bodu zůstane beze změny. Spojte se s model-serving-feedback@databricks.com s žádostí o zpětnou vazbu nebo připomínky k produktům.