Migrera optimerade LLM-serverslutpunkter till etablerat dataflöde

Den här artikeln beskriver hur du migrerar dina befintliga LLM-serverslutpunkter till den etablerade dataflödesupplevelsen som är tillgänglig med hjälp av Foundation Model-API:er.

Nyheter

Etablerat dataflöde ger en enklare upplevelse för att starta optimerade LLM-serverslutpunkter. Databricks har ändrat sitt LLM-modellhanteringssystem så att:

• Utskalningsintervall kan konfigureras i LLM-inbyggda termer, till exempel token per sekund i stället för samtidighet.
• Kunderna behöver inte längre välja GPU-arbetsbelastningstyper själva.

Nya LLM-serverslutpunkter skapas med etablerat dataflöde som standard. Om du vill fortsätta att välja GPU-arbetsbelastningstyp stöds endast den här upplevelsen med hjälp av API:et.

Migrera LLM-serverslutpunkter till etablerat dataflöde

Det enklaste sättet att migrera din befintliga slutpunkt till etablerat dataflöde är att uppdatera slutpunkten med en ny modellversion. När du har valt en ny modellversion visar användargränssnittet upplevelsen för etablerat dataflöde. Användargränssnittet visar token per sekund intervall baserat på Databricks benchmarking för typiska användningsfall.

Prestanda med det här uppdaterade erbjudandet är strikt bättre på grund av optimeringsförbättringar och priset för slutpunkten förblir oförändrat. Kontakta för model-serving-feedback@databricks.com produktfeedback eller problem.