Migrera optimerade LLM-serverslutpunkter till etablerat dataflöde

Viktig

Den här dokumentationen har dragits tillbaka och kanske inte uppdateras. De produkter, tjänster eller tekniker som nämns i det här innehållet stöds inte längre.

Den här artikeln beskriver hur du migrerar dina befintliga LLM-serverslutpunkter till upplevelsen av tilldelad genomströmning som finns tillgänglig genom att använda API:er för Foundation Model.

Vad förändras?

Etablerat dataflöde ger en enklare upplevelse för att starta optimerade LLM-serverslutpunkter. Databricks har ändrat sitt LLM-modellhanteringssystem så att:

• Utskalningsintervall kan konfigureras i LLM-inbyggda termer, till exempel token per sekund i stället för samtidighet.
• Kunderna behöver inte längre välja GPU-arbetsbelastningstyper själva.

Nya LLM-serverslutpunkter skapas med etablerat dataflöde som standard. Om du vill fortsätta att välja GPU-arbetsbelastningstyp stöds endast den här upplevelsen med hjälp av API:et.

Migrera LLM-serverslutpunkter till etablerat dataflöde

Det enklaste sättet att migrera din befintliga slutpunkt till etablerat dataflöde är att uppdatera slutpunkten med en ny modellversion. När du har valt en ny modellversion visar användargränssnittet upplevelsen för etablerat dataflöde. Användargränssnittet visar token per sekund intervall baserat på Databricks benchmarking för typiska användningsfall.

Prestanda med det här uppdaterade erbjudandet är strikt bättre på grund av optimeringsförbättringar och priset för slutpunkten förblir oförändrat. Kontakta model-serving-feedback@databricks.com för produktfeedback eller problem.