Api:er för Databricks Foundation-modell
Den här artikeln innehåller en översikt över Foundation Model API:er på Azure Databricks. Den innehåller krav för användning, modeller som stöds och begränsningar.
Vad är Api:er för Databricks Foundation-modell?
Mosaic AI Model Serving stöder nu grundläggande modell-API:er som gör det möjligt för dig att få åtkomst till och skicka frågor till toppmoderna öppna modeller från en tjänstslutpunkt. Dessa modeller hanteras av Databricks och du kan snabbt och enkelt skapa program som använder dem utan att underhålla din egen modelldistribution. Foundation Model API:er är en Databricks Designated Service, vilket innebär att den använder Databricks Geos för att hantera datahemvist när den bearbetar kundinnehåll.
API:erna för Foundation Model finns i följande prislägen:
- Betala per token: Det här är det enklaste sättet att börja komma åt grundmodeller på Databricks och rekommenderas för att påbörja din resa med Foundation Model-API:er. Det här läget är inte utformat för program med högt dataflöde eller högpresterande produktionsarbetsbelastningar.
- Etablerat dataflöde: Det här läget rekommenderas för alla produktionsarbetsbelastningar, särskilt de som kräver högt dataflöde, prestandagarantier, finjusterade modeller eller har ytterligare säkerhetskrav. Etablerade dataflödesslutpunkter är tillgängliga med efterlevnadscertifieringar som HIPAA.
Mer information om hur du använder dessa lägen och de modeller som stöds finns i Använda Foundation Model-API:er.
Med api:erna för Foundation Model kan du göra följande
- Fråga en generaliserad LLM för att verifiera ett projekts giltighet innan du investerar fler resurser.
- Fråga en generaliserad LLM för att skapa ett snabbt konceptbevis för ett LLM-baserat program innan du investerar i träning och distribuerar en anpassad modell.
- Använd en grundmodell, tillsammans med en vektordatabas, för att bygga en chatbot med retrieval augmented generation (RAG).
- Ersätt egna modeller med öppna alternativ till optimize för kostnad och prestanda.
- Jämför llm-datorer effektivt för att se vilken som är den bästa kandidaten för ditt användningsfall, eller byt ut en produktionsmodell mot en bättre presterande.
- Skapa ett LLM-program för utveckling eller produktion ovanpå en skalbar, SLA-backad LLM-serverlösning som kan stödja dina toppar i produktionstrafiken.
krav
- Databricks API-token för att autentisera slutpunktsbegäranden.
- Serverlös beräkning (för etablerade dataflödesmodeller).
- En arbetsyta i någon av följande regioner som stöds:
Använda grundmodell-API:er
Du har flera alternativ för att använda API:er för Foundation Model.
API:erna är kompatibla med OpenAI, så du kan använda OpenAI-klienten för att fråga. Du kan också använda användargränssnittet, Foundation Models API:erna Python SDK, MLflow Deployments SDK eller REST-API:et för att fråga efter modeller som stöds. Databricks rekommenderar att du använder OpenAI-klientens SDK eller API för utökade interaktioner och användargränssnittet för att testa funktionen.
Se Query Foundation-modeller för bedömningsexempel.
API:er för foundationmodellen betala per token
Förkonfigurerade slutpunkter som hanterar modellerna betala per token är tillgängliga på din Azure Databricks-arbetsyta. Dessa modeller för betala per token rekommenderas för att komma igång. Om du vill komma åt dem på arbetsytan går du till fliken Servering i det vänstra sidofältet. API:er för grundmodellen finns överst i vyn Slutpunkter list.
- Modeller med betalning per token som stöds.
- Se Query Foundation-modeller för vägledning om hur du frågar Foundation Model-API:er.
- Se FOUNDATION-modellens REST API-referens för nödvändiga parameters och syntax.
API:er för grundmodeller med förutbestämd kapacitet
Etablerat dataflöde ger slutpunkter med optimerad slutsatsdragning för grundläggande modellarbetsbelastningar som kräver prestandagarantier. Databricks rekommenderar tilldelad kapacitet för produktionsarbetslaster.
- Etablerade dataflödesarkitekturer som stöds.
- Se Provisioned throughput Foundation Model API:er för en steg-för-steg-guide om hur du distribuerar Foundation Model-API:er i provisionerat genomflödesläge.
Stöd för allokerad kapacitet omfattar:
- Basmodeller av alla storlekar. Basmodeller kan nås via Databricks Marketplace, eller så kan du ladda ned dem från Hugging Face eller en annan extern källa och registrera dem i Unity Catalog. Den senare metoden fungerar med alla finjusterade varianter av de modeller som stöds.
- Finjusterade varianter av basmodeller, såsom modeller som har finjusterats med proprietära data.
- Helt anpassade vikter och tokenizers, till exempel de som tränats från grunden eller fortsatt förutbildade eller andra varianter som använder basmodellarkitekturen (till exempel CodeLlama).
Begränsningar
Se Begränsningar för Foundation Model API:er.