Databricks Foundation Model API's
Dit artikel bevat een overzicht van Foundation Model-API's in Azure Databricks. Het omvat vereisten voor gebruik, ondersteunde modellen en beperkingen.
Wat zijn Databricks Foundation Model-API's?
Mosaic AI Model Serving nu ondersteuning biedt voor Foundation Model-API's waarmee u toegang hebt tot en query's kunt uitvoeren op geavanceerde open modellen vanaf een dienend eindpunt. Deze modellen worden gehost door Databricks en u kunt snel en eenvoudig toepassingen bouwen die ze gebruiken zonder uw eigen modelimplementatie te onderhouden. Foundation Model-API's is een Databricks Designated Service, wat betekent dat deze gebruikmaakt van Databricks Geos voor het beheren van gegevenslocatie bij het verwerken van klantinhoud.
De Foundation Model-API's zijn beschikbaar in de volgende prijsmodi:
- Betalen per token: Dit is de eenvoudigste manier om toegang te krijgen tot basismodellen in Databricks en wordt aanbevolen voor het beginnen van uw reis met Foundation Model-API's. Deze modus is niet ontworpen voor toepassingen met hoge doorvoer of krachtige productieworkloads.
- Ingerichte doorvoer: deze modus wordt aanbevolen voor alle productieworkloads, met name voor workloads die hoge doorvoer, prestatiegaranties, nauwkeurig afgestemde modellen of aanvullende beveiligingsvereisten vereisen. Ingerichte doorvoereindpunten zijn beschikbaar met nalevingscertificeringen zoals HIPAA.
Zie Hoe Foundation Model API's te gebruiken voor instructies over het gebruik van deze modi en de ondersteunde modellen.
Met behulp van de Foundation Model-API's kunt u het volgende doen
- Voer een query uit op een gegeneraliseerde LLM om de geldigheid van een project te controleren voordat u meer resources investeert.
- Voer een query uit op een gegeneraliseerde LLM om snel een proof-of-concept te maken voor een LLM-toepassing voordat u investeert in het trainen en implementeren van een aangepast model.
- Gebruik een basismodel, samen met een vectordatabase, om een chatbot te bouwen met behulp van het ophalen van augmented generation (RAG).
- Vervang bedrijfseigen modellen door open alternatieven voor optimize voor kosten en prestaties.
- Vergelijk LLM's efficiënt om te zien welke de beste kandidaat is voor uw use-case, of vervang een productiemodel met een beter presterende model.
- Bouw een LLM-toepassing voor ontwikkeling of productie op basis van een schaalbare LLM-oplossing met SLA-ondersteuning die kan omgaan met pieken in uw productieverkeer.
vereisten voor
- Databricks API-token voor het verifiëren van eindpuntaanvragen.
- Serverloze rekenkracht (voor ingerichte doorvoermodellen).
- Een werkruimte in een van de volgende ondersteunde regio's:
Foundation-model-API's gebruiken
U hebt meerdere opties voor het gebruik van de Foundation Model-API's.
De API's zijn compatibel met OpenAI, zodat u de OpenAI-client kunt gebruiken om query's uit te voeren. U kunt ook de gebruikersinterface, de Foundation Models API's Python SDK, de MLflow Deployments SDK of de REST API gebruiken om query's uit te voeren op ondersteunde modellen. Databricks raadt aan om de OpenAI-client-SDK of API te gebruiken voor uitgebreide interacties en de gebruikersinterface voor het uitproberen van de functie.
Zie Query Foundation-modellen voor scorevoorbeelden.
Api's voor het Model voor betalen per token foundation
Vooraf geconfigureerde eindpunten die de modellen betalen per token dienen, zijn toegankelijk in uw Azure Databricks-werkruimte. Deze modellen met betalen per token worden aanbevolen om aan de slag te gaan. Als u deze in uw werkruimte wilt openen, gaat u naar het tabblad Serveren in de linkerzijbalk. De Foundation Model-API's bevinden zich boven aan de weergave Eindpunten list.
- Ondersteunde modellen voor betalen per token.
- Zie Query Foundation-modellen voor hulp bij het uitvoeren van query's op Foundation Model-API's.
- Zie Naslaginformatie over de REST API van het Foundation-model voor vereiste parameters en syntaxis.
Voorzien doorvoer Foundation Model-API's
Voorziene doorvoer biedt eindpunten voor geoptimaliseerde inferentie van basis model-belastingen waarvoor prestatiegaranties vereist zijn. Databricks raadt geconfigureerde doorvoer aan voor productie-werkbelastingen.
- Ondersteunde modelarchitecturen voor geconfigureerde doorvoer.
- Zie de Provisioned Throughput Foundation Model-API's voor een stapsgewijze handleiding over hoe de Foundation Model-API's in de geprovisioneerde doorvoermodus te implementeren.
Ondersteuning voor geconfigureerde doorvoer omvat:
- basismodellen van alle grootten. Basismodellen zijn toegankelijk via databricks Marketplace of u kunt ze ook downloaden via Hugging Face of een andere externe bron en ze registreren in de Unity Catalog. De laatste benadering werkt met elke verfijnde variant van de ondersteunde modellen.
- Fijn afgestemde varianten van basismodellen, zoals modellen die zijn fijngestemd op eigendomsgegevens.
- Volledig aangepaste gewichten en tokenizers, zoals die vanaf nul zijn getraind, verder voorgetraind, of andere versies met de basismodelarchitectuur (bijvoorbeeld CodeLlama).
Beperkingen
Zie Foundation Model-API's beperkingen.