Limieten en regio's voor modelbediening
In dit artikel vindt u een overzicht van de beperkingen en beschikbaarheid van regio's voor Mozaïek AI Model Serving en ondersteunde eindpunttypen.
Limieten voor resources en nettoladingen
Mozaïek AI Model Serving legt standaardlimieten op om betrouwbare prestaties te garanderen. Als u feedback hebt over deze limieten, neemt u contact op met uw Databricks-accountteam.
De volgende table geeft een overzicht van resource- en payloadbeperkingen voor model-implementatie-eindpunten.
| Functie | Granulariteit | Limit |
|---|---|---|
| Grootte van nettolading | Op aanvraag | 16 MB. Voor eindpunten met basismodellen of externe modellen is de limit 4 MB. |
| Query's per seconde (QPS) | Per werkruimte | 200, maar kan worden verhoogd tot 25.000 of meer door contact op te halen met uw Databricks-accountteam. |
| Duur van modeluitvoering | Op aanvraag | 120 seconden |
| Geheugengebruik van CPU-eindpuntmodel | Per eindpunt | 4 GB |
| Geheugengebruik gpu-eindpuntmodel | Per eindpunt | Groter dan of gelijk aan toegewezen GPU-geheugen, is afhankelijk van de grootte van de GPU-werkbelasting |
| Ingerichte gelijktijdigheid | Per model en per werkruimte | Gelijktijdigheid van 200. Kan worden verhoogd door contact op te halen met uw Databricks-accountteam. |
| Overheadlatentie | Op aanvraag | Minder dan 50 milliseconden |
| Init-scripts | Init-scripts worden niet ondersteund. | |
| Frequentielimieten voor basismodel-API's (betalen per token) | Per werkruimte | Als de volgende limieten onvoldoende zijn voor uw use-case, raadt Databricks aan om ingerichte doorvoer te gebruiken. - Llama 3.3 70B Instruct heeft een limit van 2 query's per seconde en 1200 query's per uur. - Llama 3.1 405B Instruct heeft een limit van 1 query per seconde en 1200 query's per uur. - Het DBRX Instruct-model heeft een limit van 1 query per seconde. - Mixtral-8x 7B Instruct heeft een standaardsnelheid limit van 2 query's per seconde. - GTE Large (En) heeft een snelheid limit van 150 query's per seconde - BGE Large (En) heeft een snelheid limit van 600 query's per seconde. |
| Frequentielimieten voor foundationmodel-API's (ingerichte doorvoer) | Per werkruimte | 200 |
Netwerk- en beveiligingsbeperkingen
- Modelservereindpunten worden beveiligd door toegangsbeheer en respecteren netwerkgerelateerde toegangsbeheerregels die zijn geconfigureerd in de werkruimte, zoals IP-acceptatielijsten en Private Link.
- Privéconnectiviteit (zoals Azure Private Link) wordt alleen ondersteund voor modelservereindpunten die gebruikmaken van ingerichte doorvoer of eindpunten die aangepaste modellen leveren.
- Model serving biedt standaard geen ondersteuning voor Private Link naar externe eindpunten (zoals Azure OpenAI). Ondersteuning voor deze functionaliteit wordt geëvalueerd en geïmplementeerd per regio. Neem contact op met uw Azure Databricks-accountteam voor meer informatie.
- Model Serving biedt geen beveiligingspatches voor bestaande modelinstallatiekopieën vanwege het risico dat de productie-implementaties worden gedestabiliseerd. Een nieuwe modelinstallatiekopieën die zijn gemaakt op basis van een nieuwe modelversie, bevatten de meest recente patches. Neem contact op met uw Databricks-accountteam voor meer informatie.
Limieten voor FOUNDATION-model-API's
Notitie
Als onderdeel van het leveren van de Foundation Model-API's kan Databricks uw gegevens buiten de regio verwerken where uw gegevens afkomstig zijn, maar niet buiten de relevante geografische locatie.
Voor workloads voor betalen per token en ingerichte doorvoerworkloads :
- Alleen werkruimtebeheerders kunnen de beheerinstellingen wijzigen, zoals frequentielimieten voor Foundation Model-API-eindpunten. Gebruik de volgende stappen om frequentielimieten te wijzigen:
- Open de gebruikersinterface van de server in uw werkruimte om uw eindpunten te zien.
- Klik in het menu van De basismodel-API's die u wilt bewerken, selectDetails weergeven.
- Selecteer in het driepuntjesmenu in de rechterbovenhoek van de detailpagina van de eindpunten selectWijzigingssnelheid limit.
- De GTE Large (En) het insluiten van modellen generate genormaliseerde insluitingen niet.
Limieten voor betalen per token
Hier volgen limieten die relevant zijn voor de workloads voor betalen per token van Foundation Model- API's:
- Workloads met betalen per token voldoen niet aan HIPAA of nalevingsbeveiligingsprofiel.
- Meta Llama 3.3 70B en GTE Large (En) modellen zijn beschikbaar in regio's waar betalen per token mogelijk is EU- en VS-ondersteunde regio's.
- De volgende pay-per-token-modellen worden alleen ondersteund in de Foundation Model-API's die worden ondersteund voor betalen per token in de Verenigde Staten:
- Meta Llama 3.1 405B Instruct
- DBRX Instruct
- Mixtral-8x7B Instruct
- BGE Large (En)
- Als uw werkruimte zich in een regio voor modelverdiening bevindt, maar niet in een Amerikaanse of EU-regio, moet uw werkruimte zijn ingeschakeld voor cross-geo-gegevensverwerking. Wanneer deze optie is ingeschakeld, wordt uw workload voor betalen per token doorgestuurd naar de Vs. Databricks Geo. Zie Databricks Designated Services om te zien welke geografische regio's betalen per tokenworkload verwerken.
Ingerichte doorvoerlimieten
Hier volgen limieten die relevant zijn voor de ingerichte doorvoerworkloads van Foundation Model-API's:
- Ingerichte doorvoer ondersteunt het HIPAA-nalevingsprofiel en wordt aanbevolen voor workloads waarvoor nalevingscertificeringen zijn vereist.
- Als u de DBRX-modelarchitectuur wilt gebruiken voor een ingerichte doorvoerworkload , moet uw eindpunt zich in een van de volgende regio's bevinden:
eastuseastus2westuscentraluswesteuropenortheuropeaustraliaeastcanadacentralbrazilsouth
- In de volgende table ziet u de regiobeschikbaarheid van de ondersteunde Meta Llama 3.1- en 3.2-modellen. Zie Basismodellen implementeren voor hulp bij het implementeren van nauwkeurig afgestemde modellen.
| Meta Llama-modelvariant | Regio's |
|---|---|
| meta-llama/Llama-3.1-8B | - centralus- eastus- eastus2- northcentralus- westus- westus2- northeurope- westeurope |
| meta-llama/Llama-3.1-8B-Instruct | - centralus- eastus- eastus2- northcentralus- westus- westus2- northeurope- westeurope |
| meta-llama/Llama-3.1-70B | - centralus- eastus- eastus2- northcentralus- westus- westus2- northeurope- westeurope |
| meta-llama/Llama-3.1-70B-Instruct | - centralus- eastus- eastus2- northcentralus- westus- westus2- northeurope- westeurope |
| meta-llama/Llama-3.1-405B | - centralus- eastus- eastus2- northcentralus- westus- westus2 |
| meta-llama/Llama-3.1-405B-Instruct | - centralus- eastus- eastus2- northcentralus- westus- westus2 |
| meta-llama/Llama-3.2-1B | - centralus- eastus- eastus2- northcentralus- westus- westus2- northeurope- westeurope |
| meta-llama/Llama-3.2-1B-Instruct | - centralus- eastus- eastus2- northcentralus- westus- westus2- northeurope- westeurope |
| meta-llama/Llama-3.2-3B | - centralus- eastus- eastus2- northcentralus- westus- westus2- northeurope- westeurope |
| meta-llama/Llama-3.2-3B-Instruct | - centralus- eastus- eastus2- northcentralus- westus- westus2- northeurope- westeurope |
| meta-llama/Llama-3.3-70B | - centralus- eastus- eastus2- northcentralus- westus- westus2 |
Beschikbaarheid van regio's
Notitie
Als u een eindpunt in een niet-ondersteunde regio nodig hebt, neemt u contact op met uw Azure Databricks-accountteam.
Als uw werkruimte wordt geïmplementeerd in een regio die ondersteuning biedt voor modelservice, maar wordt geleverd door een besturingsvlak in een niet-ondersteunde regio, biedt de werkruimte geen ondersteuning voor modelservice. Als u het model in een dergelijke werkruimte probeert te gebruiken, ziet u een foutbericht waarin wordt aangegeven dat uw werkruimte niet wordt ondersteund. Neem contact op met uw Azure Databricks-accountteam voor meer informatie.