Limity i regiony obsługi modelu

W tym artykule przedstawiono podsumowanie ograniczeń i dostępności regionów dla funkcji Obsługi modelu sztucznej inteligencji mozaiki i obsługiwanych typów punktów końcowych.

Limity zasobów i ładunków

Obsługa modelu mozaiki sztucznej inteligencji nakłada domyślne limity, aby zapewnić niezawodną wydajność. Jeśli masz opinię na temat tych limitów, skontaktuj się z zespołem ds. kont usługi Databricks.

W poniższej tabeli przedstawiono podsumowanie ograniczeń zasobów i ładunków dla punktów końcowych obsługujących model.

Funkcja	Poziom szczegółowości	Limit
Rozmiar ładunku	Na żądanie	16 MB. W przypadku punktów końcowych obsługujących modele podstawowe lub modele zewnętrzne limit wynosi 4 MB.
Zapytania na sekundę (QPS)	Na obszar roboczy	200, ale można zwiększyć do 25 000 lub więcej, docierając do zespołu konta usługi Databricks.
Czas trwania wykonywania modelu	Na żądanie	120 sekund
Użycie pamięci modelu punktu końcowego procesora CPU	Na punkt końcowy	4 GB
Użycie pamięci modelu punktu końcowego procesora GPU	Na punkt końcowy	Większe niż lub równe przypisanej pamięci procesora GPU zależy od rozmiaru obciążenia procesora GPU
Aprowizowana współbieżność	Na model i na obszar roboczy	200 współbieżność. Można zwiększyć, wychodząc do zespołu ds. kont usługi Databricks.
Opóźnienie związane z obciążeniem	Na żądanie	Mniej niż 50 milisekund
Skrypty init		Skrypty inicjowania nie są obsługiwane.
Limity stawek modelu foundation (pay-per-token)	Na obszar roboczy	Jeśli następujące limity nie są wystarczające dla twojego przypadku użycia, usługa Databricks zaleca użycie aprowizowanej przepływności. - Llama 3.1 70B Poinstruowanie ma limit 2 zapytań na sekundę i 1200 zapytań na godzinę. - Llama 3.1 405B Poinstruowanie ma limit 1 zapytania na sekundę i 1200 zapytań na godzinę. — Model DBRX Poinstruowanie ma limit 1 zapytania na sekundę. - Mixtral-8x 7B Poinstruowanie ma domyślny limit szybkości 2 zapytań na sekundę. - GtE Large (En) ma limit szybkości wynoszący 150 zapytań na sekundę — Duży (en) BGE ma limit szybkości wynoszący 600 zapytań na sekundę.
Limity szybkości interfejsów API modelu foundation (aprowizowana przepływność)	Na obszar roboczy	200

Ograniczenia dotyczące sieci i zabezpieczeń

• Punkty końcowe obsługujące model są chronione przez kontrolę dostępu i przestrzeganie reguł ruchu przychodzącego związanych z siecią skonfigurowanych w obszarze roboczym, takich jak listy dozwolonych adresów IP i usługa Private Link.
• Łączność prywatna (taka jak usługa Azure Private Link) jest obsługiwana tylko w przypadku punktów końcowych obsługujących model korzystających z aprowizowanej przepływności lub punktów końcowych obsługujących modele niestandardowe.
• Domyślnie obsługa modelu nie obsługuje usługi Private Link do zewnętrznych punktów końcowych (takich jak Azure OpenAI). Obsługa tej funkcji jest oceniana i implementowana w poszczególnych regionach. Skontaktuj się z zespołem kont usługi Azure Databricks, aby uzyskać więcej informacji.
• Obsługa modelu nie zapewnia poprawek zabezpieczeń istniejących obrazów modelu ze względu na ryzyko destabilizacji wdrożeń produkcyjnych. Nowy obraz modelu utworzony na podstawie nowej wersji modelu będzie zawierać najnowsze poprawki. Skontaktuj się z zespołem kont usługi Databricks, aby uzyskać więcej informacji.

Limity interfejsów API modelu foundation

Uwaga

W ramach udostępniania interfejsów API modelu foundation usługa Databricks może przetwarzać dane poza regionem, w którym pochodzą dane, ale nie poza odpowiednią lokalizacją geograficzną.

W przypadku obciążeń z płatnością za token i aprowizowaną przepływnością:

• Tylko administratorzy obszarów roboczych mogą zmieniać ustawienia ładu, takie jak limity szybkości dla punktów końcowych interfejsów API modelu foundation. Aby zmienić limity szybkości, wykonaj następujące czynności:
  1. Otwórz interfejs użytkownika obsługującego w obszarze roboczym, aby wyświetlić punkty końcowe obsługujące.
  2. W menu kebab w punkcie końcowym interfejsów API modelu foundation, który chcesz edytować, wybierz pozycję Wyświetl szczegóły.
  3. W menu kebab w prawym górnym rogu strony szczegółów punktów końcowych wybierz pozycję Zmień limit szybkości.
• Modele osadzania dużych (en) GTE nie generują znormalizowanych osadzeń.

Limity płatności za token

Poniżej przedstawiono limity istotne dla interfejsów API modelu foundation dla obciążeń z płatnością za token :

• Obciążenia z płatnością za token nie są zgodne ze standardem HIPAA ani profilem zabezpieczeń zgodności.
• Modele GTE Large (En) i Meta Llama 3.1 70B Poinstruowanie są dostępne w regionach z płatnością za token UE i USA.
• Następujące modele płatności za token są obsługiwane tylko w interfejsach API modelu foundation pay-per-token obsługiwanych w regionach USA:
  • Meta Llama 3.1 405B Poinstruowanie
  • DBRX Poinstruowanie
  • Mixtral-8x7B Poinstruowanie
  • Duży BGE (en)
• Jeśli obszar roboczy znajduje się w regionie obsługa modelu, ale nie w regionie USA lub UE, obszar roboczy musi być włączony na potrzeby przetwarzania danych między obszarami geograficznymi. Po włączeniu obciążenia z płatnością za token jest kierowany do STANÓW Zjednoczonych. Databricks Geo. Aby zobaczyć, które regiony geograficzne przetwarzają obciążenia z płatnością za token, zobacz Databricks Designated Services (Wyznaczone usługi usługi Databricks).

Aprowizowane limity przepływności

Poniżej przedstawiono limity istotne dla interfejsów API modelu foundation aprowizowanych obciążeń przepływności :

• Aprowizowana przepływność obsługuje profil zgodności HIPAA i jest zalecana w przypadku obciążeń wymagających certyfikacji zgodności.
• Aby użyć architektury modelu DBRX dla obciążenia aprowizowanej przepływności , punkt końcowy obsługujący musi znajdować się w jednym z następujących regionów:
  • eastus
  • eastus2
  • westus
  • centralus
  • westeurope
  • northeurope
  • australiaeast
  • canadacentral
  • brazilsouth
• W poniższej tabeli przedstawiono dostępność regionów obsługiwanych modeli Meta Llama 3.1 i 3.2. Zobacz Wdrażanie dostosowanych modeli podstawowych, aby uzyskać wskazówki dotyczące wdrażania dostosowanych modeli.

Wariant modelu Meta Llama	Regiony
meta-llama/Llama-3.1-8B	- centralus - eastus - eastus2 - northcentralus - westus - westus2 - northeurope - westeurope
meta-llama/Llama-3.1-8B-Poinstruowanie	- centralus - eastus - eastus2 - northcentralus - westus - westus2 - northeurope - westeurope
meta-llama/Llama-3.1-70B	- centralus - eastus - eastus2 - northcentralus - westus - westus2
meta-llama/Llama-3.1-70B-Poinstruowanie	- centralus - eastus - eastus2 - northcentralus - westus - westus2
meta-llama/Llama-3.1-405B	- centralus - eastus - eastus2 - northcentralus - westus - westus2
meta-llama/Llama-3.1-405B-Poinstruowanie	- centralus - eastus - eastus2 - northcentralus - westus - westus2
meta-llama/Llama-3.2-1B	- centralus - eastus - eastus2 - northcentralus - westus - westus2 - northeurope - westeurope
meta-llama/Llama-3.2-1B-Poinstruowanie	- centralus - eastus - eastus2 - northcentralus - westus - westus2 - northeurope - westeurope
meta-llama/Llama-3.2-3B	- centralus - eastus - eastus2 - northcentralus - westus - westus2 - northeurope - westeurope
meta-llama/Llama-3.2-3B-Poinstruowanie	- centralus - eastus - eastus2 - northcentralus - westus - westus2 - northeurope - westeurope

Dostępność regionów

Uwaga

Jeśli potrzebujesz punktu końcowego w nieobsługiwanym regionie, skontaktuj się z zespołem konta usługi Azure Databricks.

Jeśli obszar roboczy jest wdrożony w regionie obsługującym obsługę modelu, ale jest obsługiwany przez płaszczyznę sterowania w nieobsługiwanym regionie, obszar roboczy nie obsługuje obsługi modelu. Jeśli spróbujesz użyć obsługi modelu w takim obszarze roboczym, zostanie wyświetlony komunikat o błędzie z informacją, że obszar roboczy nie jest obsługiwany. Skontaktuj się z zespołem kont usługi Azure Databricks, aby uzyskać więcej informacji.

Aby uzyskać więcej informacji na temat regionalnej dostępności funkcji, zobacz Model obsługujący dostępność regionalną.