Типы развертывания Azure OpenAI
Azure OpenAI предоставляет клиентам выбор в структуре размещения, которая соответствует своим бизнес-шаблонам и шаблонам использования. Служба предлагает два основных типа развертываний: стандартный и подготовленный. Для заданного типа развертывания клиенты могут выровнять рабочие нагрузки с требованиями к обработке данных, выбрав географию Azure (или), указанную корпорацией Майкрософт зону данных (StandardDataZone-StandardилиProvisioned-Managed) или DataZone Provisioned-ManagedглобальныеGlobal-Standard (илиGlobal Provisioned-Managed) параметры обработки.
Все развертывания могут выполнять те же операции вывода, однако выставление счетов, масштабирование и производительность существенно отличаются. В рамках проектирования решения вам потребуется принять два ключевых решения:
- Расположение обработки данных
- Том вызова
Расположения обработки данных развертывания Azure OpenAI
Для стандартных развертываний можно выбрать один из трех вариантов развертывания — глобальной, зоны данных и географической области Azure. Для подготовленных развертываний можно выбрать один из двух вариантов развертывания — глобальный и географический регион Azure. Глобальный стандарт является рекомендуемой отправной точкой.
Глобальные развертывания используют глобальную инфраструктуру Azure для динамического маршрутизации трафика клиентов в центр обработки данных с оптимальной доступностью запросов на вывод клиента. Это означает, что вы получите самые высокие начальные ограничения пропускной способности и лучшую доступность модели с глобальным уровнем обслуживания, обеспечивая соглашение об уровне обслуживания и низкую задержку. Для рабочих нагрузок с высоким объемом над указанными уровнями использования в стандартном и глобальном стандарте может возникнуть увеличение задержки. Для клиентов, которым требуется низкая задержка при большом использовании рабочей нагрузки, рекомендуется использовать подготовленные типы развертывания.
Наши глобальные развертывания будут первым местом для всех новых моделей и функций. В зависимости от тома вызова клиенты с большим объемом и низкой задержкой должны учитывать наши подготовленные типы развертывания.
Развертывания зон данных используют глобальную инфраструктуру Azure для динамического маршрутизации трафика клиентов в центр обработки данных с оптимальной доступностью запросов вывода клиента в пределах зоны данных, определенной корпорацией Майкрософт. Размещенные между нашими географическими и глобальными предложениями развертывания Azure, развертывания зон данных предоставляют ограничения квоты с повышенными привилегиями, сохраняя обработку данных в указанной корпорацией Майкрософт зоне данных. Данные, хранящиеся в неактивных данных, будут оставаться в географическом регионе ресурса Azure OpenAI (например, для ресурса Azure OpenAI, созданного в регионе Центральной Azure, география Azure — Швеция).
Если ресурс Azure OpenAI, используемый в развертывании зоны данных, находится в США, данные будут обрабатываться в США. Если ресурс Azure OpenAI, используемый в развертывании зоны данных, расположен в стране-члене Европейского союза, данные будут обрабатываться в географических регионах стран-членов Европейского союза. Для всех типов развертывания службы Azure OpenAI все данные, хранящиеся в состоянии хранения, будут оставаться в географическом регионе ресурса Azure OpenAI. Обязательства по обработке и соответствию данным Azure остаются применимыми.
Для любого типа развертывания с меткой "Глобальный", запросы и ответы могут обрабатываться в любом географическом регионе, где развернута соответствующая модель Azure OpenAI (дополнительные сведения о доступности регионов моделей). Для любого типа развертывания, помеченного как DataZone, запросы и ответы могут обрабатываться в любой географической области в пределах указанной зоны данных, как определено корпорацией Майкрософт. Если вы создаете развертывание DataZone в ресурсе Azure OpenAI, расположенном в США, запросы и ответы могут обрабатываться в любом месте США. Если вы создаете развертывание DataZone в ресурсе Azure OpenAI, расположенном в стране-члене Европейского союза, запросы и ответы могут обрабатываться в этой или любой другой стране-члене Европейского союза. Для типов развертывания Global и DataZone все данные, хранящиеся в состоянии хранения, например отправленные данные, хранятся в географическом регионе, указанном клиентом. Влияет только расположение обработки, если клиент использует глобальный тип развертывания или тип развертывания DataZone в службе Azure OpenAI; Обязательства по обработке и соответствию данным Azure остаются применимыми.
Глобальный стандарт
Внимание
Данные, хранящиеся в неактивных данных, остаются в указанном географическом регионе Azure, а данные могут обрабатываться для вывода в любом расположении Azure OpenAI. Дополнительные сведения о местонахождении данных.
Глобальные развертывания доступны в одних и том же ресурсах Azure OpenAI, что и не глобальные типы развертывания, но позволяют использовать глобальную инфраструктуру Azure для динамического маршрутизации трафика в центр обработки данных с наилучшей доступностью для каждого запроса. Глобальный стандарт предоставляет максимальную квоту по умолчанию и устраняет необходимость балансировки нагрузки между несколькими ресурсами.
Клиенты с высоким уровнем согласованности тома могут столкнуться с большей задержкой вариативности. Пороговое значение устанавливается для каждой модели. Дополнительные сведения см. на странице квот. Для приложений, которым требуется низкая задержка при большом использовании рабочей нагрузки, рекомендуется приобрести подготовленную пропускную способность.
Глобальный подготовленный
Внимание
Данные, хранящиеся в неактивных данных, остаются в указанном географическом регионе Azure, а данные могут обрабатываться для вывода в любом расположении Azure OpenAI. Дополнительные сведения о местонахождении данных.
Глобальные развертывания доступны в одних и том же ресурсах Azure OpenAI, что и не глобальные типы развертывания, но позволяют использовать глобальную инфраструктуру Azure для динамического маршрутизации трафика в центр обработки данных с наилучшей доступностью для каждого запроса. Глобальные подготовленные развертывания обеспечивают зарезервированную емкость обработки модели для высокой и прогнозируемой пропускной способности с помощью глобальной инфраструктуры Azure.
Глобальный пакет
Внимание
Данные, хранящиеся в неактивных данных, остаются в указанном географическом регионе Azure, а данные могут обрабатываться для вывода в любом расположении Azure OpenAI. Дополнительные сведения о местонахождении данных.
Глобальный пакет предназначен для эффективной обработки крупномасштабных и больших объемов задач обработки. Обработка асинхронных групп запросов с отдельной квотой с 24-часовым временным поворотом при 50% меньше затрат, чем глобальный стандарт. При пакетной обработке вместо отправки одного запроса за раз вы отправляете большое количество запросов в одном файле. Глобальные пакетные запросы имеют отдельную квоту токена, вложенную в очередь, избежать нарушений работы рабочих нагрузок в Сети.
Основные примеры таких ситуаций:
Обработка крупномасштабных данных: быстро анализируйте обширные наборы данных параллельно.
Создание содержимого: создание больших объемов текста, таких как описания продуктов или статьи.
Проверка и сводка документов. Автоматизация проверки и сводки длинных документов.
Автоматизация поддержки клиентов. Обработка многочисленных запросов одновременно для ускорения ответов.
Извлечение и анализ данных. Извлечение и анализ данных из огромных объемов неструктурированных данных.
Задачи обработки естественного языка (NLP): выполнение таких задач, как анализ тональности или перевод больших наборов данных.
Маркетинг и персонализация: создание персонализированного содержимого и рекомендаций в масштабе.
Стандарт зоны данных
Внимание
Данные, хранящиеся в неактивных данных, остаются в указанном географическом регионе Azure, а данные могут обрабатываться для вывода в любом расположении Azure OpenAI в указанной зоне данных Майкрософт. Дополнительные сведения о местонахождении данных.
Стандартные развертывания зоны данных доступны в том же ресурсе Azure OpenAI, что и все остальные типы развертывания Azure OpenAI, но позволяют использовать глобальную инфраструктуру Azure для динамического маршрутизации трафика в центр обработки данных в пределах определенной корпорацией Майкрософт зоны данных с оптимальной доступностью для каждого запроса. Стандарт зоны данных предоставляет более высокие квоты по умолчанию, чем типы развертывания на основе географии Azure.
Клиенты с высоким уровнем согласованности тома могут столкнуться с большей задержкой вариативности. Пороговое значение устанавливается для каждой модели. Дополнительные сведения см. на странице "Квоты и ограничения ". Для рабочих нагрузок, требующих низкой задержки в большом объеме, рекомендуется использовать подготовленные предложения развертывания.
Подготовленная зона данных
Внимание
Данные, хранящиеся в неактивных данных, остаются в указанном географическом регионе Azure, а данные могут обрабатываться для вывода в любом расположении Azure OpenAI в указанной зоне данных Майкрософт.Дополнительные сведения о местонахождении данных.
Подготовленные зоны данных доступны в том же ресурсе Azure OpenAI, что и все остальные типы развертывания Azure OpenAI, но позволяют использовать глобальную инфраструктуру Azure для динамического маршрутизации трафика в центр обработки данных в пределах указанной корпорацией Майкрософт зоны данных с оптимальной доступностью для каждого запроса. Подготовленные зоны данных предоставляют зарезервированную емкость обработки моделей для высокой и прогнозируемой пропускной способности с помощью инфраструктуры Azure в указанной корпорацией Майкрософт зоне данных.
Пакет зоны данных
Внимание
Данные, хранящиеся в неактивных данных, остаются в указанном географическом регионе Azure, а данные могут обрабатываться для вывода в любом расположении Azure OpenAI в указанной зоне данных Майкрософт. Дополнительные сведения о местонахождении данных.
Развертывания пакетной зоны данных предоставляют все те же функции, что и глобальные развертывания пакетной службы, позволяя использовать глобальную инфраструктуру Azure для динамического маршрутизации трафика в только центры обработки данных в пределах определенной корпорацией Майкрософт зоны данных с оптимальной доступностью для каждого запроса.
Стандартные
Стандартные развертывания предоставляют модель выставления счетов за вызов для выбранной модели. Обеспечивает самый быстрый способ начать работу только за то, что вы используете. Модели, доступные в каждом регионе, а также пропускная способность, могут быть ограничены.
Стандартные развертывания оптимизированы для низкой и средней рабочей нагрузки томов с высокой степенью ускорения. Клиенты с высоким уровнем согласованности тома могут столкнуться с большей задержкой вариативности.
Подготовлено
Подготовленные развертывания позволяют указать объем пропускной способности, которую требуется в развертывании. Затем служба выделяет необходимую емкость обработки модели и гарантирует, что она готова к работе. Пропускная способность определяется с точки зрения подготовленных единиц пропускной способности (PTU), который является нормализованным способом представления пропускной способности для развертывания. Каждая пара версий модели требует разных объемов PTU для развертывания и предоставления разных объемов пропускной способности на PTU. Дополнительные сведения см. в статье о подготовленной пропускной способности.
Отключение доступа к глобальным развертываниям в подписке
Политика Azure помогает применять организационные стандарты и оценивать соответствие в больших масштабах. На панели мониторинга "Соответствие требованиям" этой службы доступно агрегированное представление для оценки общего состояния среды с возможностью детализации до уровня конкретных ресурсов и политик. Также вы можете привести ресурсы в соответствие требованиям, используя средства пакетного исправления для существующих ресурсов и автоматического исправления для новых ресурсов. Дополнительные сведения о Политика Azure и конкретных встроенных элементах управления для служб ИИ.
Следующая политика позволяет отключить доступ к любому типу развертывания Azure OpenAI. Чтобы отключить доступ к конкретному типу развертывания, замените GlobalStandard имя SKU для типа развертывания, к которому требуется отключить доступ.
{
"mode": "All",
"policyRule": {
"if": {
"allOf": [
{
"field": "type",
"equals": "Microsoft.CognitiveServices/accounts/deployments"
},
{
"field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
"equals": "GlobalStandard"
}
]
}
}
}
Развертывание моделей
Сведения о создании ресурсов и развертывании моделей см. в руководстве по созданию ресурсов.