Поделиться через

Рекомендации по непрерывности бизнес-процессов и аварийному восстановлению (BCDR) с помощью Службы Azure OpenAI

  • Статья

Azure OpenAI доступен в нескольких регионах. При создании ресурса Azure OpenAI укажите регион. После этого ресурс и все его операции остаются связанными с этим регионом сервера Azure.

В редких случаях можно столкнуться с сетевой проблемой, которая затрагивает весь регион. Если служба должна всегда быть доступной, необходимо создать ее для отработки отказа в другой регион или разделить рабочую нагрузку между двумя или более регионами. Оба подхода требуют по крайней мере двух ресурсов Azure OpenAI в разных регионах. В этой статье приведены общие рекомендации по реализации непрерывности бизнес-процессов и аварийного восстановления (BCDR) для приложений Azure OpenAI.

BCDR требуется специальный код

Сегодня клиенты будут вызывать конечную точку, предоставленную во время развертывания для вывода. Операции вывода являются без отслеживания состояния, поэтому данные не теряются, если регион становится недоступным.

Если регион не работает, клиенты должны выполнить шаги, чтобы обеспечить непрерывность службы.

BCDR для базовой модели и настраиваемой модели

Если вы используете базовые модели, необходимо настроить клиентский код для отслеживания ошибок и при сохранении ошибок, быть готовым перенаправить в другой регион, где у вас есть подписка Azure OpenAI.

Выполните следующие действия, чтобы настроить клиент для отслеживания ошибок.

  1. Используйте страницу моделей для выбора центров обработки данных и регионов, подходящих для вас.

  2. Выберите основной и один (или несколько) дополнительных или резервных регионов из списка.

  3. Создайте ресурсы Azure OpenAI для каждого выбранного региона.

  4. Для основного региона и всех регионов резервного копирования коду потребуются следующие сведения:

    • Базовый универсальный код ресурса (URI) для ресурса
    • Региональный ключ доступа или доступ к идентификатору Microsoft Entra

  5. Настройте код для отслеживания ошибок подключения (как правило, это время ожидания подключения и ошибки недоступности службы).

    • В сетях бывают временные ошибки, поэтому при возникновении единичных проблем с подключением рекомендуется повторить попытку.
    • Чтобы устранить проблемы с постоянным подключением, перенаправьте трафик на ресурс резервного копирования в созданных регионах.

Если вы настроили модель в основном регионе, вам потребуется переобучить базовую модель в дополнительных регионах, используя те же данные обучения. А затем выполните описанные выше действия.