Сводка

  • 4 мин

В этом модуле мы рассмотрели, как использовать Azure OpenAI вместе с Azure Управление API. Объединяя эти службы, вы можете управлять и защищать доступ к моделям ИИ.

Во-первых, мы обсудили проблему балансировки нагрузки и как Azure Управление API помочь вам управлять трафиком и обеспечить равномерное распределение нагрузки между внутренними серверами. Мы также посмотрели на разбиения цепи и как они могут помочь управлять трафиком от неработоспособных серверных компонентов.

Далее мы обсудили ограничение скорости на основе токенов и способы его использования для управления доступом к API. Важное обучение было избегать чрезмерного потребления и так называемого "шумных соседей", устанавливая ограничения на потребление токенов.

Наконец, мы обсудили, как отслеживать и анализировать шаблоны использования маркеров с помощью политики метрик маркера OpenAI Azure. Предоставляя комплексные метрики, вы можете оптимизировать выделение ресурсов, улучшить принятие решений и улучшить мониторинг производительности.

Следующие шаги

Ниже приведены наши рекомендуемые действия.