Экосистема потока запроса
Экосистема потока запросов предназначена для предоставления комплексного набора руководств, инструментов и ресурсов для разработчиков, которые хотят использовать возможности потока запросов для экспериментальной настройки своих запросов и разработки приложения на основе LLM в чистой локальной среде без каких-либо зависимостей от привязки ресурсов Azure. В этой статье приводятся общие сведения о ключевых компонентах экосистемы, которые включают:
- Поток запроса открытый код проекта в GitHub.
- Пакет SDK потока запросов и интерфейс командной строки для простого выполнения потока и интеграции с конвейером CI/CD.
- Расширение VS Code для удобного разработки и разработки потоков в локальной среде.
Пакет SDK для потока запросов или CLI
Пакет SDK для потока запросов или CLI позволяет разработчикам использовать учетные данные для управления учетными данными, инициализировать потоки, разрабатывать потоки и выполнять пакетное тестирование и оценку потоков запросов локально.
Он предназначен для повышения эффективности, позволяя одновременно запускать тесты потока на основе большого набора данных и оценки метрик. Кроме того, пакет SDK/CLI можно легко интегрировать в конвейер CI/CD, автоматизуя процесс тестирования.
Чтобы приступить к работе с пакетом SDK для потока запросов, изучите и выполните инструкции по краткому запуску пакета SDK.
Расширение VS Code
Экосистема также предоставляет мощное расширение VS Code, предназначенное для упрощения и интерактивного разработки потоков запросов, точной настройки запросов и тестирования их с помощью пользовательского пользовательского интерфейса.
Чтобы приступить к работе с расширением VS Code потока запросов, перейдите в marketplace расширения, чтобы установить и прочитать вкладку сведений.
Переход на рабочую среду в облаке
После успешной разработки и тестирования потока запросов в нашей экосистеме сообщества последующий шаг может потребовать перехода на рабочее приложение LLM. Мы рекомендуем Машинное обучение Azure для этого этапа, чтобы обеспечить безопасность, эффективность и масштабируемость.
Вы можете легко переместить локальный поток в ресурс Azure, чтобы использовать крупномасштабное выполнение и управление в облаке. Чтобы достичь этого, ознакомьтесь с интеграцией с GenAIOps.
Поддержка сообщества
Экосистема сообщества процветает на совместной работе и поддержке. Присоединяйтесь к активным форумам сообщества, чтобы связаться с коллегами-разработчиками и внести свой вклад в рост экосистемы.
Для вопросов или отзывов вы можете открыть проблему GitHub напрямую или обратиться к ней pf-feedback@microsoft.com.
Следующие шаги
Экосистема сообщества потоков запросов позволяет разработчикам создавать интерактивные и динамические запросы с легкостью. Используя пакет SDK потока запросов и расширение VS Code, вы можете создавать убедительные пользовательские возможности и настраивать запросы в локальной среде.
- Присоединитесь к сообществу потока запросов на GitHub.