Eksplorowanie połączeń i środowisk uruchomieniowych

Ukończone

Podczas tworzenia aplikacji modelu dużego języka (LLM) z przepływem monitów należy najpierw skonfigurować wszelkie niezbędne połączenia i środowiska uruchomieniowe.

Eksplorowanie połączeń

Zawsze, gdy chcesz, aby przepływ łączył się z zewnętrznym źródłem danych, usługą lub interfejsem API, musisz mieć autoryzację przepływu do komunikowania się z usługą zewnętrzną. Podczas tworzenia połączenia należy skonfigurować bezpieczny link między przepływem monitów a usługami zewnętrznymi, zapewniając bezproblemową i bezpieczną komunikację danych.

Diagram showing a flow with two nodes, connecting to Cognitive Search and Azure Open AI.

W zależności od typu tworzonego połączenia połączenie bezpiecznie przechowuje punkt końcowy, klucz interfejsu API lub poświadczenia niezbędne do monitowania przepływu do komunikowania się z usługą zewnętrzną. Wszelkie niezbędne wpisy tajne nie są widoczne dla użytkowników, ale zamiast tego są przechowywane w usłudze Azure Key Vault.

Konfigurując połączenia, użytkownicy mogą łatwo używać usług zewnętrznych niezbędnych dla narzędzi w swoich przepływach.

Niektóre wbudowane narzędzia wymagają skonfigurowania połączenia:

Connection type Wbudowane narzędzia
Azure Open AI LLM lub Python
Otwórz sztuczną inteligencję LLM lub Python
Cognitive Search Wyszukiwanie bazy danych wektorów lub python
Serp Interfejs API serp lub język Python
Niestandardowy Python

Monitowanie połączeń przepływu odgrywa kluczowe role w dwóch scenariuszach. Automatyzują zarządzanie poświadczeniami interfejsu API, upraszczają i zabezpieczają obsługę poufnych informacji o dostępie. Ponadto umożliwiają bezpieczny transfer danych z różnych źródeł, co ma kluczowe znaczenie dla zachowania integralności danych i prywatności w różnych środowiskach.

Eksplorowanie środowisk uruchomieniowych

Po utworzeniu przepływu i skonfigurowaniu niezbędnych połączeń używanych przez narzędzia chcesz uruchomić przepływ. Aby uruchomić przepływ, potrzebne są obliczenia oferowane za pośrednictwem środowisk uruchomieniowych przepływu monitów.

Diagram runtimes, compute, and environments in relation to flows.

Środowiska uruchomieniowe (1) to kombinacja wystąpienia obliczeniowego (2) zapewniającego niezbędne zasoby obliczeniowe oraz środowisko (3) określające niezbędne pakiety i biblioteki, które należy zainstalować przed uruchomieniem przepływu.

W przypadku korzystania ze środowisk uruchomieniowych masz kontrolowane środowisko, w którym można uruchamiać i weryfikować przepływy, zapewniając, że wszystko działa zgodnie z oczekiwaniami w stabilnym ustawieniu. Domyślne środowisko jest dostępne do szybkiego programowania i testowania. Jeśli wymagane jest zainstalowanie innych pakietów, możesz utworzyć środowisko niestandardowe.