Získejte zpětnou vazbu o kvalitě agentské aplikace

Důležité

Tato funkce je ve verzi Public Preview.

V tomto článku se dozvíte, jak pomocí aplikace Pro kontrolu Databricks shromáždit zpětnou vazbu od lidských revidujících o kvalitě vaší agentské aplikace. Tento článek se věnuje následujícím:

• Jak nasadit revizní aplikaci
• Jak revidují aplikaci k poskytnutí zpětné vazby k odpovědím aplikace agentů.
• Jak můžou odborníci kontrolovat protokolované chaty a poskytovat návrhy na vylepšení a další zpětnou vazbu pomocí aplikace.

Co se stane v hodnocení člověka?

Aplikační kontrolní nástroj Databricks nasazuje LLM v prostředí, kde s ním mohou odborníci komunikovat - jinými slovy vést konverzaci, klást otázky, poskytovat zpětnou vazbu atd. Recenzní aplikace protokoluje všechny otázky, odpovědi a zpětnou vazbu v analytické tabulce, abyste mohli dále analyzovat výkon LLM. Tímto způsobem aplikace pro kontrolu pomáhá zajistit kvalitu a bezpečnost odpovědí, které vaše aplikace poskytuje.

Účastníci můžou chatovat s robotem aplikace a poskytovat zpětnou vazbu k těmto konverzacím nebo poskytovat zpětnou vazbu k historickým protokolům, kurátorovaným trasováním nebo výstupům agenta.

Požadavky

• Inferenční tabulky musí být povolené na koncovém bodu, který obsluhuje agenta.

• Každý kontrolor musí mít přístup k pracovnímu prostoru aplikace pro kontrolu nebo musí být synchronizovaný s vaším účtem Databricks pomocí SCIM. Podívejte se na další část, Nastavení oprávnění pro použití aplikace pro kontrolu.

• Vývojáři musí nainstalovat sadu databricks-agents SDK, aby nastavili oprávnění a nakonfigurovali aplikaci pro kontrolu.

  %pip install databricks-agents
  dbutils.library.restartPython()
  

Nastavení oprávnění k používání aplikace pro kontrolu

Poznámka:

K používání aplikace pro kontrolu nevyžadují pracovníci revidujících přístup k pracovnímu prostoru.

Přístup k aplikaci pro kontrolu můžete udělit všem uživatelům ve vašem účtu Databricks, i když nemají přístup k pracovnímu prostoru, který obsahuje aplikaci pro kontrolu.

• Pro uživatele, kteří nemají přístup k pracovnímu prostoru, správce účtu používá zřizování SCIM na úrovni účtu k automatické synchronizaci uživatelů a skupin z vašeho zprostředkovatele identity s vaším účtem Azure Databricks. Tyto uživatele a skupiny můžete také ručně zaregistrovat, abyste jim mohli udělit přístup při nastavování identit v Databricks. Viz Synchronizace uživatelů a skupin z Microsoft Entra ID pomocí SCIM.
• Pro uživatele, kteří už mají přístup k pracovnímu prostoru, který obsahuje aplikaci pro kontrolu, není nutná žádná další konfigurace.

Následující příklad kódu ukazuje, jak uživatelům udělit oprávnění k revizní aplikaci pro agenta. Parametr users přebírá seznam e-mailových adres.

from databricks import agents

# Note that <user_list> can specify individual users or groups.
agents.set_permissions(model_name=<model_name>, users=[<user_list>], permission_level=agents.PermissionLevel.CAN_QUERY)

Pokud chcete zkontrolovat protokol chatu, musí mít CAN_REVIEW uživatel oprávnění.

Nasazení aplikace pro kontrolu

Když nasadíte agenta pomocí agents.deploy(), aplikace pro kontrolu se automaticky povolí a nasadí. Výstup z příkazu zobrazuje adresu URL aplikace pro kontrolu. Informace o nasazení agenta naleznete v tématu Nasazení agenta pro generování aplikace AI.

Pokud ztratíte odkaz na nasazení, můžete ho najít pomocí list_deployments().

from databricks import agents

deployments = agents.list_deployments()
deployments

Kontrola uživatelského rozhraní aplikace

Pokud chcete otevřít aplikaci pro kontrolu, klikněte na zadanou adresu URL. Uživatelské rozhraní aplikace pro kontrolu má na levém bočním panelu tři karty:

• Pokyny zobrazí revidujícímu pokyny. Viz Pokyny pro revidujícím.
• Chaty, které si prohlédnou , zobrazí protokoly z interakcí revidujících s aplikací, aby je mohli odborníci vyhodnotit. Projděte si expertní kontrolu protokolů z interakcí jiných uživatelů s aplikací.
• Test robota Umožňuje revidujícím chatovat s aplikací a odesílat recenze odpovědí. Podívejte se na Chat s aplikací a odešlete recenze.

Když otevřete aplikaci pro kontrolu, zobrazí se stránka s pokyny.

• Chcete-li chatovat s robotem, klikněte na Zahájit kontrolunebo vyberte Otestovat robota na levém bočním panelu. Další podrobnosti najdete v chatu s aplikací a odeslání recenzí .
• Pokud chcete zkontrolovat protokoly chatu, které byly k dispozici pro vaši kontrolu, vyberte Chaty a zkontrolujte na bočním panelu. Podrobnosti najdete v části Expert review of logs from other user's interactions with the app . Informace o tom, jak zpřístupnit protokoly chatu z aplikace pro kontrolu, najdete v tématu Zpřístupnění protokolů chatu pro vyhodnocení expertních revidujících.

Poskytněte revidujícím pokyny.

Pokud chcete poskytnout vlastní text pokynů zobrazených revidujícím, použijte následující kód:

from databricks import agents

agents.set_review_instructions(uc_model_name, "Thank you for testing the bot. Use your domain expertise to evaluate and give feedback on the bot's responses, ensuring it aligns with the needs and expectations of users like yourself.")
agents.get_review_instructions(uc_model_name)

Chat s aplikací a odeslání recenzí

Chat s aplikací a odeslání recenzí:

1. Na levém bočním panelu klikněte na Test robota .

2. Zadejte otázku do pole a stiskněte klávesu Return nebo Enter na klávesnici nebo klikněte na šipku v poli.

   Aplikace zobrazí odpověď na vaši otázku a zdroje, které použila k vyhledání odpovědi.

   Poznámka:

   Pokud agent používá retriever, zdroje dat jsou identifikovány polem doc_uri nastaveným schématem retrieveru definovaného během vytváření agenta. Viz Nastavení schématu načítání.

3. Zkontrolujte odpověď aplikace a vyberte Ano, Nenebo nevím.

4. Aplikace žádá o další informace. Zaškrtněte příslušná políčka nebo zadejte komentáře do zadaného pole.

5. Odpověď můžete také upravit přímo tak, aby poskytovala lepší odpověď. Pokud chcete odpověď upravit, klikněte na Upravit odpověď, proveďte změny v dialogovém okně a klikněte na Uložit, jak je znázorněno v následujícím videu.

6. Kliknutím na Hotovo uložte svůj názor.

7. Pokud chcete poskytnout další zpětnou vazbu, pokračujte v kladení otázek.

Následující diagram znázorňuje tento pracovní postup.

1. Pomocí aplikace pro kontrolu chatuje revidujícím s agentickou aplikací.
2. Pomocí aplikace pro kontrolu revidujícím poskytuje zpětnou vazbu k odpovědím na aplikace.
3. Všechny žádosti, odpovědi a zpětná vazba se protokolují do odvozovacích tabulek.

Zpřístupnění protokolů chatu pro vyhodnocení expertních revidujících

Když uživatel pracuje s aplikací pomocí rozhraní REST API nebo aplikace pro kontrolu, uloží se všechny požadavky, odpovědi a další zpětná vazba do odvozovacích tabulek. Tabulky odvozování se nacházejí ve stejném katalogu a schématu Katalogu Unity, ve kterém byl model zaregistrován a mají název <model_name>_payload, <model_name>_payload_assessment_logsa <model_name>_payload_request_logs. Další informace o těchto tabulkách, včetně schémat, naleznete v tématu tabulky odvození rozšířené agenty.

Pokud chcete tyto protokoly načíst do revizní aplikace pro vyhodnocení od expertů, musíte nejprve najít request_id a povolit kontroly pro tyto request_id účely:

1. Vyhledejte request_id, které je třeba zkontrolovat z inferenční tabulky <model_name>_payload_request_logs. Tabulka inferenční je ve stejném katalogu Unity Catalog a schématu, ve kterém byl model zaregistrován.

2. Pomocí kódu podobného následujícímu načtěte protokoly kontroly do aplikace pro kontrolu:

   from databricks import agents
   
   agents.enable_trace_reviews(
     model_name=model_fqn,
     request_ids=[
         "52ee973e-0689-4db1-bd05-90d60f94e79f",
         "1b203587-7333-4721-b0d5-bba161e4643a",
         "e68451f4-8e7b-4bfc-998e-4bda66992809",
     ],
   )
   

3. Výsledná buňka obsahuje odkaz na aplikaci pro kontrolu s vybranými protokoly načtenými ke kontrole.

Odborná kontrola protokolů z interakcí jiných uživatelů s aplikací

Pokud chcete zkontrolovat protokoly z předchozích chatů, musí být protokoly povolené ke kontrole. Viz Zpřístupnění protokolů chatu pro vyhodnocení expertních revidujících.

1. V levém bočním panelu kontrolní aplikace vyberte Chaty a zkontrolujte. Zobrazí se povolené požadavky.

   

2. Kliknutím na žádost ji zobrazíte ke kontrole.

3. Zkontrolujte požadavek a odpověď. Aplikace také zobrazuje zdroje, které se používají pro referenci. Kliknutím na tyto odkazy můžete zkontrolovat a poskytnout zpětnou vazbu k relevance zdroje.

4. Pokud chcete poskytnout zpětnou vazbu na kvalitu odpovědi, vyberte Ano, Nenebo nevím.

5. Aplikace žádá o další informace. Zaškrtněte příslušná políčka nebo zadejte komentáře do zadaného pole.

6. Odpověď můžete také upravit přímo tak, aby poskytovala lepší odpověď. Pokud chcete odpověď upravit, klikněte na Upravit odpověď, proveďte změny v dialogovém okně a klikněte na Uložit. Podívejte se na Chat s aplikací a odešlete recenze videa, které ukazuje proces.

7. Kliknutím na Hotovo uložte svůj názor.

Následující diagram znázorňuje tento pracovní postup.

1. Pomocí aplikace pro kontrolu nebo vlastní aplikace revidují revidujícím chat s agentickou aplikací.
2. Všechny požadavky a odpovědi se protokolují do odvozovacích tabulek.
3. Vývojář aplikací používá enable_trace_reviews([request_id]) (kde request_id pochází z tabulky odvozování <model_name>_payload_request_logs) k publikování protokolů chatu ke kontrole aplikace.
4. Pomocí aplikace pro kontrolu zkontrolujete protokoly expertů a poskytnete zpětnou vazbu. Do odvozovacích tabulek se zaprotokoluje odborná zpětná vazba.

Poznámka:

Pokud máte povolenou bránu firewall služby Azure Storage, obraťte se na svůj tým účtu Azure Databricks a povolte tabulky odvozování pro vaše koncové body.

Použijte mlflow.evaluate() v tabulce protokolů požadavků

Následující poznámkový blok ukazuje, jak používat protokoly z aplikace pro kontrolu jako vstup do zkušebního spuštění pomocí mlflow.evaluate().

Spuštění vyhodnocení v poznámkovém bloku protokolů požadavků

Získej poznámkový blok