Krok 2. Nasazení POC za účelem shromáždění zpětné vazby účastníků

Na konci tohoto kroku jste nasadili aplikaci pro vyhodnocení agenta, která umožňuje zúčastněným stranám testovat a poskytovat zpětnou vazbu k vašemu poc. Podrobné protokoly o používání zúčastněných stran a jejich zpětná vazba budou přeneseny do tabulek Delta ve vašem Lakehouse.

Požadavky

• Dokončete krok 1. Klonování úložiště kódu a vytvoření výpočetních kroků
• Data z předpokladu : Shromažďování požadavků je k dispozici v Lakehouse v svazku katalogu Unity.

Podívejte se na úložiště GitHub pro vzorový kód v této části.

Testování konceptu aplikace RAG

Prvním krokem při vývoji řízeném vyhodnocením je vytvoření testování konceptu (POC). PoC nabízí následující výhody:

• Poskytuje směrový pohled na proveditelnost vašeho případu použití s RAG.
• Umožňuje shromažďovat počáteční zpětnou vazbu od zúčastněných stran, což vám zase umožňuje vytvořit první verzi zkušební sady.
• Vytvoří základní měření kvality, ze které se má začít iterovat od

Databricks doporučuje sestavení poC s využitím nejjednodušší architektury RAG a doporučených výchozích hodnot Databricks pro každý parametr.

Toto doporučení je proto, že existují stovky možných kombinací parametrů, které můžete vyladit v rámci aplikace RAG. Můžete snadno strávit týdny laděním, ale pokud to uděláte předtím, než budete moct systematicky vyhodnotit svůj RAG, skončíte v tom, co se označuje jako smyčka doom POC – iterace nastavení, ale bez toho, abyste mohli objektivní vědět, jestli jste provedli zlepšení – všichni účastníci se nacházejí v netrpělivě čekajících na kontrolu.

Šablony POC v tomto kurzu jsou navrženy s ohledem na iteraci kvality. Jsou parametrizovány na základě toho, co tým pro výzkum Databricks ukázal, jsou důležité ladit, aby se zlepšila kvalita RAG. Tyto šablony nejsou "3 řádky kódu, které magicky tvoří RAG", ale představují dobře strukturovanou aplikaci RAG, která je možné ladit pro kvalitu v následujících krocích vývojového pracovního postupu řízeného vyhodnocením.

Díky tomu můžete rychle nasadit POC, ale rychle přejít na iteraci kvality, aniž byste museli přepisovat kód.

Níže je uvedená technická architektura aplikace POC:

Poznámka:

PoC ve výchozím nastavení používá opensourcové modely, které jsou k dispozici na platformě Mosaic AI Foundation Model Serving. Vzhledem k tomu, že POC používá obsluhu modelu Mosaic AI, která podporuje jakýkoli základní model, je použití jiného modelu snadné – jednoduše tento model nakonfigurujte v obslužné službě modelu a pak nahraďte embedding_endpoint_name a llm_endpoint_name v poznámkovém 00_config bloku.

• Pro další opensourcové modely dostupné na Webu Databricks Marketplace postupujte podle rozhraní API základního modelu zřízené propustnosti.
• Sledujte Create_OpenAI_External_Model poznámkový blok nebo externí modely ve službě Mosaic AI Model Serving pro podporované modely hostované třetími stranami, jako jsou Azure OpenAI, OpenAI, Cohere, Anthropic a Google Gemini.

Postup nasazení POC ke shromažďování názorů

Následující kroky ukazují, jak spustit a nasadit aplikaci poC generativní AI. Po nasazení získáte adresu URL do aplikace pro kontrolu, kterou můžete sdílet se zúčastněnými stranami, abyste mohli shromáždit zpětnou vazbu.

1. Otevřete složku kódu POC v rámci A_POC_app na základě vašeho typu dat:

   • Pro soubory PDF použijte pdf_uc_volume.
   • U powerpointových souborů použijte pptx_uc_volume.
   • Pro soubory DOCX použijte docx_uc_volume.
   • Soubory JSON s textem, markdownem, obsahem HTML a metadaty používají json_uc_volume

   Pokud vaše data nesplňují jeden z výše uvedených požadavků, můžete přizpůsobit funkci analýzy (parser_udf) 02_poc_data_pipeline v rámci výše uvedených adresářů POC, aby fungovala s vašimi typy souborů.

   Ve složce POC se zobrazí následující poznámkové bloky:

   

   Poznámka:

   Tyto poznámkové bloky jsou relativní vzhledem ke konkrétnímu poc, který jste zvolili. Pokud se například zobrazí odkaz na 00_config vybraný poznámkový blok, pdf_uc_volumenajdete příslušný 00_config poznámkový blok na adrese A_POC_app/pdf_uc_volume/00_config.

2. Volitelně zkontrolujte výchozí parametry.

   Otevřete poznámkový blok 00_config v adresáři POC, který jste zvolili výše, a zobrazte výchozí parametry aplikací POC pro datový kanál a řetězec RAG.

   Důležité

   Doporučené výchozí parametry Databricks nejsou ideální, ale představují místo, kde začít. Další kroky tohoto pracovního postupu vás provedou iterací těchto parametrů.

3. Ověřte konfiguraci.

   Spuštěním příkazu 01_validate_config zkontrolujte, jestli je vaše konfigurace platná a že jsou dostupné všechny prostředky. Soubor rag_chain_config.yaml se zobrazí ve vašem adresáři, který se používá k nasazení aplikace.

4. Spusťte datový kanál.

   Datový kanál POC je poznámkový blok Databricks založený na Apache Sparku. Otevřete poznámkový 02_poc_data_pipeline blok a stisknutím klávesy Spustit vše kanál spusťte. Kanál provede následující:

   • Načte nezpracované dokumenty ze svazku UC.
   • Analyzuje každý dokument a uloží výsledky do tabulky Delta.
   • Rozdělí každý dokument do bloků a uloží výsledky do tabulky Delta.
   • Vloží dokumenty a vytvoří vektorový index s využitím vektorového vyhledávání v systému Mosaic AI.

   Metadata, jako jsou výstupní tabulky a konfigurace, jsou zaznamenávány do MLflow:

   Výstupy můžete zkontrolovat vyhledáním odkazů na výstup tabulek delta nebo vektorových indexů v dolní části poznámkového bloku:

   Vector index: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>_poc_chunked_docs_gold_index
   
   Output tables:
   
   Bronze Delta Table w/ raw files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_raw_files_bronze
   Silver Delta Table w/ parsed files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_parsed_docs_silver
   Gold Delta Table w/ chunked files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_chunked_docs_gold
   

5. Nasaďte řetěz POC do aplikace Pro kontrolu.

   Výchozí řetězec POC je řetěz RAG s vícenásobnou konverzací vytvořený pomocí jazyka LangChain.

   Poznámka:

   Řetězec POC používá protokolování založené na kódu MLflow. Další informace o protokolování založeném na kódu najdete v tématu Protokolování a registrace agentů AI.

   1. Otevření poznámkového 03_deploy_poc_to_review_app bloku

   2. Spusťte každou buňku poznámkového bloku.

   3. Trasování MLflow ukazuje, jak aplikace POC funguje. Upravte vstupní otázku na otázku, která je relevantní pro váš případ použití, a znovu spusťte buňku tak, aby se aplikace "zkontrolovala".

   4. Upravte výchozí pokyny tak, aby byly relevantní pro váš případ použití. Zobrazí se v aplikaci Revize.

         instructions_to_reviewer = f"""## Instructions for Testing the {RAG_APP_NAME}'s Initial Proof of Concept (PoC)
      
         Your inputs are invaluable for the development team. By providing detailed feedback and corrections, you help us fix issues and improve the overall quality of the application. We rely on your expertise to identify any gaps or areas needing enhancement.
      
         1. **Variety of Questions**:
            - Please try a wide range of questions that you anticipate the end users of the application will ask. This helps us ensure the application can handle the expected queries effectively.
      
         2. **Feedback on Answers**:
            - After asking each question, use the feedback widgets provided to review the answer given by the application.
            - If you think the answer is incorrect or could be improved, please use "Edit Answer" to correct it. Your corrections will enable our team to refine the application's accuracy.
      
         3. **Review of Returned Documents**:
            - Carefully review each document that the system returns in response to your question.
            - Use the thumbs up/down feature to indicate whether the document was relevant to the question asked. A thumbs up signifies relevance, while a thumbs down indicates the document was not useful.
      
         Thank you for your time and effort in testing {RAG_APP_NAME}. Your contributions are essential to delivering a high-quality product to our end users."""
      
         print(instructions_to_reviewer)
      

   5. Spusťte nasazovací buňku a získejte odkaz na review aplikaci.

      Review App URL: https://<your-workspace-url>.databricks.com/ml/review/<uc-catalog>.<uc-schema>.<uc-model-name>/<uc-model-version>
      

6. Udělte jednotlivým uživatelům oprávnění pro přístup k aplikaci Review.

   Přístup uživatelům, kteří nejsou uživateli Databricks, můžete udělit pomocí postupu v Nastavení oprávnění pro použitíaplikace pro kontrolu.

7. Otestujte aplikaci Review tak, že položíte několik otázek sami a poskytnete zpětnou vazbu.

   Poznámka:

   Trasování MLflow a zpětná vazba uživatele z aplikace Revize se zobrazí v tabulkách Delta ve schématu katalogu, které jste nakonfigurovali. Zobrazení protokolů v těchto tabulkách Delta může trvat až 2 hodiny.

8. Sdílení aplikace Revize se zúčastněnými stranami

   Teď můžete sdílet svou aplikaci POC RAG se zúčastněnými stranami, abyste získali zpětnou vazbu.

   Důležité

   Databricks navrhuje distribuovat poC alespoň třem zúčastněným stranám a každý z nich se ptá na 10 až 20 otázek. Je důležité, aby vaše POC otestovalo více zúčastněných stran, takže můžete mít různorodou sadu perspektiv, které můžete zahrnout do hodnotící sady.

Další krok

Pokračujte s na krok 3. Připravit sadu hodnocení z připomínek zúčastněných stran.

< Předchozí: Krok 1. Klonování úložiště a vytvoření výpočetních prostředků

Další: Krok 3. Sestavit sadu vyhodnocení >