Dela via

Steg 2. Distribuera POC för att samla in feedback från intressenter

  • Artikel

I slutet av det här steget har du distribuerat appen Granskning av agentutvärdering som gör att dina intressenter kan testa och ge feedback om din POC. Detaljerade loggar från dina intressenters användning och deras feedback flödar till Delta Tables i ditt Lakehouse.

RAG-programbevis

Krav

Se GitHub-lagringsplatsen för exempelkoden i det här avsnittet.

Proof of concept RAG-program

Det första steget i utvärderingsdriven utveckling är att skapa ett konceptbevis (POC). En POC erbjuder följande fördelar:

  • Ger en riktad vy över genomförbarheten av ditt användningsfall med RAG
  • Tillåter insamling av inledande feedback från intressenter, vilket i sin tur gör att du kan skapa den första versionen av din utvärderingsversion Set
  • Upprättar en baslinjemätning av kvalitet som ska börja iterera från

Databricks rekommenderar att du skapar din POC med den enklaste RAG-arkitekturen och Databricks rekommenderade standardvärden för varje parameter.

Den här rekommendationen beror på att det finns hundratals möjliga kombinationer av parameters som du kan justera i DITT RAG-program. Du kan enkelt ägna veckor åt att justera dessa, men om du gör det innan du systematiskt kan utvärdera din RAG hamnar du i vad som kallas en POC-doom-loop – itererande på inställningar, men utan något sätt att objektivt veta om du gjorde en förbättring – allt medan dina intressenter sitter och väntar otåligt på att granska.

POC-mallarna i den här självstudien är utformade med kvalitets iteration i åtanke. De parametriseras baserat på vad Databricks-forskningsteamet har visat är viktigt att finjustera för att förbättra RAG-kvaliteten. Dessa mallar är inte "3 rader kod som magiskt gör en RAG", utan är ett välstrukturerat RAG-program som kan justeras för kvalitet i följande steg i ett utvärderingsdrivet utvecklingsarbetsflöde.

På så sätt kan du snabbt distribuera en POC, men snabbt övergå till kvalitets iteration utan att behöva skriva om koden.

Nedan visas poc-programmets tekniska arkitektur:

POC-programarkitektur

Kommentar

Poc använder som standard de öppen källkod modeller som är tillgängliga på Mosaic AI Foundation Model Serving. Men eftersom POC använder Mosaic AI Model Serving, som stöder alla grundmodeller00_config

Steg för att distribuera en POC för att samla in feedback

Följande steg visar hur du kör och distribuerar ett POC-generativt AI-program. När du har distribuerat get du en URL till granskningsappen som du kan dela med intressenter för att samla in feedback.

  1. Öppna POC-kodmappen i A_POC_app baserat på din typ av data:

    • Använd pdf_uc_volume för PDF-filer.
    • Använd pptx_uc_volume för Powerpoint-filer.
    • Använd docx_uc_volume för DOCX-filer.
    • JSON-filer med text, markdown, HTML-innehåll och metadata använder json_uc_volume

    Om dina data inte uppfyller något av ovanstående krav kan du anpassa parsningsfunktionen (parser_udf) i 02_poc_data_pipeline ovanstående POC-kataloger för att arbeta med dina filtyper.

    I POC-mappen ser du följande notebook-filer:

    Notebook-filer

    Kommentar

    Dessa notebook-filer är i förhållande till den specifika POC du har valt. Om du till exempel ser en referens till 00_config och du har valt pdf_uc_volumekan du hitta relevant 00_config notebook-fil på A_POC_app/pdf_uc_volume/00_config.

  2. Valfritt, granska standard-parameters.

    Öppna 00_config notebook-filen i den POC-katalog som du valde ovan för att visa POC:s programstandard parameters för datapipelinen och RAG-kedjan.

    Viktigt!

    Databricks rekommenderade standard parameters är inte avsedda att vara perfekta, men är en plats att börja på. Nästa steg i det här arbetsflödet vägleder dig genom iterering av dessa parameters.

  3. Verifiera konfigurationen.

    01_validate_config Kör för att kontrollera att konfigurationen är giltig och att alla resurser är tillgängliga. Filen rag_chain_config.yaml visas i din katalog, som används för att distribuera programmet.

  4. Kör datapipelinen.

    POC-datapipelinen är en Databricks-notebook-fil baserad på Apache Spark. Öppna anteckningsboken 02_poc_data_pipeline och tryck på Kör alla för att köra pipelinen. Pipelinen gör följande:

    • Läser in rådatadokumenten från UC-volymen
    • Parsar varje dokument och sparar resultatet till en Delta-Table
    • Dela upp varje dokument och spara resultaten till en Delta Table
    • Bäddar in dokumenten och skapar ett vektorindex med hjälp av Mosaic AI Vector Search

    Metadata om datapipelinen, såsom utdata tables och konfiguration, loggas till MLflow.

    GIF för att visa datapipelinen

    Du kan granska utdata genom att leta efter länkar till delta-Tables- eller vektorindexutdata längst ned i notebook-filen:

    Vector index: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>_poc_chunked_docs_gold_index

Output tables:

Bronze Delta Table w/ raw files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_raw_files_bronze
Silver Delta Table w/ parsed files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_parsed_docs_silver
Gold Delta Table w/ chunked files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_chunked_docs_gold

  5. Distribuera POC-kedjan till granskningsappen.

    Poc-standardkedjan är en RAG-kedja med flera turer som skapats med LangChain.

    Kommentar

    POC-kedjan använder MLflow-kodbaserad loggning. Mer information om kodbaserad loggning finns i Logga och registrera AI-agenter.

    1. Öppna anteckningsboken 03_deploy_poc_to_review_app

    2. Kör varje cell i notebook-filen.

    3. MLflow-spårningen visar hur POC-programmet fungerar. Justera indatafrågan till en som är relevant för ditt användningsfall och kör cellen igen för att "kontrollera" programmet.

      GIF som visar MLflow Tracing

    4. Ändra standardinstruktionerna så att de är relevanta för ditt användningsfall. Dessa visas i granskningsappen.

         instructions_to_reviewer = f"""## Instructions for Testing the {RAG_APP_NAME}'s Initial Proof of Concept (PoC)

   Your inputs are invaluable for the development team. By providing detailed feedback and corrections, you help us fix issues and improve the overall quality of the application. We rely on your expertise to identify any gaps or areas needing enhancement.

   1. **Variety of Questions**:
      - Please try a wide range of questions that you anticipate the end users of the application will ask. This helps us ensure the application can handle the expected queries effectively.

   2. **Feedback on Answers**:
      - After asking each question, use the feedback widgets provided to review the answer given by the application.
      - If you think the answer is incorrect or could be improved, please use "Edit Answer" to correct it. Your corrections will enable our team to refine the application's accuracy.

   3. **Review of Returned Documents**:
      - Carefully review each document that the system returns in response to your question.
      - Use the thumbs up/down feature to indicate whether the document was relevant to the question asked. A thumbs up signifies relevance, while a thumbs down indicates the document was not useful.

   Thank you for your time and effort in testing {RAG_APP_NAME}. Your contributions are essential to delivering a high-quality product to our end users."""

   print(instructions_to_reviewer)

    5. Kör distributionscellen för att get en länk till granskningsappen.

      Review App URL: https://<your-workspace-url>.databricks.com/ml/review/<uc-catalog>.<uc-schema>.<uc-model-name>/<uc-model-version>

  6. Grant enskilda användares behörigheter att få tillgång till granskningsappen.

    Du kan grant ge åtkomst till användare som inte är Databricks-användare genom att följa stegen i Set för att ställa in behörigheter för att använda granskningsappen.

  7. Testa granskningsappen genom att ställa några frågor själv och ge feedback.

    Kommentar

    MLflow-spårningar och användarens feedback från granskningsappen visas i Delta Tables i den catalogschema som du har konfigurerat. Det kan ta upp till 2 timmar innan loggar visas i det Delta Tables.

  8. Dela granskningsappen med intressenter

    Nu kan du dela ditt POC RAG-program med dina intressenter för att get deras feedback.

    Viktigt!

    Databricks föreslår att du distribuerar din POC till minst tre intressenter och having var och en ställer 10–20 frågor. Det är viktigt att flera intressenter testar din POC så att du kan ha en mängd olika set perspektiv att ta med i utvärderingen set.

Gå vidare

Fortsätt med steg 3. Sammanställ en utvärdering Set baserat på intressenternas synpunkter.

< Föregående: Steg 1. Klona lagringsplats och skapa beräkning

Nästa: Steg 3. Kurera en utvärdering set>