Sdílet prostřednictvím

Vyladění modelů Meta Llama na portálu Azure AI Foundry

  • Článek

Důležité

Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Azure AI Foundry umožňuje přizpůsobit velké jazykové modely vašim osobním datovým sadám pomocí procesu označovaného jako jemné ladění.

Jemné ladění poskytuje významnou hodnotu tím, že umožňuje přizpůsobení a optimalizaci pro konkrétní úlohy a aplikace. Vede ke zlepšení výkonu, efektivity nákladů, snížení latence a přizpůsobených výstupů.

V tomto článku se dozvíte, jak v Azure AI Foundry doladit modely Meta Llama.

Meta Llama rodina velkých jazykových modelů (LLMs) je kolekce předem natrénovaných a jemně vyladěných generovacích textových modelů v rozsahu od 7 miliard do 70 miliard parametrů. Řada modelů obsahuje také jemně vyladěné verze optimalizované pro případy použití dialogu s výztuží učením z lidské zpětné vazby (RLHF), které se nazývá Llama-Instruct.

Důležité

Modely, které jsou ve verzi Preview, jsou na kartách modelu v katalogu modelů označené jako náhled .

Modely

Následující modely jsou k dispozici na Azure Marketplace pro Llama 3.1 při vyladění služby s průběžnými platbami:

  • Meta-Llama-3.1-70B-Instruct (Preview)
  • Meta-LLama-3.1-8b-Instruct (Preview)

Jemné ladění modelů Llama 3.1 je v současné době podporováno v projektech umístěných v oblasti USA – západ 3.

Důležité

V tuto chvíli nemůžeme provést jemné ladění pro Llama 3.1 s délkou sekvence 128 K.

Požadavky

Předplatné Azure s platným způsobem platby. Bezplatná nebo zkušební předplatná Azure nebudou fungovat. Pokud nemáte předplatné Azure, vytvořte si placený účet Azure, abyste mohli začít.

  • Centrum Azure AI Foundry

    Důležité

    U modelů Meta Llama 3.1 je nabídka vyladění modelu s průběžnými platbami dostupná pouze u center vytvořených v oblastech USA – západ 3 .

  • Projekt Azure AI Foundry na portálu Azure AI Foundry

  • Řízení přístupu na základě role v Azure (Azure RBAC) se používá k udělení přístupu k operacím na portálu Azure AI Foundry. Pokud chcete provést kroky v tomto článku, musí mít váš uživatelský účet přiřazenou roli vlastníka nebo přispěvatele pro dané předplatné Azure. Případně můžete svému účtu přiřadit vlastní roli, která má následující oprávnění:

    • V předplatném Azure – pokud chcete předplatit projekt Azure AI Foundry k nabídce Azure Marketplace, jednou pro každý projekt na nabídku:

      • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
      • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
      • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
      • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
      • Microsoft.SaaS/register/action

    • Ve skupině prostředků – vytvoření a použití prostředku SaaS:

      • Microsoft.SaaS/resources/read
      • Microsoft.SaaS/resources/write

    • V projektu Azure AI Foundry – nasazení koncových bodů (role Vývojáře Azure AI obsahuje tato oprávnění):

      • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
      • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

    Další informace o oprávněních najdete v tématu Řízení přístupu na základě role na portálu Azure AI Foundry.

Registrace poskytovatele předplatného

Ověřte, že je předplatné zaregistrované u Microsoft.Network poskytovatele prostředků.

  1. Přihlaste se k portálu Azure.

  2. V nabídce vlevo vyberte Předplatná .

  3. Vyberte předplatné, které chcete použít.

  4. V nabídce vlevo vyberte zprostředkovatele prostředků nastavení>.

  5. Ověřte, že microsoft.Network je v seznamu poskytovatelů prostředků. V opačném případě ho přidejte.

    Snímek obrazovky s poskytovateli prostředků předplatného na webu Azure Portal

Příprava dat

Připravte trénovací a ověřovací data pro vyladění modelu. Vaše cvičební data a sady ověřovacích dat se skládají ze vstupních a výstupních příkladů toho, jak se má model provádět.

Ujistěte se, že všechny trénovací příklady dodržují očekávaný formát pro odvozování. Pokud chcete modely efektivně vyladit, zajistěte vyváženou a různorodou datovou sadu.

To zahrnuje udržování rovnováhy dat, včetně různých scénářů, a pravidelné zpřesnění trénovacích dat tak, aby odpovídala očekáváním reálného světa, což nakonec vede k přesnějším a vyváženějším odpovědím modelu.

Různé typy modelů vyžadují jiný formát trénovacích dat.

Použitá trénovací a ověřovací data musí být naformátovaná jako dokument JSON Lines (JSONL). Pro Meta-Llama-3.1-70B-Instruct jemně vyladěnou datovou sadu musí být formátovaná v konverzačním formátu, který používá rozhraní API pro dokončování chatu.

Příklad formátu souboru

    {"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
    {"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
    {"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

Podporovaný typ souboru je řádky JSON. Soubory se nahrají do výchozího úložiště dat a zpřístupní se v projektu.

Vyladění modelu Meta Llama

Vyladění modelu LLama 3.1:

  1. Přihlaste se k Azure AI Foundry.

  2. Vyberte model, který chcete vyladit z katalogu modelů portálu Azure AI Foundry.

  3. Na stránce Podrobnosti modelu vyberte jemně vyladit.

  4. Vyberte projekt, ve kterém chcete modely vyladit. Pokud chcete použít nabídku pro vyladění modelu průběžných plateb, musí váš pracovní prostor patřit do oblasti USA – západ 3 .

  5. V průvodci doladěním vyberte odkaz na podmínky Azure Marketplace, kde najdete další informace o podmínkách použití. Můžete také vybrat kartu Podrobnosti nabídky Marketplace, kde se dozvíte o cenách vybraného modelu.

  6. Pokud model v projektu poprvé vyladíte, musíte se přihlásit k odběru konkrétní nabídky (například Meta-Llama-3.1-70B-Instruct) z Azure Marketplace. Tento krok vyžaduje, aby váš účet má oprávnění předplatného Azure a oprávnění skupiny prostředků uvedená v požadavcích. Každý projekt má vlastní předplatné konkrétní nabídky Azure Marketplace, která umožňuje řídit a monitorovat útraty. Vyberte Přihlásit se k odběru a dolaďte je.

    Poznámka:

    Přihlášení k odběru projektu konkrétní nabídce Azure Marketplace (v tomto případě Meta-Llama-3.1-70B-Instruct) vyžaduje, aby váš účet získal přístup přispěvatele nebo vlastníka na úrovni předplatného, kde se projekt vytvoří. Případně můžete svému uživatelskému účtu přiřadit vlastní roli, která má oprávnění předplatného Azure a oprávnění skupiny prostředků uvedená v požadavcích.

  7. Jakmile si zaregistrujete projekt pro konkrétní nabídku Azure Marketplace, následné vyladění stejné nabídky ve stejném projektu už nevyžaduje opětovné přihlášení k odběru. Proto nemusíte mít oprávnění na úrovni předplatného pro následné úlohy vyladit. Pokud se tento scénář týká vás, vyberte Pokračovat a vyladit ho.

  8. Zadejte název jemně vyladěného modelu a volitelné značky a popis.

  9. Výběrem trénovacích dat model vyladíte. Další informace najdete v přípravě dat.

    Poznámka:

    Pokud máte v úložišti dat méně přihlašovacích údajů trénovací/ověřovací soubory, budete muset povolit přístup spravované identity pracovního prostoru k úložišti dat, aby bylo možné pokračovat v jemném ladění MaaS s méně přihlašovacími údaji. Na stránce Úložiště dat po kliknutí na Aktualizovat ověřování > vyberte následující možnost:

    Použijte spravovanou identitu pracovního prostoru pro náhled dat a profilaci v studio Azure Machine Learning.

    Ujistěte se, že všechny trénovací příklady dodržují očekávaný formát pro odvozování. Pokud chcete modely efektivně vyladit, zajistěte vyváženou a různorodou datovou sadu. To zahrnuje udržování rovnováhy dat, včetně různých scénářů, a pravidelné zpřesnění trénovacích dat tak, aby odpovídala očekáváním reálného světa, což nakonec vede k přesnějším a vyváženějším odpovědím modelu.

    • Velikost dávky, která se má použít pro trénování. Při nastavení na hodnotu -1 se batch_size vypočítá jako 0,2 % příkladů v trénovací sadě a maximální hodnota je 256.
    • Mírná míra učení je původní míra učení používaná pro předtrénování vynásobenou tímto násobitelem. Doporučujeme experimentovat s hodnotami mezi 0,5 a 2. Empiricky jsme zjistili, že větší míry učení často fungují lépe s většími velikostmi dávek. Musí být v rozsahu 0,0 až 5.0.
    • Počet epoch trénování. Epocha odkazuje na jeden úplný cyklus prostřednictvím datové sady.

  10. Parametry úloh jsou volitelný krok a pokročilá možnost – Ladění hyperparametrů je nezbytné pro optimalizaci velkých jazykových modelů (LLM) v reálných aplikacích. Umožňuje zvýšit výkon a efektivní využití prostředků. Výchozí nastavení se dají použít nebo pokročilí uživatelé můžou přizpůsobit parametry, jako jsou epochy nebo rychlost učení.

  11. Zkontrolujte výběry a pokračujte v trénování modelu.

Jakmile je model jemně vyladěný, můžete ho nasadit a použít ho ve vlastní aplikaci, na hřišti nebo v příkazovém toku. Další informace najdete v tématu Nasazení řady Llama 3.1 velkých jazykových modelů pomocí Azure AI Foundry.

Čištění jemně vyladěných modelů

Jemně vyladěný model můžete odstranit ze seznamu jemně vyladěných modelů v Azure AI Foundry nebo na stránce s podrobnostmi modelu. Vyberte jemně vyladěný model, který chcete odstranit ze stránky Jemné ladění, a pak výběrem tlačítka Odstranit odstraňte jemně vyladěný model.

Poznámka:

Pokud má existující nasazení, nemůžete odstranit vlastní model. Před odstraněním vlastního modelu musíte nejprve odstranit nasazení modelu.

Náklady a kvóty

Důležité informace o nákladech a kvótách pro modely Meta Llama vyladěné jako služba

Meta llama modely jemně vyladěné jako služba jsou nabízeny meta prostřednictvím Azure Marketplace a integrované s Azure AI Foundry pro použití. Ceny za Azure Marketplace najdete při nasazování nebo vyladění modelů.

Pokaždé, když si projekt předplatí danou nabídku z tržiště Azure Marketplace, vytvoří se nový prostředek pro sledování nákladů spojených s jeho spotřebou. Ke sledování nákladů spojených s odvozováním a dolaďováním se používá stejný zdroj, nicméně ke sledování každého scénáře je k dispozici více měřidel nezávisle.

Další informace o sledování nákladů naleznete v části Sledování nákladů na modely nabízené prostřednictvím služby Azure Marketplace.

Ukázkový poznámkový blok

Pomocí tohoto ukázkového poznámkového bloku můžete vytvořit samostatnou úlohu vyladění, která vylepšuje schopnost modelu shrnout dialogy mezi dvěma lidmi pomocí datové sady Samsum. Využitá trénovací data jsou datová sada ultrachat_200k, která je rozdělená do čtyř rozdělení vhodných pro vyladění pod dohledem (sft) a pořadí generování (gen). Poznámkový blok využívá dostupné modely Azure AI pro úlohu dokončení chatu (pokud chcete použít jiný model, než jaký se v poznámkovém bloku používá, můžete název modelu nahradit). Poznámkový blok zahrnuje nastavení požadavků, výběr modelu pro vyladění, vytvoření trénovacích a ověřovacích datových sad, konfiguraci a odeslání úlohy jemného ladění a nakonec vytvoření bezserverového nasazení pomocí jemně vyladěného modelu pro odvozování vzorků.

Filtrování obsahu

Modely nasazené jako služba s průběžnými platbami jsou chráněné službou Azure AI Content Safety. Když se nasadí do koncových bodů v reálném čase, můžete se z této funkce odhlásit. S povolenou bezpečností obsahu Azure AI prochází výzva i dokončení souborem klasifikačních modelů určených k detekci a zabránění výstupu škodlivého obsahu. Systém filtrování obsahu (Preview) detekuje a provádí akce s konkrétními kategoriemi potenciálně škodlivého obsahu ve vstupních výzev i dokončení výstupu. Přečtěte si další informace o bezpečnosti obsahu Azure AI.

Další kroky