Zobrazení přesnosti a výkonu prediktivních modelů určování skóre
Znalost přesnosti prediktivního model určování skóre pomáhá při rozhodování, zda je model připraven k použití nebo potřebuje vyladit pro vyšší přesnost. Pomáhá vám také přesvědčit vedoucí tým a prodejce, aby přijali model pro lepší obchodní výsledky.
Metriky popsané v tomto článku platí jak pro hodnocení příležitostí, tak pro hodnocení potenciálních zákazníků.
Požadavky na licenci a roli
| Typ požadavku | Musíte mít |
|---|---|
| Licence | Dynamics 365 Sales Premium nebo Dynamics 365 Sales Enterprise Další informace: Ceny Dynamics 365 Sales |
| Role zabezpečení | Správce systému Další informace: Předdefinované role zabezpečení pro Sales |
Faktory, které ovlivňují přesnost
Prediktivní model určování skóre vypočítá pravděpodobnost konverze příležitosti nebo potenciálního zákazníka v prodej. Přesnost modelu závisí na následujících faktorech:
- Kvalita a množství dat dostupných pro trénování modelu
- Výběr toku obchodního procesu a filtrů
- Vybrané fáze a atributy, pokud je model využívá modelování podle jednotlivých fází
Model je trénován pomocí 80 % uzavřených příležitostí nebo potenciálních zákazníků v trénovací datové sadě. Je ověřeno pomocí zbývajících 20 % jako testovací datové sady, která se skládá z nejnovějších záznamů. Přesnost modelu je vypočítána na ověřeném testovacím souboru dat na základě parametrů, jako jsou pravdivé pozitivní, falešně pozitivní a tak dále.
Zobrazení metrik přesnosti a výkonu
Přejděte na sekci Změnit oblast v levém dolním rohu aplikace Centrum prodeje a poté vyberte Nastavení Sales Insights.
Na mapě webu v části Prediktivní modely vyberte Určování skóre příležitostí nebo Určování skóre potenciálního zákazníka.
V seznamu Vybrat model vyberte model.
Vyberte kartu Výkon.
Karta Výkon zobrazuje následující metriky. Pokud nevidíte žádné metriky na kartě Výkon karta, upravte a přetrénujte model pro určování skóre příležitostí.
Výkon modelu: Určuje, zda je model připraven k publikování, na základě následujících parametrů:
Přesnost: Jak často model vytvářel správné předpovědi, ať už pozitivní, nebo negativní. Tato metrika je nejužitečnější, když je datová sada vyvážená a náklady na falešně pozitivní a falešně negativní výsledky jsou stejné. Skóre přesnosti je vypočítáno pomocí následujícího vzorce:
Přesnost = (TP + TN) / (celkový počet úspěšných příležitostí nebo potenciálních zákazníků) * 100
Úplnost: Jak často model správně předpověděl pozitivní výsledek ve srovnání se skutečnými pozitivními výsledky. Nízké skóre úplnosti znamená, že model předpovídá méně skutečných pozitivních výsledků. Skóre úplnosti se vypočítává na základě následujícího vzorce:
Úplnost = TP / (TP + FN) * 100
Poměr konverzí: Procento příležitostí nebo potenciálních zákazníků, kteří se kvalifikovali nebo byli získáni, podle historických údajů nebo pravděpodobnost, že příležitost nebo potenciální zákazník bude konvertován. Model využívá tuto hodnotu, aby určil, jak atribut ovlivní prediktivní skóre. Poměr konverze se vypočítává na základě následujícího vzorce:
Poměr konverze = (TP + FN) / (celkový počet úspěšně získaných příležitostí nebo potenciálních zákazníků) * 100
Konfuzní matice: Jak dobře model předpovídal výsledky, když byl testován na historických datech. Matice zobrazuje počet skutečně pozitivních, skutečných negativních, falešně pozitivních a falešně negativních.
Metrické Předpovídáno Skutečnost Pravdivě pozitivní (TP) Ano Ano Pravdivě negativní (TN) Ne Ne Falešně pozitivní (FP) Ano Ne Falešně negativní (FN) Ne Ano Plocha pod křivkou: Skóre plochy pod křivkou (AUC) modelu. Skóre AUC určuje pravděpodobnost, že model zařadí náhodně vybranou pozitivní instanci (vyhraná příležitost nebo potenciální zákazník) výše než náhodně zvolenou negativní instanci (ztracená příležitost nebo potenciální zákazník). Model s vyšší AUC je lepší v předpovídání skutečných pozitiv a skutečných negativ.
Skóre F1: Skóre F1 vypočítané na základě přesnosti modelu a skóre úplnosti. Skóre F1 určuje kvalitu modelu v případech nevyváženosti dat.
Mezi hodnota: Mezní hodnota, při které je potenciální zákazník nebo příležitost považována za kvalifikovanou nebo získanou. Pokud je například mezní hodnota 45, příležitosti se skóre vyšším než 45 budou považovány za vyhrané. Prahová hodnota je zvolena pro optimalizaci skóre F1.
Příklad: Metriky výkonu modelu
Podívejme se na predikce výsledky pro ukázkovou datovou sadu 1000 příležitostí:
| Data | Počet příležitostí |
|---|---|
| Pravdivě pozitivní výsledek | 650 |
| Falešně pozitivní | 200 |
| Pravdivě negativní výsledek | 100 |
| Falešně negativní | 50 |
Model předpověděl 850 vyhraných příležitostí (TP + FP), ale ve skutečnosti bylo vyhráno pouze 650 (TP) příležitostí. Podobně model předpovídal 150 (TN + FN) ztracených příležitostí, ale ve skutečnosti bylo pouze 100 (TN) ztracených příležitostí.
Následující tabulka ukazuje metriky pro data.
| Metrické | Skóre |
|---|---|
| Úspěšnost | (650 + 100) / 1000 = 75 % |
| Odvolat | 650 / (650 + 50) = 92 % |
| Převodní poměr | (650 + 50) / 1000 = 70 % |
Zvýšení výkonu modelu
Pokud váš model není připraven k publikování nebo si nevede dobře, vyzkoušejte následující kroky ke zlepšení jeho skóre.
- Zkontrolujte atributy, které používá.
- Podívejte se přehledy atributů, abyste pochopili jejich vliv na celkovou predikci modelu.
- Ignorujte prázdné hodnoty u atributů, které mají vyšší procento prázdných hodnot a mohou přispívat k falešně pozitivním nebo falešně negativním výsledkům.
- Zahrňte inteligentní pole, která pomohou modelu určování skóre zájemců rozlišovat mezi faktory, které zlepšují nebo poškozují skóre.
- Použijte modelování podle fáze v modelu určování skóre příležitostí k výběru atributů, které se použijí na každou fázi obchodního procesu.
- Upřesnit kritéria filtru, časové období pro trénovací data nebo jiné konfigurace modelu. Pokud jste například pro tréninková data zvolili 2 roky a během tohoto období je příliš mnoho testovacích nebo nesprávných záznamů, zvolte kratší časové období, například 6 měsíců nebo 1 rok, kdy je kvalita dat lepší.
Nemůžete volby najít ve své aplikaci?
Existují tři možnosti:
- Nemáte potřebnou licenci nebo roli. Podívejte se do sekce Požadavky na licence a role v horní části této stránky.
- Váš správce danou funkci nezapnul.
- Vaše organizace používá vlastní aplikaci. O přesném postupu se informujte u svého správce. Kroky popsané v tomto článku se týkají předem připravených aplikací Centrum prodeje a Sales Professional.
Související informace
Konfigurace prediktivního určování skóre zájemců
Konfigurace prediktivního určování skóre příležitostí