Ennakoivien pisteytysmallien tarkkuuden ja suorituskyvyn tarkasteleminen

Ennakoivan pisteytysmallin tarkkuuden tietäminen on tärkeää, kun päätät, onko malli valmiina käyttöön vai täytyykö sinun hienosäätää sitä tarkkuuden parantamiseksi. Lisäksi se auttaa sinua vakuuttamaan johtoryhmän ja myyjät ottamaan mallin käyttöön parantaakseen liiketoiminnan tuloksia.

Tässä artikkelissa kuvatut tekniset tiedot koskevat sekä mahdollisuuksien että liidien pisteytystä.

Lisenssi- ja roolivaatimukset

Vaatimustyyppi	Tarvitaan
Käyttöoikeus	Dynamics 365 Sales Premium tai Dynamics 365 Sales Enterprise Lisätietoja: Dynamics 365 Salesin hinnoittelu
Käyttöoikeusroolit	Järjestelmänvalvoja Lisätietoja: Salesin esimääritetyt käyttöoikeusroolit

Tarkkuuteen vaikuttavat tekijät

Ennakoiva pisteytysmalli laskee, kuinka todennäköisesti mahdollisuus tai liidi muunnetaan myynniksi. Mallin tarkkuus riippuu seuraavista tekijöistä:

• Mallin koulutukselle käytettävissä olevien tietojen laatu ja määrä
• Valitut liiketoimintaprosessit ja suodattimet
• Valitut vaiheet ja määritteet, jos malli käyttää vaihekohtaista mallinnusta

Mallia koulutetaan käyttäen 80 prosenttia koulutustietojoukon suljetuista mahdollisuuksista tai liideistä. Se tarkistetaan käyttämällä loppua 20 prosenttia testitietojoukkona, joka koostuu uusimmista tietueista. Mallin tarkkuus lasketaan vahvistetulle testitietojoukolle erilaisten parametrien perusteella, kuten todelliset positiiviset, virheelliset positiiviset ja niin edelleen.

Tarkkuuden ja suorituskyvyn mittareiden tarkasteleminen

1. Valitse Myyntikeskus-sovelluksen vasemmasta alakulmasta Vaihda aluetta ja valitse sitten Sales Insightsin asetukset.

2. Valitse sivustokartan Ennustemallit-osiosta Mahdollisuuksien pisteytys tai Liidien pisteyttäminen.

3. Valitse Valitse malli -luettelosta malli.

4. Valitse Suorituskyky-välilehti.

   

Suorituskyky-välilehdessä on seuraavat mittarit. Jos et näe Suorituskyky-välilehdessä yhtäkään mittaria, muokkaa mahdollisuuden pisteytysmallia ja kouluta se uudelleen.

• Mallin suorituskyky: Määrittää, onko malli valmis julkaistavaksi seuraavien parametrien perusteella:

  • Tarkkuus: kuinka usein mallisi tekee oikeita ennusteita, joko positiivisia tai negatiivisia.. Tämä mittari on hyödyllisin silloin, tietojoukko on tasapainotettu ja virheellisten positiivisten ja virheellisten negatiivisten kustannukset ovat samat. Tarkkuuspisteet lasketaan seuraavalla kaavalla:

    Tarkkuus = (TP + TN) / (pisteytettyjen mahdollisuuksien tai liidien kokonaismäärä) *100

  • Herkkyys: kuinka usein malli on ennustanut positiivisen tuloksen oikein verrattuna todellisiin positiivisiin. Alhainen herkkyyspistemäärä tarkoittaa, että malli ennustaa vähemmän todellisia positiivisia. Herkkyyspisteet lasketaan seuraavalla kaavalla:

    Herkkyys = TP / (TP + VN) * 100

  • Tulosprosentti: niiden mahdollisuuksien tai liidien prosenttiosuus, jotka on hyväksytty tai voitettu historiatietojen mukaan, tai todennäköisyys, että mahdollisuus tai liidi muunnetaan. Malli käyttää tätä arvoa määrittääkseen, miten määrite vaikuttaa ennakoivaan pistemäärään. Muunnosprosentti lasketaan seuraavalla kaavalla:

    Muunnosprosentti = (TP + VN) / (pisteytettyjen mahdollisuuksien tai liidien kokonaismäärä) *100

• Epäselvyysmatriisi: miten hyvin mallisi ennusti tulokset, kun sitä testattiin historiallisten tietojen perusteella. Matriisi näyttää todellisten positiivisten, todellisten negatiivisten, virheellisten positiivisten ja virheellisten negatiivisten määrän.

  Mittari	Ennustettu	Todellinen
  Tosi positiivinen (TP)	Kyllä	Kyllä
  Tosi negatiivinen (TN)	Ei	Ei
  Virheellinen esiintymä (FP)	Kyllä	Ei
  Virheellinen negatiivinen (FN)	Ei	Kyllä

• Käyrän alapuolinen alue: mallin käyrän alapuolisen alueen (AUC) pistemäärä. AUC-pistemäärä määrittää, kuinka todennäköisesti malli pisteyttää satunnaisesti valitun positiivisen esiintymän (voitetun mahdollisuuden tai hyväksytyn liidin) korkeammalle kuin satunnaisesti valitun negatiivisen esiintymän (hävityn mahdollisuuden tai hylätyn liidin). Malli, jolla on korkeampi AUC-pistemäärä, ennustaa todellisia positiivisia ja todellisia negatiivisia paremmin.

• F1-pistemäärä: F1-pistemäärä, joka lasketaan mallin tarkkuus- ja herkkyyspisteiden perusteella. F1-pistemäärä määrittää mallin laadun myös silloin, kun tiedot eivät ole tasapainossa.

• Raja-arvo: raja-arvo, jolloin liidi tai mahdollisuus katsotaan hyväksytyksi tai voitetuksi. Jos raja-arvo on esimerkiksi 45, mahdollisuuksien, joiden pistemäärä on yli 45, ennustetaan olevan voitettuja. Raja-arvo valitaan F1-pistemäärän optimoimiseksi.

Esimerkki: mallin suorituskykymittarit

Seuraavassa on 1 000 mahdollisuuden esimerkkitietojoukon ennustetulokset:

Tiedot	Mahdollisuuksien määrä
Tosi positiivinen	650
Virheellinen positiivinen	200
Tosi negatiivinen	100
Virheellinen negatiivinen	50

Malli ennusti voitettavaksi 850 mahdollisuutta (TP+FP), mutta todellisuudessa vain 650 (TP) mahdollisuutta voitettiin. Vastaavasti malli ennusti 150 (TN + FN) mahdollisuutta hävityksi, mutta vain 100 (TN) mahdollisuutta todellisuudessa hävittiin.

Seuraavassa taulukossa käsitellään tietojen mittausarvoja.

Mittari	Pisteet
Tarkkuus	(650 + 100) / 1 000 = 75 %
Palauta	650 / (650 + 50) = 92 %
Muunnosprosentti	(650 + 50) / 1 000 = 70 %

Mallin suorituskyvyn parantaminen

Jos malli ei ole valmis julkaistavaksi tai ei toimi hyvin, yritä parantaa sen pisteitä seuraavien vaiheiden mukaisesti.

• Tarkista sen käyttämät määritteet.
• Tarkastele määritteiden merkityksellisiä tietoja ymmärtääksesi, miten ne vaikuttavat mallin kokonaisennusteeseen.
• Ohita sellaisten määritteiden tyhjät arvot, joilla on suurempi prosenttisosuus tyhjiä arvoja ja jotka vaikuttavat siten virheellisiin positiivisiin tai virheellisiin negatiiviisiin.
• Sisällytä älykkäät kentät, jotta liidien pisteytysmalli osaa paremmin erotella pistemäärää parantavat tai haittaavat tekijät toisistaan.
• Käyttämällä mahdollisuuden pisteytysmallissa vaihekohtaista mallinnusta voit valita määritteitä, joita käytetään kussakin liiketoimintaprosessin vaiheessa.
• Tarkenna suodatusehtoja, koulutustietojen ajanjaksoa tai muita mallin määrityksiä. Jos olet valinnut koulutustietojen ajanjaksoksi esimerkiksi kaksi vuotta ja kyseisenä ajanjaksona on liikaa testejä tai virheellisiä tietueita, valitse lyhyempi ajanjakso (kuten kuusi kuukautta tai yksi vuosi), jossa tietojen laatu on parempi.

Etkö löydä asetuksia sovelluksesta?

Mahdollisuuksia on kolme:

• Sinulla ei ole tarvittavaa käyttöoikeutta tai roolia. Tarkista tämän sivun yläosassa oleva Käyttöoikeus- ja roolivaatimukset -osio.
• Järjestelmänvalvojasi ei ole ottanut ominaisuutta käyttöön.
• Organisaatiosi käyttää mukautettua sovellusta. Kysy tarkemmat vaiheet järjestelmänvalvojaltasi. Tässä artikkelissa kuvatut ohjeet koskevat käyttövalmiita Myyntikeskus- ja Sales Professional -sovelluksia.

Liittyvät tiedot

Ennakoivan liidien pisteyttämisen määritys
Ennakoivan mahdollisuuksien pisteyttämisen määrittäminen