Vise nøyaktigheten og ytelsen for prediktive poengberegningsmodeller

Ved å vite hvor nøyaktiv en prediktiv poengberegningsmodell er kan du få hjelp til å avgjøre om modellen er klar til bruk, eller om den må finjusteres for å oppnå bedre nøyaktighet. Det hjelper deg også med å få ledelsen og selgerne til å ta i bruk modellen for bedre forretningsresultater.

Metrikkverdiene som er beskrevet i denne artikkelen, gjelder både for poengberegning for salgsmulighet og kundeemne.

Lisens- og rollekrav

Kravtype	Du må ha
Lisens	Dynamics 365 Sales Premium eller Dynamics 365 Sales Enterprise Mer informasjon: Dynamics 365 Sales-priser
Sikkerhetsroller	Systemansvarlig Mer informasjon: Forhåndsdefinerte sikkerhetsroller for Salg

Faktorer som påvirker nøyaktighet

En prediktiv poengberegningsmodell beregner sannsynligheten for at en salgsmulighet eller et kundeemne vil resultere i et salg. Nøyaktigheten til modellen avhenger av følgende faktorer:

• Kvaliteten på og mengden av dataene som er tilgjengelig for opplæring av modellen
• Forretningsprosessflyten og filtrene du velger
• Fasene og attributtene du velger, hvis modellen bruker per fase-modellering

Modellen er opplært ved hjelp av 80 % av de lukkede salgsmulighetene eller kundeemnene i opplæringsdatasettet. Den valideres ved hjelp av de resterende 20 % som et testdatasett, som består av de nyeste oppføringene. Nøyaktigheten til modellen beregnes ved å bruke det validerte testdatasettet basert på parametere, for eksempel sanne positive , falske positive og så videre.

Vise nøyaktighet og ytelsesmetrikk

1. Gå til Endre område nede til venstre på siden og i Salgssenter-appen, og velg Sales Insights-innstillinger.

2. Velg Poengsum for salgsmulighet under Forutsigbare modeller på områdekartet eller Poengsum for kundeemne.

3. Velg en modell fra Velg modell-listen.

4. Velg fanen Ytelse.

   

Kategorien Ytelse viser følgende målinger. Hvis du ikke ser metrikkverdier i kategorien Ytelse, redigerer eller gjenopplærer du poengsummodellen for salgsmulighet.

• Modellytelse: Angir om modellen er klar til publisering basert på følgende parametere:

  • Nøyaktighet: Hvor ofte modellen lagde riktige prognoser, enten som positive eller negative. Denne metrikkverdien er nyttigst når datasett balanseres og kostnaden for falske positive og falske negativer er den samme. Denne poengsummen for nøyaktighet beregnes ved hjelp av følgende formel:

    Nøyaktighet = (TP + TN) / (Totalt antall salgsmuligheter eller kundeemner scoret) * 100

  • Tilbakekall: Hvor ofte modellen forutså et positivt resultat på riktig måte sammenlignet med de faktiske positive resultatene. En lav tilbakekallingspoengsum betyr at modellen forutsier færre positive resultater. Tilbakekallingspoengsummen beregnes ved hjelp av følgende formel:

    Tilbakekalling = TP / (TP + FN) * 100

  • Konverteringsfrekvens: Prosentandelen salgsmuligheter eller kundeemner som ble kvalifisert eller vunnet per historiske data, eller sannsynligheten for at en salgsmulighet eller et kundeemne konverteres. Modellen bruker denne verdien for å avgjøre hvordan et attributt vil ha innvirkning på den prediktive poengsummen. Konverteringsfrekvensen beregnes ved hjelp av følgende formel:

    Konverteringsfrekvensen = (TP + FN) / (Totalt antall salgsmuligheter eller kundeemner scoret) * 100

• Nederlagsmatrise: Hvor godt modellen estimerte resultatene da den ble testet mot historiske data. Matrisen viser antall positive verdier, sanne negativer, falske positiver og falske negativer.

  Metrisk	Prognose	Faktisk
  Sann positiv (SP)	Ja	Ja
  Sann negativ (SN)	Nei	Nei
  Falsk positiv (FP)	Ja	Nei
  Falsk negativ (FN)	Nei	Ja

• Resultat for område under kurve: Området under kurven (AUC)-poengsummen for modellen. AUC-poengsummen avgjør sannsynligheten for at en modell vil rangere en vilkårlig valgt positiv forekomst (en vunnet salgsmulighet eller et kvalifisert kundeemne) som er høyere enn en vilkårlig valgt negativ forekomst (en tapt salgsmulighet eller et diskvalifisert kundeemne). En modell med høyere AUC er bedre til å forutsi sanne positive og sanne negativer.

• F1-poengsum: F1-poengsummen som er beregnet basert på modellens presisjon og tilbakekallingspoengsum. F1-poengsummen avgjør kvaliteten på modellen, selv når dataene er ubalansert.

• Terskel: Terskelen for når kundeemnet eller salgsmuligheten betraktes som kvalifisert eller vunnet. Hvis terskelen for eksempel er 45, vil salgsmuligheter med en poengsum på over 45, antas som vunnet. Terskelen velges for å optimalisere F1-poengsummen.

Eksempel: Metrikkverdier for modellytelse

La oss se på prediksjonsresultatene for et eksempeldatasett på 1000 salgsmuligheter:

Data	Antall salgsmuligheter
Sann positiv	650
Falsk positiv	200
Sann negativ	100
Falsk negativ	50

Modellen estimerte at 850 (TP+FP) salgsmuligheterville bli vunnet, men bare 650 (TP) salgsmuligheter ble faktisk vunnet. Modellen estimerte på samme måte at 150 (TN+FN) salgsmuligheter ville bli tapt, men bare 100 (TN)salgsmuligheter ble faktisk tapt.

Tabellen nedenfor viser måleverdiene for dataene.

Metrisk	Poengsum
Presisjon	(650 + 100) / 1000 = 75 %
Tilbakekall	650 / (650 + 50) = 92 %
Konverteringsforhold	(650 + 50) / 1000 = 70 %

Forbedre modellytelse

Hvis modellen ikke er klar til publisering eller ikke gir gode resultater, kan du prøve følgende trinn for å forbedre resultatene.

• Gå gjennom attributtene den bruker.
• Vis attributtinnsikt for å forstå deres innflytelse på den totale prediksjonen til modellen.
• Ignorer tomme verdier for attributter som har høyere prosentandel av tomme verdier, og som kan bidra til falske positive eller falske negative.
• Inkluder intelligente felter som hjelper poengsummodellen for kundeemner å skille mellom faktorer som forbedrer eller skader poengsummen.
• Bruk per fasemodellering i en poengberegningsmodell for salgsmulighet til å velge attributter som skal brukes for hver forretningsprosessfase.
• Finjuster filtervilkårene, tidsperioden for opplæringsdata eller andre modellkonfigurasjoner. Hvis du for eksempel har valgt to år som tidsperiode for opplæringsdata og det er for mange testoppføringer eller feil oppføringer i denne perioden, velger du en kortere tidsperiode, for eksempel seks måneder eller ett år, når kvaliteten på dataene er bedre.

Finner du ikke alternativene i appen?

Det er tre muligheter:

• Du har ikke den nødvendige lisensen eller rollen. Sjekk delen Lisens- og rollekrav øverst på denne siden.
• Administratoren har ikke aktivert funksjonen.
• Organisasjonen bruker en egen app. Kontakt administratoren for å få den nøyaktige fremgangsmåten. Trinnene som er beskrevet i denne artikkelen, gjelder bare for det bruksklare salgssenteret og Sales Professional-appene.

Relatert informasjon

Konfigurere Prediktiv poengsum for kundeemne
Konfigurere Prediktiv poengsum for salgsmulighet