Opmerking: Deze functie is beschikbaar binnen de Expert-gebruikerslicentie en vereist het gebruik van de Dashboard-module.
Wat is Key Driver Analyse?
De Key Driver Analyse is een krachtige tool om de drivers, oftewel drijfveren en beweegredenen, van je respondenten te meten. Het wordt gebruikt om de belangrijkste factoren van de geselecteerde maatstaf te vinden zoals (NPS, klanttevredenheidsscore, koopoverweging etc.).
Een voorbeeld: bedrijf x meet continu zijn NPS-score middels verschillende contactmomenten met hun klanten. Het bedrijf kan Key Driver Analyse toepassen om erachter te komen welke onderliggende aspecten van hun bedrijfsvoering de meest significante impact hebben op hun NPS-score.
De drivers (oftewel drijfveren) zijn de factoren die de resultaten sturen. In het bovenstaande NPS-voorbeeld kan het bedrijf respondenten vragen om verschillende aspecten van het bedrijf te beoordelen, zoals:
- Prijsbepaling
- Productkwaliteit
- Productaanbod
- Klantondersteuning
- Persoonlijke aandacht
By using Key Driver Analysis you can identify which of those factors have the biggest impact when it comes to the company’s NPS.
Key Driver analyse stelt u in staat om de factoren te identificeren die het meeste invloed hebben op de NPS-score van uw bedrijf. Met het in kaart brengen van deze drivers, kunt u uw inspanningen toebedelen aan de factoren die het meeste impact hebben op het bereiken van uw doel.
Hoe analyseer je de resultaten?
Alvorens Key Drivers te kunnen interpreteren, dienen de volgende zaken geïdentificeerd te worden:
- Uitkomstmaatstaf (afhankelijke variabele): wat is de uitkomst die we willen optimaliseren (bijvoorbeeld NPS)?
- Voorspellers (onafhankelijke variabele): welke factoren zetten we tegen die uitkomst af?
Alle geselecteerde voorspellers worden op basis van de volgende dimensies beoordeeld:
- Belangrijkheid (Y-as): hoe groot is de relatieve impact op de uitkomstvariabele? (bijvoorbeeld NPS)
- Prestaties (X-as): hoe hoog is de score van de respondent voor deze variabele (genormaliseerd gemiddelde)?.
Hoe verder rechts de factor zich op de grafiek bevindt, hoe tevredener de respondent is volgens de resultaten.
Hoe hoger de factor staat op de grafiek, des te sterker de impact ervan is op de gekozen maatstaf (NPS).
U ziet hierboven vier kwadranten, met twee assen die refereren naar de gemiddelde belangrijkheid en prestaties.
- Belangrijke zwakke punten: Dit is in de regel het belangrijkste kwadrant van de vier, en degene waarop u zich het best kunt concentreren. In de linker bovenhoek ziet u de aspecten die belangrijk zijn maar slecht scoren. In bovenstaand voorbeeld ziet u dat “persoonlijke aandacht” in dit kwadrant aanwezig is. Dit betekent dat het een grote impact heeft op de NPS score, en dat het momenteel een slechte beoordeling krijgt van de respondenten. Gebaseerd op deze analyse kunnen we stellen dat het een goed idee is om persoonlijke aandacht te prioriteren in de bedrijfsvoering.
- Belangrijke sterke punten: Het kwadrant rechts bovenin bevat aspecten die belangrijk zijn en tevens goed scoren. Dit geeft aan dat deze drijfveren al goed presteren en dat ze een positieve impact hebben op de NPS van het bedrijf. In het voorbeeld hieronder heeft prijs een goede invloed op de NPS.
- Onbelangrijke zwakke punten:In het kwadrant linksonder vindt u aspecten die niet belangrijk zijn en die tevens slecht scoren. Hoewel deze aspecten een lage score krijgen van respondenten, zijn ze ook niet belangrijk voor de NPS van het bedrijf. In onderstaand voorbeeld is het niet aan te raden om te investeren in productaanbod of klantondersteuning.
- Onbelangrijke sterke punten: Rechts onderin vindt u aspecten die onbelangrijk zijn maar die wel goed scoren. Deze drijfveren worden hoog gewaardeerd maar zijn niet van invloed op de uitkomstmaatstaf NPS. In het voorbeeld is het niet aan te raden dat het bedrijf meer investeert in productkwaliteit.
Houdt altijd rekening met de Nauwkeurigheidsscore voordat u de resultaten analyseert. In de regel geldt: hoe hoger de nauwkeurigheidsscore hoe beter. Het is niet aan te raden beslissingen over bedrijfsvoering te maken wanneer de nauwkeurigheidsscore lager is dan 50%. U kunt hieronder meer lezen over modelnauwkeurigheid.
Hoe gebruikt u de Key Driver Analyse in Survalyzer?
Het minimale aantal interviews wat nodig is voor de berekening is 50. Zijn er minder dan 50 interviews, dan zal de Key Driver Analyse niet starten.
1. Key Driver Analyse starten
U kunt de driver analyse in uw Professional Analytics-rapport opstellen. Navigeer (1) daarvoor naar de volgende punten: tabellen (2), inhoud toevoegen (3), sectie methoden (4).
Klikt u hierop, dan wordt u naar de KDA-assistent geleid.
2. Uitkomstvariabele vastleggen
Nu legt u de uitkomstvariabele (afhankelijke variabele) vast. Dit is de primaire uitkomst of maatstaf die van belang is, en die beïnvloedt wordt door verschillende onafhankelijke variabelen.
Uitsluitend numerieke variabelen (datum, geheel getal, breuk) kunnen als uitkomstvariabele gebruikt worden.
In het volgende voorbeeld gebruiken we NPS als uitkomstvariabele.
3. Voorspellingsvariabelen
Nadat de uitkomstvariabele is bepaald, kunt u meerdere voorspellingsvariabelen (onafhankelijke variabelen) kiezen.
De onafhankelijke variabelen zijn factoren die onderzocht worden om de uitwerking die ze hebben op de afhankelijke factoren (in dit voorbeeld NPS. Dit heeft als doel de belangrijkste factoren te identificeren die het meeste effect hebben.
De voorspellers worden op twee dimensies beoordeeld:
1 Belangrijkheid: hoe hoog is het relatieve effect op de uitkomst?
2 Prestatie: hoe hoog beoordeelt de respondent deze variabele?
- Belangrijkheid: hoe groot is het relatieve effect op de uitkomst?
- Prestaties: hoe goed beoordeelt de respondent deze variabele?
Houd er rekening mee dat alle gekozen voorspellingsvariabelen:
- Een evenredige inrichting hebben; dwz “hoe hoger de waarde, des te beter de beoordeling”.
- dit antwoordscala gelijke afstanden tussen de variabele waarden heeft.
- niet per definitie dezelfde schaalgrootte hoeven te hebben. De schaal wordt genormaliseerd. Dat betekent dat u voorspellingsvariabelen van verschillende schaalgroottes kunt gebruiken (bijvoorbeeld een schaal van 5, een van 7, etc.).
- er moet een minimum van 2 en een maximum van 25 voorspellingsvariabelen gekozen worden.
Nadat u een keuze heeft gemaakt kunnen de gewenste labels (tekst die weergegeven wordt in de tabel en grafiek) bepaald worden voor elke voorspeller. U kunt dit proces versnellen door labels in bulk te copy-pasten vanuit Excel of Word.
Opmerking: wanneer u een variabele zonder gedefinieerde waarde kiest, dient u daarvoor handmatig een minimum en maximum mogelijke waarde te bepalen voordat u door kunt gaan.
4. Methode (berekend algoritme)
Nu kunt u één van de zes beschikbare methodes kiezen (berekenings-algoritmes):
De zogenaamde Fast Tree methode geeft over het algemeen goede resultaten voor vele Key Driver Analyse scenarios. Afhankelijk van het de aard van uw data kunnen er wellicht betere resultaten behaald worden (hogere nauwkeurigheid) door te testen en het beste berekeningsalgoritme te selecteren voor uw situatie. Lees hieronder meer over de beschikbare methodes.
5. Filters
In de volgende stap kunnen filters gebruikt worden. Bijvoorbeeld: u kunt bepalen dat enkel interviews met de status “completed” inbegrepen worden.
Om de KDA te kunnen gebruiken, worden standaard niet-zichtbare filter toegepast die enkel interviews toelaten waarbij alle uitkomst- en voorspellingsvariabelen waardes bevatten (waardes zijn dus niet leeg of “N/A”).
In order to execute Key Driver Analysis, default invisible filters are always applied, that only include interviews for which all outcome and predictor variables contain values (so values are not empty or N/A).
Wees ervan bewust dat het minimum aantal interviews 50 is. Het aantal gefilterde resultaten dient dus ook minstens 50 te zijn om de analyse te kunnen doen.
6. Resultaten
Binnen een korte tijd worden de berekening gedaan en krijgt u de resultaten te ien. Denk eraan dat dit daadwerkelijk de resultaten zijn van uw geselcteerde dataset. U kunt nog teruggaan om uw analyse aan te passen als dat gewenst is voor het vergelijken van de resultaten.
Als u meer wilt weten over het interpreteren van de resultaten, kunt u hieronder een uitleg vinden over de berekeningen.
7. Toevoegen van tabellen en grafieken aan het rapport
Zodra u de wizard hebt gesloten en op “opslaan” heeft gedrukt, wordt u naar het tabblad voor grafieken geleid. Hier kunt u aanpassingen aan de grafiek maken, wanneer gewenst.
Het minimale aantal interviews dat nodig is voor de KDA-berekening is 50. De analyse wordt niet gestart als het aantal interviews lager is dan dat.
Wanneer er missings of N/A-waarden in uw top50 zitten zal de berekening eveneens niet starten in de top50-weergave. U moet wisselen naar “All data” om het te zien, of naar het openbare rapport navigeren.
Zodra u tevreden bent met de dataweergave kunt u:
- Navigeren naar de rapportpagina.
- Navigeer naar “inhoud toevoegen”
- Klik op de grafiek die u zojuist gecreeerd hebt om hem toe te voegen aan uw rapport
- Klik op de zojuist gecreeerde tabel om hem tevens toe te voegen. Wij raden aan dit te doen in een lay-outrij.
Key Driver Analyse uiteengezet
Prestatiescore berekening
De prestatiescore (X-as) is een genormaliseerd gemiddelde van de variabele. Simpel gezegd is het een gemiddelde waarde omgerekend naar een procentuele waarde tussen 0% (= minimale schaalwaarde) en 100% (= maximale schaalwaarde). Normaliseren zorgt ervoor dat u variabelen met verschillende schaalverdelingen toch met elkaar kan vergelijken.
Prestatiescoreberekening = (Gemiddelde waarde – Minimale waarde ) / (Maximale waarde – Minimale waarde).
Voorbeelden:
Respondenten beoordelen de prijsbepalen van uw bedrijf op een schaal van 0 tot 10. Het gemiddelde is een 7.8, dan is de prestatiescore 78(%).
Productkwaliteit wordt beoordeeld op een schaal van 1 tot 5. Het gemiddelde is een 3.8, dan is de prestatiescore 70(%).
Belangrijkheidsscore berekening
De berekening van de relatieve belangrijkheid (Y-as) gebeurt met behulp van ml.net machine learning regressie model. Het is een resultaat van een tweestapsproces:
- Machine learning model gebouwd met regressie algoritme om de waarde te voorspellen van de uitkomstmaatstaf vanuit een set gerelateerde functies (voorspellingsvariabelen).Regressie-algoritmes modelleren de afhankelijkheid van de uitkomstmaatstaf op basis van gerelateerde eigenschappen om te bepalen hoe de uitkomst zal veranderen wanneer de waardes ook veranderen.
- Permutation Feature Importance (PFI) techniek wordt ingezet om de belangrijkheid van individuele eigenschappen (Variabelen) te beoordelen in een voorspellend model. In grote lijnen werkt het als volgt: data wordt per functie willekeurig geschud voor de totale dataset, waarbij wordt berekent in hoeverre de prestatiemaatstaf in kwestie (e.g. R-squared) afneemt. Hoe groter de verandering, hoe belangrijker de functie is.
Dit tweestapsproces wordt gebruikt om verstoringen door multicollineariteit te vermijden, die kunnen optreden in een pure regressieanalyse.
Wees erop geattendeerd dat de waarde voor belangrijkheid verwijst naar het respectievelijke model en kan verschillen bij elke wijziging aan het model (bv. toevoegen/verwijderen van voorspellers, wijziging aan het geselecteerde algoritme, enz.)
Meer informatie (uitsluitend in het Engels beschikbaar):
Methods (calculation algorithms) available
De FastTree-methode geeft goede resultaten voor veelvoorkomende Key Driver analyse-scenarios. Afhankelijk van uw data, is het mogelijk dat u betere resultaten krijgt door te testen en het beste berekeningsalgoritme voor uw situatie kiest.
| Method | Description |
|---|---|
| FastTree (default) | A decision tree-based algorithm that is used for both regression and classification problems. It is known for its speed and accuracy, and is particularly useful when working with large datasets. It is a good choice when you need to train a model quickly and don’t have a lot of time to spend on feature engineering |
| FastForest | A random forest-based algorithm that is used for regression problems. It is similar to FastTree, but instead of building a single decision tree, it builds an ensemble of trees and averages their predictions. This helps to reduce overfitting and improve the accuracy of the model. It is a good choice when you have a large dataset and want to avoid overfitting |
| OLS (Ordinary Least Squares) | A linear regression algorithm that is used to model the relationship between a dependent variable and one or more independent variables. It is a simple and widely used algorithm that is easy to interpret. It is a good choice when you have a small dataset and want to model a linear relationship between variables |
| SDCA (Stochastic Dual Coordinate Ascent) | A linear regression algorithm that is used to solve large-scale optimization problems. It is particularly useful when working with sparse datasets, as it can handle large numbers of features. It is a good choice when you have a large dataset with many features and want to optimize for sparsity |
| L-BFGS Poisson | A linear regression algorithm that is used to model count data. It is based on the Poisson distribution, which is commonly used to model count data. It is a good choice when you have count data and want to model the relationship between the count data and one or more independent variables |
| Online Gradient Descent | A linear regression algorithm that is used to model the relationship between a dependent variable and one or more independent variables. It is particularly useful when working with large datasets that cannot fit into memory, as it can update the model parameters incrementally. It is a good choice when you have a large dataset and want to train a model in an online setting |
Further reading: How to choose an ML.NET algorithm – ML.NET
Model evaluation metrics
| Metric | Description |
|---|---|
| Model accuracy | In our case, it is R-squared converted to percentage value. |
| R2 (R-squared) | Represents the predictive power of the model as a value between -inf and 1. As a general rule, the closer to 1, the better quality. However, sometimes low R-squared values (such as 0.5) can also be entirely normal for certain research cases and very high R-squared values are not always good. Further reading below. |
| MAE (Mean Absolute Error) | Measures how close the predictions are to the actual outcomes. It is the average of all the model errors, where model error is the absolute distance between the predicted outcome value and the correct outcome value. The closer to 0.00, the better quality. |
| MSE (Mean Squared Error) | Tells you how close a regression line is to a set of test data values by taking the distances from the points to the regression line and squaring them. The squaring gives more weight to larger differences. It is always non-negative, and values closer to 0.00 are better. |
| RMSE (Root Mean Squared Error) | RMSE is the square root of MSE. Has the same units as the predicted outcome, similar to the MAE though giving more weight to larger differences. It is always non-negative, and values closer to 0.00 are better. |
Further reading: Evaluation metrics for Regression and Recommendation