Bij veel product- of concepttesten worden twee of meer producten (of concepten) met elkaar vergeleken en dus aan elkaar getoetst. Daarbij kunnen de antwoorden van de respondenten alleen worden beïnvloed doordat een ander product (of concept) al is beoordeeld, voordat het tweede product (of concept) wordt geëvalueerd. Daarom worden de producten (of concepten) in wisselende volgorde aan de deelnemers gepresenteerd.
Monadisch of Roterend
In principe zijn er twee methodes om dergelijke tests uit te voeren. Bij het zogenaamde monadische model beoordeelt elke deelnemer precies één product. Bij een rotatiemodel daarentegen, worden alle (of verscheidene) producten in een andere volgorde gepresenteerd. Beide modellen kunnen in combinatie met een Survalyzer-enquête worden uitgevoerd. Aangezien de structuur van de twee modellen nogal verschilt, worden zij hieronder afzonderlijk van elkaar behandeld.
Randomisatie of uniforme verdeling
| Randomisatie | Uniforme verdeling (monadisch) | Uniforme verdeling (roterend) | |
| Programmering | – eenvoudig | – eenvoudig | – moeilijk |
| Toewijzing | – willekeurig – geen informatie over de rotatievolgorde | – gelijkmatig | – gelijkmatig – rotatievolgorde altijd bekend |
| Data/Evaluatie | – antwoorden altijd in dezelfde variabelen | – antwoorden altijd in dezelfde variabelen | – antwoorden verspreid in verschillende variabelen |
| Aantal producten | – veel mogelijk (geen toename in complexiteit) | – veel mogelijk (geen toename in complexiteit) | – slechts een klein aantal (exponentiële toename in complexiteit) |
De meest eenvoudige vorm van toewijzing is de randomisatie. Een willekeurig proces controleert wat de deelnemer als eerste ziet. Randomisatie is altijd gemakkelijk te programmeren. Bij randomisatie kan echter een scheve verdeling van de deelnemers ontstaan, waarbij niet 50% product A en 50% product B eerst te zien krijgt, maar bijvoorbeeld 70% het ene en 30% het andere. Daarom is het verstandig naar een uniforme verdeling te streven, wat echter bij het rotatiemodel moeilijker te programmeren is en bovendien oneindig veel complexer wordt naarmate het aantal producten toeneemt.
Hoe kan ik mijn testontwerp in een Survalyzer-enquête implementeren?
De volgende 4 voorbeelden beschrijven elk een combinatie van een monadisch/roterend en randomisatie/uniforme verdeling, zoals die in een Survalyzer-enquête kan worden opgezet. In alle voorbeelden wordt van drie te testen producten A, B en C uitgegaan.
| Randomisatie | Uniforme verdeling | |
| Monadisch model | Variant 1 | Variant 2 |
| Rotatiemodel | Variant 3 | Variant 4 |
Uitgangssituatie
Er moeten 3 producten tegen elkaar worden getest. Elke deelnemer beoordeelt slechts één product. Welk product de deelnemer moet beoordelen wordt bepaald door een willekeurig mechanisme.
Alhoewel het bij deze uitgangssituatie om een uitzonderlijk geval gaat (de beoogde uniforme verdeling in variant 2 verdient de voorkeur boven deze variant), wordt de implementatie in Survalyzer toch voor de volledigheid getoond.
Toewijzing van monads
Of de deelnemer product A, product B of product C moet beoordelen, wordt met behulp van de functie randomInt in een waardetoewijzing bepaald:
In het voorbeeld wordt volkomen willekeurig een waarde tussen 1 en 3 (de maximumwaarde 4 wordt in deze functie uitgesloten) aan de variabele “monad” toegewezen. De waarden vertegenwoordigen de producten A, B of C.
Opvragen van monads
De vragen over de drie producten worden in drie afzonderlijke secties ondergebracht: één sectie voor product A, één voor product B en één voor product C. De secties worden gefilterd met behulp van informatie uit de gebruikersgedefinieerde (aangepaste) variabele “monad” (“Toon sectie A als monad=1”, enz.):
Uitgangssituatie
Er moeten 3 producten tegen elkaar worden getest. Elke deelnemer beoordeelt slechts één product. Om zoveel mogelijk beoordelingen voor elk product te krijgen, worden de deelnemers gelijkelijk over de producten verdeeld.
De eerste deelnemer beoordeelt product A, de tweede product B, de derde product C. De vierde deelnemer beoordeelt opnieuw product A, de vijfde product B, de zesde product C, enz.
Toewijzing van monads
Of de deelnemer product A, product B of product C moet beoordelen, wordt in een waardetoewijzing bepaald, waarbij het totale aantal van alle interviews (‘Niet beantwoord’ en ‘Voltooid’) wordt gedeeld door 3 (=aantal producten) en de restwaarde van de deling (modulusfunctie) wordt bepaald:
In het voorbeeld wordt de restwaarde 0, 1 of 2 in de variabele “monad” geschreven. De waarden 0, 1 of 2 staan dan voor de producten A, B of C.
Opvragen van monads
De vragen over de drie producten worden in drie afzonderlijke secties ondergebracht: één sectie voor product A, één voor product B en één voor product C. De secties worden gefilterd met behulp van informatie uit de gebruikersgedefinieerde (aangepaste) variabele “monad” (“Toon sectie A als monad=0”, enz.):
Uitgangssituatie
Er moeten 3 producten tegen elkaar worden getest. Alle deelnemers beoordelen alle producten, maar in verschillende volgorde. De volgorde waarin de individuele deelnemers de producten beoordelen, wordt door een willekeurig mechanisme bepaald.
Opvragen van producten
De vragen over de drie producten worden in drie afzonderlijke secties ondergebracht: één sectie voor product A, één voor product B en één voor product C:
Definiëren van de rotatie
De volgorde waarin de producten ter beoordeling worden getoond, wordt door een willekeurig mechanisme bepaald. Dit kan vrij eenvoudig via het randomiseren van secties:
Let op: Er zijn geen variabelen met informatie welk product als eerste, welk product daarna en welk product als laatste is gezien.
Uitgangssituatie
Er moeten 3 producten tegen elkaar worden getest. Alle deelnemers beoordelen alle producten, maar in verschillende volgorde. Om vertekeningen in het responsgedrag als gevolg van de productvolgorde uit te sluiten, moeten alle producten zo vaak mogelijk in positie 1, 2 en 3 ter beoordeling worden getoond.
Het in dit voorbeeld getoonde model is zowel het ideale als het meest gecompliceerde model. Enerzijds moeten dezelfde vragen verschillende keren worden aangemaakt (gekopieerd); anderzijds moet een rotatieplan worden opgesteld.
Opvragen van producten
De vragen over de drie producten worden eerst in drie afzonderlijke secties ingedeeld. Eén sectie voor product A, product B en product C. Nadat de vragen zijn getest en definitief gecorrigeerd, moeten de secties worden gekopieerd. Uiteindelijk moet elke productsectie drie keer aanwezig zijn (=aantal producten). Voor de duidelijkheid moeten de secties opeenvolgend genummerd worden van A1 tot en met C3. Door de secties te filteren ziet elke deelnemer nog steeds slechts één van de drie identieke secties voor elk product. De secties moeten in de volgende volgorde worden weergegeven: A1, B1, C1, A2, B2, C2, A3, B3, C3:
Definiëren van de rotatie
Om 3 producten in verschillende volgorde te plaatsen, zijn er 6 mogelijke combinaties:
- A1 B2 C3
- B1 C2 A3
- C1 A2 B3
- A1 C2 B3
- B1 A2 C3
- C1 B2 A3
Welke van deze 6 combinaties (rotatiereeksen) aan de deelnemer wordt toegewezen, wordt met behulp van een waardetoewijzing bepaald. Bij deze waardetoewijzing wordt het totale aantal van alle interviews (‘Niet beantwoord’ en ‘Voltooid’) gedeeld door 6 (=aantal rotatiecombinaties) en de restwaarde van de deling (modulusfunctie) bepaald:
In het voorbeeld wordt de restwaarde 0, 1, 2, 3, 4 of 5 in de variabele ‘combinatie’ geschreven. Elke waarde staat dan voor één van de mogelijke rotatiecombinaties:
- 0 -> A1 B2 C3
- 1 -> B1 C2 A3
- 2 -> C1 A2 B3
- 3 -> A1 C2 B3
- 4 -> B1 A2 C3
- 5 -> C1 B2 A3
De secties worden gefilterd met behulp van informatie uit de gebruikersgedefinieerde (aangepaste) variabele “combinatie” (“Toon sectie A1 als combinatie=0”, “Toon sectie B2 als combinatie=0”, “Toon sectie C3 als combinatie=0”, enz.):
Let op: De antwoorden met betrekking tot de beoordeling van elk afzonderlijk product bevinden zich in verschillende variabelen (in verschillende secties die dezelfde vragen bevatten) en moeten vóór de analyse worden samengevoegd.
Opmerkingen
Het hier getoonde voorbeeld heeft betrekking op 3 producten waarbij 6 combinaties mogelijk zijn. Bij 2 producten zouden er slechts 2 combinaties zijn, bij 4 producten 24 combinaties en bij 5 producten al 120 combinaties. Naarmate het aantal producten toeneemt, neemt de complexiteit van het model exponentieel toe. Vanaf 5 te testen producten is het raadzaam randomisatie toe te passen (variant 3).