Monadische en rotatietests

Bij veel product- of concepttesten worden twee of meer producten (of concepten) met elkaar vergeleken en dus aan elkaar getoetst. Daarbij kunnen de antwoorden van de respondenten alleen worden beïnvloed doordat een ander product (of concept) al is beoordeeld, voordat het tweede product (of concept) wordt geëvalueerd. Daarom worden de producten (of concepten) in wisselende volgorde aan de deelnemers gepresenteerd.

Monadisch of Roterend

In principe zijn er twee methodes om dergelijke tests uit te voeren. Bij het zogenaamde monadische model beoordeelt elke deelnemer precies één product (zie ook A/B-test). Bij een rotatiemodel daarentegen, worden alle (of verscheidene) producten in een andere volgorde gepresenteerd. Beide modellen kunnen in combinatie met een Survalyzer-enquête worden uitgevoerd. Aangezien de structuur van de twee modellen nogal verschilt, worden zij hieronder afzonderlijk van elkaar behandeld.

Randomisatie of uniforme verdeling

RandomisatieUniforme verdeling
(monadisch)
Uniforme verdeling
(roterend)
Programmering– eenvoudig– eenvoudig– moeilijk
Toewijzing– willekeurig
– geen informatie over de rotatievolgorde
– gelijkmatig– gelijkmatig
– rotatievolgorde altijd bekend
Aantal producten– veel mogelijk (geen toename in complexiteit)– veel mogelijk (geen toename in complexiteit)– slechts een klein aantal (exponentiële toename in complexiteit)

De meest eenvoudige vorm van toewijzing is de randomisatie. Een willekeurig proces controleert wat de deelnemer als eerste ziet. Randomisatie is altijd gemakkelijk te programmeren. Bij randomisatie kan echter een scheve verdeling van de deelnemers ontstaan, waarbij niet 50% product A en 50% product B eerst te zien krijgt, maar bijvoorbeeld 70% het ene en 30% het andere. Daarom is het verstandig naar een uniforme verdeling te streven, wat echter bij het rotatiemodel moeilijker te programmeren is en bovendien oneindig veel complexer wordt naarmate het aantal producten toeneemt.

Hoe kan ik mijn testontwerp in een Survalyzer-enquête implementeren?

De volgende 4 voorbeelden beschrijven elk een combinatie van een monadisch/roterend en randomisatie/uniforme verdeling, zoals die in een Survalyzer-enquête kan worden opgezet. In alle voorbeelden wordt van drie te testen producten A, B en C uitgegaan.

RandomisatieUniforme verdeling
Monadisch modelVariant 1Variant 2
RotatiemodelVariant 3Variant 4
Variant 1: Monadisch model met randomisatie

Uitgangssituatie

Er moeten 3 producten tegen elkaar worden getest. Elke deelnemer beoordeelt slechts één product. Welk product de deelnemer moet beoordelen wordt bepaald door een willekeurig mechanisme.

Alhoewel het bij deze uitgangssituatie om een uitzonderlijk geval gaat (de beoogde uniforme verdeling in variant 2 verdient de voorkeur boven deze variant), wordt de implementatie in Survalyzer toch voor de volledigheid getoond.

Toewijzing van monads

Of de deelnemer product A, product B of product C moet beoordelen, wordt met behulp van de functie randomInt in een waardetoewijzing bepaald:

In het voorbeeld wordt volkomen willekeurig een waarde tussen 1 en 3 (de maximumwaarde 4 wordt in deze functie uitgesloten) aan de variabele “monad” toegewezen. De waarden vertegenwoordigen de producten A, B of C.

Opvragen van monads

De vragen over de drie producten worden in drie afzonderlijke secties ondergebracht: één sectie voor product A, één voor product B en één voor product C. De secties worden gefilterd met behulp van informatie uit de gebruikersgedefinieerde (aangepaste) variabele “monad” (“Toon sectie A als monad=1”, enz.):

Variant 2: Monadisch model met uniforme verdeling

Uitgangssituatie

Er moeten 3 producten tegen elkaar worden getest. Elke deelnemer beoordeelt slechts één product. Om zoveel mogelijk beoordelingen voor elk product te krijgen, worden de deelnemers gelijkelijk over de producten verdeeld.

De eerste deelnemer beoordeelt product A, de tweede product B, de derde product C. De vierde deelnemer beoordeelt opnieuw product A, de vijfde product B, de zesde product C, enz. Deze variant komt overeen met een zogenaamde A/B-test.

Toewijzing van monads

Of de deelnemer product A, product B of product C moet beoordelen, wordt in een waardetoewijzing bepaald, waarbij het totale aantal van alle interviews (‘Niet beantwoord’ en ‘Voltooid’) wordt gedeeld door 3 (=aantal producten) en de restwaarde van de deling (modulusfunctie) wordt bepaald:

In het voorbeeld wordt de restwaarde 0, 1 of 2 in de variabele “monad” geschreven. De waarden 0, 1 of 2 staan dan voor de producten A, B of C.

Opvragen van monads

De vragen over de drie producten worden in drie afzonderlijke secties ondergebracht: één sectie voor product A, één voor product B en één voor product C. De secties worden gefilterd met behulp van informatie uit de gebruikersgedefinieerde (aangepaste) variabele “monad” (“Toon sectie A als monad=0”, enz.):

Variant 3: Rotatiemodel met randomisatie

Uitgangssituatie

Er moeten 3 producten tegen elkaar worden getest. Alle deelnemers beoordelen alle producten, maar in verschillende volgorde. De volgorde waarin de individuele deelnemers de producten beoordelen, wordt door een willekeurig mechanisme bepaald.

Opvragen van producten

De vragen over de drie producten worden in drie afzonderlijke secties ondergebracht: één sectie voor product A, één voor product B en één voor product C:

Definiëren van de rotatie

De volgorde waarin de producten ter beoordeling worden getoond, wordt door een willekeurig mechanisme bepaald. Dit kan vrij eenvoudig via het randomiseren van secties:

Let op: Er zijn geen variabelen met informatie welk product als eerste, welk product daarna en welk product als laatste is gezien.

Variant 4: Rotatiemodel met uniforme verdeling

Uitgangssituatie

Er moeten 3 producten tegen elkaar worden getest. Alle deelnemers beoordelen alle producten, maar in verschillende volgorde. Om vertekeningen in het responsgedrag als gevolg van de productvolgorde uit te sluiten, moeten alle producten zo vaak mogelijk in positie 1, 2 en 3 ter beoordeling worden getoond.

Het in dit voorbeeld getoonde model is zowel het ideale als het meest gecompliceerde model. Het willekeurige mechanisme van variant 3 moet in deze variant vervangen worden door een rotatieplan.

Opvragen van producten

De vragen over de drie producten worden in drie afzonderlijke secties ondergebracht: één sectie voor product A, één voor product B en één voor product C:

Definiëren van de rotatie

Om 3 producten in verschillende volgorde te plaatsen, zijn er 6 mogelijke combinaties:

  1. A-B-C
  2. B-C-A
  3. C-A-B
  4. A-C-B
  5. B-A-C
  6. C-B-A

Welke van deze 6 combinaties (rotatiereeksen) aan de deelnemer wordt toegewezen, wordt met behulp van een waardetoewijzing bepaald. Bij deze waardetoewijzing wordt het totale aantal van alle interviews (gestart en voltooid) gedeeld door 6 (=aantal rotatiecombinaties) en de restwaarde van de deling (modulusfunctie) bepaald:

In het voorbeeld wordt de restwaarde 0, 1, 2, 3, 4 of 5 in de variabele ‘combinatie’ geschreven. Elke waarde staat dan voor één van de mogelijke rotatiecombinaties:

  • 0 -> A-B-C
  • 1 -> B-C-A
  • 2 -> C-A-B
  • 3 -> A-C-B
  • 4 -> B-A-C
  • 5 -> C-B-A

De secties worden nu in de juiste volgorde gezet met de door de gebruiker gedefinieerde variabele “combination” en met behulp van de waardetoewijzingsfunctie setSectionOrder (als combination=0, toon sectie A dan sectie B en dan sectie C, enz:)

Opmerkingen

Het hier getoonde voorbeeld heeft betrekking op 3 producten waarbij 6 combinaties mogelijk zijn. Bij 2 producten zouden er slechts 2 combinaties zijn, bij 4 producten 24 combinaties en bij 5 producten al 120 combinaties. Naarmate het aantal producten toeneemt, neemt de complexiteit van het model exponentieel toe. Vanaf 5 te testen producten is het raadzaam randomisatie toe te passen (variant 3).

Updated on December 15, 2023
Was this article helpful?

Related Articles

Need Support?
Please login to your Survalyzer account and use the "Create Support Request" form.
Login to Survalyzer