1. Home
  2. Overige Resources
  3. Tipps & Tricks
  4. Monadic and Rotation Test Designs

Monadic and Rotation Test Designs

Many product or concept testings benchmark two or more products (or concepts). The answers of the respondents could be biased just because the evaluation of the second product (or concept) happens after another evaluation, and the respondent might be primed for it. For that reason products (or concepts) are shown in an alternating order.

Monadic or Rotation

There are always 2 procedural methods: The monadic test design lets the participant evaluate only one product. The rotation test design lets the participant evaluate all (or a few) products but in different order. Both test designs can be realised within a Survalyzer survey. The programming is most diverse. Thus, the two methods are explained separately.

Randomisation or Equal Distribution

RandomisationEqual Distribution
(monadic)
Equal Distribution
(rotation)
Programming– ordinary– ordinary– complex
Allocation– at random
– no information about rotation order
– even– even
– rotation order always known
Data/Analysis– answers always in the same variables– answers always in the same variables– answers scattered in different variables
Number of products– many feasible (no increase in complexity)– many feasible (no increase in complexity)– only a few (exponential increase in complexity)

The easiest way is always the randomisation. A random process controls what the participant will see at first. A randomisation can be programmend without much effort. However, the random process can produce uneven allocations. Not always 50% of the participants will see product A at first (and the other 50% product B), but for instance 70% of the participants will see the one product at first while the other 30% will see at first the other product. Therefore, it is more preferable to seek an equal distribution, which is difficult in a rotation test design and becomes more difficult with a bigger number of products (exponential increase in complexity).

How can I realize my test design within a Survalyzer survey?

The following 4 examples describe for each combination of monadic/rotation test design and random/equal distribution how to set-up the survey. All examples use 3 products A, B and C.

RandomisationEqual Distribution
Monadic Test DesignVariation 1Variation 2
Rotation Test DesignVariation 3Variation 4
Variation 1: Monadic Test with Randomisation

Starting Position

Es sollen 3 Produkte gegeneinander getestet werden. Jeder Teilnehmer beurteilt nur ein Produkt. Welches Produkt der Teilnehmer beurteilen soll, entscheidet ein Zufallsmechanismus.

Auch wenn es sich bei dieser Ausgangslage um einen seltenen Fall handelt (die angestrebte Gleichverteilung in Variante 2 ist dieser Variante vorzuziehen), so wird die Umsetzung in Survalyzer dennoch der Vollständigkeit halber aufgezeigt.

Allocation of Monads

Ob der Teilnehmer Produkt A, Produkt B oder Produkt C beurteilen soll, wird in einer Wertezuweisung mithilfe der randomInt-Funktion bestimmt:

Das Beispiel schreibt zufällig einen Wert zwischen 1 und 3 (der Maximalwert 4 ist ausgeschlossen) in die Variable “monad”. Die Werte 1, 2 oder 3 stehen dann für die Produkte A, B oder C.

Interrogation of Monads

Die Fragen zu den drei Produkten werden in drei einzelnen Abschnitten angeordnet. Je ein Abschnitt zu Produkt A, zu Produkt B und zu Produkt C. Die Abschnitte werden mit der Information aus der benutzerdefinierten Variable “monad” gefiltert (“zeige Abschnitt A, wenn monad=1”, usw.):

Variation 2: Monadic Test with Equal Distribution

Starting Position

Es sollen 3 Produkte gegeneinander getestet werden. Jeder Teilnehmer beurteilt nur ein Produkt. Um möglichst gleich viele Beurteilungen für jedes Produkt zu erhalten, werden die Teilnehmer gleichmässig auf die Produkte aufgeteilt.

Der erste Teilnehmer beurteilt Produkt A, der zweite Produkt B, der dritte Produkt C. Der vierte Teilnehmer beurteilt wiederum Produkt A, der fünfte Produkt B, der sechste Produkt C, usw.

Allocation of Monads

Ob der Teilnehmer Produkt A, Produkt B oder Produkt C beurteilen soll, wird in einer Wertezuweisung bestimmt, in der die Gesamtanzahl aller Interviews (begonnen und abgeschlossen) durch 3 (=Anzahl der Produkte) dividiert und der Restwert der Division (Modulo-Funktion) ermittelt wird:

Das Beispiel schreibt den Restwert 0, 1 oder 2 in die Variable “monad”. Die Werte 0, 1 oder 2 stehen dann für die Produkte A, B oder C.

Interrogation of Monads

Die Fragen zu den drei Produkten werden in drei einzelnen Abschnitten angeordnet. Je ein Abschnitt zu Produkt A, zu Produkt B und zu Produkt C. Die Abschnitte werden mit der Information aus der benutzerdefinierten Variable “monad” gefiltert (“zeige Abschnitt A, wenn monad=0”, usw.):

Variation 3: Rotation Test with Randomisation

Starting Position

Es sollen 3 Produkte gegeneinander getestet werden. Alle Teilnehmer beurteilen alle Produkte aber in unterschiedlicher Reihenfolge. In welcher Reihenfolge der einzelne Teilnehmer die Produkte beurteilen soll, entscheidet ein Zufallsmechanismus.

Interrogation of Products

Die Fragen zu den drei Produkten werden in drei einzelnen Abschnitten angeordnet. Je ein Abschnitt zu Produkt A, zu Produkt B und zu Produkt C:

Rotation Definition

Die Reihenfolge, in der die Produkte zum Beurteilen angezeigt werden, wird mittels Zufallsmechanismus bestimmt. Der einfachste Weg ist das Randomisieren der Abschnitte:

Bitte beachten: Es gibt keine Variablen mit der Information, welches Produkt zuerst, welches Produkt danach und welches Produkt zuletzt gesehen wurde.

Variation 4: Rotation Test with Equal Distribution

Starting Position

Es sollen 3 Produkte gegeneinander getestet werden. Alle Teilnehmer beurteilen alle Produkte aber in unterschiedlicher Reihenfolge. Um Verzerrungen im Antwortverhalten aufgrund der Produkt-Reihenfolge auszuschliessen, sollen alle Produkte möglichst gleich häufig an Position 1, 2 und 3 zum Beurteilen angezeigt werden.

Das in diesem Beispiel gezeigte Design ist gleichwohl das ideale als auch das komplizierteste Design. Zum einen müssen dieselben Fragen mehrfach angelegt (kopiert) werden. Zum anderen muss ein Rotationsplan erstellt werden.

Interrogation of Products

Die Fragen zu den drei Produkten werden zunächst in drei einzelnen Abschnitten angeordnet. Je ein Abschnitt zu Produkt A, zu Produkt B und zu Produkt C. Sind die Fragen getestet und final korrigiert, müssen die Abschnitte kopiert werden. Am Ende muss jeder Produkt-Abschnitt dreimal (=Anzahl der Produkte) vorhanden sein. Der Übersicht halber sollten die Abschnitte von A1 bis C3 durchnummeriert werden. Dadurch dass die Abschnitte gefiltert werden, sieht jeder Teilnehmer für jedes Produkt dennoch nur einen der drei gleichen Abschnitte. Die Anordnung der Abschnitte sollte diese Reihenfolge haben A1, B1, C1, A2, B2, C2, A3, B3, C3:

Rotation Definition

Um 3 Produkte in unterschiedliche Reihenfolgen zu bringen, gibt es 6 Kombinationsmöglichkeiten:

  1. A1 B2 C3
  2. B1 C2 A3
  3. C1 A2 B3
  4. A1 C2 B3
  5. B1 A2 C3
  6. C1 B2 A3

Welche dieser 6 Kombinationen (Rotationsreihenfolgen) dem Teilnehmer zugewiesen wird, wird mithilfe einer Wertezuweisung bestimmt. In dieser Wertezuweisung wird die Gesamtanzahl aller Interviews (begonnen und abgeschlossen) durch 6 (=Anzahl der unterschiedlichen Reihenfolgen) dividiert und der Restwert der Division (Modulo-Funktion) ermittelt:

Das Beispiel schreibt den Restwert 0, 1, 2, 3, 4 oder 5 in die Variable “combination”. Jeder Wert steht dann für eine der möglichen Reihenfolgen:

  • 0 -> A1 B2 C3
  • 1 -> B1 C2 A3
  • 2 -> C1 A2 B3
  • 3 -> A1 C2 B3
  • 4 -> B1 A2 C3
  • 5 -> C1 B2 A3

Die Abschnitte werden mit der Information aus der benutzerdefinierten Variable “combination” gefiltert (“zeige Abschnitt A1, wenn combination=0”, “zeige Abschnitt B2, wenn combination=0”, “zeige Abschnitt C3, wenn combination=0”, usw.):

Bitte beachten: Die Antworten bezüglich der Beurteilung jedes einzelnen Produktes befinden sich in mehreren Variablen und müssen vor einer Auswertung zusammengeführt werden.

Annotations

Das hier gezeigte Beispiel bezieht sich auf 3 Produkte, bei denen es 6 Kombinationen gibt. Für 2 Produkte gäbe es nur 2 Kombinationen, für 4 Produkte gäbe es 24 Kombinationen und für 5 Produkte gäbe es bereits 120 Kombinationen. Mit steigender Anzahl an Produkten erhöht sich die Komplexität des Designs exponentiell. Spätestens ab 5 zu testenden Produkten empfiehlt es sich die Randomisierung (Variante 3) zu nutzen.

Updated on augustus 3, 2022

Was this article helpful?

Related Articles

Need Support?
Please login to your Survalyzer account and use the "Create Support Request" form.
Login to Survalyzer