Bei vielen Produkt- oder Konzepttests werden zwei oder mehrere Produkte (oder Konzepte) gegenübergestellt und somit gegeneinander getestet. Dabei können die Antworten der Befragten alleine dadurch beeinflusst werden, dass vor dem Beurteilen des zweiten Produktes (oder Konzeptes) bereits ein anderes beurteilt wurde. Aus diesem Grund werden den Teilnehmern die Produkte (oder Konzepte) in wechselnden Reihenfolgen vorgelegt.
monadisch oder rotierend
Im Prinzip gibt es 2 Vorgehensweisen bei solchen Tests. Das sogenannte monadische Design lässt jeden Teilnehmer genau ein Produkt beurteilen. Bei einem Rotations-Design dagegen werden alle (oder mehrere) Produkte in unterschiedlicher Reihenfolge vorgelegt. Beide Designs kann man mit einer Survalyzer-Umfrage umsetzen. Da der Aufbau der beiden Designs sehr unterschiedlich ist, werden sie nachfolgend getrennt voneinander betrachtet.
Randomisierung oder Gleichverteilung
| Randomisierung | Gleichverteilung (monadisch) | Gleichverteilung (rotierend) | |
| Programmierung | – einfach | – einfach | – komplex |
| Aufteilung der Teilnehmer | – zufällig – keine Information zur Rotations-Reihenfolge | – gleichmässig | – gleichmässig – Reihenfolge immer bekannt |
| Daten/Auswertung | – Antworten immer in denselben Variablen | – Antworten immer in denselben Variablen | – Antworten verstreut in verschiedenen Variablen |
| Anzahl Produkte | – viele möglich (keine Steigerung der Komplexität) | – viele möglich (keine Steigerung der Komplexität) | – nur kleine Anzahl (exponentielle Steigerung der Komplexität) |
Die einfachste Art der Zuordnung ist die Randomisierung. Ein Zufallsprozess steuert, was der Teilnehmer zuerst sieht. Eine Randomisierung ist immer einfach zu programmieren. Jedoch kann der Zufall eine Schieflage bei der Aufteilung der Teilnehmer hervorrufen, bei der nicht 50% das Produkt A und 50% das Produkt B zuerst sehen, sondern z.B. 70% das eine und 30% das andere. Deshalb empfiehlt es sich, eine Gleichverteilung anzustreben, die jedoch beim Rotations-Design schwieriger zu programmieren ist und mit steigender Anzahl an Produkten auch exponentiell komplexer wird.
Wie setze ich mein Test-Design in Survalyzer um?
Die nachfolgenden 4 Beispiele beschreiben für je eine Kombination aus monadisch/rotierend und Randomisierung/Gleichverteilung, wie sie in einer Survalyzer-Umfrage aufgesetzt werden kann. In allen Beispielen wird von drei zu testenden Produkten A, B und C ausgegangen.
| Zufallsauswahl | Gleichverteilung | |
| Monadisches Design | Variante 1 | Variante 2 |
| Rotations-Design | Variante 3 | Variante 4 |
Ausgangslage
Es sollen 3 Produkte gegeneinander getestet werden. Jeder Teilnehmer beurteilt nur ein Produkt. Welches Produkt der Teilnehmer beurteilen soll, entscheidet ein Zufallsmechanismus.
Auch wenn es sich bei dieser Ausgangslage um einen seltenen Fall handelt (die angestrebte Gleichverteilung in Variante 2 ist dieser Variante vorzuziehen), so wird die Umsetzung in Survalyzer dennoch der Vollständigkeit halber aufgezeigt.
Zuordnung zu den Monaden
Ob der Teilnehmer Produkt A, Produkt B oder Produkt C beurteilen soll, wird in einer Wertezuweisung mithilfe der randomInt-Funktion bestimmt:
Das Beispiel schreibt zufällig einen Wert zwischen 1 und 3 (der Maximalwert 4 ist ausgeschlossen) in die Variable “monad”. Die Werte 1, 2 oder 3 stehen dann für die Produkte A, B oder C.
Abfrage der Monaden
Die Fragen zu den drei Produkten werden in drei einzelnen Abschnitten angeordnet. Je ein Abschnitt zu Produkt A, zu Produkt B und zu Produkt C. Die Abschnitte werden mit der Information aus der benutzerdefinierten Variable “monad” gefiltert (“zeige Abschnitt A, wenn monad=1”, usw.):
Ausgangslage
Es sollen 3 Produkte gegeneinander getestet werden. Jeder Teilnehmer beurteilt nur ein Produkt. Um möglichst gleich viele Beurteilungen für jedes Produkt zu erhalten, werden die Teilnehmer gleichmässig auf die Produkte aufgeteilt.
Der erste Teilnehmer beurteilt Produkt A, der zweite Produkt B, der dritte Produkt C. Der vierte Teilnehmer beurteilt wiederum Produkt A, der fünfte Produkt B, der sechste Produkt C, usw.
Zuordnung zu den Monaden
Ob der Teilnehmer Produkt A, Produkt B oder Produkt C beurteilen soll, wird in einer Wertezuweisung bestimmt, in der die Gesamtanzahl aller Interviews (begonnen und abgeschlossen) durch 3 (=Anzahl der Produkte) dividiert und der Restwert der Division (Modulo-Funktion) ermittelt wird:
Das Beispiel schreibt den Restwert 0, 1 oder 2 in die Variable “monad”. Die Werte 0, 1 oder 2 stehen dann für die Produkte A, B oder C.
Abfrage der Monaden
Die Fragen zu den drei Produkten werden in drei einzelnen Abschnitten angeordnet. Je ein Abschnitt zu Produkt A, zu Produkt B und zu Produkt C. Die Abschnitte werden mit der Information aus der benutzerdefinierten Variable “monad” gefiltert (“zeige Abschnitt A, wenn monad=0”, usw.):
Ausgangslage
Es sollen 3 Produkte gegeneinander getestet werden. Alle Teilnehmer beurteilen alle Produkte aber in unterschiedlicher Reihenfolge. In welcher Reihenfolge der einzelne Teilnehmer die Produkte beurteilen soll, entscheidet ein Zufallsmechanismus.
Abfrage der Produkte
Die Fragen zu den drei Produkten werden in drei einzelnen Abschnitten angeordnet. Je ein Abschnitt zu Produkt A, zu Produkt B und zu Produkt C:
Festlegung der Rotation
Die Reihenfolge, in der die Produkte zum Beurteilen angezeigt werden, wird mittels Zufallsmechanismus bestimmt. Der einfachste Weg ist das Randomisieren der Abschnitte:
Bitte beachten: Es gibt keine Variablen mit der Information, welches Produkt zuerst, welches Produkt danach und welches Produkt zuletzt gesehen wurde.
Ausgangslage
Es sollen 3 Produkte gegeneinander getestet werden. Alle Teilnehmer beurteilen alle Produkte aber in unterschiedlicher Reihenfolge. Um Verzerrungen im Antwortverhalten aufgrund der Produkt-Reihenfolge auszuschliessen, sollen alle Produkte möglichst gleich häufig an Position 1, 2 und 3 zum Beurteilen angezeigt werden.
Das in diesem Beispiel gezeigte Design ist gleichwohl das ideale als auch das komplizierteste Design. Zum einen müssen dieselben Fragen mehrfach angelegt (kopiert) werden. Zum anderen muss ein Rotationsplan erstellt werden.
Abfrage der Produkte
Die Fragen zu den drei Produkten werden zunächst in drei einzelnen Abschnitten angeordnet. Je ein Abschnitt zu Produkt A, zu Produkt B und zu Produkt C. Sind die Fragen getestet und final korrigiert, müssen die Abschnitte kopiert werden. Am Ende muss jeder Produkt-Abschnitt dreimal (=Anzahl der Produkte) vorhanden sein. Der Übersicht halber sollten die Abschnitte von A1 bis C3 durchnummeriert werden. Dadurch dass die Abschnitte gefiltert werden, sieht jeder Teilnehmer für jedes Produkt dennoch nur einen der drei gleichen Abschnitte. Die Anordnung der Abschnitte sollte diese Reihenfolge haben A1, B1, C1, A2, B2, C2, A3, B3, C3:
Festlegung der Rotation
Um 3 Produkte in unterschiedliche Reihenfolgen zu bringen, gibt es 6 Kombinationsmöglichkeiten:
- A1 B2 C3
- B1 C2 A3
- C1 A2 B3
- A1 C2 B3
- B1 A2 C3
- C1 B2 A3
Welche dieser 6 Kombinationen (Rotationsreihenfolgen) dem Teilnehmer zugewiesen wird, wird mithilfe einer Wertezuweisung bestimmt. In dieser Wertezuweisung wird die Gesamtanzahl aller Interviews (begonnen und abgeschlossen) durch 6 (=Anzahl der unterschiedlichen Reihenfolgen) dividiert und der Restwert der Division (Modulo-Funktion) ermittelt:
Das Beispiel schreibt den Restwert 0, 1, 2, 3, 4 oder 5 in die Variable “combination”. Jeder Wert steht dann für eine der möglichen Reihenfolgen:
- 0 -> A1 B2 C3
- 1 -> B1 C2 A3
- 2 -> C1 A2 B3
- 3 -> A1 C2 B3
- 4 -> B1 A2 C3
- 5 -> C1 B2 A3
Die Abschnitte werden mit der Information aus der benutzerdefinierten Variable “combination” gefiltert (“zeige Abschnitt A1, wenn combination=0”, “zeige Abschnitt B2, wenn combination=0”, “zeige Abschnitt C3, wenn combination=0”, usw.):
Bitte beachten: Die Antworten bezüglich der Beurteilung jedes einzelnen Produktes befinden sich in mehreren Variablen und müssen vor einer Auswertung zusammengeführt werden.
Anmerkungen
Das hier gezeigte Beispiel bezieht sich auf 3 Produkte, bei denen es 6 Kombinationen gibt. Für 2 Produkte gäbe es nur 2 Kombinationen, für 4 Produkte gäbe es 24 Kombinationen und für 5 Produkte gäbe es bereits 120 Kombinationen. Mit steigender Anzahl an Produkten erhöht sich die Komplexität des Designs exponentiell. Spätestens ab 5 zu testenden Produkten empfiehlt es sich die Randomisierung (Variante 3) zu nutzen.