AI-Interview Qualitätskontrolle

Hinweis: Diese Funktion ist für Benutzer mit einer Professional-Analytics-Lizenz verfügbar und erfordert Universal Credits.

Survalyzer hat vier Bereiche für die Bewertung der Qualität eines Interviews definiert. Wenn ein Interview die Anforderungen für einen Bereich vollständig erfüllt, erhält es eine Punktzahl von 100% (Hinweis: Einige Bereiche können eine Punktzahl von weniger als 100% haben. Dies bedeutet, dass es trotzdem in die Bewertung einfließt). Die Konsistenz dieser Punktzahlen bildet jedoch letztlich die Bewertung, mit der wir Interviews von schlechter Qualität kennzeichnen. Schließlich bewertet Survalyzer anhand von vier Regeln, ob ein Interview von schlechter Qualität ist, das heißt Bad Quality.

Die vier Qualitätsbereiche sind:

  • Trap condition
  • Speeder
  • Straight liner
  • Bad open End

Die vier Regeln der Qualitätskontrolle sind:

  • Speeder Regel
  • 1-out-of-2 Regel
  • 240% Regel
  • Double trap Regel

Qualitätsbereiche

Trap condition

Voraussetzungen: eine oder mehrere “Trap-” oder Fallenfragen

Die Punktzahl für die Fallenbedingung wird durch das Ausmaß bestimmt, in dem ein Befragter in so genannte Fallen oder “Taps” tritt. Eine Fallenbedingung ist so gestaltet, dass es nur eine richtige Antwort gibt. Wenn ein Befragter eine Fallenfrage falsch beantwortet, ist dies nicht sofort ein Screenout. Wenn ein Befragter eine Fallenbedingung zweimal auslöst, erhält er eine Punktzahl von 100 %.

Beispiele für Fallenfragen sind:

  • “Wählen Sie die zweite Option aus”: Ein gutes Interview hat bei dieser Frage die zweite Option angekreuzt, wie verlangt. Wenn die Interviewqualität schlecht ist oder das Interview von einem Bot ausgefüllt wird, kann man in diese Falle tappen.
  • Die Kombination “Wie alt sind Sie?” in Frage Q1 und “Wählen Sie Ihre Alterskategorie” in Frage 10:

    In einem guten Interview werden diese beiden Fragen im Einklang beantwortet.
    -Wie alt sind Sie: 21 Jahre alt
    -Wählen Sie Ihre Alterskategorie: 18 – 25 Jahre alt

    Bei einem schlechten Interview gibt es eine Diskrepanz zwischen den beiden Antworten. Zum Beispiel:
    -Wie alt sind Sie: 21 Jahre alt
    -Wählen Sie Ihre Alterskategorie: 50 – 65 Jahre alt

Speeder

Voraussetzung: mehr als 20 abgeschlossene Interviews

Der Speeder-Score wird anhand der medianen Geschwindigkeit berechnet, mit der die Befragten den Fragebogen ausfüllen. Der Speeder-Score kann daher erst zugewiesen werden, wenn die Ergebnisse bereits bekannt sind; zur Ermittlung dieses Scores sind mindestens 20 abgeschlossene Interviews erforderlich. Der Median der Ausfüllgeschwindigkeit wird den abgeschlossenen Interviews entnommen.

Wenn ein Befragter den Fragebogen in weniger als 30 % dieser Zeit ausfüllt, erhält er eine Punktzahl von 100 % auf dem Speederscore.

Ein Beispiel: Die mediane Ausfüllgeschwindigkeit für einen Fragebogen beträgt 100 Sekunden. Ein Interview wird in 29,9 Sekunden abgeschlossen. Dieses Interview wird als ” Speeder” markiert und erhält eine Punktzahl von 100 %.

Straight Liner

Anforderungen: mindestens 3 Matrix- oder semantische Differential-Fragen, mit mindestens drei Zeilen und 5 Spalten

Ein Interview fällt in die Kategorie “straight-liner”, wenn die oben genannten Fragen alle eine Antwort haben, die immer den gleichen Wert hat. Das bedeutet, dass immer dieselbe Option beantwortet wurde, sozusagen in einer Zeile. Wenn dies bei allen Optionen der Fall ist, liegt die Punktzahl bei 100 % für den Straight-Liner-Score. Wenn 2 von 3 Matrix- bzw. semantischen Differentialfragen auf diese Weise beantwortet werden, ergibt sich eine Punktzahl von 66 %.

Bad open end

Anforderungen: offene Fragen, bei denen das Textfeld groß ist und ein Wert vorhanden ist. Leere Felder sind ausgeschlossen.

Interviews, die diese Anforderungen erfüllen, werden in zwei Arten unterteilt:

  • Typ 1: Offene Antworten mit 3 oder weniger Wörtern
  • Typ 2: Offene Antworten mit mehr als 3 Wörtern

Offene Antworten mit 3 oder weniger Wörtern

Ein Textfeld mit 3 oder weniger Wörtern wird von der Textanalyse nicht bewertet und wird auf der Grundlage der Anzahl der Wörter bewertet, die es enthält. Dabei berücksichtigt die Software Leerzeichen und ignoriert doppelte Leerzeichen. Sonderzeichen werden nicht gezählt. Die Bewertung ist wie folgt:

  • 0 Wörter vorhanden = 100% der Punkte
  • 1 Wort vorhanden = 100% Punktzahl
  • 2 Wörter vorhanden = 80%
  • 3 Wörter vorhanden = 60%

Offene Antworten mit mehr als 3 Wörtern

  • Wenn mehr als 3 Wörter vorhanden sind, wird der Text zur AI – Textanalyse weitergeleitet. Hier wird AI verwendet, um Folgendes zu bewerten:
  • Wenn der Antwort keine Sprache zugewiesen werden kann, erhält der Text eine Punktzahl von 100%.
  • Kann dem Text eine Sprache zugeordnet werden, aber wird diese Sprache nicht vom Fragebogen unterstützt? Dann erhält das Interview 100% der Punkte.
  • Können mehr als zwei verschiedene Sprachen zu >70% der Antworten zugeordnet werden? Dann erhält das Interview 100% der Punkte.
  • Können mehr als zwei verschiedene Sprachen >70% der Antworten zugeordnet werden, wobei mindestens eine nicht unterstützt wird? Dann erhält das Interview 100% der Punkte.

Erreicht der Durchschnitt dieser Punkte 80% oder mehr, erhält das Gespräch die Note 100% auf Bad open End.

Regeln für die Qualitätskontrolle

Die Konsistenz zwischen allen Komponenten bildet das Ergebnis des Urteils ” Bad quality” oder nicht. In dieser Hinsicht hat Survalyzer 4 Regeln, die bei der Qualitätskontrolle führend sind:

  • Speeder Regel
    Erreicht eine Befragung 100 % bei der Speeder-Regel, wird sie als schlechte Qualität eingestuft. Die Speeder-Regel wird auch verwendet, wenn Ihre Umfrage keines der oben genannten Qualitätsmerkmale aufweist oder erfüllt. Auf diese Weise können Sie immer noch die Qualität Ihrer Antworten bewerten.
  • 2 out of 4 Regel
    In Übereinstimmung mit dem Industriestandard wenden wir die 2-von-4-Regel an: “Schlechte Qualität” wird einem Interview zugeordnet, bei dem zwei von vier Qualitätsbereichen eine Bewertung von 100 % erhalten haben.
  • 240% Regel
    Wenn keiner oder nur einer der Bereiche mit 100 % bewertet wurde, die Gesamtpunktzahl für die vier Bereiche jedoch über 240 % liegt, wird das Interview ebenfalls als “schlechte Qualität” eingestuft.
  • Double trap Regel
    Wenn ein Interview von zwei verschiedenen Fallen erfasst wird, erhält das Interview den Status “Bad quality”.
Updated on January 4, 2024
Was this article helpful?

Related Articles

Need Support?
Please login to your Survalyzer account and use the "Create Support Request" form.
Login to Survalyzer