AI interview kwaliteitscontrole

Let op: Deze functie is beschikbaar voor professional analytics-gebruikers en vereist credits.

Survalyzer heeft vier peilers bepaald voor het beoordelen van de kwaliteit van een interview. Voldoet een interview geheel aan de vereisten voor een peiler, dan krijgt hij een score van 100% daarop (opmerking: sommige peilers kunnen een score hebben van minder dan 100%. Dit betekent nog steeds dat hij meegenomen wordt in de beoordeling). De samenhang van deze scores vormen echter uiteindelijk de beoordeling, waarmee we interviews van slechte kwaliteit duiden. Aan de hand van vier regels beoordeelt Survalyzer tot slot of een interview van slechte kwaliteit, oftewel Bad Quality is.

De 4 kwaliteitspeilers zijn:

  • Trap condition
  • Speeder
  • Straight liner
  • Bad open End

De 4 kwaliteitscontrole regels zijn

  • Speeder regel
  • 1-out-of-2 regel
  • 240% regel
  • Double trap regel

Kwaliteitspeilers

Trap condition

Vereisten: één of meer ‘trap’ oftewel val-vragen

De trap condition score wordt bepaald door in hoeverre een respondent trapt in zogenaamde vallen of ‘traps’. Een trap condition is specifiek ontworpen om maar één correct antwoord te hebben. Wanneer een interview een trap-vraag verkeerd beantwoordt is dat niet meteen een . Wanneer een respondent twee keer een trap-condition activeert krijgt hij een 100% score toebedeeld.

Voorbeelden van trap-condition vragen zijn:

  • “Selecteer de tweede optie” een goed interview zal bij deze vraag zoals verzocht de tweede optie hebben aangekruist. Wordt er slecht ingevuld, of door een bot, dan wordt er mogelijk in deze val getrapt.
  • De combinatie “Hoe oud bent u?” in Q1 vraag en “selecteer uw leeftijdscategorie” in bijvoorbeeld Q10.

    Bij een goed interview zijn deze twee vragen in harmonie met elkaar beantwoord.
    – Hoe oud bent u? 21 jaar oud
    – Selecteer uw leeftijdscategorie: 18 – 25 jaar oud

    Bij een slecht interview is er een discrepantie tussen de twee antwoorden. Bijvoorbeeld:
    – Hoe oud bent u? 21 jaar oud
    – Selecteer uw leeftijdscategorie: 50 – 65 jaar oud

Speeder

Vereiste: meer dan 20 voltooide interviews

Speeder score wordt berekend aan de hand van mediaan van de snelheid waarmee respondenten de vragenlijst invullen. De speeder score kan daardoor pas worden toebedeeld als er al resultaten bekend zijn; er zijn minstens 20 voltooide interviews nodig om deze score te bepalen. De mediaan van de invulsnelheid wordt genomen van voltooide interviews.

Wanneer een respondent de vragenlijst in minder dan 30% van deze tijdsduur voltooit, krijgt hij een score van 100% op de speeder score.

Bijvoorbeeld: de mediaan van de invulsnelheid voor een vragenlijst is 100 seconden. Een interview is binnen 29,9 seconden ingevuld. Dit interview wordt als speeder gemarkeerd, en krijgt een score van 100%.

Straight liner

Vereisten: ten minste 3 matrix of semantisch differentieel- vragen, van minstens drie rijen en 5 kolommen

Een interview valt in de categorie straight-liner wanneer bovenstaande vragen allemaal een antwoord hebben wat steeds dezelfde waarde heeft. Dit betekent dat er steeds op dezelfde optie is geantwoord, als het ware in één lijn. Wanneer dit bij alle opties gebeurt is de score 100% op de straight-liner score. Als 2 van de 3 matrixen / semantisch differentieel-vragen als dusdanig zijn beantwoord, is er een score van 66%.

Bad open end

Vereisten: open vragen, waarbij de grootte van het tekstvak groot is, en waarin een waarde aanwezig is. Lege velden worden uitgesloten.

De interviews die aan deze eisen voldoen, worden opgesplitst in twee soorten:

  • soort 1: open antwoorden met 3 of minder woorden
  • soort 2: open antwoorden met meer dan 3 woorden


Open antwoorden van 3 of minder woorden
Een tekstveld met 3 of minder wordt niet door tekstanalyse beoordeeld en krijgt een beoordeling op basis van het aantal woorden dat er wel is. Daarbij houdt de software rekening met spaties, en negeert het dubbele spaties. Speciale tekens tellen niet mee. De beoordeling is als volgt:

  • 0 woorden aanwezig = score van 100%
  • 1 woord aanwezig = score van 100%
  • 2 woorden aanwezig = 80%
  • 3 woorden aanwezig = 60%

Open antwoorden van meer dan 3 woorden
Zijn er meer dan 3 woorden aanwezig, dan gaat de tekst door naar AI – tekstanalyse. Hier wordt middels AI het volgende beoordeeld:

  • Als er geen taal kan worden toebedeeld aan het antwoord dan krijgt de tekst een score van 100%
  • Kan er een taal toebedeeld worden aan de tekst, maar wordt deze taal niet ondersteund door de vragenlijst? Dan scoort het interview 100%.
  • Kunnen er meer dan twee verschillende talen aan >70% van de antwoorden toebedeeld worden? Dan scoort het interview 100%.
  • Kunnen er meer dan twee verschillende talen aan >70% van de antwoorden toebedeeld worden, met minstens eentje die niet wordt ondersteund? Dan scoort het interview 100%.

Wanneer het gemiddelde van deze scores op 80% of hoger komt, dan krijgt het interview een score van 100% op Bad open End.

Regels voor kwaliteitscontrole

De samenhang tussen alle onderdelen vormt de uitkomst van het oordeel ‘Bad quality’ of niet. Survalyzer heeft daarbij 4 regels die leidend zijn in de kwaliteitscontrole.

  • Speeder rule
    Scoort een interview 100% op speeder, dan wordt hij gecategoriseerd als bad quality. De speeder regel is tevens de regel die wordt gebruikt wanneer uw enquete geen van de bovenstaande kwaliteitspeilers bezit of er niet aan voldoet. Zo kunt u toch altijd de kwaliteit van uw responsen beoordelen.
  • 2 out of 4 rule
    In lijn met de instustriestandaard, hanteren we de 2-out-of-4 regel: ‘bad quality’ wordt toebedeeld aan een interview waarbij twee van de vier kwaliteitspeilers een score van 100% heeft gekregen zijn.
  • 240% rule
    Als geen, of maar één van de peilers een 100% score heeft gekregen maar de totale score op de vier peilers boven de 240% komt wordt, het interview ook als ‘Bad quality’ gecategoriseerd. 2.4 Double
  • Double trap rule
    Wanneer een interview door twee verschillende traps gevangen wordt krijgt het interview de status ‘Bad quality’.
Updated on January 4, 2024
Was this article helpful?

Related Articles

Need Support?
Please login to your Survalyzer account and use the "Create Support Request" form.
Login to Survalyzer