How to design a good survey (guide)/nl

Een richtlijn voor het maken van een goede enquête.

In LimeSurvey kun je snel een enquête maken, helaas zegt dat niet dat het dan een goede enquête is.

Hier willen we tonen hoe je een enquête maakt die je deelnemers niet afschrikt en je ook nog betere gegevens oplevert.

In deze blog staan nog meer nuttige aanwijzingen voor een goed ontwerp van je enquête.

Voordat je begint

Voordat je een enquête maakt of daar aan denkt is het belangrijk om eerst jezelf wat vragen te stellen.

Wat wil je te weten komen met het onderzoek?

Vervolgens:

• Kan ik dat te weten komen met een enquête?
• Hoe kan de enquête dat dan doen?
• Aan wie moet ik dat vragen?
• Hoe kan ik die mensen bereiken?
• Hoe zorg ik ervoor dat ze mijn vragen begrijpen?
• Zijn er statistische methoden nodig om de resultaten te beoordelen?

LimeSurvey is een prachtig gereedschap om enquêtes te maken als je van te voren alle vragen, die je eventueel wilt stellen, duidelijk kunt aangeven. Iedereen nagenoeg dezelfde vragen krijgt, de antwoorden ook vooraf aan te geven zijn en de enquête online wordt afgenomen.

LimeSurvey is great for fully structured (you know all the questions you might need to ask before you start the interview), standardized (everyone gets more or less the same questionnaire), mostly quantitative (it is mainly about numbers or questions with predefined answers) questionnaires which are collected online.

Je kunt dit wat uitbreiden door bijvoorbeeld zelf antwoorden vast te leggen van telefonische interviews. Of door gegevens te verzamelen met tekstvragen (open vragen), je zult dan de door de deelnemers ingevulde teksten zelf moeten beoordelen.

Je kunt natuurlijk tot de conclusie komen dat er betere manieren zijn om informatie te verkrijgen dan een enquête.

Structuur aanbrengen

Overweeg wat aspecten bij het bepalen in welke volgorde en hoe gegroepeerd je de vragen wilt stellen.

Begin als het kan met wat eenvoudig te beantwoorden vragen om de deelnemers ontspannen te laten beginnen. Dit zijn meestal toch vragen waarin je wilt vaststellen of je wel de goede mensen de enquête laat invullen en om de condities en de quota's te kunnen instellen.

De ervaring leert dat mensen snel afhaken met invullen als de enquête direct moeilijk begint en ze eerder verdergaan als ze al wat vragen beantwoord hebben.

Welk fruit vind je het lekkerst?
#Appels   ()
#Bananen  ()
#Kersen ()
</div>

(een keuze)

Je kunt condities gebruiken om de volgende vraag over kersen te maken als de deelnemer voor kersen kiest.

Waarom kies je voor kersen?
#Ze zijn lekker
#Ze hebben een mooie kleur
#Ze zijn gezond
#Ze zijn sappig
#Ik hou van kersentaart

(meerkeuze (of enkelekeuze, afhankelijk of je exacte gegevens wil hebben) vraag)

Lust je graag kersen?
#1) Niet meer dan van ander fruit
#2) Graag, meer dan van ander fruit
#3) Het is een van mijn favoriete fruitsoorten!
#4) I HOU VAN KERSEN!

(een keuze)

Ken je een recept met kersen?

[tekst]

Het bovenstaande is een voorbeeld van een gemakkelijke aantrekkelijke vraag gevolgd door de hoofdvraag.

Je doel was om recepten te verkrijgen met kersen, appels of bananen.

Als je moeilijker vragen hebt, kun je overwegen op meerdere pagina's te gebruiken (een pagina per groep of een pagina per vraag) en deze vragen onderaan die pagina te zetten. Als de deelnemers dan afhaken heb je in ieder geval al antwoorden op de eerder gestelde vragen.

Door de structuur van je enquête kun je ook meetfouten voorkomen.

In een marktonderzoek zijn er concepten die vragen met of zonder hulp vereisen. Een voorbeeld van een vraag zonder hulp is:

An example of an unaided question would be:

"Welke merken chocolade ken je?"

(gevolgd door een leeg tekstvak)

Een overeenkomende vraag met hulp is:

 "Welke van de volgende merken chocolade ken je?"
</div>

(gevolgd door een lijst met merken (meerkeuzevraag))

Als je beide vragen in dezelfde enquête zou opnemen, stel ze dan op verschillende pagina's en stel de open vraag eerst want anders zal de deelnemer nog merken noemen die hij/zij zich nog van je vraag (met het lijstje) herinnert. En je wilt weten welke merken ze zelf kennen.

De vraag zelf

Vragen moeten niet suggestief zijn. "Wat is je mening over LimeSurvey"is een goede vraag, maar "Ben je het er mee eens dat LimeSurvey een goede applicatie is?", is dat niet.

Voorbeeld:

Mensen willen eerder geld doneren als je vragen stelt als

• Hou je van de natuur?
• Wil je doneren voor het verbeteren van de rivier?

Je haalt vermoedelijk minder op met:

• Kun je geld missen?
• Wil je doneren voor het verbeteren van de rivier?

Probeer dit te voorkomen door je vragen te ordenen:

• van de minst gevoelige vraag naar de meest gevoelige vraag
• van algemene vragen naar specifieke vragen
• van vragen over feiten naar vragen over meningen

Een vraag kan zijn:

• Open, de deelnemer kan een tekst invullen
• Gesloten, de deelnemer kan een of meer opties kiezen uit een lijst

Gesloten vragen zijn gemakkelijker te verwerken maar de deelnemer kan zich te beperkt voelen in de antwoorden.

Voorbeeld:"Wat is je favoriete kleur?"

Open: Iemand kan dan antwoorden "Donker fuchsia", je krijgt dan dat als keuze in je verzamelde antwoorden.

Gesloten: Je kunt maar een beperkt aantal, zeg 12, aanbieden, maar mensen moeten dan mogelijk een kleur kiezen die ze niet willen kiezen.

Bekijk je vragen en besluit per vraag of die vraag open of gesloten is. Pas ze eventueel aan.

Voorbeeld: "Wat is volgens jou de beste manier om een rivier schoon te maken?"

Dit lijkt ons een open vraag: de antwoorden zijn niet eenvoudig weer te geven in een tabel of in een diagram. Je kunt hiermee goede antwoorden krijgen waar je van te voren niet eens aan gedacht hebt.

Voorbeeld:"Hoe vaak ga je naar de rivier?"

Dit is een gesloten vraag met bijvoorbeeld de opties:

• Bijna elke dag
• Minstens vijf keer per jaar
• Een tot vier keer per jaar
• Bijna nooit

Dit zijn resultaten die je prima in een staafdiagram kunt weergeven.

Kies dus goed of het een open of een gesloten vraag wordt en formuleer de vragen en de eventuele antwoordopties goed.

Bijvoorbeeld:

Welk fruit vind je lekker?
#Appels   ()
#Bananen  ()
#Kersen ()

is een een typische meerkeuzevraag, mensen kunnen best meerdere vruchten lekker vinden. "Welk fruit vind je het lekkerst?" is een enkelekeuze-vraag.

In beide voorbeelden is het duidelijk dat je de deelnemer uit het gegeven rijtje wilt laten kiezen. Als je vraagt "Wat is je favoriete fruit?", dan moet je eigenlijk alle soorten fruit noemen, of beter, gebruik maken van de optie anders in LimeSurvey om een veld toe te voegen waar ze een tekst kunnen invullen. De antwoordopties moeten compleet, onderling verschillend en duidelijk zijn.

Als je veel antwoordopties hebt dan loert het gevaar dat je meetfouten krijgt omdat deelnemers meer letten op de eerste keuzes. LimeSurvey heeft daarom de optie om de volgorde van de antwoordopties bij een vraag willekeurig te maken. De deelnemers krijgen dan de antwoorden niet in dezelfde volgorde.

Wat maakt een enquête goed?

Er zijn drie kenmerken die een enquête nuttig kunnen maken:

1. De vragen zij helder en precies en verzamelen antwoorden die gedetailleerd, ondubbelzinnig en betekenisvol zijn.
2. Alle vooraf definieerde antwoorden hebben een formaat passend bij de vraag.
3. Een deelnemer kan aanvullende informatie geven indien dat nodig is.

Denk er daarbij aan hoe de deelnemer de enquête ervaart. Lezen, scrollen en klikken zijn vermoeiend, dus:

1. Voorkom onnodige vragen.
2. Gebruik condities om te voorkomen dat je vragen stelt aan de deelnemer als je al weet dat die vraag niet relevant is voor die deelnemer.
3. Probeer de vragen en antwoorden kort en leesbaar te houden, maak je tekst zo nodig op.
4. Denk na over de afweging tussen scrollen en klikken. Voor een korte enquête (5-15 vragen, afhankelijk van de moeilijkheidsgraad) kun je alles tonen op één pagina. Gebruik vraaggroepen goed bij langere enquêtes. Geef dan per vraaggroep een duidelijke toelichting over het onderwerp van de vragen in de groep.
5. Voorkom dat je de deelnemer in de war brengt door verschillende schalen te gebruiken. Beperk dus het aantal verschillende schalen, bereiken en beschrijvingen. Wijzig de schaalrichting niet als dat onlogisch is of vereist voor de methode.
6. Als je een deelnemer de antwoorden op volgorde laat zetten geeft aan hoe de richting is (zie onderstaand voorbeeld).

Voorbeeld van goede antwoordschaal:
</div>

1. Heel goed

2. Goed

3. Redelijk goed

4. Niet zo goed

5. Slecht

6. Heel slecht

<div class="mw-translate-fuzzy">
Voorbeeld met slechte antwoordschalen:
</div>

1. Goed

2. Aanvaardbaar

3. Slecht

Je kunt het beste bij het maken van een enquête nadenken over je gewenste reacties. Aan een reactie betekenisvol is, heb je het meest, die is nuttig. Probeer de vragen zo te stellen dat je betekenisvolle reacties krijgt.

Hoe doe je dat? Probeer het onderwerp op te delen en beslis welke informatie je wilt verzamelen.

Als je bijvoorbeeld een evenement hebt gehouden dan wil je wat algemene feedback hebben van de bezoekers over het evenement.

Een slechte enquête zou dan zijn:

Vond je het een leuk evenement?

( ) Ja

( ) Nee

Hoe goed was de wifi?

1 2 3 4 5 6 7 8 9 10

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

Ben je goed gearriveerd op het evenement?

( ) Ja

( ) Nee

Was de plattegrond goed?

( ) Ja

( ) Nee

Hoe tevreden ben je over de verscheidenheid van de sprekers?

( ) Erg teleurgesteld ( ) Teleurgesteld ( ) Neutraal ( ) Tevreden ( ) Erg tevreden

Matrix questions would be a better choice for the above scenario.

Matrix/beoordelingsschaal

Het is wat algemeen gezegd maar probeer te voorkomen dat je een schaal gebruikt voor iets waar dat niet voor bedoeld is, dus gebruik het alleen voor antwoorden met een schaal, zoals leeftijd, tijd of hoeveelheden. Ook kan een matrix van afgedwongen vragen afschrikwekkend werken voor de deelnemer als ze slecht geformuleerd zijn of geen ruimte laten voor aanvullende informatie.

Als iemand de enquête afrondt, dan kun je om extra feedback vragen voor het geval ze nog zaken willen toelichten of nog opmerkingen hebben.

Wat was er dan wel mis met de enquête?

We bekijken het vraag voor vraag.

Van vraag 1 wordt je niets wijzer. Als je ontdekt dat veel mensen het evenement niet leuk vonden, dan ben je natuurlijk teleurgesteld, maar je weet niet waarom ze het niet leuk vonden.

Vraag 2 is slecht, de vraag is niet helder en niet precies. Je zegt over de kwaliteit van Wifi niet iets dat je op een dergelijke schaal aangeeft.

Je kunt hiermee niet de kwaliteit van de Wifi verbeteren. Je moet mensen hier de gelegenheid geven in hun eigen woorden een probleem te melden.

In dit geval? Het kan niet. Een enquête dient om dingen te ontdekken waarmee je iets kunt doen of waarvan je iets kunt leren.

Ook de volgende twee vragen hebben hetzelfde resultaat. De deelnemer kan ja of nee zeggen maar geen toelichting geven.

De slotvraag is pijnlijk. Omdat verschillende mensen verschillende interesses hebben kun je niets met een tevredenheidsniveau per spreker en hier gaat het ook nog over alle sprekers. De antwoorden horen niet bij de vraag.

Nu een verbeterde versie van deze enquête.

Heb je gebruik gemaakt van onze wifi?

( ) Ja

( ) Nee

Had je daarbij problemen?

( ) Geen problemen

( ) Kleine problemen, niet belangrijk

( ) Een of twee problemen

( ) Ik kon de wifi door problemen niet gebruiken

Als je problemen hebt ondervonden, kun je ze dan hier kort beschrijven (tekstveld)

<div class="mw-translate-fuzzy">
Ben je goed gearriveerd op het evenement?
</div>

( ) Ja

( ) Nee

Hoe ben je naar ons evenement gegaan?

( ) Trein

( ) Auto

( ) Bus

( ) Metro, tram

( ) Lopend, fiets

Heb je onze plattegrond op de website gebruikt?

( ) Ja

( ) Nee

Wat de plattegrond gedetailleerd genoeg?

( ) Ja

( ) Ik kreeg alleen een eerste indruk van de plaatsen, ik heb een andere plattegrond gebruikt met meer details.

( ) Te weinig details.

Als je de plattegrond niet hebt gebruikt, waarom dan niet?

( ) Te weinig details

( ) Ik gebruik Google Maps (o.i.d.)

( ) Ik wist niet dat er een plattegrond was!

Vond je de sprekers interessant?  Heb je de presentaties met plezier gevolgd?

( ) Bijna alle sprekers waren interessant en hadden een goede presentatie.

( ) De meesten waren goed, een paar anderen waren minder.

<div class="mw-translate-fuzzy">
( ) Ongeveer de helft vond ik goed en de andere helft minder.
</div>

( ) De meeste sprekers vond ik niet goed.

( ) Bijna niks was voor mij interessant.

Wil je je bovenstaande antwoord hier toelichten? Je mag ook wel namen van sprekers noemen.

betreft spreker/onderwerp. (tekstveld)

Hoe kunnen we de onderwerpen verbeteren of heb je andere aanbevelingen

de presentaties, noem ze hieronder op (tekstveld)

Als je andere opmerkingen of aanbevelingen hebt, wil je ze dan hier noemen? (Tekstveld)

De enquête is dan wel wat langer, maar wel gemakkelijker om in te vullen en later te verwerken. Als je per onderdeel 2 of 3 vragen stelt dan kun je de antwoorden beter beoordelen. Stel: op de eerste enquête kreeg je het antwoord dat er 30 mensen niet goed op het evenement zijn aangekomen.

Meer informatie kun je er niet uithalen. Met de nieuwe versie had je kunnen achterhalen of dat aan het vervoersmiddel ligt. Je kunt het ook koppelen aan het feit of ze een plattegrond o.i.d. gebruikt hebben of niet. Je kunt dan misschien een voornemen doen om dat een volgend evenement te verbeteren.

Bedenk dat mensen er na 50 vragen minder zin in krijgen om de vragen goed te lezen.

Een ander belangrijke toevoeging zijn de tekstvragen, je publiek kan nu gericht terugkoppeling geven waar je wat mee kunt voor de volgende keer. Je moet deze vragen dan wel optioneel laten, verplicht de mensen dus niet om commentaar te geven als ze dat niet zelf willen geven.

Samenvattend kun je zeggen dat je bij het maken van een enquête, dus het opstellen van de vragen, rekening moet houden met de informatie die je te weten wilt komen. Wat extra achtergrondinformatie geeft je wat beter de kans om meer informatie te verkrijgen.

Formuleer je vragen goed, als iemand een vraag krijgt die voor hem/haar onbegrijpelijk is kan hij/zij snel afhaken en krijg je minder reacties binnen. Kijk of je de enquête eerst kunt laten invullen door een ander voordat je de enquête vrijgeeft voor je deelnemers.

Meetfouten / Bias

In een marktonderzoek is een van de belangrijkste dingen het voorkomen van meetfouten, dat is het stellen van vragen die het invullen door de deelnemer beïnvloeden. Als je niet thuis bent in marktonderzoek dan kan je dat snel overkomen. Dit kan komen door uitdrukkingen die je gebruikt, het type beschikbare antwoorden en ook door de presentatie van de vragen.

Je krijgt meetfouten als je vraagt:

Hoe leuk vond je het evenement?

( )Erg leuk

( )Ging wel

( )Niet zo leuk

( )Helemaal niet

Op het eerste gezicht lijkt het een goede structuur, de deelnemer kan zijn antwoord uit een rijtje kiezen. Maar in de vraagstelling ga je er al van uit dat de deelnemer het een leuk evenement vond. Dat wil je juist vaststellen.

Je kunt dit voorkomen door de vraag anders te formuleren:

Hoe zou je het evenement willen beoordelen als je het zou beoordelen op een schaal van 1 tot 5, 
waar 1 staat voor "Ik heb mij totaal niet vermaakt" en 5 staat voor  "Ik heb mij goed vermaakt"
</div>

1 2 3 4 5

( ) ( ) ( ) ( ) ( )

Hier kan de deelnemer zelf zijn/haar eigen waardering bepalen en kan hij/zij een antwoord kiezen dat gemakkelijk bij hem/haar belevenis past en dat achteraf gemakkelijk te verwerken, weer te geven en te vergelijken is.

Dit is maar een voorbeeld, maar probeer de genoemde zaken en principes toe te passen in je eigen enquêtes.