How to design a good survey (guide)/nl

Een richtlijn voor het maken van een goede enquête.

In LimeSurvey kun je snel een enquête maken, helaas zegt dat niet dat het dan een goede enquête is.

Hier willen we tonen hoe je een enquête maakt die je deelnemers niet afschrikt en je ook nog betere gegevens oplevert.

In deze blog staan nog meer nuttige aanwijzingen voor een goed ontwerp van je enquête.

Voordat je begint

Voordat je een enquête maakt of daar aan denkt is het belangrijk om eerst jezelf wat vragen te stellen.

Wat wel je te weten komen met het onderzoek?

Vervolgens:

• Kan ik dat te weten komen met een enquête?
• Hoe kan de enquête dat dan doen?
• Aan wie moet ik dat vragen?
• Hoe kan ik die mensen bereiken?
• Hoe zorg ik ervoor dat ze mijn vragen begrijpen?
• Zijn er statistische methoden nodig om de resultaten te beoordelen?

LimeSurvey is een prachtig gereedschap om enquêtes te maken als je van te voren alle vragen, die je eventueel wilt stellen, duidelijk kunt aangeven. Iedereen nagenoeg dezelfde vragen krijgt, de antwoorden ook vooraf aan te geven zijn en de enquête online wordt afgenomen.

Je kunt dit wat uitbreiden door bijvoorbeeld zelf antwoorden vast te leggen van telefonische interviews. Of door gegevens te verzamelen met tekstvragen (open vragen), je zult dan de door de deelnemers ingevulde teksten zelf moeten beoordelen.

Je kunt natuurlijk tot de conclusie komen dat er betere manieren zijn om informatie te verkrijgen dan een enquête.

Structuur aanbrengen

Overweeg wat aspecten bij het bepalen in welke volgorde en hoe gegroepeerd je de vragen wilt stellen.

Begin als het kan met wat eenvoudig te beantwoorden vragen om de deelnemers ontspannen te laten beginnen. Dit zijn meestal toch vragen waarin je wilt vaststellen of je wel de goede mensen de enquête laat invullen en om de condities en de quota's te kunnen instellen.

De ervaring leert dat mensen snel afhaken met invullen als de enquête direct moeilijk begint en ze eerder verdergaan als ze al wat vragen beantwoord hebben.

Welk fruit vind je het lekkerst?
#Appels   ()
#Bananen  ()
#Kersen ()

(een keuze)

Je kunt condities gebruiken om de volgende vraag over kersen te maken als de deelnemer voor kersen kiest.

Waarom kies je voor kersen?
#Ze zijn lekker
#Ze hebben een mooie kleur
#Ze zijn gezond
#Ze zijn sappig
#Ik hou van kersentaart

(meerkeuze (of enkelekeuze, afhankelijk of je exacte gegevens wil hebben) vraag)

Lust je graag kersen?
#1) Niet meer dan van ander fruit
#2) Graag, meer dan van ander fruit
#3) Het is een van mijn favoriete fruitsoorten!
#4) I HOU VAN KERSEN!

(een keuze)

Ken je een recept met kersen?

[tekst]

Het bovenstaande is een voorbeeld van een gemakkelijke aantrekkelijke vraag gevolgd door de hoofdvraag.

Je doel was om recepten te verkrijgen met kersen, appels of bananen.

Maar...

Als je moeilijker vragen hebt, kun je overwegen op meerdere pagina's te gebruiken (een pagina per groep of een pagina per vraag) en deze vragen onderaan die pagina te zetten. Als de deelnemers dan afhaken heb je in ieder geval al antwoorden op de eerder gestelde vragen.

Door de structuur van je enquête kun je ook meetfouten voorkomen.

In een marktonderzoek zijn er concepten die vragen met of zonder hulp vereisen. Een voorbeeld van een vraag zonder hulp is:

"Welke merken chocolade ken je?"

(gevolgd door een leeg tekstvak)

Een overeenkomende vraag met hulp is:

 "Welke van de volgende merken chocolade ken je?"

(gevolgd door een lijst met merken (meerkeuzevraag))

Als je beide vragen in dezelfde enquête zou opnemen, stel ze dan op verschillende pagina's en stel de open vraag eerst want anders zal de deelnemer nog merken noemen die hij/zij zich nog van je vraag (met het lijstje) herinnert. En je wilt weten welke merken ze zelf kennen.

De vraag zelf

Vragen moeten niet suggestief zijn. "Wat is je mening over LimeSurvey"is een goede vraag, maar "Ben je het er mee eens dat LimeSurvey een goede applicatie is?", is dat niet.

Voorbeeld:

Mensen willen eerder geld doneren als je vragen stelt als

• Hou je van de natuur?
• Wil je doneren voor het verbeteren van de rivier?

Je haalt vermoedelijk minder op met:

• Kun je geld missen?
• Wil je doneren voor het verbeteren van de rivier?

Probeer dit te voorkomen door je vragen te ordenen:

• van de minst gevoelige vraag naar de meest gevoelige vraag
• van algemene vragen naar specifieke vragen
• van vragen over feiten naar vragen over meningen

Een vraag kan zijn:

• Open, de deelnemer kan een tekst invullen
• Gesloten, de deelnemer kan een of meer opties kiezen uit een lijst

Gesloten vragen zijn gemakkelijker te verwerken maar de deelnemer kan zich te beperkt voelen in de antwoorden.

Voorbeeld:"Wat is je favoriete kleur?"

Open: Iemand kan dan antwoorden "Donker fuchsia", je krijgt dan dat als keuze in je verzamelde antwoorden.

Gesloten: Je kunt maar een beperkt aantal, zeg 12, aanbieden, maar mensen moeten dan mogelijk een kleur kiezen die ze niet willen kiezen.

Bekijk je vragen en besluit per vraag of die vraag open of gesloten is. Pas ze eventueel aan.

Voorbeeld: "Wat is volgens jou de beste manier om een rivier schoon te maken?"

Dit lijkt ons een open vraag: de antwoorden zijn niet eenvoudig weer te geven in een tabel of een grafiek. Je kunt hiermee goede antwoorden krijgen waar je van te voren niet eens aan gedacht hebt.

Voorbeeld:"Hoe vaak ga je naar de rivier?"

Dit is een gesloten vraag met bijvoorbeeld de opties:

• Bijna elke dag
• Minstens vijf keer per jaar
• Een tot vier keer per jaar
• Bijna nooit

Dit zijn resultaten die je prima in een staafdiagram kunt weergeven.

Kies dus goed of het een open of een gesloten vraag wordt en formuleer de vragen en de eventuele antwoordopties goed.

Bijvoorbeeld:

Welk fruit vind je lekker?
#Appels   ()
#Bananen  ()
#Kersen ()

is een een typische meerkeuzevraag, mensen kunnen best meerdere vruchten lekker vinden. "Welk fruit vind je het lekkerst?" is een enkelekeuze-vraag.

In beide voorbeelden is het duidelijk dat je de deelnemer uit het gegeven rijtje wilt laten kiezen. Als je vraagt "Wat is je favoriete fruit?", dan moet je eigenlijk alle soorten fruit noemen, of beter, gebruik maken van de optie anders in LimeSurvey om een veld toe te voegen waar ze een tekst kunnen invullen. De antwoordopties moeten compleet, onderling verschillend en duidelijk zijn.

Als je veel antwoordopties hebt dan loert het gevaar dat je meetfouten krijgt omdat deelnemers meer letten op de eerste keuzes. LimeSurvey heeft daarom de optie om de volgorde van de antwoordopties bij een vraag willekeurig te maken. De deelnemers krijgen dan de antwoorden niet in dezelfde volgorde.

Wat maakt een enquête goed?

Er zijn drie kenmerken die een enquête nuttig kunnen maken:

1. De vragen zij helder en precies en verzamelen antwoorden die gedetailleerd, ondubbelzinnig en betekenisvol zijn.
2. Alle vooraf definieerde antwoorden hebben een formaat passend bij de vraag.
3. Een deelnemer kan aanvullende informatie geven indien dat nodig is.

Denk er daarbij aan hoe de deelnemer de enquête ervaart. Lezen, scrollen en klikken zijn vermoeiend, dus:

1. Voorkom onnodige vragen.
2. Gebruik condities om te voorkomen dat je vragen stelt aan de deelnemer als je al weet dat die vraag niet relevant is voor die deelnemer.
3. Probeer de vragen en antwoorden kort en leesbaar te houden, maak je tekst zo nodig op.
4. Denk na over de afweging tussen scrollen en klikken. Voor een korte enquête (5-15 vragen, afhankelijk van de moeilijkheidsgraad) kun je alles tonen op één pagina. Gebruik vraaggroepen goed bij langere enquêtes. Geef dan per vraaggroep een duidelijke toelichting over het onderwerp van de vragen in de groep.
5. Voorkom dat je de deelnemer in de war brengt door verschillende schalen te gebruiken. Beperk dus het aantal verschillende schalen, bereiken en beschrijvingen. Wijzig de schaalrichting niet als dat onlogisch is of vereist voor de methode.
6. Als je een deelnemer de antwoorden op volgorde laat zetten geeft aan hoe de richting is (zie onderstaand voorbeeld).

Voorbeeld van goede antwoordschaal:

1. Heel goed

2. Goed

3. Redelijk goed

4. Niet zo goed

5. Bad

6. Very bad

Example for bad answer scales:

1. Good

2. Fair

3. Bad

The best way to start designing a survey is to take a second to imagine your ideal feedback. It goes without saying that meaningful responses are the most useful ones, so try to create questions which invite these answers.

How can you go about that? The best method is to split up all the areas and decide on what information you need.

For example, imagine you held an event, open to the public, and needed to get some general feedback about the event.

A "bad" survey might be similar to the following:

Did you enjoy the Event?

( ) Yes

( ) No

How good was the wifi?

1 2 3 4 5 6 7 8 9 10

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

Did you arrive OK?

( ) Yes

( ) No

Was the provided map OK?

( ) Yes

( ) No

Were how did you feel about the mixture of speakers?

( ) Very sad ( ) Sad( ) Neutral ( ) Happy ( ) Very Happy

Matrix/beoordelingsschaal

That may be a bit of a generalisation, but its a good rule to live by. Anything that involves a scale of any sort should be avoided unless you want an answer that can be measured on a scale, like age, time (maybe) or quantities. Similarly, a matrix of compulsory questions can be a bit of a deterrent for your audience as not only are they badly structured, but they don't allow for any extra information.

Chances are if someone is completing your survey they want to give feedback, and if they don't think they can share anything useful they'll just close the window and move on.

So what's wrong with the survey above?

Let's look at each question step by step.

Question 1 doesn't really achieve anything. Imagine receiving 100 "no" responses. Firstly you'd be sad, but secondly you would have absolutely nothing to do with the information. We'll look at a possible improvement to this in a moment.

Question 2 is so bad it's painful. If we go back to our 3 steps, we see that the questions need to be clear and precise. I'm not an expert in Wifi but I'm fairly certain you don't measure it in "goods". What's more, it doesn't allow for a meaningful answer – What will you do with the knowledge that while 33% of people rated your wifi as being good, only 23% rated it as good? Point number 2 tells us that the predefined answers need to be appropriate to the question.

It's fairly obvious that a scale of 1 to 10 won't help you improve on the quality of your wifi. The real killer in this one is the need to have space for people to add additional information. How could someone report a specific problem?

In this case? It's impossible. Surveys are all about finding out something you can work with or learn from.

The next two questions have the same result – they provide a platform for people to say yes or no. And neither of those questions allow for detail. In a better survey, which we'll consider in a moment, you could learn particular problems from specific people.

The final question is another painful one. Asking for the level of satisfaction about something is pretty much useless, as every person has different interests, and so everyone will likely have different opinions on each speaker. It's another example of where a range question is being used and shouldn't be.

Have a look at the improved survey there.

Did you make use of the in-house wifi?

( ) Yes

( ) No

Did you experience any problems?

( ) No problems at all

( ) A couple of small issues, nothing major

( ) One or two severe issues

( ) The wifi was nearly totally unusable.

If you experienced problems, could you briefly describe them? (Text field)

Did you arrive ok?

( ) Yes

( ) No

How did you come to our event?

( ) Train

( ) Car

( ) Bus

( ) Light Rail (IE Tube, Tram)

( ) Walk

Did you use the map from our website?

( ) Yes

( ) No

If you looked at the map, was it detailed enough?

( ) Yes

( ) It gave me a rough idea, I used another map for more detail though

( ) Not detailed at all.

If you didn't use the map, why not?

( ) Not enough detail

( ) I used a satnav/google maps instead

( ) I didn't even know it existed!

Generally speaking, were the speakers interesting? Did you enjoy the presentations?

( ) Nearly all were interesting and thoroughly enjoyable

( ) Mainly enjoyable, but a handful of less interesting talks.

( ) A 50 – 50 split

( ) More dull than interesting

( ) Didn't find any interesting.

Please elaborate on your answer to the question above. Feel free to reference any

particular people/talks. (Text field)

If we could improve the range of talks, or you have any other interesting ideas regarding

the talks, list them below (Text field)

If you have any other recommendations or ideas, please list them below. (Text field)

This survey may be a little longer, but it's a lot easier to both answer and interpret the answers from. Asking two or three questions about each of the topics means that when it comes to processing the results you can do a little more analysis. For example. Imagine, in response to the first survey you received 30 people saying they didn't arrive OK.

This would have been as much information as you could possibly extract from the results, but with our new set of answers it would be possible to deduce which forms of transport presented people with trouble. What's more, you could go on to see whether they were using a provided map or another form, and use this to target improvements for the future.

Keep in mind, that after 50 questions, the user is most likely to not read the question anymore.

Other important additions are the text field questions – these allow your audience to give specific feedback which you can draw from. It's a good idea to not make these compulsory though, as they may put people off answering.

To conclude, when writing a survey you should aim to create one which asks specific questions targeted to the issues you need to answer. Also remember that it doesn't do any harm to gather a little extra background information as you can use it all to get better information from the result.

It's also important to phrase your questions well, as if people need to answer the questions and they don't understand them, they'll close the window and move on. Try to hand your survey to someone else to proof read before making it publicly available to ensure its definitely crystal clear what the question is asking.

Meetfouten / Bias

In obtaining market research, one of the most critical things to avoid is the issue of survey bias - that is, asking the respondent questions which may influence the results he or she provides and thus invalidates or skews your data.  It is very easy and common for a company or individual without the proper market research education and experience to err in this way.  This extends to many things, such as the way a question is phrased, to the types of responses which are available, to the way that an interviewer presents the questions if data is being collected by phone or in-person.

For example, a biased survey question may be written as such:

How much did you enjoy the event?

( )Very much

( )A little bit

( )Not very much

( )Not at all

At first glance, it appears that there is no problem with the structure of this question.  After all, the respondent is able to provide his or her answer from "very much" to "not at all".  However, the problem appears in the question phrasing itself.  By asking the respondent "How much" he or she enjoyed the event, the interview has already established a bias by assuming that the respondent enjoyed the event in some way or another, which may not be the case.

The following example would be a far better what to ask the question which does not lead or bias the respondent in any way:

How would you rate your overall enjoyment of the event on a 1 to 5 scale, where 1 is "Not at all enjoyed" and 5 is "Completely enjoyed"

1 2 3 4 5

( ) ( ) ( ) ( ) ( )

Using this modified question, the respondent is not led to the assumption that any enjoyment was had, and is able to supply an answer in a numerical way that makes it easy for him or her to specify the enjoyment level, and makes it easy for the survey solicitor to tabulate and compare the results with other respondents.

This is just one minor example of a good survey design principle.  This understanding extends to all things.