Actions

How to design a good survey (guide)/ja: Difference between revisions

From LimeSurvey Manual

(Created page with "( ) 地図があることを知らなかった")
No edit summary
(39 intermediate revisions by 2 users not shown)
Line 230: Line 230:
==配列質問==
==配列質問==


That may be a bit of a generalisation, but its a good rule to live by.
少々一般化されていますが、従うべきルールです。
Anything that involves a scale of any sort should be avoided
年齢、時間、数量のように何らかの尺度で測れるもの以外では、尺度による質問は避けるべきです。
unless you want an answer that can be measured on a scale, like age, time (maybe) or quantities.
同様に、構成が適切でない場合、追加的な情報を与える余地がない場合、義務的な質問の配列により回答者が回答を控える可能性もあります。
Similarly, a matrix of compulsory questions can be a bit of a deterrent for your audience as not only are they badly structured,
but they don't allow for any extra information.


Chances are if someone is completing your survey they want to give feedback, and if they don't think they can share anything useful they'll just close the window and move on.
おそらく、アンケートを完了させようとしているならば、参加者はフィードバックをしたいと思っているでしょうが、有効な情報を共有したくないと思ったならば、ウィンドウを閉じてやめてしまうでしょう。


上記の例は何がよくないのでしょうか。
上記の例は何がよくないのでしょうか。
Line 314: Line 312:
( ) 地図があることを知らなかった
( ) 地図があることを知らなかった


Generally speaking, were the speakers interesting? Did you enjoy the presentations?
全体として、講演はいかがでしたか?楽しめましたか?


( ) Nearly all were interesting and thoroughly enjoyable
( ) ほとんどが興味深く、楽しめるものだった


( ) Mainly enjoyable, but a handful of less interesting talks.
( ) 大体楽しめたが、つまらないものもあった


( ) A 50 – 50 split
( ) 半々だった


( ) More dull than interesting
( ) 退屈だった


( ) Didn't find any interesting.
( ) 興味を引くものはまったくなかった


Please elaborate on your answer to the question above. Feel free to reference any
上記の答えについて詳しくお聞かせください。具体例(講師、項目)があれば遠慮なくお書きください。


particular people/talks. (Text field)
(テキスト)


If we could improve the range of talks, or you have any other interesting ideas regarding
講演内容について改善すべき点があればお書きください。


the talks, list them below (Text field)
(テキスト)


If you have any other recommendations or ideas, please list them below. (Text field)</syntaxhighlight>
その他、ご意見があればお聞かせください。(テキスト)</syntaxhighlight>


This survey may be a little longer, but it's a lot easier to both answer and interpret the answers from. Asking two or three questions about each of the topics means that when it comes to processing the results you can do a little more analysis. For example. Imagine, in response to the first survey you received 30 people saying they didn't arrive OK.
少し長いアンケートになりましたが、回答するのも回答を解釈するのも容易になりました。それぞれのトピックについていくつか聞くことにより、結果についてより詳しく分析できるようになります。例えば、最初のアンケートで30人が無事にたどり着けなかったとしましょう。


This would have been as much information as you could possibly extract from the results, but with our new set of answers it would be possible to deduce which forms of transport presented people with trouble. What's more, you could go on to see whether they were using a provided map or another form, and use this to target improvements for the future.
得られる情報量は変わらないように見えるかもしれませんが、改善例はどの交通手段に問題があったのかを推測することができます。更に、提供した地図を使ったかがわかり、将来の改善につなげることができます。


''' Keep in mind, that after 50 questions, the user is most likely to not read the question anymore.'''
''' 注意:質問が50を超える場合、参加者はもはや問題を読まなくなります。'''


Other important additions are the text field questions &ndash; these allow your audience to give specific feedback which you can draw from. It's a good idea to not make these compulsory though, as they may put people off answering.
新たに加えたテキスト質問も重要です。参加者から具体的なフィードバックを得ることができます。回答を必須にしてしまうと、アンケートの回答をやめてしまうかもしれないので、回答は任意とするのがよいでしょう。


To conclude, when writing a survey you should aim to create one which asks specific questions targeted to the issues you need to answer. Also remember that it doesn't do any harm to gather a little extra background information as you can use it all to get better information from the result.
まとめると、アンケートを作成するときは、あなたが答えを出したい問題に的を絞った質問にする必要があります。また、バックグラウンド情報を影響のない範囲で集めることにより、よりよい情報が得られることを覚えておきましょう。


It's also important to phrase your questions well, as if people need to answer the questions and they don't understand them, they'll close the window and move on. Try to hand your survey to someone else to proof read before making it publicly available to ensure its definitely crystal clear what the question is asking.
質問を遂行することも重要です。質問されても質問を理解できなければウィンドウを閉じてやめてしまいます。公開する前に、質問が明確になっているか誰かにレビューしてもらいましょう。


==Survey Bias==
==アンケートのバイアス==


In obtaining market research, one of the most critical things to avoid is the issue of survey bias - that is, asking the respondent questions which may influence the results he or she provides and thus invalidates or skews your data.  It is very easy and common for a company or individual without the proper market research education and experience to err in this way.  This extends to many things, such as the way a question is phrased, to the types of responses which are available, to the way that an interviewer presents the questions if data is being collected by phone or in-person.
マーケットリサーチを行う上で、アンケートのバイアスを避けることは大変重要です。バイアスとは、質問によって回答に影響を与え、データを無意味にしたり歪めてしまうことです。適切なマーケットリサーチの教育を受けていない企業や個人がこのような過ちを犯すのは仕方がないことです。これは、質問の言い回し、回答の形式、電話や面談でインタビュアーの質問の仕方など、多くのことに及んでいる。


For example, a biased survey question may be written as such:
例えば、バイアスがかかった質問とは以下のようなものです。


<syntaxhighlight lang="php" enclose="div">How much did you enjoy the event?
<syntaxhighlight lang="php" enclose="div">イベントはどの程度楽しめましたか?


( )Very much
( )とても楽しめた


( )A little bit
( )少し楽しめた


( )Not very much
( )あまり楽しめなかった


( )Not at all</syntaxhighlight>
( )まったく楽しめなかった</syntaxhighlight>


At first glance, it appears that there is no problem with the structure of this question.  After all, the respondent is able to provide his or her answer from "very much" to "not at all".  However, the problem appears in the question phrasing itself.  By asking the respondent "How much" he or she enjoyed the event, the interview has already established a bias by assuming that the respondent enjoyed the event in some way or another, which may not be the case.
ぱっと見は質問の構造に問題はなさそうです。実際、回答者は、"とても楽しめた"から"まったく楽しめなかった"までの答えを選ぶことができます。しかし、質問文の言い回しそのものに問題があります。"どの程度"楽しめたか、と聞くことによって、そのアンケートはすでに、回答者は何らかの形でイベントを楽しんだと想定している、というバイアスがかかっています。


The following example would be a far better what to ask the question which does not lead or bias the respondent in any way:
次の例は、回答者を特定の方向に誘導しておらず、バイアスのないよりよい聞き方です。


<syntaxhighlight lang="php" enclose="div">How would you rate your overall enjoyment of the event on a 1 to 5 scale, where 1 is "Not at all enjoyed" and 5 is "Completely enjoyed"
<syntaxhighlight lang="php" enclose="div">イベントの全体的な娯楽性について1から5で評価してください。1は"まったく楽しめなかった"、5は"とても楽しめた"とします。


1 2 3 4 5
1 2 3 4 5
Line 374: Line 372:
( ) ( ) ( ) ( ) ( )</syntaxhighlight>
( ) ( ) ( ) ( ) ( )</syntaxhighlight>


Using this modified question, the respondent is not led to the assumption that any enjoyment was had, and is able to supply an answer in a numerical way that makes it easy for him or her to specify the enjoyment level, and makes it easy for the survey solicitor to tabulate and compare the results with other respondents.
この質問方法の改善によって、回答者は、楽しかったという前提に誘導されず、娯楽性のレベルを数値により回答することができます。また、アンケート主催者は、他の回答結果とともに集計し比較することができます。


This is just one minor example of a good survey design principle.  This understanding extends to all things.
これは、よいアンケートデザインの原則の一つの例にすぎません。この考え方は広く適用できます。

Revision as of 01:16, 27 November 2018

よいアンケートを作るための簡単なガイド

LimeSurveyでは、アンケートを素早く簡単に行うことができますが、ひどいアンケートを作ることも非常に簡単ということでもあります。

このページでは、参加者に負担をかけずに有益な回答を得るための簡単なガイダンスを提供します。

こちらのブログ"Survey design tips & tricks(アンケートのデザインのコツと小技)"にも有益な情報があります。

アンケートを作る前に

アンケートを作る前に、そもそもアンケートをすることが適切な方法なのかを含め、考えておくべきことがいくつかあります。

アンケートで何を知りたいのでしょうか?

考慮すべき点:

  • アンケートは問題解決に役立つでしょうか?
  • アンケートはどのように問題解決に役立つでしょうか?
  • 誰に聞くのがよいでしょうか?
  • 聞くべき相手にどうしたらたどり着けるでしょうか?
  • 質問を理解してもらうには何が必要でしょうか?
  • データ利用にあたり、どのような統計手法が必要でしょうか?

これらは、LimeSurveyを使うことが適切なのかを決めるにあたりクリアにすべきことです。LimeSurveyは、しっかりとした構成があり(アンケートを始める前に聞きたいことがわかっている)、標準化され(誰もが同じ内容に答える)、(特に数字やあらかじめ選択肢が決められた質問について)定量的なアンケートをオンラインで行うのに適しています。

これに当てはまらない場合ももちろんあるでしょう。LimeSurveyを電話インタビューの代わりにすることもできます。テキストによる自由回答のように、定性的なデータを集めることもできます。

ただ、別の調査方法の方が適切だと判断することもあるでしょう。

アンケートを組み立てる

質問の順番、グルーピングなどを決めるには、いくつか考慮すべき点があります。

可能なら、すべての参加者が答えやすい質問から始めましょう。聞きたい参加者を選別するための質問がよく使われます(選別には、条件クォータを使います)。

"アイスブレーカー"となる質問をアンケートの始めに入れると、離脱が少なくなるかもしれません。一旦アンケートを始めてしまうと、途中でやめにくいといわれているからです。

次のフルーツのうち、どれが好きですか。
#りんご   ()
#バナナ  ()
#チェリー ()

(択一)

参加者が''チェリー''と答えた場合、条件を用いてチェリーについて更に聞くことができます。

なぜチェリーが好きなのですか?
#おいしいから
#色が好きだから
#ヘルシーだから
#ジューシーだから
#チェリーパイが好きだから

(複数選択(択一も可))

どのくらいチェリーが好きですか? 
#1) どのフルーツよりも好き
#2) とても好き
#3) 好きなフルーツの一つ
#4) チェリーを愛している

(択一)

チェリー関連のレシピを知っていますか?

[テキスト]

上記の例は、メインとなる質問の前に興味を引く簡単な質問を配置する例です。

ポイントは、チェリー、りんご、バナナに関するレシピを集めることにあります。

一方で...

難しい質問があるときは、グループごと、質問ごとにページを改めたり、そうした質問を最後に持っていったりすることを考えるかもしれません。これにより、もし参加者がアンケートを中断しても、それまで行った回答は保存されます。

構成という点では、アンケートそのものでバイアスがかからないようにする必要があります。

例えば、マーケット調査において、回答を誘導するかどうかについて考慮します。次の例は、回答を誘導しない質問の仕方です。

"あなたが知っているチョコレートのブランドは何ですか?"

(未記入のテキストボックス)

次の例は、回答を誘導する質問です。

 "次のチョコレートのブランドのうち、あなたが知っている物はどれですか?"

(ブランドのリスト(複数選択))

上記2つの質問を同じアンケートの中に入れる場合は、それぞれを別のページに配置し、誘導のない方を先にするべきです。逆にしてしまうと、後に続く質問(誘導なし)の答えを先に教えてしまうことになり、誘導がない質問の趣旨を毀損してしまいます。

個々の質問

質問は、何かを示唆するようなものであってはなりません。"LimeSurveyについてどのような意見をお持ちですか?"は問題ありませんが、"LimeSurveyは本当に素晴らしいツールだと思いませんか?"はよい質問とはいえません。

例:

次のような聞き方をすると、「寄付する」と答えがちです。

  • 自然を愛していますか
  • 川を保護するため、寄付をしますか

一方、次のような聞き方をすると、「寄付しない」と答えるでしょう。

  • お金がないと困りますか
  • 川を保護するため、寄付をしますか

これを防ぐには、質問の順番を次のようにします。

  • 当たり障りのないものが先、敏感なものは後に
  • 一般的なものが先、詳しいものは後に
  • 事実を聞く質問が先、意見を聞く質問は後に

また、質問には次のようなものがあります。

  • オープン質問 (回答者が好きなように回答できる)
  • クローズ質問 (選択肢の中から選択する)

クローズ質問は、後で集計しやすくなりますが、回答者が持つ本当の答えを得られなくなります。

例: "好きな色は何ですか?"

オープン質問: "ダークフクシャ色"と答える人がいるかもしれません。結果に"ダークフクシャ色"というカテゴリーを作らなければならなくなります。

クローズ質問: 12種類の色から選ばせれば集計は楽ですが、本当に好きな色を聞き出すことはできないかもしれません。

個々の質問を検討し、オープン質問にすべきか、クローズ質問にすべきか決定し、必要に応じ質問を書き換えます。

例: "川をきれいにするもっともよい方法は何だと思いますか?"

オープン質問にしましょう: 表やグラフにはしにくくなりますが、よいアイディアが得られたり、よい回答をレポートに引用することができるかもしれません。

例: "どのぐらいの頻度で川に行きますか?"

以下の選択肢を作ってクローズ質問にしましょう。

  • ほぼ毎日
  • 年に5回以上
  • 年に1~4回
  • ほとんどない

このデータは棒グラフで表現することができます。

複数選択や択一の質問を作るときは、適切な方を選び、質問と回答を適切に組み立てます。

例:

次のフルーツのうち、どれが好きですか。
#りんご   ()
#バナナ  ()
#チェリー ()

は、好きなものは複数あり得るので典型的な複数選択質問です。一方、"次のフルーツのうち、どれが一番好きですか。"は択一にすべき質問です。

このフルーツの例は、どちらもリストにあるフルーツだけについて明らかにするよう作られています。もし、"好きなフルーツは何か?"と聞くのであれば、フルーツを網羅したリストを作るか、より現実的には"その他"欄を設けます。一般的には、回答オプションは完全で重複がなく、明確でなければなりません。

多くの選択肢がある複数ないし択一の質問の場合、新たなバイアスが生じる可能性に注意すべきです。なぜなら、回答者は、リストの中程より最初の方に注目しがちだからです。LimeSurveyでは、この影響をある程度緩和するため、回答をランダム化することができます。

どうしたらよいアンケートになるか?

よいアンケートは3つの特徴があります。

  1. 質問が明確・正確で、全体として詳細・明瞭で意味のある回答が得られる。
  2. 提供される選択肢とフォーマットが適切である。
  3. 必要に応じ、回答者が情報を追加できるようになっている。

更に、ユーザー体験を常に念頭に置きましょう。読むこと、スクロールすること、クリックすることは疲れる作業なので、

  1. 不必要な質問を避ける。
  2. 回答者によって関係ない質問をすることのないよう条件を使用する。
  3. 質問・選択肢は、適切にマークアップし、短く読みやすくする。
  4. スクロールとクリックのトレードオフを考慮する。短いアンケート(質問の複雑さによるが、5-15問)は1ページに収めます。長いアンケートでは、グループをうまく使います。あとに続く質問のトピックについて明確に説明を加えます。
  5. 尺度を多用し、参加者を混乱させないようにします。利用する尺度のタイプ、スコープ、説明の数をできる限り制限します。尺度の方向を変えないようにします。(例外はあります)
  6. 採点尺度においては、下の例のように、尺度の数を偶数にして回答者がどちらかの方向を選ばなければならないようにすることも有効でしょう。
回答尺度のよい例:

1. 非常によい

2. よい

3. 少しだけよい

4. あまりよくない

5. よくない

6. 非常によくない

回答尺度の悪い例:

1. よい

2. まあまあ

3. よくない

アンケートの設計を始めるよい方法は、理想の回答がどのようなものか、少し考えてみることです。意味のある回答が最も有益であることは言うまでもないので、こうした回答を導く質問を作成してみてください。

どうしたらよいでしょうか。すべての領域を分割し、必要な情報は何かを決めることが最善の方法です。

例えば、イベントを開催し、イベントに関する一般的なフィードバックを得たいとします。

"よくない"アンケートは以下のようなものです。

イベントを楽しめましたか?

( ) はい

( ) いいえ

Wifiはよかったですか?

1 2 3 4 5 6 7 8 9 10

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

無事にたどり着けましたか。

( ) はい

( ) いいえ

提供された地図は役に立ちましたか。

( ) はい

( ) いいえ

演者の構成はいかがでしたか。

( ) とても残念 ( ) 残念 ( ) どちらでもない ( ) ハッピー ( ) とてもハッピー

配列質問

少々一般化されていますが、従うべきルールです。 年齢、時間、数量のように何らかの尺度で測れるもの以外では、尺度による質問は避けるべきです。 同様に、構成が適切でない場合、追加的な情報を与える余地がない場合、義務的な質問の配列により回答者が回答を控える可能性もあります。

おそらく、アンケートを完了させようとしているならば、参加者はフィードバックをしたいと思っているでしょうが、有効な情報を共有したくないと思ったならば、ウィンドウを閉じてやめてしまうでしょう。

上記の例は何がよくないのでしょうか。

ひとつひとつ見ていきましょう。

質問1では何も得られません。100個の"いいえ"という回答が得られたらどうでしょう。残念なだけでなく、手の打ちようがありません。のちほど、どのように改善できるかに触れます。

質問2はひどいものです。先に触れた3つのステップに立ち戻れば、この質問には明確さと正確さが必要です。Wifiの専門家ではありませんが、間違いなく"よい"の数では評価できません。さらに、意味のある答えにつながりません。33%がWifiをよいと答えた場合と、たったの23%がよいと答えた場合で何ができるでしょうか。ポイントの2つ目にあるように、あらかじめ設定する選択肢は、質問に照らし適切なものにしなければなりません。

1から10の尺度によってWifiの品質を向上させることはできないことは明らかです。このケースの決定的な点は、追加的な情報を追加する余地を作る必要があるということです。具体的な問題点を報告できるでしょうか。

このケースでは不可能です。アンケートはやるべきこと学ぶべきことを見つけることです。

次の2つの質問も同じ結果になります。「はい」か「いいえ」の2択しかありません。どちらも詳細はわかりません。後で触れますが、よいアンケートでは、特定の回答者から具体的な問題を把握できます。

最後の質問もいただけません。何かの満足度を聞いても何の役にもたちません。なぜなら各自の関心はいろいろで、演者に対してそれぞれの意見があるからです。尺度を問う質問のよくない例です。

改善したアンケートを見てみましょう。

場内のwifiを使いましたか?

( ) はい

( ) いいえ

何か問題はありましたか?

( ) まったく問題ない

( ) 少々の問題はあったが、大したことはない

( ) いくつか深刻な問題があった

( ) Wifiは使い物にならなかった

(問題があった方)簡単に状況をお聞かせください。(テキスト)

無事にたどり着けましたか。

( ) はい

( ) いいえ

会場にはどのように来ましたか?

( ) 鉄道

( ) 

( ) バス

( ) ライトレール(地下鉄、トラム)

( ) 徒歩

我々のウェブサイトの地図を使いましたか?

( ) はい

( ) いいえ

地図をお使いの場合、十分な内容でしたか?

( ) はい

( ) 大まかな情報は得られたが、別の詳しい地図を使った

( ) 不十分だった

(地図を使わなかった方)なぜ地図を使わなかったのですか?

( ) 不十分だったから

( ) 代わりにGoogle mapsを使った

( ) 地図があることを知らなかった

全体として、講演はいかがでしたか?楽しめましたか?

( ) ほとんどが興味深く、楽しめるものだった

( ) 大体楽しめたが、つまらないものもあった

( ) 半々だった

( ) 退屈だった

( ) 興味を引くものはまったくなかった

上記の答えについて詳しくお聞かせください。具体例(講師、項目)があれば遠慮なくお書きください。

(テキスト)

講演内容について改善すべき点があればお書きください。

(テキスト)

その他、ご意見があればお聞かせください。(テキスト)

少し長いアンケートになりましたが、回答するのも回答を解釈するのも容易になりました。それぞれのトピックについていくつか聞くことにより、結果についてより詳しく分析できるようになります。例えば、最初のアンケートで30人が無事にたどり着けなかったとしましょう。

得られる情報量は変わらないように見えるかもしれませんが、改善例はどの交通手段に問題があったのかを推測することができます。更に、提供した地図を使ったかがわかり、将来の改善につなげることができます。

注意:質問が50を超える場合、参加者はもはや問題を読まなくなります。

新たに加えたテキスト質問も重要です。参加者から具体的なフィードバックを得ることができます。回答を必須にしてしまうと、アンケートの回答をやめてしまうかもしれないので、回答は任意とするのがよいでしょう。

まとめると、アンケートを作成するときは、あなたが答えを出したい問題に的を絞った質問にする必要があります。また、バックグラウンド情報を影響のない範囲で集めることにより、よりよい情報が得られることを覚えておきましょう。

質問を遂行することも重要です。質問されても質問を理解できなければウィンドウを閉じてやめてしまいます。公開する前に、質問が明確になっているか誰かにレビューしてもらいましょう。

アンケートのバイアス

マーケットリサーチを行う上で、アンケートのバイアスを避けることは大変重要です。バイアスとは、質問によって回答に影響を与え、データを無意味にしたり歪めてしまうことです。適切なマーケットリサーチの教育を受けていない企業や個人がこのような過ちを犯すのは仕方がないことです。これは、質問の言い回し、回答の形式、電話や面談でインタビュアーの質問の仕方など、多くのことに及んでいる。

例えば、バイアスがかかった質問とは以下のようなものです。

イベントはどの程度楽しめましたか?

( )とても楽しめた

( )少し楽しめた

( )あまり楽しめなかった

( )まったく楽しめなかった

ぱっと見は質問の構造に問題はなさそうです。実際、回答者は、"とても楽しめた"から"まったく楽しめなかった"までの答えを選ぶことができます。しかし、質問文の言い回しそのものに問題があります。"どの程度"楽しめたか、と聞くことによって、そのアンケートはすでに、回答者は何らかの形でイベントを楽しんだと想定している、というバイアスがかかっています。

次の例は、回答者を特定の方向に誘導しておらず、バイアスのないよりよい聞き方です。

イベントの全体的な娯楽性について1から5で評価してください。1は"まったく楽しめなかった"、5は"とても楽しめた"とします。

1 2 3 4 5

( ) ( ) ( ) ( ) ( )

この質問方法の改善によって、回答者は、楽しかったという前提に誘導されず、娯楽性のレベルを数値により回答することができます。また、アンケート主催者は、他の回答結果とともに集計し比較することができます。

これは、よいアンケートデザインの原則の一つの例にすぎません。この考え方は広く適用できます。