2020年6月25日 更新

D.I.Y.リサーチ入門(6)

DIYリサーチのツール・サービス、アンケートの設計から分析までのかんたんな入門コラム

gettyimages (477)

(続き)1 アンケート作成・回答収集ツール

エラーメッセージ/アラート

Webアンケートでは、様々な制御を入れて回答者が正しく回答できるように手助けします。例えば、回答を必須に設定した場合に、チェックを入れずに進もうとすると、画面上に「未回答の項目があります。」などといったエラーメッセージが表示され、回答を促します。

エラーメッセージは制御によって様々です。
“回答は3つまでです”
”半角数字でお答えください”
“回答に矛盾があります”
“合計が10になるようにお答えください”
・・・・


多くのツールでは、制御によってデフォルトのエラーメッセージが用意されていますが、回答者の知識や能力に合わせて適切なメッセージを出す必要があります。意味の理解できないエラーメッセージは回答意欲を削ぎます。また、特に自分の顧客にアンケートをする場合などは言い回しも気になりますね。したがって、エラーメッセージは自由にカスタマイズできるツールが良いと思います。

制御ではないのですが、多くのツールでは進捗インジケータというものを回答画面に表示します。回答者が、アンケート全体を通していまどのくらい回答が進んだかを示すものです。下の例では、「ここまでで39%の質問に回答した」ということを表しています。
進捗インジケータ

進捗インジケータ

進捗インジケータは、全体が短いアンケートの場合は、回答意欲を促進する効果がありますが、長いアンケートになると逆に回答継続を阻害する効果があることが知られていますので(※)、インジケータを使うかどうかは一考の余地があり、表示するかしないかを自由に設定できた方が良いです。

※”Internet, Phone, Mail, and Mixed-Mode Surveys” -Dillman et al. (2014)

設問や選択肢のランダマイズ

Webアンケートで頻繁に使われる機能として「ランダマイズ」があります。ランダマイズは要素の提示順序などをランダム化するものですが、これには様々なバリエーションがあります。

Q1 今期、セリーグのペナントレースを制するとあなたが予想するのは?
巨人
阪神
中日
ヤクルト
横浜
広島
わからない

例えば上のような質問で、選択肢の順番が回答に影響するという危惧が生じるかもしれません。「巨人が一番上にあるので、選ばれやすくなるのではないか」とか。こういう順序効果をなくすために、選択肢(この場合はチーム)をランダムに並べなおして提示することができます。これが選択肢のランダマイズです。

ランダマイズは、完全にランダムに並べ替えるほか、昇順と降順のパターンにする(並び順を完全にごちゃごちゃにはしたくない場合)といったやり方ができます。また、上の例の場合「わからない」選択肢は常に最後に提示したいですから、特定の選択肢はランダマイズしないという設定機能も必要です。

さらに、上記の質問に続いて

Q2 今期、セリーグで最も観客を集めるとあなたが予想するのは?

というような質問をする場合、Q1でランダマイズしたチームの順がQ2でまた並び替えられると回答者は奇異に感じ答えにくくなりますので、Q2ではQ1の選択肢順を引き継いで提示したいです。これも必要な機能になります。

さて、今度は次のような例を考えてみます。

Q1 今期、日本一になるとあなたが予想するのは?
巨人
阪神
中日
ヤクルト
横浜
広島

オリックス
ソフトバンク
ロッテ
日本ハム
西武
楽天

わからない

この場合、セリーグとパリーグの2つのグループがありますので、ランダマイズしてグループをごちゃごちゃにはしたくない。したがって、まずグループ間でランダマイズ(セリーグとパリーグのどちらを先に提示するかランダムに決める)して、次にグループ内でランダマイズする、などのやり方をします。このようなグループランダマイズも時に必要になる機能です。

表形式(マトリクス)の設問、特に前述した多項目尺度の設問では、しばしば項目のランダマイズをします。例えば次のような質問です(表側が項目、表頭が選択肢です)。
マトリクス(多項目尺度)

マトリクス(多項目尺度)

表形式の設問では、回答者は前の項目にどう答えたかを基準にして次の項目を答えていくので、隣接した項目間の回答の相関が高くなる傾向があります。このデータを、相関を基にした因子分析などの手法で解析する場合、相関への隣接による影響はノイズ(余計な相関)になりますから、項目をランダマイズしてこうした影響をデータから除くようにします。

マトリクスの項目のランダマイズについても、選択肢の場合と同様に、グループ間、グループ内のランダマイズの設定をしたい場合があります。

選択肢、項目以外に、設問順のランダマイズをすることもあります。例えば、ワインの試飲を考えてみましょう。いくつかワインの銘柄があって次々に試飲して評価していく場合、どういう順に飲んでいくかが評価に影響する、ということは容易に想像できます。たとえ1銘柄試飲したら水を飲んで口直ししたとしても(アンケートの場合、設問と設問の間に入れてこういった「前の設問の影響を中和させる」効果を狙う設問をフィラー設問と言ったりします)、原理的には順序効果があるのは明らかです。ずっと続けていけば、後の方のワインは泥酔して評価不能になりますから。

したがって、商品PとQの2つについて評価してもらうようなアンケートの場合、PとQの提示順をランダマイズするということはしばしば行われます。これが設問のランダマイズの典型例です。また、Pについて3問、Qについて3問質問するような場合は、複数の質問からなる設問群単位でランダマイズを行う、ということになります。

さらにこの後、「商品Pと商品Qのどちらが好ましいですか」というような相対比較をする場合、P→Qという順で答えてきた人には選択肢もP、Qの順、Q→Pの順で答えてきた人にはQ、Pと選択肢を並べたいですから、設問のランダマイズ順を選択肢の順番に引き継ぐ、といった機能が必要になります。

回答者/提示刺激のランダム割付

商品PQの両方を評価させるのではなく、ある人にはPを、ある人にはQを評価させて結果を比較したい、というアンケートもあります。一般にA/Bテストといわれる調査です。

この場合には、選択肢や設問ではなく、回答者をランダムに割り付けるという機能が必要になります。回答者をランダムに2グループに分けて、1グループにはPの質問を、もう一つのグループにはQの質問を答えさせる(該当しない商品の質問はスキップする)、という飛び先でコントロールするやり方もできますし、完全に同内容の質問であれば、同じ質問で提示する商品だけを変化させるというやり方もできます(回収後グループ別のクロス集計をして比較する)。

もう一つ考慮事項をあげると、ランダムに割り付ける時の割付数のコントロールがあります。

ランダムに割り付ける、ということは、2グループの数は完全に同数にはなりません(これは標本誤差の問題なので、回答者数が多くなればほぼ同数になりますが、少ない場合は偏りが出ます)。これを避けるために、単純にランダムに割り付けるのではなく、1人目はP、次の回答者はQ、次の回答者はP・・・というように、数が均等になるようにランダム割付する方法もあります(ローテーションと呼びます)。

以上のような様々なランダマイズのバリエーションをカバーしており、設定も間違わずに簡単に行えるようなツールが望ましいといえます。また、どのようなランダマイズが行われたか、データとして入手する必要がある場合もあるので、どのようにランダマイズ結果がデータ化できるかも、ツールの評価にあたって確認したい点です。
12 件

関連する記事 こんな記事も人気です♪

D.I.Y.リサーチ入門(7)

D.I.Y.リサーチ入門(7)

DIYリサーチのツール・サービス、アンケートの設計から分析までのかんたんな入門コラム
KOJI.A | 47 view
D.I.Y.リサーチ入門(5)

D.I.Y.リサーチ入門(5)

DIYリサーチのツール・サービス、アンケートの設計から分析までのかんたんな入門コラム
KOJI.A | 56 view
D.I.Y.リサーチ入門(4)

D.I.Y.リサーチ入門(4)

DIYリサーチのツール・サービス、アンケートの設計から分析までのかんたんな入門コラム
KOJI.A | 30 view
D.I.Y.リサーチ入門(3)

D.I.Y.リサーチ入門(3)

DIYリサーチのツール・サービス、アンケートの設計から分析までのかんたんな入門コラム
KOJI.A | 43 view
D.I.Y.リサーチ入門(2)

D.I.Y.リサーチ入門(2)

DIYリサーチのツール・サービス、アンケートの設計から分析までのかんたんな入門コラム
KOJI.A | 49 view

この記事のキーワード

この記事のキュレーター

KOJI.A KOJI.A