2020年7月2日 更新

調査とメイキング・サティスファイシング・バイアス・ノイズ

ネットリサーチCron : リサーチ関連の話題・手法について、業界内外の人が息抜きに読めるような軽いコラムです。

gettyimages (518)

世論調査での不正

FNN/産経新聞の合同世論調査でメイキング(不正なデータ入力)が行われていたことが明らかになり、トップニュースに近い扱いで様々なメディアが報じました。日本世論調査協会も6月25日付でこの件について遺憾の声明を出しています。

年1回行われている世論調査協会の大会は(オフラインで開催されるのかまだわかりませんが)、この件以外にも今年は選挙など話題がたくさんあり、多くの意見・議論が出そうです。

メイキングは過去14回に及ぶということです。訪問調査であればその間確認調査(電話や郵送などで、調査が正しく行われているか監査する)が行われたものとも思いますが、電話調査のような集中管理できる手法では、メイキングのリスクはないと考えられていたのかもしれません。

この度の件は、電話調査(再)委託先の監督者ぐるみでのメイキングだったようなので、こうなると集中管理されていても何の意味もない、ということになります。

FNN/産経新聞によると、不正のあった調査結果報道・記事は全て取り消すということでした。この件に関する報道では、TBSラジオの「Session-22」荻上チキさんが、私が知る限り唯一「不正票を除外した、正しく調査された回収票の再集計、公開」に言及していました。不正票の混入によってどのように結果に影響したのか検証すべきだという意見です。私も同感で、さらに不正票も含めてローデータを公開してもらえるとよいのではないかと思います。

つまり、データから不正票を判別できるか技術的に検証できるのではないかということです。報道によると、不正の方法は、正しく回収した票をリサンプリング(ブースティング)したうえで属性データなどに修正を入れたようで、判別は難しそうではあるが、そこまで手口がわかっていれば可能かもしれないと思います。

正しくない「呪われた」データとして闇に葬るよりは、その方が良いのではないでしょうか。結局、調査については手続きの透明性がいちばん重要なので。(https://www.aapor.org/Transparency_Initiative.htm

このことについて、オンライン調査、いわゆるインターネット調査も他人ごとではありません。オンライン調査は、主に商業ベースの調査、マーケティングリサーチ中心に行われており、費用対効果とスピードの面から、リサーチ会社の保有する「パネル」を対象として実施することが多いため、世論調査のようなランダムサンプリング・代表性の厳しい条件による協力依頼・回収の労苦からは逃れています(したがって、「シリアスな」世論調査には使われない)。

回収コストの低い「パネル」を使っていることから、リサーチャー側がメイキングをするインセンティブは少ないのですが、パネル、つまり回答者側のメイキングといえるものはありえます。例えば重複登録によって他人に成りすまして何度も回答するなど。また、メイキングとは言えなくても、正しく回答する努力をせず適当に答える「サティスファイシング」という行動は、オンライン調査のパネルの問題として多くの研究や指摘があります。

実務者としての観点で言うと、パネルについて「品質の高いパネルです」というような売り文句、オーラはどうでもよくて、どのようにモニターを集めて、どのような問題をどう対応・管理しているか、逆に何をしていないか、どんなバイアスがあるかが透明であること、がはるかに重要です。

調査の設計・分析とは、問題の全くない理想的なデータを扱うこととはほど遠く、メイキング/サティスファイシング/バイアス/ノイズといった調査につきものの問題を何とかかんとか選り分けて、そこから正しい情報をつかみ、社会やクライアントに伝えることのように思います。
3 件

関連する記事 こんな記事も人気です♪

【徹底解説】定量調査の主な手法

【徹底解説】定量調査の主な手法

定量調査には様々な手法が存在します。本記事ではその種類とセルフで行えるリサーチの手法を解説します。
市場調査とは?4つの種類やマーケティングリサーチとの違いを解説。

市場調査とは?4つの種類やマーケティングリサーチとの違いを解説。

市場調査の概要や種類、マーケティングリサーチとの違いに始まり、実施方法から注意点まで分かりやすく解説します。市場調査に関して不明点がある方はこの記事で解決しましょう!
【徹底解説】定量調査と定性調査の違い

【徹底解説】定量調査と定性調査の違い

マーケティングでよく聞く「定量調査」と「定性調査」。一見似ているようでその特徴はかなり異なります。 本記事ではそんな「定量・定性問題」を徹底解説します。
「マーケットリサーチ」と「マーケティングリサーチ」の違い

「マーケットリサーチ」と「マーケティングリサーチ」の違い

ネットリサーチCron : リサーチ関連の話題・手法について、業界内外の人が息抜きに読めるような軽いコラムです。
KOJI.A | 29 view
目的ベースのデータ分析②~STP分析から解説~因子分析、クラスター分析

目的ベースのデータ分析②~STP分析から解説~因子分析、クラスター分析

実際のアンケートデータの例をもとに、毎回一つの目的に焦点を当て、分析事例を紹介していきます。
Takafumi.T_DTL | 49 view

この記事のキーワード

この記事のキュレーター

KOJI.A KOJI.A