2020年8月20日 更新

単純には比較できない

ネットリサーチCron : リサーチ関連の話題・手法について、業界内外の人が息抜きに読めるような軽いコラムです。

gettyimages (704)

「ナリチュウ」原稿という言葉がありまして、これは、「今後の成り行きが注目される。」という結論で文章を締める原稿のことで、この常套手段を使えば、あらゆる調査結果のレポートを結論づけることができます(もちろん、悪い意味で)。

レポート中にあらわれるこの類の常套句としては、「~となっている」というのもあります。「○○と答えた人は、〇%となっている。」というようなコメントです。正直言うとこれはよくやっちゃいますが、ボキャブラリーの貧しさ以上に、何というか、結果に対する無責任感、結論から逃げる感じがとてもよく伝わってくると思います。

さて、もう一つ考えてみたいのが「単純には比較できない」という常套句についてです。これは、例えば「前回調査とは/調査方法が/質問文が/選択肢の文言が/変わっているので、結果を単純には比較できない。」というように使われます。
 
ここでは、定量調査、統計データのことについて考えているのですが、何か比較したいデータが2つあった場合に、その調査方法/質問文/選択肢などに違いがあった場合、そのことを注釈として記載することは、必ずしなければならないことです。ですが、その結論が「単純には比較できない」といわれると、何だか物足りない、というか納得できない気がします。

場合によっては、「単純には比較できないが、〇ポイント増加している」というように、「結局単純に比較しちゃってるじゃん」というようなコメントもあります。ここにはどうも無責任感が色濃く漂う。

データの比較とは、調査結果そのものを比較しているのではなく、つねに調査結果からの推定値を比較しているのだと考えられます。標本調査であれば、母比率や母平均の推定量を比較している、ただこの(不偏)推定量が調査結果の比率・平均と一致するというだけです。分散であれば、調査結果の分散そのものではなくn/n-1倍した不偏分散が推定量になります。標本誤差を含めて考えれば、推定量の信頼区間を考慮した比較をすることになりますし、非標本誤差まで含めれば、ウエイト付けや各種の調整後の推定値を比較する、ということになると思います。

何が言いたいのかというと、「調査結果どうしが単純に比較できない、でも比較したいのなら、比較できない理由を調整した推定値どうしを比較してくれよ」ということです。

(ただし、世論調査の場合にはここには制限があります。なぜなら世論調査はその手続き自体しか結果の正当性を保証するものがないからで、相当の合理性がない限りウエイト付けや調整は避けられます。また、一般には誤解されていることが多いと思いますが、選挙予測、投票予測調査は世論調査ではありません。なぜなら、それは予測結果が実際の投票結果によって検証されうるからで、予測は調査結果そのものであることはなく、様々な手法で調整が施されたものです。)

コロナの重症患者数について、東京都は国の基準とカウント方法が異なるので比較できない(東京都ではICU入室患者数をカウントに入れていない)という比較上の問題がありまして、マスメディアの報道ではこれに対して「何で異なる基準の数字を出すんだ」という非難がされています。(その後、東京都は厚生労働省への報告についてはICU入室患者数も含めたものを追加することに決定。ただし、東京都の公表数としては従来のカウント方法を使用)

で、それはそれでいいのですが、統計データの場合、この種の比較上の問題は、ほとんど常にあるといっていいものです。基準・方法が違うのにはたいていそれなりの理由があって(理由がなかったらそれはミス・誤りといっていいと思います)、上記の東京都の基準にも重症患者数の把握に関するデータ上の理由があります。「比較できない」って文句言うのはいいのですが、比較できるような推定値を、報道側で出せないものでしょうか。役所の発表した数字しか報道できないというのであれば、それは無責任と保身ではないかと感じてしまいます。

そのために、マスメディアはリサーチャーや統計家をもっと雇うようにしてはどうでしょう、というのが身勝手で恐縮ですが結論になります。

2 件

関連する記事 こんな記事も人気です♪

統計データ、市場調査データを見られるサービスのご紹介

統計データ、市場調査データを見られるサービスのご紹介

本記事では様々な統計データが閲覧可能なサービスをご紹介します。
目的ベースのデータ分析 ~データの概観を理解する~GT、クロス集計、コレスポンデンス分析

目的ベースのデータ分析 ~データの概観を理解する~GT、クロス集計、コレスポンデンス分析

実際のアンケートデータの例をもとに、毎回一つの目的に焦点を当て、分析事例を紹介していきます。
S.T_DTL | 149 view

この記事のキーワード

この記事のキュレーター

KOJI.A KOJI.A