人力検索はてなでのアンケートにて、無意味な回答者を極力排除する方法

はてなでのアンケートでは、単にポイントゲット目的でデタラメな回答を行う回答者が生じる。
得られたデータの精度をより高め、有効回答と無効(または単にイタズラや無意味なもの)を区別するには、どうしたらば良いのだろうか。


はてなの「アンケート」で質問するにあたって、純粋にポイントを得るためだけに適当に回答する回答者をできるだけ排除するためのお知恵をご教示ください。を読み、唸ってしまったのだ。


以前Lucaさんは、某所の説明が分かりやすいのか否かが気になって、はてなにて質問したらばですね。
そのサイトのアクセス数はほぼ増えないにも関わらず、数百人がアンケートに回答なさいました。酷いのになると、回答した日時はアンケート設置直後 - お前、読んでないじゃんと。
頭にきましたね、お前ら嘘じゃんと。


多くの方とやりとりしアドバイスを頂きましたが、最も有用と思われるのは、選択枝の最も最初に「とりあえずポイントゲット」とかそのような下らないものを設けるとのテクニックでした。
確かにこれで幾らかのノイズは取り除けますが、ポイントゲッターに過ぎない「ノイズ」をうまく取り除けるかと問われれば、難しいものがあります。

「とりあえずポイントゲット」と、有効回答から除くための選択枝を設置

スパイウェアとエロサイトの関係をチラッと見てみましょうか。
設問にはそれぞれ、「とりあえずポイントゲット」なる解答を設置している。
また「Q2:スパイウェアって知ってますか」にては、「知らない」「設問の内容がわからない」との回答を用意した。
更には、「あなたのネット経験は」との設問を準備した。


これらの設問における回答者の行動を、集計して表示する。
例として、「あなたのネット経験は」と「スパイウェアの感染元」だ。
あなたのネット経験は x スパイウェアの感染元
この場合、「とりあえずポイントゲット」に回答した全ての回答者と、「設問の内容がわからない」に回答した全ての回答者は除外して有効回答から取り除いても構わないだろう。


ただ設問でミスしたと反省している点として、ネット経験にて「niftyサーブとか以前より」との選択枝を準備した点だ。
ポイントゲット目的の無意味な - ある意味で不真面目な回答者をより効率的に取り除くには、失敗だった。


理想的には存在しないサービス、例として「ネット黎明期でのexampleサービス以前よりネット経験がある」などを準備しておくべきだった。そうすればより不真面目な回答者をトラップできたはずだ。
有り得ない選択枝の設置は、ある意味でのライスケール(嘘の物差し)、つまり個別の回答者が正直であるか否かを示す尺度として機能するだろう。

はてなでのアンケートの上手な利用法

  • 「不真面目な回答者」への誘導
    • 「とりあえずポイントゲット」「設問の意味がわからない」の設置
    • 「有り得ない選択枝」を設置する
  • データの解析にては、複数の回答間での回答行動をチェックする集計表を利用する
  • 最終的には、何百中有効回答何百と表記し発表する。