児童小銃さんの「有意差について」を読んで
有意差について（児童小銃） via RinRin王国を拝読し、大変良い刺激を得ました。
児童小銃さんは前提として「違いがあるとして扱われるケース」にて、統計的な有意差があるのか否かを論じておられていると思われました。
（もちろん世間には、あるデータAとBには統計的な有意差が認められなかったとの論文もありますが、枝葉の話なので置いておきます）
まともじゃないジャーナルや発表
まともな学術誌に載っている論文なら論文の結論を導くような統計値に有意差がないということはまずありえない(査読通らないし)ので
有意差について（児童小銃）
その後児童小銃さんは、学会での大会における発表は審査も無いとの話を言及されております。
（物理学会のトンデモ発表の話を以前、どこかのブログで閲覧しましたよ）
それに付け足して、アレコレ。
権威ある学会誌ならば、エディター（編集者）やレフリー（査読者）が内容についてギッチリとチェックするのだろうから、そりゃトンデモな話が紛れ込む機会は少ないやもしれませんが。
一例として、大学や国・県の試験研究機関が発行する紀要（つまり何々大学何とか研究とか、何々試験報告みたいな題名のもの）はどうでしょうか。
（具体的にどの分野とこの場で明記するのは勘弁して下さい。）
これらは「査読」などが行われているのか？と疑問を抱くようなトンデモな話や、凄い金額の研究助成金がついたネタであってもあまりにもデータ量がショボくて結果が誘導的で首をかしげるネタなどを、目にしたりする。
企業や営利団体のデータならば、なおさら、ね。
得られた結果からは無関係の議論で結論を得ようとする文献もある
また論文のデータそのものとは乖離した部分として、オーバーディスカッションな展開ね。
得られたデータと解析結果より、どー見ても無関係なディスカッションを延々と行い、こじつけとしか思えないような議論を誘導する論文。
あー、幾らでもありますね、そういうのは。
アブストラクトは、正しいとは限らない
自分が学生の頃に読んだ文献には、アブストラクトで「何ができた！」と記載しているものの、本文をじっくり眺めると実際には失敗している論文がありました。
ジャーナルのインパクトファクターが幾つか、とっさにわかりませんが。
相応に権威がある英文誌でしたよ。
これは投稿者ではなく、むしろジャーナルの編集者側の問題であるような気がしますが。
それ以来、内容をじっくりと注意して読むよう習慣づけてます。
データ解析のゴマカシって、結構目にしませんか？
一番ありがちなのは、正規性が明らかに無いようなデータセットであるにも関わらず、パラメトリックな統計を利用しているようなもの。
最初からノンパラメトリックな統計手法でやったらばいいのに、と。
パーセンテージをアークサイン変換するのはアリとは思えど。また正規分布に近づけるためにbox-cox変換なんてマジックな手法もあるが。どんな内容か忘れたけど生データの数値を二乗して「有意差が出た」と記載している文献を見た記憶があるよ。
（もちろん正規性を持たすための変換が全て悪いなんて、この場では言わないよ）
では、統計の手法では？
昨年、カイ二乗検定なのに期待値が2や3のデータセットを統計にかけて、「有意差が出た！」と記載している文献を知人が紹介した。狭い世界でありますから、具体的に紹介できませんが。
数値が5より少ないならば、カイ二乗検定は用いるべきではないと習った記憶がありますがね。
次。
多重比較検定と言えば、一昔前ならばダンカンが有名だったのだろうか、よく古い文献では目にしましたが。
今ではもう目にしないよね。
説明すると長くなるので止めておきますが、群間での比較ではダンカンの手法は「たまたま有意差があるように示してしまう」リスクがあるため、イマドキでは用いられていない。
だけども世間では、こういう古い文献における解析を、ある意味で取り上げざるおえない。
何故かって？レフリーに「お前は関連テーマの文献を読んでないのか？これ読めよ！」と言われるからさ。
だからボクらは、統計的手法としては現代では不適切な解析を行った文献を、文中にて取り上げなければならない。
次。
では、あるデータセットを複数の統計テクニックで解析した場合は？
ある統計手法（モデル全体を網にかけるようなもの）と、単に群間の比較を行うようなものでは、特定の群間で有意差が出てそれが有用だったとしても、他の統計手法では有意差が出ない事もある。その逆もある。
分散分析と、群間の多重比較検定とかね。
どちらの結果を掲載するか次第で、場合によってはディスカッションが誘導できちゃったり、不都合なデータを隠蔽できたり。
凄く真面目な話として
捏造とまで言えるのかどうかは判別がつきませんが、不適切な手法で解析し、オーバーディスカッションで「このデータでそこまで言えるのか？」と驚くような文献って、かなりありませんかね？
