システムの評価

　先日、ある研究会で、工学系のある先生におあいして、お互いの近況などを情報交換する機会を得た。

　最近、彼は、システム評価実験で、被験者を一般から募集した。今回の実験は、ある企業との共同研究だった。

　今回のシステム開発では、研究室だけで使われるようなものをめざすのではなく、より一般の人に受け入れられるものをめざしたかった。だから、評価実験も、敢えて研究室の中だけで行わず、敢えて、「一般の人」を対象に行った。難易度はあがるにしても、その方がいいと思ったのである。

　しかし、悲劇はそこからはじまる。そのデータをもとに論文を執筆したら、その論文査読のときに、査読者から、こう言われたそうである。

「一般から広く募集した被験者は、そもそもやる気のある人でしょうから、あなたの開発物の評価実験で見いだされた効果には疑いが残ります。よって採録できません」

　そのほか、「被験者」に関して激しいつっこみを受けて、結局、論文は取り下げざるを得なかったそうだ。査読者は、要するに「一般の人を対象とした評価実験は認められない」と言いたかったらしい。

　ため息つくから、ちょっと待っててね。
　はぁ・・・。

　ちなみに、その論文誌で採録されている論文には、こういう評価実験が多いそうである。

「○○の評価実験を行うに際して、被験者は大学生/大学院生○○名を使って行われた」

　おそらくここでいう「大学生/大学院生」とは、「その開発物をつくった研究室の学生」であろうと思われる。

　もちろん、同じ研究室の学生ですもの、自分の研究室で開発された「開発物」の目的なんてものは熟知している。実験で「どう振る舞えばコレクト」かも、勘のよい学生ならわかるのではないだろうか、と邪推せざるをえない。

　しかし、先ほどの先生のように、一般の人を被験者とした評価には、いろいろ疑義が差し挟まれるのに対して、上記のようなものは、あまり問題にされない傾向があるように思う。

　原理的には、どちらもランダムサンプリングをしていない以上、被験者を「研究室の学生」にしようが、「一般から募集」しようが、結局「ランダムじゃないのね、ハイ、そうですか」である。

　実際、システムの評価実験の場合、ランダムサンプリングは難しいので、ほとんどやられることはない。実験に入る前に、被験者の等質性を確保するための、いくつかのテストや質問紙を実施することが多い。

　だから、もし査読で下記のように言われるのなら、素直に従わなくてはならない。

「実験結果の考察のところに、被験者をランダムサンプリングしていないため、知見の普遍性に限界があると書き記してください」

　しかし、どこかで「一般の人」を被験者にした論文というのは、査読者の標的にされやすい傾向があるように思う。

　いろいろ理由はあるんだろうけど、「一般の人に使われることをめざす研究」というのが、どこかで「アンチ・アカデミックなもの」として反感をもたれてしまうところがあるのではないか、と邪推する。生理的拒否というやつである。

　かくして、その研究室内で生み出さされ、研究室のメンバーにしか使われず、その研究室内部で消費される研究が増えていく。

　こういう事態は、この先生だけが何も経験することではない。僕のまわりの人でも、これに類することを経験した人はいる。僕自身は、ここまでひどい経験はしていないけれど。

　何だか腑に落ちないねぇ。
　どうにも切ないねぇ。

　二人でやっぱりため息をついた。

　　

投稿者 jun : 2007年4月21日 10:10