2007年5月1日火曜日

研究の成果を評価するという話。もしくは、自分をどう捉えるかという事。

先日、ロフブロウ大学にいったおり、ヨハネス先輩[1] にいい事を教えてもらいました。ヒルシュのh 指数(Hirsch's H-index) [2] という研究者の評価数値です。

研究所や大学において誰か人を雇う時、もしくは誰か人に雇われるとき、みなさんはどのようにして人を評価しているでしょうか?僕の場合、基本的に「やる気」と「人となり」です。何せ僕のいるグループ(Applied Physics Letters (APL)に出した僕たち COGの OCT 論文[3]がそれですね。たとえば Optics Letters (OL) と APL を比べると、APLの方がインパクトファクターは高いのです。でも、OCT関係者はほとんど APL をチェックしてません。逆に、OL はみんなチェックしてます。だから、そのインパクトファクターと違って、OL のほうが APL よりも本当のインパクトも高いし、OCTの 論文を掲載するのも難しいのです。(ちなみに、Optics Express のほうが Optics Letters よりさらに難しいです。インパクトファクターは OL の方が高いけど…。)逆に、誰も見ないようなジャーナルになぜか重要な論文が出版されたりもします。たぶん、投稿時点で世間の先を行きすぎてたんでしょうね…。まあ、そんなこんなで、この「インパクトファクターの合計」も完璧な評価法とは程遠いと思うのです。

他に最近よく使われるのが、「論文の引用数」ですね。さっきのインパクトファクターは、いわば「ジャーナル全体の論文の引用数」(本当はもっと複雑ですが)なわけですが、それよりなにより、直接、評価対象の研究者の書いた論文が何回他の論文から引用されたかを見てみよう、というものです。これ、前の二つよりはずっといいですね。なにより、直接的です。「個人」を評価するわけだから「ジャーナル」という間接指標を介さないほうが、そりゃあ、いいんじゃないかと思います。ただ、この方法、さらに次の疑問を生むことになります。「論文の引用数を、どう評価するの?」ということです。

例えば、論文の引用数を合計するってのはどうでしょう?でも、これだと、1、2本ビッグヒットがあると、それだけで趨勢は決まってしまいます。コンスタントにきちんとした成果を出してるタイプの研究者は低く評価されるんですね。じゃあ、平均の論文引用数はどうか?これだと、同じぐらいの数引用数の多い論文を書いている二人がいて、そのうち一人が引用数の低い論文もいっぱい書いていると、なんと、論文書いてない方がより高く評価されることになるわけです。

で、こんな問題を解決すべく近年注目を集めているのがヒルシュの h 指数 です。この h 指数、非常に単純に、でもパワフルに研究者の成果を評価できる数値指標です。

「その研究者が公刊した論文のうち、被引用数がh以上であるものがh以上あることを満たすような数値」(日本語版 Wikipediaより)

これが h 指標の定義です。たとえば、あなたが 10 回以上引用されてる論文を 10 本以上出版していて、11回以上引用されてる論文を11本出版していなければあなたの h 指数は 10 ということです。単純です。単純だけれど、この h 指数、僕が今まで他の論文評価手法に対して持っていた不満に実に的確に応えてくれるのです。

博士課程の頃、そしてポスドクの頃、僕は「論文数」にこだわっていました。僕が博士をとった分野では「論文数」というのが一番一般的な成果指標だったからです。でも、この「論文数」どんなに稼いでも、世界に出ていくと全く通用しないんですね。もちろん、インパクトの高い論文を数だしてれば世界に通用するわけですが、僕の書いていたようなインパクトの低い論文では、どんなに出してもノイズレベルだったわけです。

で、僕の所属するグループ COG の立ち上げ以降はひたすら論文のインパクトにこだわりました。「インパクトファクター」ではなく、「インパクト」です。「みんながすごいと思う論文を関係者の目につくジャーナルに出版する、そして、インパクトの少ない論文は出さない」という方針です。これはそれなりにうまく行きました。実際、今までのところ、COG の論文出版ペースは、僕が「論文数」にこだわっていたころよりも上がっています。ただ、これ、だいぶ頭打ちになってきているのです。

まあ、技術屋というのはみんなマニアックなところありますから、COG のスタッフの面々、「論文の質」にこだわりだすと、ひたすら作りこみを始めるんですね。論文の。で、一本一本のインパクトは上がっていくのですが、だんだん論文数が頭打ちになっていくのです。

まあ、それでも、論文がひたすら高品質になっていく分にはかまいません。ところが最近は「論文の作りこみすぎ」が問題になりだしたのです。つまり、みんながインパクトの高い論文を狙うあまり、論文一本一本の内容量がインフレを起こしたり、書いている本人の品質評価基準が高くなりすぎてなかなか論文投稿できなかったり、というような問題が起こりだしたのです。いくら COG の目的が「技術開発とそれに従事できる人材育成」であるとはいえ、あくまでも僕たちは大学の中のグループ。やはり論文を出版する必要があります。なにより、論文を出版し続けていかないと面白い技術屋が COG に集まってくることもなくなりますから。そうなると本来の目的である「技術開発」も「人材育成」もうまくいかなくなります。そんなこんなでこの「論文数の頭打」最近、僕の悩みの種だったのです。

事が一人の問題であれば「そろそろ論文数にこだわってみようかな?」「こんどはインパクトかな?」とバランスをとりながら方針を調整することもできそうです。ところが、グループの各メンバー全てを的確なバランスで活発化させようとすると、これがなかなか難しいと思うのです。そのためには、たぶん、的確な指標がいるのです。h 指数は、そういう的確な指標になるのではないかと思います。この指標を最大化しようとしている限り、自然と上に書いたようなバランスを各人が自然にとっていくことになるからです。

評価指標というのは、とにかく大切です。それは評価指標によって人の評価が決まるからではありません。人が評価指標に基づいて動くからです。つまり、評価指標は文字通り人やグループの道「標」(みちしるべ)だと思うのです。

実は、正直な話をすると、最近僕自身、どんな論文を目指せばいいのか、道に迷いだしていました。ひたすらインパクトを狙っていると本当に新しくてリスクのあること出来ないし、かといって誰も読まない論文を量産する気にもなれませんでした。引用数にこだわろうと思ってみても、自分の尊敬する研究者にビッグヒットがなくて、自分が評価していない研究者に1、2本ビッグヒットがあったりすると気持はなえなえです。

h 指標は、そんな道に迷っていた僕に新しい指標を与えてくれました。論文のインパクトと出版数は、きっと両立するのです。でも今まで、それをどういう風にとらえて、これから先何を狙えばいいのか、それがわからなかったのです。h 指標でそれがすっきり見えてきた気がします。自分で自分を、自分が納得できるように定量評価できるようになったわけです。

今現在の僕の h 指標は 7。一年あたりの h 指標の伸び率 (m 値)は 1.0 です。でも、僕の近くにいて、僕がすごいと思ってる人たちには25、26とかいます。僕、まだまだですね。でも、進む道が見えてきてしまえば、自分がまだまだなこともなんとなく、先があるようで楽しい気分になってきます。論文数だ、引用数だ、h 指標だといっても、結局のところ、本当に必世なのは「自分が自分をきちんと評価するための指標」なのかもしれません。

Joschi

[1] ハーバード医科大学院(ハーバード大学医学部の Johannes F. de Boer さんのことです。)
[2] J. E. Hirsch, "An index to quantify an individual's scientific research output," PNAS 102, 16569-16572 (2005)
[3] Y. Yasuno, S. Makita, T. Endo, M. Itoh, T. Yatagai, M. Takahashi, C. Katada, and M. Mutoh, "Polarization-sensitive complex Fourier domain optical coherence tomography for Jones matrix imaging of biological samples," Appl. Phys. Lett. 85, 3023-3025 (2004).

[その他の参考ページ]
[4] h-index at Wikipedia

0 件のコメント: