専門分野外の論文を査読する

先週は，今年の研究が始められていないのを不安に感じつつ，査読をやっていた．ここ数年は，一年辺り，ジャーナルが5本，国際会議が10-20本ぐらいの分量．数的にはさほど多くはないと思うのだけど，査読する論文のほとんど（80%ぐらい？）が自分の専門分野外のため，一本の査読にも最低半日はかかる（関連論文まで確認しだすと数日かかる）．専門分野の査読だと，過去に5本とか7本とか回ってきたときでも，一日かそこらで終った記憶があるので，この差は非常に大きい（ここで言う専門分野の会議とは，自分が論文を出したことがある会議だけでなく，普段論文を読むだけ周辺分野の会議も含む; 過去査読した専門分野外の論文は例えば，P2P framework, image mining, social annotaion, PSO など）．専門外の論文の査読コストは専門分野の査読コストの数倍ぐらい，と考えると，専門分野の査読を50本ぐらいやっている感じか．この辺り，専門分野の論文の査読しか回ってこない人たちが羨ましい限りなのだけど，自分は研究室内では外様的存在なので仕方が無いかなと思っている．
専門分野外の論文を査読していて気がついたのは，ニッチな研究でない限りは，多少専門が離れていても，査読自体は十分可能であるということ．逆に言うと，ニッチでない研究は，関連研究に挙げられた研究を一つも知っていない人が読んでも，確信を持って採録・不採録を判断できる．ここで言うニッチな研究とは，ベースの手法に歪な改良を重ねた手法や（もはや叩き壊すべき土台），独善的な派生問題を設定している研究（そもそも論ができていない），あるいは，他人の褌で相撲をとった頭を使っていない研究（為にする研究）などを指す．この手の論文は，分野外の研究者が査読するのには向かない．
普段査読している会議では，この手のニッチな研究は（少なくとも最終的に採録される論文の中には）少ないのだけど，査読する段階ではかなりの割合で含まれる．分野外の研究者として．査読のコストを減らし，査読の質を上げるため，査読する論文を希望できるときは，以下のような基準で，なるべくニッチな研究を避けるようにしている．

タイトルで絞る; タスクニュートラルで短いタイトルの論文を選ぶ．最大6語，できれば4語ぐらいのものを選ぶ．タイトルが短いほど，採否の判断は容易という印象．
概要で絞る; タイトルから推察した内容に誤解がないかの確認．概要は論文全体の縮図なので，ここで英語のミスが二つ以上見つかると地雷認定．ベースラインが複雑な場合，既にそのタスクには多くの努力が費やされている（逆を言うと，本質的にやるべき事はあまり残っていない; 高い専門性がないと，新規性の判断が難しい）．誤差削減率など，ズル尺度が使われている場合も同様．

また，査読の際にはなるべく何度も論文を読み返さなくて済むように，早い段階で採否を判断するようにしている．まず，論文を読まずとも遠くから眺めるだけで採録か不採録か prior がたつ．結果の図表が極端に少ない論文，あるいは，図のフォントが滲んでいる論文，ページ数が極端に短かったり，図表のサイズが極端に大きかったりとページ数を持て余している論文は，外れ論文であることが多い．体裁に気を回す余裕が無いということは，論文の内容を仕上げるのも中途半端で終わっていることが多いということ．この時点で採否フラグがはっきり立たなくても，イントロまで読み終わると，採否の判定はほぼ完了する．
その後は，採録される論文が満たすべき基本的な項目を満たしているかどうか，作業的に確認しながら読み進める．例えば，そもそも解く価値のある問題を解いているか，その問題を解く上で本質的に難しい点と，それに対する解決策を明瞭に書いているか．周辺のタスク，あるいは対象のタスクに関する関連研究を系統的にまとめているか，それらによって，タスクの必要性，手法の妥当性が示せているか．既存のタスクであれば，行った改善を直接的に評価する実験をしているか，新規性のあるタスクなら，叩き台として必要十分な手法を設計できているか．また，理論的・実験的な検証の伴わない主張がないか，など．また，一般的な話として，「何もかもが上手くいく手法」というのはほとんどないので，手法の欠点に関して著者が隠さず述べているか（利点との得失で十分な有用性があるか）なども確認する．一回目の読了後，ベースの査読コメントを書く．この時点で，reject / accept を決める．weak reject / weak accept は基本的につけない．
二回目に論文を読む際は，一度書いた査読コメントを叩き台に，reject / accept の判断を論理的に正当化するようコメントを洗練する．手法の理解に誤解がないか，確認する．PC としては，ボーダー以外の論文には詳しいコメントは必要ないのかもしれないが，自分は reject / accept に関わらず，採録の基準を満たしているか，あるいは，満たすためには何を直せば良いかという観点で，手を抜かずコメントを書くようにしている（明らかな reject のときには，これを直さない限り何度出しても通らないから出すな，という気持ちを込めて）．ここまでやるか，という実験をしている場合には，プラス評価のコメントを書く．評価のポイントを明確に言語化する．書くことで考える．
分野外の論文の査読というのは，専門分野の論文の査読と違って，読んでも知識として自分の研究に直接役に立つことはほとんどないのだけど，変なバイアス（あるいは，著者と自分とが共有する壊れやすい土台）がないおかげで，大局的に，通る論文が満たすべき基本的条件を理解するという点では大変役に立つような気がしている．これ以上査読が増えても困るけど，せめて専門分野と，専門分野外で半々ぐらいのバランスになってくれればなぁと思う．
[追記] ちなみに，自分は学会の格で採否の判定を変える，ということはあまりしないようにしている（解いている問題の一般性，専門性を考慮して，その学会の聴衆の興味に合うかどうか，という採否基準はもちろんあるけど，これについては多くの場合個別の項目が存在する）*1．あの学会なら採録だけど，この学会なら不採録（あるいはその逆），などという判断は一査読者の手に余る．少数の論文しか査読しない各査読者があれこれ悩むよりは，PC，あるいはメタ査読者など，直接的に論文を選ぶ立場の人がより多くの論文を眺めて総合的な視点から判断する方が良い（PC がしっかりしている会議だと，評価が分かれているときはちゃんと仲裁するように働きかけがある）．

*1:これは Workshop や 2nd tier 以下の会議の査読がほとんど回ってこないので，あまり意識せずに済んでいる，というところも大きいかも．どちらかというと，論文において，著者の主張が理論的・実験的に十分サポートされているかどうかは判断は，学会の格と関係なく決まる，という方が正確かもしれない．著者の主張自体に意義があまり無いと判断される場合には，専門性の高い Workshop などへの投稿を薦めることもある．