（計算）資源を節約して論文を書けないのものか
先週末，実験を（一週間だけ）許可する旨のメールが所内で流れたので，土日にすごい勢いで実験をして，得られた結果から論文を書いて投稿．計らずもへっぽこ論文書いてごめんなさいという気持ち（でも出さないのはもっと良くない*1）．しかしまあ，実験環境が制限されて改めて実感したけど，（情報科学の）実験というのはどうしてこんなに非生産的なのだろうか．
例えば，アルゴリズムの時間・空間計算量を改善する研究では，自分の手法の10-100倍メモリを消費する手法や，10-100倍遅い手法と性能を比較しないといけなかったりするので，同じデータセットで実験しようとすると計算資源のほとんどは既存手法の実験に費やされることになる．厄介なのは，あんまり既存手法との性能差が大き過ぎると，実装が稚拙だからではと疑心暗鬼になって，既存手法の実装・実験に必要以上に労力をかけてしまう場合があること．将来的に使うことのないプログラムの効率化に頭を悩ませるなんて，なんという無駄だろうか．そもそも提案手法より既存手法の方が本質的に改善の余地があることが多いので（提案手法を実装し終わる頃には既存手法の実装は十分なことが多く），既存手法の実装はあんまり頑張り過ぎなくても良いはず（気がついたら既存手法の論文の著者らによる実装と比べて数倍効率的な実装になっていた，ということもよくある）．実験で，主記憶の半分以上を占有し，一日近く計算時間を要する既存手法をシングルプロセスで実行するとか，もうやめたい（このところそんなのばっかりだ）．実験環境を揃えるのも大変だ．
その他，単純な手法で高精度を達成した，という研究でも，既存の（複雑怪奇な）手法を実装して比較しないといけないということが良くある．既存手法を使いたくないから，簡単でうまくいく手法を考案したというのに，残念過ぎる．論文を読んだだけでは再実装が難しい手法は，なるべく実装を公開するようにしないと（逆に，実装を公開できないなら，再実装が可能なように論文をしっかり書かないと）その分野を停滞させかねない．自分の分野でも「実装したけど結果を再現できない」既存手法の話を時々聞くことがあるけど，こういうのはもう少し，オープンにできないものかな．（自然科学でこの実験結果は誤っているという認識が共有されるように）この論文の手法は，実装して比較する必要なし，という認識が研究者の間で共有できれば良いのだけど（バグで性能が改善するという場合は少なそうだけど，論文に書いていない煩雑な前処理が精度に大きく影響ということはある）．
