Watson 君は頑張った＠某成果報告会

朝から晩まで神保町で某成果報告会に参加していた．明日・明後日は自分にも仕事があるので，聴講に専念できるのは今日だけ．質疑応答システム Watson/DeepQA に関する Keynote で人が1.5倍増になり，それが終わると人が漣のように引いていく，そういう一日だった．講演時間も短く，内容は一般向けの概要紹介*1．という感じだったが，それでも興味深かった．Jeopardy! で出される質問は基本的に factoid 型なので，質問文を適切に解釈をすることができれば答えの候補を列挙することは比較的容易で，人に匹敵する回答精度を達成するには（構文解析＋共参照解析による）質問文の柔軟な解釈と，多様な観点を考慮した回答候補のランキングが重要だったのこと*2．また質疑で，適切な回答を見つけてくる際には Wikipedia が知識源として必要不可欠だったという言及もあった．個人的には「構文解析の大切さをこれほど感じたことはなかった」*3ということばが印象的だった．基礎技術は実際に運用されてはじめて正当化される．少なくとも，その技術がどういう影響を持つか（どこに向かっているのか）実例を通して一般の人に説明できないといけない．
今回も Deep Blue の時と同様に，処理の遅さは力技で解決してしまったわけなのだけど，個々のタスクで人間と計算機の処理能力に著しく差があるのは気持ち悪く（ある処理では計算機の方が100倍速いのにある処理では100倍遅いとか．）今後の課題かなと感じる．単純にモデルの自由度を高くして（あるいは探索空間を拡げて）汎的な最適化技術任せで精度を出すのは限界があって，離散的な制約を積極的に活用して効率よく深く潜らないと，構文解析より難しいタスクはいつまでたってもまともに解けないような気がする（特に近年は問題に対するアプローチが硬直化している印象*4; 評価データも硬直化していて，分野研究者が本質的に考えるべきことに頭が使われていない）．言い換えると，実データに観測される表面的な歪さの裏にある整然さ（規則）を見抜かないといけないと感じる．規則は無限の（部分）訓練データと等しい価値がある．
学生の頃は（他人が与えてくれた）整然さの方から実世界の歪みにアプローチして，実世界まで全然辿り着けないで終わった．今は，実世界で使えるものを作らなければいけないという制約もあって，歪みの方からスタートしているけど，実データを眺めれば眺めるほど，最終的に辿り着かなければいけないゴール（モデル）は（学生の時と）同じなのだなと感じる．そういう意味では自分の研究のゴールは（表層的なアプローチは真逆だけど）ブレてないな．木を見て森を見ないということのないよう，逆に，森を見て木を見ないということもないよう，意識していきたい．

*1:twitter 上で実況している人がいたようなので，詳しい内容はそちらを当たると良い．

*2:対戦時，質問文はテキストで与えたそうなので，Jeopardy! のルールに依存する戦略的な要素を除けば，純粋にテキスト処理技術の実力が試されたことになる．

*3:ややうろ覚えだが，そういう趣旨の内容．

*4:SVM が出た頃から，とりあえず新規に結果の出た技術を使うというパターンが多い．最近なら Markov Logic, Integer Linear Programming, Dual Decomposition とか．そういう論文のタイトルは「流行りの技術」(?:を用いた|に基づく|による)「既存のタスク」．最初の何本かはそれでも良いと思うけど，本当にそれしか特徴がないとしたら，ちょっと淋しい．その技術を使って，あるタスクで新たにこういう問題が解けるようになった，というところまで辿りついて欲しい．