合理化途中の過渡状態と不合理を受け入れた定常状態

母校の集中講義で機械学習とゲーム理論の数理的類似性に関して話してきた。大学からの依頼で行ったものであるが、その要請はかつての自分と同様に社会人博士課程に通う学生への助言である。在学中の研究とその後の展開や、研究成果をどう実ビジネスや仕事に生かしていくかを体験談として話して欲しいというものだった。博士取得後に深めた知見の方が在学中の成果よりも大きいと著者は考えているので、学生時代の話は触り程度にして、その後の研究トピックの広がり方・掘り下げ方について、転職後に加わった視点も交えて紹介した。以下はその説明資料である。OpenOffice.org ImpressとLaTeX beamerが混在しているのは全てをbeamerで準備する時間がなかったことによる、デザイン上の妥協である。

提供した視点の中で、その拡張に将来性があると2016年時点で著者が考えているのは以下に列挙した両者の対応である。特に、機械学習側の関数近似テクニックや緻密な確率的モデリングを行動ゲーム理論に持ち込むことで、人間同士が相互作用する社会環境 (人間系) における意思決定を、もっと数値的根拠が確かな状況で行えるものと期待している。

  • 正則化のない最尤推定はナッシュ均衡の計算に類似しており、
  • 事前分布を用いるベイズ推定やJames-Steinの縮小推定は限定合理性を扱う行動ゲーム理論における、Quantal Response Equilibrium (QRE)の計算に似ている
  • 明示的な正則化項を追加する代わりに最尤推定の最適化ステップを途中で中断するアプローチであるearly stoppingはCognitive Hierarchy Theoryと似ており、これも行動ゲーム理論で使われるテクニックである

Google DeepMindはAlphaGoでDeep Reinforcement Learning (深層強化学習)を用いたが、Deep Belief Learning (深層信念学習)という社会科学技術がイノベーションを起こす、というのが著者の大胆な予想である。しかしこれは当たるも八卦当たらぬも八卦の話なので、もう少しsolidな上記メッセージに戻ると、用いた資料で最も重要な一枚は次のスライドだろう。

ml-vs-gt

 

与えられた特定のゲームにおける実現シナリオの候補として、ナッシュ均衡はその定義は厳密ではあるが、実社会でのゲームにおいて実際に発生するシナリオからはしばしば乖離した予測を示す。最尤推定が学習データという狭いデータセットに対しては最大の予測能力を示しても、テストデータを持ってくるとそうはならない点と似てるとは感じないだろうか。

一方、ベイズ推定は事前分布という固定点を導入し、そちらにshrink(縮小)させることで、学習データに対する説明能力を少し妥協する。しかしこの小さな妥協はテストデータに対する予測能力を大きく向上させる。QREも同様で、他のプレイヤーの合理性に確信が持てない状況で、不確実性を撹乱項として明示的に確率モデル化することで、より実社会の集団的意思決定結果に近い予測結果を返してくれる。ベイズ推定もQREも、データやゲームに依存しない固有の確率モデルを入れることで汎化能力を上げる、という思想が共通している。

加えて、実用上は、固定点への縮小戦略ないしアルゴリズムは厳密なベイズ推定解でなくても良い。要は、事前分布の中心に相当する固定点があって、そこに少し近づける方法論であれば何でもよく、その一つがDeep Learningでよく使われるEarly Stoppingである。Early Stoppingは、複雑なゲームの均衡を数値的に計算する場合に使われる Belief Learning (信念学習) を途中で打ち止めにする方法と類似しており、Cognitive Hierarchy Theoryはこの打ち止め自体を確率モデル化したものである。

機械学習研究者コミュニティの中には、統計学だけでなく認知科学の研究も行っており、行動経済学的な現象の発生メカニズムを数理モデル化している人たちがいる。著者もその端くれであると自負している。昨年、著名な国際会議のNeural Information Processing Systems (NIPS)に出席した際には、パネルディスカッションにおいてBayesian Nonparametricsの大家の教授が同様の見方を他の認知科学研究者から聞いたと言っていた。この教授が誰であるか業界人にはバレバレであるが、著者の記憶が間違っている可能性もある。後で「私はそんなことは言ってない」というクレームが発生しても責任は持てないので名前は伏せることにしておく。

講義は機械学習と行動ゲーム理論の接続に限らず、与太話も含めていろいろ話してみた。科学的根拠の薄い仮説であることを断った上で、スライドの最後のセクションには私見をいろいろ載せている。一方で全ての意見が無根拠というわけでもない。例えば、リスクは避けろ、不確実性はテイクしろというメッセージは i) 偉大なバリュー投資家たちのコアとなる考え方で、ii) 多腕バンディット問題におけるexplorationのgainがどういうときに最大になるか考えた上で 持っている意見である。すぐれた起業家や研究者がリスクテイカーだというのはおそらく嘘だ。彼らは不確実性をテイクしているのであって、避けられるリスクは極力全て避けている。製鉄ビジネスを始めるときにいきなり自力で始めるのではなく破綻した製鉄所を安く買い取って始める、とかね。

これから博士課程に通おうと思っている人や、社会人博士における研究テーマの選定で迷いがある人は参考にしていただければ幸いであるし、個人的な質問があれば twitter account @rikija に連絡くだされば話せる範囲でお答えします。

広告

投稿者: rikija

機械学習・認知科学・投資アルゴリズムの研究者。作曲家 (アマチュアですが鋭意努力中) Twitter: @rikija / https://twitter.com/rikija 論文実績等は https://sites.google.com/site/rikiyatakahashi/ を参照

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中