深層強化学習のベイズ主義的な情報探索に駆動された自然言語処理の意味論 | Accel Brain

深層強化学習のベイズ主義的な情報探索に駆動された自然言語処理の意味論

Accel Brain; Console×

機械学習(Maschine Learning)」のモデリングアルゴリズム設計では、問題志向型の等価機能主義的な方法が有用となる。アルゴリズムは何らかの問題設定を前提とした問題解決策に他ならない。だが機械学習の概念実証や研究開発では、問題が解決策をもたらすと同時に、解決策が問題を派生させるのが常である。問題解決策としてのアルゴリズムが別の問題を派生させている場合には、当の問題設定問題解決に同様に貢献し得るような別のアルゴリズムを、つまり「機能的等価物(funktionalen Äquivalenten)」を用意しなければならない。

機能的に等価問題解決策は相互に代替可能である。それらの問題解決策は、同一の問題設定を前提とした上で、等しく有用なアルゴリズムとして観察される。機能的に等価問題解決策の中から特定の問題解決策だけが選択されるのは、基準となる別の区別が導入されることで、いずれか一方が採用されるべきであるという意思決定が下された場合だ。上述した問題設定との関連で言えば、ここでいう基準とは、精度(Accuracy)や計算コストに他ならない。例えば計算複合性区別が導入される時、観察者はより低い計算コストで済ませられると期待できる問題解決策を優遇するようになる。あくまでも当の問題設定を踏襲した上で、機能的に等価な別のアルゴリズムで代替することが如何にして可能になるのかを記述していくのである。

その際、定式化という名目上、数学的な形式が導入される。数式は精度や計算コスト削減に対する期待構造化する。この期待期待外れに終わるか、その通りに成就するかは、専ら実装されたアルゴリズムの実行によって区別される。例えばRecallやPrecision、F値などのようなモデル精度の指標や、またCPU/GPU負荷やメモリ負荷などのような指標やTATやレスポンスタイムなどのような実行結果は、数学的に構造化された期待との差異を定量的に観察することを可能にする。この差異情報としてフィードバックされることで、アルゴリズムモデルの設計者は、数学的な形式の再導入によって、更なる改善案を認知的に期待できるようになる。

したがって、数学的な形式の導入は、アルゴリズムーーとりわけまだ誰も知らない新しいアルゴリズムーーを「学習」する上で有用となる。逆に、数学的な形式を放棄した上での設計は、ただ既存の専門たちが用意したブラックボックスを規範的に期待するしかない。それは「暗がりに鬼を繋ぐが如く」ラッピングされた「機械学習ライブラリ」を盲目的に確信する程度の創意工夫に留まる。そうした観察者にできるのは、精々のところ、パラメタチューニングと題されたブラックボックス・テストだけである。

この等価機能主義的な方法については、とりわけ「コンサル業界」の者たちならば馴染み深いはずである。例えば「猫の分類問題を前提に設計されたCNNのモデル」と「顧客の再訪問条件の特定のために設計されたロジスティック回帰モデル」をわざわざ「比較」したプレゼンテーションを敢行するコンサルタントは、恐らく一人もいないだろう。アルゴリズム機能的な「比較」が可能になるのは、あくまでも同一の問題設定を前提とした場合に限られるためである。この機能的に等価な複数のアルゴリズムを定量的に比較しようとする姿勢は、「ディープラーニングは、原理的には単純な最小二乗法にすぎない」と断じてしまうビギナーの姿勢を否定する。定量評価の指標としての「誤差(loss / cost)」は、機能的に記述されなければならない。つまり、Loss function や Cost function などのように、誤差意味論機能的変異し得るのである。

長らく機械学習理論は、こうした精度評価を「過学習(Overfitting)」の概念で記述してきた。しかしこの問題設定は消極的で、「利」を生まない。過学習という概念を記述するだけでは、「モデル過学習しているか否か」という二つの状態の区別に資するだけで留まってしまう。事実、「過学習」という言葉は知っていても実際には何もできないビギナーは、後を絶たないようだ。

アルゴリズムモデルの設計は、この程度で許されるほど甘くはない。上述した問題志向型の等価機能主義は、積極的かつ冷徹である。そこには、有用な機能ならば採用し、無用な機能ならば棄却するという、「意思決定」が介在する。何度も述べているように、複数のアルゴリズムが「機能的に等価」であるというのは、特定の問題設定を前提とした上で、その問題の解決に際して同様に機能していることを意味している。選択肢Aと選択肢Bが機能的に等価となるのは、特定の問題Xの解決に、双方とも有用で役立ちメリットを発揮している場合のみだ。

したがって、機械学習モデリングアルゴリズム設計で重要となるのは、「何のアルゴリズムか」というWasを問うことではない。アルゴリズムの名前を連想ゲームのように紹介できる能力や、恣意的にパラメタチューニングした結果を「やってみた」とアピールするYoutuber的な能力は、ここでは何の役にも立たない。むしろその問題解決策としてのアルゴリズムが「如何にして可能になるのか」というWieを問うことこそが重要となる。そしてこの問いの前提となるのは、分類問題や回帰問題などのような、問題設定に他ならない。言い換えれば、問題となるのはアルゴリズムではない。問題こそが問題だ。

以下の各記事では、やはりそれぞれが特定の問題設定を前提とした記述となっている。具体的には、情報探索アルゴリズムとして構造化される「深層強化学習(Deep Reinforcement Learning)」の意味論を、ベイズ主義統計力学を前提とした「統計的機械学習問題(Statistical Machine Learning)」の枠組みから再記述していく。これにより、各種の深層強化学習アルゴリズムと他の統計力学的なアルゴリズム機能的等価を明らかとする。一方「深層学習(Deep Learning)」については、確率的な「バンディット問題(Bandit Problem)」を展開させた「強化学習問題(Reinforcement Learning)」の枠組みの中で要求される「関数近似器(Function Approximator)」の機能として記述していく。

コモディティ化され、大衆化している「ディープラーニング」の残滓に囚われない発見探索可能にするには、問題志向型の等価機能分析的なアプローチが最良の方法となるであろう。それは、一定の問題設定を前提とした上で、複数の機能的に等価問題解決策比較していく方法である。以下では、絶えず問題設定問題解決策区別していくことによって、概念の歴史意味論観察し、それを数式として記述していくことになる。この問題設定問題解決策区別の導入は、当初ある問題設定の枠組みで記述されていたはずのモデルアルゴリズムが、いつの間にか他の派生的な問題設定の枠組みでも機能することを明らかとするであろう。それは機械学習機能的再利用可能性機能的拡張性観察する取り組みとなる。

統計学会の社会構造とベイズ主義の意味論、事前分布としての神学的な形象

世界それ自体が確率論的であると認識されるようになるのは、ルードヴィヒ・ボルツマンを筆頭とする19世紀末から20世紀初頭にかけての量子力学、統計力学、そして熱力学の歴史的意味論が記述されるようになってからである。この時代はトマス・ベイズの後史である。ベイズの時代ではまだ、ニュートン力学が規定するような、決定論的な世界観が支配的であった。つまりベイズの確率論は、決定論的な世界に対する分析方法として機能していたのである。ベイズの確率論は、世界を学習する方法を解説した叙述となっている。つまり、証拠を蒐集すればするほど、真理に近付いていくという、推論を介した世界の学習方法こそが、ベイズの確率論の真髄なのである。

続きを読む

バンディットアルゴリズムの機能的拡張としての強化学習アルゴリズム

単純に情報を探索し続けていくだけでは、いずれリソースの限界に直面するであろう。限られたリソースの中で最善を尽くすためには、既知の情報を活用しながら未知の情報を探索していく必要がある。まさに「バンディット問題(Bandit Problem)」との関連から、「探索(explore)」と「活用(exploit)」の区別を導入しなければならない。しかしより情報探索による問題解決や目的達成を促進させるには、「探索」と「活用」の区別を導入し続けるだけではなく、その情報探索の舞台となる環境から受容した刺激から学習するようなフィードバック・ループを設計しておかなければならない。この学習するシステムと外部環境の区別を導入する上で、強化学習問題の枠組みが有用となる。

続きを読む

深層強化学習の統計的機械学習、強化学習の関数近似器としての深層学習

強化学習と深層学習を機能的に接続させた「深層強化学習(Deep Reinforcement Learning)」において名を馳せているのは、Googleが「Q学習(Q Learning)」と「畳み込みニューラルネットワーク(Convolutional neural network)を組み合わせることで設計したDeep Q-networks(DQN)だ。強化学習アルゴリズムが深層学習のようなアルゴリズムとの結合を要求するのは、状態あるいは状態対行動の組み合わせが大量にあり得る場合のメモリやデータ量の面で限界に直面してしまうためである。つまりこの場合の深層学習は、強化学習アルゴリズムで状態や状態対行動の組み合わせの「複合性の縮減」が如何にして可能になるのかという問題設定を前提とした問題解決策として導入されているのである。これは、言い換えれば「一般化(generalization)」の問題として設定できる。状態や状態対行動の組み合わせの観測データを一般化することで、より広汎な状態や状態対行動の組み合わせに対する近似を構成していくことが求められているのだ。この問題設定に対する問題解決策として第一に挙げられるのは、DQNでも採用されているように、「関数近似(function approximation)」であろう。それは強化学習問題の枠組みにおける価値関数をはじめとした目的関数からサンプルを抽出して、そこから関数全体を近似するように一般化を実行していく。一般的に関数近似器として採用されているのは「畳み込みニューラルネットワーク(Convolutional Neural Network)」である。ここではこの関数近似器の機能的等価物として、「制限ボルツマンマシン(Restricted Boltzmann Mathine; RBM)」を取り上げる。

続きを読む

平均場近似推論の統計力学、自己符号化器としての深層ボルツマンマシン

深層ボルツマンマシンの事前学習以降は、得られた初期値を前提として、深層ボルツマンマシン全体の最尤推定法を近似的に計算していく。ここでも計算コストや組み合わせ爆発の問題が派生するために、ギブスサンプラーをはじめとした近似計算方法を利用していく。尤も、深層ボルツマンマシンでは、その性質上、ギブスサンプラーよりは「平均場近似(mean-field approximation)」の方が積極的に活用される。深層ボルツマンマシンには隠れ層同士の相互リンクが形成される。そのため、制限ボルツマンマシンほどには容易に条件付き分布を計算することができない。平均場近似はこの計算の負担軽減として機能する。

続きを読む

深層学習の計算コスト削減、MobileNetの設計思想

今では「機械学習ライブラリ」も十分普及している。誰であれ、手を動かしているうちに、ある程度の「精度」を出すことができるであろう。GPUやCythonに注意を傾けておけば、アルゴリズムそのものの再設計の必要性から目を逸らすこともできる。ある意味では、「計算コスト削減が如何にして可能になるのか」という問題設定を度外視することが、近年の深層学習の「最先端(state of the art)」としての立場を担保し、コモディティ化の加速化に貢献していたとも言える。2017年と2018年に提出されたMobileNetV1/V2に関する二つの論文では、上記の先行研究の多くのアプローチが、結局のところ「ネットワークの複合化」の一言に尽きると一蹴されている。MobileNetの設計思想は、多くの先行研究とは異なって、如何に単純な設計で済ませるのかを重視している。MobileNetは、モバイルアプリケーションなどのように制約された環境でも耐久して機能することに特化したニューラルネットワークとして設計されている。このアーキテクチャは、同一の精度に到達するまでに必要となる作動数やメモリの削減を可能にする。

続きを読む

ニューラルネットワーク最適化問題におけるアルゴリズム設計の物理学的な意味論

深層学習のニューラルネットワーク最適化問題は、コスト関数J(θ)を大幅に減少させるニューラルネットワークのパラメタθを発見する最適化問題の一種である。この最適化の問題設定を理解するには、機械学習における最適化問題と一般的な最適化問題の差異を理解しなければならない。機械学習の最適化アルゴリズムは、「学習(learning)」の概念との関連から、他の最適化アルゴリズムから区別される。ニューラルネットワーク最適化問題における問題解決策となるのは、一般的な真の最小値を探索するアルゴリズムではない。この差異を前提とするなら、ニューラルネットワークの最適化アルゴリズムは、最適化と汎化を両立させるべく設計されていなければならない。

続きを読む

正則化問題における敵対的生成ネットワーク(GANs)と敵対的自己符号化器(AAEs)のネットワーク構造

機械学習の主導的な参照問題の一つは、訓練データだけではなく、新しい観測データポイントの入力に対しても性能を発揮するアルゴリズムの設計が如何にして可能になるのかである。機械学習の多くのアルゴリズムは、訓練誤差が増加する可能性を代償として、テスト誤差が減少することを目指して設計される。こうした方法は、一般的に「正則化(Regularization)」と呼ばれている。正則化は、モデルとアルゴリズムの設計者が試みる「投資」に他ならない。と言うのも正則化とは、訓練誤差の増加というリスクを受容することによって、テスト誤差の減少というリターンを得る試みであるためだ。この意味で正則化は、コモディティ化している機械学習ライブラリのエンドユーザーとは無縁の設計である。それはブラックボックスの内部で実行されている無理解で無視しても無害なコンポーネントなのではない。正則化とは、リスクある不確実な状況下の設計者が「期待」や「効用」や「投資対効果」などのような指標との兼ね合いから下す「意思決定」以外の何物でもない。

続きを読む

階層的潜在変数モデルをメディアとしたラダーネットワークの半教師あり学習形式、ノイズ除去型自己符号化器の機能

「事前学習」という概念は、一種の「フレームワーク」として形式化されている。だが貪欲法に基づいた教師なし事前学習は機能不全に陥る場合や副作用を招く場合が多分に及ぶことが周知されている。先に示した敵対的生成ネットワークや敵対的自己符号化器によって可能になる「半教師あり学習(Semi-supervised learning)」の枠組みでは、「層ごとの貪欲な教師なし事前学習」とは全く異なる設計によって、教師なし事前学習と教師あり学習の構造的な結合が可能になっている。一方、ハリー・ヴァルポラやアンティ・ラスマスらが展開している「ラダーネットワーク(Ladder Networks)」に基づいた半教師あり学習では、自己符号化器や生成モデルを教師ありモデルと同時に学習することを可能にしている。つまり、教師なし事前学習と教師あり学習を段階として区別するのではなく、双方のアルゴリズムにおける学習を同時的に進行していくのである。

続きを読む

エネルギーベースモデルとしての敵対的生成ネットワーク(GAN)と自己符号化器におけるリアプノフ安定最適化

伝統的に統計力学の歴史的意味論の主題として参照されてきた混合問題は、マルコフ連鎖モンテカルロ法を巧妙に回避することを可能にする敵対的生成ネットワークが提唱されて以来、その問題解決策が主にエネルギーベースモデルとしての自己符号化器との関連から再考されている。「エネルギーベースの敵対的生成ネットワーク(Energy-based Generative Adversarial Network: EBGAN)」は、敵対的生成ネットワークの識別器にエネルギーベースモデルとしての自己符号化器を導入する構成になっている。この識別器としての自己符号化器には、縮小自己符号化器(Contractive Auto-Encoder)やノイズ除去型自己符号化器(Denoising Auto-Encoder)、ラダーネットワークなどのような様々な自己符号化器の機能的等価物を割り当てることができる。この機能的等価物の探索は、エネルギーベースモデルとしての自己符号化器との関連から指摘されるように、当の混合問題をリアプノフ安定最適化問題として再設定することを可能にする。

続きを読む

ニューラルネットワーク言語モデルの自然言語処理と再帰的ニューラルネットワークのネットワーク構造

Webクローラ型の人工知能を前提とすれば、深層強化学習のアルゴリズムによって発見探索した情報は、大抵の場合「自然言語(natural language)」となる。エージェントが情報から学習するには、言語の意味を観察できなければならない。自然言語処理においてこの問題は、言語の意味を如何にして表現するのかという「意味表現(semantic representation)」の問題として参照されている。この意味表現問題ではとりわけ単語水準での表現から考察が始まる。それは、単語の意味を正しく表現できれば、その組み合わせによって、句や文、そして文書の意味表現を階層的に構成することができるようになると想定されているためだ。

続きを読む

転移学習のパラドックス、脱パラドックス化の形式としての半教師あり学習

自然言語処理の領域では、教師なし事前学習が表現学習として機能することが期待されている。通常、単語のトークンの埋め込みにおいては、one-hotのベクトルが採用される。だが各ベクトルの距離は全て同一となるために、単語表現にone-hotのベクトルを利用する利点は少ない。だが事前学習された単語埋め込みは、単語間の類似度を単語間の距離として符号化することを可能にする。しかし、Nショット学習、ドメイン適応、そして概念漂流をはじめとする転移学習は、<差異の統一>や自己言及のパラドックスを孕んでいる。このパラドックスを脱パラドックス化するには、半教師あり学習の形式が有用になる。

続きを読む

自然言語処理のパラドックス、パラドックスの自然言語処理

もともと自然言語を「計算(compute)」するという工学的な発想は、バートランド・ラッセルやルートヴィヒ・ヴィトゲンシュタインの影響下にある1900年代の論理学を利用した数学的な推論の問題に端を発している。形式論理学や数理論理学は、言語を文字列の集合として設定する理論や推論規則の理論を記述することで、既に取り上げた「構成性の原理」をはじめとした言語の関数表現を可能にした。しかしこれらの論理学は、所与の概念の「同一性(identity)」を前提とした理論は記述できても、差異理論的なアプローチに関しては不十分な取り組みで留まっている。それ故、これらの論理学の理論に素朴に従事してきた自然言語処理は、「矛盾(Contradiction)」や「パラドックス(Paradox)」のような差異の概念を分析する上では役に立たない。

続きを読む