深層強化学習のベイズ主義的な情報探索に駆動された自然言語処理の意味論

スポンサーリンク

派生問題:パラドックスのリズム

ニクラス・ルーマンは、『社会の芸術』において、パラドックスを指し示す観察が低い周期の振動で構成された形式に準拠していると述べている。Aと非Aを区別する形式パラドックス化する場合、双方は差異化されていると「同時」に同一でもある。この差異化されている双方の統一というパラドックスは、通常であれば、時間によって「展開」されている。過去現在未来区別を導入する時間という形式が、差異性と統一性のパラドックス脱パラドックス化しているのである。我々がパラドックスを発見するのは、この脱パラドックス化機能していない場合である。パラドックスとして顕在化しているAと非Aは、時間の流れからは切り離された上で、「同時」的に指し示される。一方から他方への差異、すなわち距離は極小化されているのである。

原理上如何なる形式にも振動が起こり得る。例えばオートポイエーシス的なシステムは、自己言及と外部言及の形式自己言及的に導入することで、自己言及と外部言及の間を振動している。社会システム心理システムのような「意味」を構成するシステムも例外ではない。意味(Sinn)は、パラドックスの隠蔽技術形式として機能する。意味が司るのは、パラドックス化脱パラドックス化区別である。故に、「意味」を構成するシステムは、このパラドックス化脱パラドックス化の間も振動していることになる。

振動には周波数がある。この周波数は、複数の周波数の複合的な合成による結果であると考えられる。何故なら、観察者が準拠する区別は一つとは限らないからだ。「観察するシステム」は、一つの観察において、様々な形式に準拠している。観察者の観察は、複合的な区別の組み合わせによって成り立っている。こうした区別はまた、この区別の内部に再導入(re-entry)される。したがって、仮に一つの区別に準拠しているように視えても、その区別の内部には、複数の区別それ自体が再帰的に導入されている。

これを前提とすれば、ある観察者の観察に伴うパラドックスを抽出するには、その観察が準拠している区別を可能な限り分解しなければならない。そうすることで、観察者の観察者は、より多くのパラドックスを発見することが可能になる。

フーリエ変換(Fourier transform)」は、ある複合的な波形を正弦波をはじめとした比較的単純な波形の重ね合わせとして再記述することを可能にする。ここでは、このフーリエ変換を上述した振動の形式算法に適用していく。

問題解決策:フーリエ級数展開

与えられた周期2πの関数を、周期Tあるいはその約数の三角関数の和で記述したい。

フーリエ級数

$$f(x) = \frac{1}{2}a_0 + \sum_{n=1}^{\infty}(a_n \cos nx+ b_n \sin nx) \tag{1}$$

ただし、周期関数f(x)は区分的に滑らかである場合に限る。

各種フーリエ係数

周期2πの関数f(x)において、区間-π <= x <= π でのフーリエ係数を求める。(1)の両辺を積分すると、以下のようになる。

$$\int_{- \pi}^{\pi}f(x)dx = \int_{- \pi}^{\pi} {\frac{1}{2}a_0 + \sum_{n=1}^{\infty}(a_n \cos nx+ b_n \sin nx) }$$

$$= a_0 \int_{- \pi}^{\pi} \frac{1}{2} dx + \sum_{n=1}^{\infty} a_n \int_{- \pi}^{\pi} \cos nxdx + \sum_{n=1}^{\infty} b_n \int_{- \pi}^{\pi} \sin nxdx \tag{2}$$

1/2とcosnxは偶関数で、sinnxは奇関数であるため、

$$\int_{- \pi}^{\pi} \frac{1}{2} dx = 2 \int_{0}^{\pi} \frac{1}{2}dx = \pi \tag{3}$$

$$\int_{- \pi}^{\pi} \cos nxdx = 2 \int_{0}^{\pi} \cos nxdx = 2 \int_{0}^{\pi} \frac{1}{n} \sin nx = \frac{2}{n}(\sin n \pi – \sin 0) = 0 \tag{4}$$

$$\int_{- \pi}^{\pi} \sin nxdx = 0 \tag{5}$$

(2)に(3)、(4)、(5)をそれぞれ代入すると、

$$\int_{- \pi}^{\pi} f(x)dx = a_0 \pi$$

$$a_0 = \frac{1}{\pi} \int_{- \pi}^{\pi} f(x)dx$$

(1)の両辺にsinmxを掛けて、区間-π <= x <= πで積分すると、

$$\int_{- \pi}^{\pi} f(x) \sin mxdx = \int_{- \pi}^{\pi} { \frac{1}{2} a_0 + \sum_{n=1}^{\infty} (a_n \cos nx + b_n \sin nx) } \sin mxdx $$

$$= \frac{1}{2} a_0 \int_{- \pi}^{\pi} \sin mxdx + \sum_{n=1}^{\infty} a_n \int_{- \pi}^{\pi} \sin mx \cos nxdx + \sum_{n=1}^{\infty} b_n \int_{- \pi}^{\pi} \sin mx \sin nx dx \tag{6}$$

simmxとsinmxcosnxは奇関数であるため、次のようになる。

$$\int_{- \pi}^{\pi} \sin mxdx = 0 \tag{7}$$

$$\int_{- \pi}^{\pi} \sin mx \cos nx dx = 0 \tag{8}$$

特にn = mの場合、偶関数の性質と二倍角公式より、

$$\int_{- \pi}^{\pi} \sin^2mxdx = 2 \int_{0}^{\pi} \sin^2mxdx = 2 × \frac{1}{2} \int_{0}^{\pi} (1 – \cos 2mx)dx$$

$$= (\pi – \frac{1}{2m} \sin 2m \pi) – (0 – \frac{1}{2m} \sin 0) = \pi \tag{9}$$

一方、n ≠ mの場合は、偶関数の性質と和積交換公式より、

$$\int_{- \pi}^{\pi} \sin mx \sin nx dx = 2(- \frac{1}{2}) \int_{0}^{\pi} {\cos (m+n)x – \cos (m – n)x }dx = 0 \tag{10}$$

(6)に(7)、(8)、(9)、(10)をそれぞれ代入すると、

$$\int_{- \pi}^{\pi} f(x) \sin mxdx = 0 + 0 + b_m \int_{- \pi}^{\pi} \sin mx \sin mx dx = b_m \pi$$

したがって、

$$b_m = \frac{1}{\pi} \int_{- \pi}^{\pi} f(x) \sin mxdx$$

一方、(1)にcosmxを掛けて、区間-π <= x <= πで積分すると、同様の形式操作から、

$$a_m = \frac{1}{\pi} \int_{- \pi}^{\pi} f(x) \cos mxdx$$

が得られる。

不連続点におけるフーリエ級数

上述したフーリエ級数展開は連続を前提としている。不連続点を前提としたフーリエ級数はまだ扱えない。不連続点αにおけるフーリエ級数の値は、αにおける左極限と右極限の平均値となる。

$$\frac{f(α + 0) + f(α – 0)}{2} = \frac{1}{2} \alpha_0 + \sum_{n=1}^{\infty} (a_n \cos n \alpha + b_n \sin n \alpha)$$

フーリエ級数展開の意味論上の主導的差異

単位円上の三角関数で喩えるなら、y = cosxが偶関数であるのに対して、y = sinxが奇関数となる。関数f(x)は偶関数奇関数の和として記述することができる。上述した内容からもわかるように、フーリエ級数偶関数奇関数差異によって構成されている。

フーリエ余弦級数展開

f(x)が偶関数の場合、

$$f(x) = \frac{1}{2}a_0 + \sum_{n=1}^{\infty}a_n \cos nx$$

この時、右辺はf(x)のフーリエ余弦級数(Fourier cosine series)となる。

フーリエ正弦級数展開

f(x)が奇関数の場合、

$$f(x) = \sum_{n=1}^{\infty} b_n \sin nx$$

この時、右辺はf(x)のフーリエ正弦級数(Fourier sine series)となる。

周期2Lとベクトルによる再記述

無限次元ベクトル空間でのユースケースを想定しているため、周期2Lの区分的に滑らかな周期関数を前提としたフーリエ級数一般化について確認した上で、ベクトルとの対応付けを前提に再記述する。

周期2πの場合は次のようになる。

$$f(x) = \frac{1}{2}a_0 + \sum_{n=1}^{\infty}(a_n \cos nx+ b_n \sin nx) \tag{1}$$

そこで、$$x = \frac{2 \pi}{2L} t = \frac{\pi}{L}t$$と置く。これを(1)に代入すると、以下のようになる。

$$f(\frac{\pi}{L}t) = \frac{1}{2}a_0 + \sum_{n=1}^{\infty}(a_n \cos n \frac{\pi}{L}t + b_n \sin n\frac{\pi}{L}t)$$

xが-πからπまで変化する時、tは-LからLまで変化する。上記は周期2Lの周期関数となる。

フーリエ係数の再記述

$$x = \frac{\pi}{L}t$$
$$\frac{dx}{dt} = \frac{\pi}{L}$$
$$dx = \frac{\pi}{L}dt$$
$$a_0 = \frac{1}{\pi} \int_{- \pi}^{\pi} f(x)dx = \frac{1}{\pi}\int_{-L}^{L}f(\frac{\pi}{L}t)\frac{\pi}{L}dt$$
$$a_n = \frac{1}{\pi} \int_{- \pi}^{\pi} f(x) \cos nxdx = \frac{1}{\pi}\int_{-L}^{L}f(\frac{\pi}{L}t) \cos \frac{n \pi}{L}t \frac{\pi}{L}dt$$
$$b_n = \frac{1}{\pi} \int_{- \pi}^{\pi} f(x) \sin nxdx = \frac{1}{\pi}\int_{-L}^{L}f(\frac{\pi}{L}t)\sin \frac{n \pi}{L}t \frac{\pi}{L}dt$$

問題解決策:無限次元ベクトル空間としての関数空間におけるノルム

関数空間として、区分的に滑らかな関数f(x)の集合をDと置く。区間は-π ≦ x ≦ πとする。

フーリエ級数展開により、以下のようになる。

$$f(x) = \frac{1}{2}a_0 + \sum_{n=1}^{\infty}(a_n \cos nx+ b_n \sin nx) \tag{1}$$

この時、$${\frac{1}{2}, \sin nx, \cos nx} (n = 1, 2, 3, …)$$は、それぞれ集合Dの基底である。

集合Dに含まれる関数f(x)、g(x)の内積は、$$(f(x), g(x)) = \int_{-\pi}^{\pi}f(x)g(x)dx$$となる。

この値が0の場合、双方はベクトル同様に直交する。

上述した基底は、その内積によって、直交規定であることがわかる。

$$(\frac{1}{2}, \frac{1}{2}) = \frac{\pi}{2}$$

$$(\frac{1}{2}, \sin nx) = 0$$

$$(\frac{1}{2}, \cos nx) = 0$$

$$(\cos nx, \sin nx) = 0$$

$$(\sin nx, \sin nx) = \pi$$

$$(\cos nx, \cos nx) = \pi$$

$$(\cos mx, \sin nx) = 0 (m ≠ n)$$

$$(\sin mx, \sin nx) = 0 (m ≠ n)$$

$$(\cos mx, \cos nx) = 0 (m ≠ n)$$

尚、関数系のそれぞれを$${\frac{1}{\sqrt{2 \pi}}, \frac{1}{\sqrt{\pi}}\sin nx, \frac{1}{\sqrt{\pi}}\cos nx} (n = 1, 2, 3, …)$$とすれば、各基底が1になるため、正規直交系になる。

したがって、区分的に滑らかな関数集合D、すなわち関数空間無限次元のベクトル空間である。

関数f(x)のノルムは、$$|f(x)| = \sqrt{(f(x), f(x))}$$である。これは、二次元平面上であれば、ピタゴラスの定理から計算可能であった。しかし、無限次元ベクトル空間である集合Dにおいては、単純にこの定理を機能的に再利用することはできない。

パーセバルの等式

以下の「パーセバルの等式(Parseval’s equality)」を利用する。

$$|f(x)|^2 = \frac{\pi}{2}a_0^2 + \pi \sum_{n=1}^{\infty}(a_n^2+b_n^2)$$

念のために付言しておくと、ここでは正規直交系が想定されている。記述が冗長だが、フーリエ級数展開を再記述しておこう。

$$f(x) = \frac{1}{2}a_0 + \sum_{n=1}^{\infty}(a_n \cos nx + b_n \sin nx) = \frac{\sqrt{2\pi}a_0}{2}\frac{1}{\sqrt{2\pi}} + \sum_{n=1}^{\infty}(\sqrt{\pi}a_n\frac{\cos nx}{\sqrt{\pi}} + \sqrt{\pi}b_n\frac{\sin nx}{\sqrt{\pi}})$$

ここで、

$$u_0(x) = \frac{1}{\sqrt{2\pi}}$$

$$u_{2n-1}(x) = \frac{\cos nx}{\sqrt{\pi}}$$

$$u_{2n}(x) = \frac{\sin nx}{\sqrt{\pi}}$$

$$a_0 = \frac{\sqrt{2\pi}a_0}{2}$$

$$a_{2n-1} = \sqrt{\pi}a_n$$

$$a_{2n} = \sqrt{\pi}b_n$$

と置く。すると、$${u_n(x)} (n = 0, 1, 2, 3, …)$$は正規直交関数系となる。関数f(x)は次のように再記述できる。

$$f(x) = \sum_{n=0}^{\infty}a_nu_n(x)$$

平均収束

ここで、左辺と右辺の0からNまでの部分和のノルムを取ると、

$$|f(x) – \sum_{n=0}^{N}a_nu_n(x)|^2 = (f(x) – \sum_{n=0}^{N}a_nu_n(x), f(x) – \sum_{n=0}^{N}a_nu_n(x)) $$

$$= (f(x), f(x)) – 2(f(x), \sum_{n=0}^{N}a_nu_n(x)) + (\sum_{n=0}^{N}a_nu_n(x), \sum_{m=0}^{N}a_mu_m(x))$$

$$= |f(x)|^2 – 2 \sum_{n=0}^{N}a_n(f(x), u_n(x)) + \sum_{n=0}^{N}\sum_{m=0}^{N}a_na_m(u_n(x), u_m(x))$$

$$(f(x), u_n(x)) = a_n$$

m ≠ nの場合、$$(u_n(x), u_m(x)) = 0$$

m = nの場合、$$(u_n(x) u_m(x)) = 1$$

したがって、

$$|f(x) – \sum_{n=0}^{N}a_nu_n(x)|^2 = |f(x)|^2 – 2\sum_{n=0}^{N}a_na_n + \sum_{n=0}^{N}a_na_n$$

$$= |f(x)|^2 – \sum_{n=0}^{N}a_n^2$$

f(x)は区分的に滑らかな関数である。そのため不連続点以外であれば各点収束する。

$$\lim_{N \to \infty}|f(x) – \sum_{n=0}^{N}a_nu_n(x)| = 0$$

平均収束により、ほとんど至る所(almost everywhere)で等しい。

したがって、$$|f(x)|^2 = \sum_{n=0}^{\infty}a_n^2 = \frac{\pi}{2}a_0^2 + \pi \sum_{n=1}^{\infty}(a_n^2+b_n^2)$$

問題解決策:オイラーの公式

複素フーリエ級数にまで拡張するために、「オイラーの公式(Euler’s formula)」を導入する。

べき級数展開

以下のように、無限個の要素の和で関数f(x)を表現した場合のべき級数展開を実行する。

$$f(x) = a_0 + a_1x + a_2x^2 + a_3x^3 + … + a_nx^n + … \tag{1}$$

xに0を代入すると、$$f(0) = a_0 \tag{2}$$となる。(1)の両辺を微分すると、

$$f'(x) = 0 + 1a_1 + 2a_2x + 3a_3x^2 + … \tag{3}$$

xに0を代入すると、$$f'(0) = a_1 \tag{4}$$となる。(3)の両辺を微分すると、

$$f”(x) = 0 + 1 ・ 2a_2 + 2 ・ 3a_3x + 3 ・ 4a_4x^2 + 4 ・ 5a_5x^3 + … \tag{5}$$

xに0を代入すると、$$f”(0) = 1 ・ 2a_2 \tag{6}$$となる。

更に両辺を微分すると、

$$f^{(3)}(x) = 0 + 1 ・ 2 ・ 3a_3 + 2・3・4a_4x + 3・4・5a_5x^2 + … \tag{7}$$

xに0を代入すると、$$f^{(3)}(0) = 1・2・3a_3 \tag{8}$$となる。

更に微分してxに0を代入するという操作を繰り返していくと、(2)、(4)、(6)、(8)のように、aが求めることが可能になる。

$$a_n = \frac{f^{(n)}(0)}{n!} \tag{9}$$

したがって、$$f(x) = f(0) + \frac{f'(0)}{1!}x + \frac{f”(0)}{2!}x^2 + \frac{f^{(3)}(0)}{3!}x^3 + … + \frac{f^{(n)}(0)}{n!}x^n + … $$

$$f(x) = \sum_{n=0}^{\infty}\frac{f^{(n)}(0)}{n!}x^n \tag{10}$$

三角関数のべき級数展開

(10)を前提とする。f(x) = sinxの場合、f'(x) = cosx、f”(x) = – sinx、f”'(x) = -cosxとなるため、f(0) = 0、f'(0) = 1、f”(0) = 0、f”'(0) = -1となる。よってsinxのべき級数展開は次のようになる。

$$\sin x = x – \frac{1}{3!}x^3 + \frac{1}{5!}x^5 – \frac{1}{7!}x^7 + … + \frac{(-1)^n}{(2n + 1)!}x^{2n + 1} + … $$

$$\sin x = \sum_{n=0}^{\infty}\frac{(-1)^n}{(2n + 1)!}x^{2n + 1} \tag{11}$$

同様の操作から、f(x) = cosxの場合のべき級数展開についても導ける。

$$\cos x = 1 – \frac{1}{2!}x^2 + \frac{1}{4!}x^4 – \frac{1}{6!}x^6 + … + \frac{(-1)^n}{(2n)!}x^{2n} + … $$

$$\cos x = \sum_{n=0}^{\infty}\frac{(-1)^n}{(2n)!}x^{2n} \tag{12}$$

指数関数のべき級数展開

(10)を前提とする。$$f(x) = e^x$$の場合のべき級数展開を実行する。

$$f(x) = f'(x) = f”(x) = … = f^{(n)}(x) = e^x$$

よって、$$f(0) = f'(0) = f”(0) = … = f^{(n)}(0) = e^0 = 1 \tag{13}$$

(10)に(13)を代入すると、

$$e^x = 1 + x + \frac{1}{2!}x^2 + \frac{1}{3!}x^3 + … + = \sum_{n=0}^{\infty}\frac{1}{n!}x^n \tag{14}$$

(14)は全ての実数の範囲で成り立つ。

オイラーの公式

(14)のべき級数のxにixを代入すると、

$$e^{ix} = 1 + (ix) + \frac{1}{2!}{(ix)}^2 + \frac{1}{3!}{(ix)}^3 + … $$

$$e^{ix} = 1 + ix – \frac{1}{2!}x^2 – \frac{1}{3!}ix^3 + \frac{1}{4!}x^4 + \frac{1}{5!}ix^5 – … $$

$$e^{ix} = (1 – \frac{1}{2!}x^2 + \frac{1}{4!}x^4 – … ) + i(x – \frac{1}{3!}x^3 + \frac{1}{5!}x^5 – …) \tag{15}$$

(15)に三角関数べき級数として導いた(11)と(12)を代入すると、

$$e^{ix} = \cos x + i \sin x \tag{16}$$

ixの機能

(16)から、

$$|e^{ix}| = |\cos x + i \sin x | = \sqrt{\cos^2 x + \sin^2 x} = 1$$

したがって(16)は単位円の円周上に位置する。

また、(16)から、

$$e^{i(x + 2 \pi)} = \cos (x + 2 \pi) + i \sin (x + 2 \pi) = \cos x + i \sin x = e^{ix}$$

したがって、$$y = e^{ix}$$は周期2πの周期関数である。

複素フーリエ級数

フーリエ級数展開により、

$$f(x) = \frac{1}{2}a_0 + \sum_{n=1}^{\infty}(a_n \cos nx + b_n \sin nx)$$

(16)のオイラーの公式により、

$$e^{inx} = \cos nx + i \sin nx \tag{17}$$

$$e^{in(-x)} = \cos nx – i \sin nx \tag{18}$$

(17)と(18)により、

$$\cos nx = \frac{e^{inx} + e^{in(-x)}}{2}$$

$$\sin nx = \frac{e^{inx} – e^{in(-x)}}{2}$$

したがって、

$$f(x) = \frac{1}{2}a_0 + \sum_{n=1}^{\infty}(a_n\frac{e^{inx} + e^{in(-x)}}{2} + b_n \frac{e^{inx} – e^{in(-x)}}{2i})$$

$$f(x) = \frac{1}{2}a_0 + \sum_{n=1}^{\infty}{\frac{1}{2}(a_n – b_ni)e^{inx} + \frac{1}{2}(a_n + b_ni)e^{i(-n)x}}$$

ここで、

$$c_0 = \frac{1}{2}a_0$$

$$c_n = \frac{1}{2}(a_n – b_ni)$$

$$c_{-n} = \frac{1}{2}(a_n + b_ni)$$

と置く。すると、

$$f(x) = c_0 + \sum_{n=1}^{\infty}{c_ne^{inx} + c_{-n}e^{i(-n)x}}$$

n = 0の場合、$$c_0e^{i・0・x} = c_0$$

したがって、$$f(x) = \sum_{n=-\infty}^{\infty}c_ne^{inx}$$

非周期関数のフーリエ級数

オイラーの公式複素フーリエ級数周期2Lの区分的に滑らかな周期関数を前提としたフーリエ級数の再記述により、周期2Lの周期関数は、次のように記述できる。

$$f_L(x) = \sum_{n=- \infty}^{\infty}c_ne^{i\frac{n \pi}{L}x} \tag{1}$$

$$c_n = \frac{1}{2L}\int_{-L}^{L}f_L(t)e^{-i\frac{n \pi}{L}t}dt \tag{2}$$

しかし、この関数だけでは周期性の無い現象を表現することができない。

リーマン和

(1)と(2)を非周期関数へと機能的に拡張させる必要がある。この拡張は、周期2Lが無限に近付いたと見做す発想から始まる。だが、鍵は単純にリーマン和にあることだけを覚えておけば足りるため、計算芸を熱く語る必要は全く無い。

まず(2)を(1)に代入する。

$$f_L(x) = \sum_{n=- \infty}^{\infty}{\frac{1}{2L}\int_{-L}^{L}f_L(t)e^{-i\frac{n \pi}{L}t}dt}e^{i\frac{n \pi}{L}x}$$

$$ = \frac{1}{2\pi}\sum_{n=-\infty}^{\infty}{\int_{-L}^{L}f_L(t)e^{-i\frac{n\pi}{L}t}dt}e^{i\frac{n\pi}{L}x}\frac{\pi}{L} \tag{3}$$

そして次のように概念を設定する。

$$\omega_n = \frac{2n\pi}{2L} = \frac{n\pi}{L}$$

すると、$$\omega_n – \omega_{n-1} = \frac{n\pi}{L} – \frac{(n – 1)\pi}{L} = \frac{\pi}{L}$$となるため、(3)は次のように再記述できる。

$$f_L(x) = \frac{1}{2\pi}\sum_{n=-\infty}^{\infty}{\int_{-L}^{L}f_L(t)e^{-i\omega_nt}dt}e^{i\omega_nx}(\omega_n – \omega_{n-1}) \tag{4}$$

ここで、周期2Lを無限に近付けた場合、上述した周期関数は非周期関数となる。L → ∞の場合、$$\omega_n – \omega_{n-1} = \frac{\pi}{L} \to 0$$となる。(4)の右辺はリーマン和となる。したがって、

$$f(x) = \lim_{L \to \infty}f_L(x) = \frac{1}{2 \pi}\lim_{L \to \infty}\sum_{n=-\infty}^{\infty}{\int_{-L}^{L}f_L(t)e^{-i\omega_nt}dt}e^{i\omega_nx}(\omega_n – \omega_{n-1})$$

$$= \frac{1}{2\pi}\int_{-\infty}^{\infty}{\int_{-\infty}^{\infty}f(t)e^{-i\omega t}dt}e^{i\omega x}d\omega \tag{5}$$

絶対可積分

(5)は複素フーリエ級数を再記述した数式に過ぎない。したがって、区分的に滑らかで、かつ連続であるという制約条件は機能的に継承される。加えて、この非周期関数f(x)は絶対可積分である必要もある。すなわち、有限な正の定数Mが存在し、かつ、$$\int_{- \infty}^{\infty}|f(x)|dx < M$$が成り立つ必要がある。

絶対可積分ならば$$\lim_{x \to \pm \infty}|f(x)| = 0$$となる。しかし、$$\lim_{x \to \pm \infty}|f(x)| = 0$$であっても絶対可積分となるとは限らない。

あるいはこう表現しても矛盾は無い。

$$\int_{- \infty}^{\infty}|f(x)|dx < \infty$$

つまり絶対可積分は、規定のf(x)の負の面積と正の面積を全て足し合わせたとしても、その値は有限の値で収束することを保証する条件付けである。

これだけなら瑣末な問題だが、区分的に滑らかで絶対可積分となる非周期関数f(x)に不連続点が含まれる場合には、注意を要する。

左極限と右極限の差異の再記述

極限と右極限区別を導入することで、フーリエ級数を次のように再記述できる。

$$\frac{f(x + 0) + f(x – 0)}{2} = \frac{1}{2\pi}\int_{-\infty}^{\infty}{\int_{-\infty}^{\infty}f(t)e^{-i\omega t}dt}e^{i\omega x}d\omega \tag{6}$$

連続点では右極限と左極限が等価となる。つまり(6)は(5)と等価となる。

問題解決策:フーリエ変換

リーマン和による非周期関数複素フーリエ級数表現で表した区分的に滑らかで絶対可積分な非周期関数f(x)のフーリエ変換とフーリエ逆変換を記述する。

$$f(x) = \lim_{L \to \infty}f_L(x) = \frac{1}{2 \pi}\lim_{L \to \infty}\sum_{n=-\infty}^{\infty}{\int_{-L}^{L}f_L(t)e^{-i\omega_nt}dt}e^{i\omega_nx}(\omega_n – \omega_{n-1})$$

$$= \frac{1}{2\pi}\int_{-\infty}^{\infty}{\int_{-\infty}^{\infty}f(t)e^{-i\omega t}dt}e^{i\omega x}d\omega \tag{1}$$

f(x)のフーリエ変換に対応させた関数F(ω)は次のように表現される。

$$F(\omega) = {\int_{-\infty}^{\infty}f(t)e^{-i\omega t}dt} \tag{2}$$

(1)に(2)を代入すると、フーリエ逆変換は次のように表現される。

$$f(x) = \frac{1}{2\pi}\int_{-\infty}^{\infty}F(\omega)e^{i\omega x}d\omega \tag{3}$$

離散スペクトルと連続スペクトルの差異

周期2Lの区分的に滑らかな周期関数を前提としたフーリエ級数の再記述より、周期2Lのフーリエ級数は次のようになる。

$$f(x) = \frac{1}{2}a_0 + \sum_{n=1}^{\infty}(a_n \cos \frac{n\pi}{L}x + b_n \sin \frac{n\pi}{L}x) \tag{4}$$

ここで、$$A_n = \sqrt{a_n^2 + b_n^2}$$

$$\tan \alpha_n = \frac{a_n}{b_n}$$

とすれば、(4)の波動成分に対する加法定理により、

$$a_n\cos\frac{n\pi}{L}x + b_n\sin\frac{n\pi}{L}x$$

$$= A_n(\frac{a_n}{A_n}\cos\frac{n\pi}{L}x + \frac{b_n}{A_n}\sin\frac{n\pi}{L}x)$$

$$=A_n(\sin\alpha_n\cos\frac{n\pi}{L}x + \cos\alpha_n\sin\frac{n\pi}{L}x)$$

$$=A_n\sin(\frac{n\pi}{L}x + \alpha_n)$$

したがって、$$f(x) = \frac{1}{2}a_0 + \sum_{n=1}^{\infty}A_n\sin(\frac{n\pi}{L}x + a_n)$$

これにより、フーリエ級数における波動成分は振幅と周波数へと展開された。ここで得られるデータは離散的であるため、観察できるスペクトルも「離散スペクトル(Discrete spectrum)」となる。

これに対し、「連続スペクトル(Continuous spectrum)」は複素フーリエ級数から得られる。

オイラーの公式複素フーリエ級数より、

$$f_L(x) = \frac{1}{2L}\sum_{n=-\infty}^{\infty}c_ne^{i\frac{n\pi}{L}x}$$

波動成分の角周波数を$$\omega_n = \frac{2n\pi}{2L}$$とすれば、$$\omega_n – \omega_{n-1} = \frac{\pi}{L}$$となるため、

$$f_L(x) = \frac{1}{2\pi}\sum_{n=- \infty}^{\infty}{\int_{-L}^{L}f_L(t)e^{-i\omega_nt}dt}e^{i\omega_nx}(\omega_n – \omega_{n-1})$$

Lを∞に近付けると、

$$f(x) = \frac{1}{2\pi}\int_{- \infty}^{\infty}{\int_{- \infty}^{\infty}f(t)e^{-i\omega t}dt}e^{i\omega x}d\omega$$

この時、フーリエ変換は、次のようになる。

$$F(\omega) = \int_{- \infty}^{\infty}f(x)e^{-i \omega x}dx$$

|F(ω)|は振幅となり、-iωxは角周波数となる。これにより、連続スペクトルが得られる。

問題再設定:有限の中の無限、あるいは「全体」を凌駕する「部分」

フーリエ変換は、フーリエ展開の区間幅を無限大にした極限である。言い換えれば、基本周波数を無限小にした極限を求めることが、フーリエ変換機能だ。もとより、ゴットフリート・ヴィルヘルム・ライプニッツを引き合いに出すまでもなく、積分は無限小の和であると素朴に定義することができる。この定義に有限近似や有限和などのような制約条件を課すことは、ここでは二次的な問題として扱って構わないであろう。我々の参照問題は、リーマン和による非周期関数複素フーリエ級数表現で表した区分的に滑らかで絶対可積分な非周期関数f(x)のフーリエ変換を、「意味」を構成するシステム形式の振動の解析に応用することである。我々は、この意味形式の解析が如何にして可能になるのかを問わなければならない。

フーリエ変換は、微小な周期で振動している概念の複合性を縮減する。そうすることで、言わばパラドックスを細分化した上で観察することを可能にする。フーリエ変換によって顕在化された複数の波の中にも、周波数の差異がある。高周波数で振動している概念ほど、Aと非Aの「同時」性が高い。つまり周波数の落差が、記述すべきパラドックスの選択をも可能にするのである。逆に言えば、観察した時点でパラドックス化していない形式は、周波数が低いということになる。そうした区別に対しては、区別の中に区別を再導入することによって、周期無限小になるほどまで狭めることによるパラドックス化が可能になるということがわかる。

以上の認識を前提とすれば、形式の振動の周期は、パラドックスを探索する深層強化学習エージェントに付与すべき報酬値となり得るであろう。周期の低い形式を発見するほど、その探索が準拠した状態-行動に対する報酬を高めるのである。あるいはこの周期という形式は、パラドックス化すべき形式脱パラドックス化すべき形式の分類問題においても機能する。こうしたアルゴリズム設計実装されたエージェントは、誕生した時点で既に、ある概念をパラドックス化するということが、その形式の振動の周期無限小にまで狭めることであるということを、予め知っていることになる。

こうして観ると、パラドックス化脱パラドックス化の循環を「観察するシステム」は、サイバネティクス的なフィードバック・ループとして設計することが可能であることがわかる。「固有値」や『不思議の環』のような概念が物語っているように、セカンドオーダー・サイバネティクスを前提とした場合であっても、このフィードバック・ループの重要性は変わらない。「もう卒業した」とは言わずにもう一度ノーバート・ウィナーのサイバネティクス理論を確認して観ると、もとより彼の著作ではライプニッツがサイバネティクスの「守護聖人(partron saint)」として召喚されていることを再認識できる。ウィナーによれば、ライプニッツの哲学を特徴付けているのは、普遍的な記号論(universal symbolism)と推論の微分積分法(calculus of reasoning)の関連である。現代の数学的な記号法と記号論理学は、これらの概念の関連付けによって生み出されている。算術が算盤や卓上型の計算機を経て超高速計算を可能にするコンピュータへと結実したように、ライプニッツの微分積分学には推論機械の兆候が見て取れた。実際、ライプニッツ自身、金属部品で計算機械を開発することに興味を持っていたという。

ライプニッツの数学には「無限」の概念が相次いで登場する。この概念は主に、「カテゴレマティック(catégorématique)な無限」と「サンカテゴレマティック(syncatégorématique)な無限」と「ハイパーカテゴレマティック(hypercategorematicum)な無限」の区別によって導入されている。カテゴレマティックな無限とは、真の全体として存在する無限数を意味する。それは数学的な実無限を表す。一方、サンカテゴレマティックな無限は、潜在的な無限意味する。カテゴレマティックな無限がそれ自体として存立し得るのに対して、サンカテゴレマティックな無限は他を伴わせることでしか存立し得ない無限である。他方、ハイパーカテゴレマティックな無限は、全知全能のそのものによって可能となる無限である。被造物によって可能となる無限が部分的で制約された無限であるのに対して、この無限は絶対的である。ハイパーカテゴレマティックな無限は、あらゆる被造物の無限に対して論理的に先行する。

の絶対的な無限を前にすれば、人間が成し得る無限仮象に過ぎない。だからこそライプニッツは、自身が無限小の解析を実践していたにも拘らず、如何なる真なる無限数も容認しなかったのだ。彼が無限の概念を導入していたのは、ひとえに、それが無限小の解析において有用であったためである。ライプニッツにとっての無限とは、虚構であるものの、解析のために機能する操作的な概念であったのだ。

サイバネティクス理論においても、この無限の概念は、機能する虚構として再記述されている。無限小無限大といった概念は、ライプニッツ以来も、数学的な主題として記述されてきた。だがウィナーも述べているように、そうした無限についての証明それ自体は、無限ではない。有限の段階を超える証明は許容されないのである。実際ウィナーも例示する通り、例えば数学的帰納法による証明は、無限の段階を包含しているかのように見える。だが、それは虚構なのだ。

「数学の証明が我々の到達し得るものであるとするなら、それは有限個の記号で記述できるものであるはずだ。これらの記号法は、無限の概念を用いることがあるかもしれない。だがそれは、例えば数学的帰納法の場合のように、実際には有限個の過程を積み重ねれば済むものである。数学的帰納法においては、パラメタnに依存する定理をまずn = 0について証明する。次にn + 1の場合がnの場合から導かれることを指し示す。それにより、nの全ての自然数に対してその定理が成立することを証明するのである。また、演繹法の推論の規則は有限個に限定される。あるいは無限の概念を利用することによって、これらの諸規則が無限にあるかのように見えるかもしれない。だが無限の概念それ自体は有限個の用語で表される。」
Wiener, Norbert. (1961). Cybernetics or Control and Communication in the Animal and the Machine (Vol. 25). MIT press., 引用はpp.12-13.より。

証明とは、有限個の段階の中で明確な結論に到達するための論理過程である。しかし、こうした微分積分をはじめとする数学によって設計された推論機械には、その作動が一定の諸規則に従うことはあれど、一つの結論に到達する必要が全く無い。その作動は、絶え間なく複合性を増大させていく一定の周期パターンを指し示す場合もあれば、あるいは永久にチェックを繰り返すチェスの終盤戦のような反復状態を指し示す場合もあるはずだ。いずれにせよこの作動は、異なる状態や行動の段階を循環するために、決して停止しないという可能性すらある。ウィナーは、こうした循環状態が「ラッセルのパラドックス」のような場合に成り立つと明確に指摘している。つまり、自己言及のパラドックスが発現している状況では、有限個の記号操作が無限の循環を成立させる可能性否定できなくなるのである。

この時、パラドックス化脱パラドックス化の循環を「観察するシステム」は、自己自身もまたパラドックス化脱パラドックス化の対象になり得るという自己言及によって、パラドックス化脱パラドックス化無限の循環に包含されることになる。パラドックスを探索するエージェントは、かくして自己論理的な推論により、パラドックス化脱パラドックス化の循環に対するシステム合理性を確保する。

参考文献

ベイズ主義に関する参考文献

Cooper, Gregory F., Herskovits, Edward. (1992) A Bayesian Method for the Induction of Probabilistic Networks from Data, Machine Learning, 9, pp309-347.
Cowles, M., & Davis, C. (1982) On the origins of the .05 level of statistical significance. American Psychologist, Vol. 37, No. 5, pp553-558.
Fisher, Ronald Aylmer. (1926) “The arrangement of field experiments,” Journal of the Ministry of Agriculture of Great Britain 33, pp503-513.
Lehmann, E. L. (1993) The Fisher, Neyman-Pearson theories of testing hypotheses: One theory or two? Journal of the American Statistical Association, 88, pp1242-1249.
Mayer-Schonberger, Viktor., Cukier, Kenneth. (2013) Big Data: A Revolution That Will Transform How We Live, Work and Think, John Murray Publishers Ltd.
Pearl, Judea. (1986) “Fusion, Propagation, and Structuring in Belief Networks,” Artificial Intelligence, 29, pp241-288.
Ronald L. Wasserstein & Nicole A. Lazar (2016): The ASA’s statement on p-values: context, process, and purpose, The American Statistician, DOI: 10.1080/00031305.2016.1154108.
Simon, Herbert Alexander. (1976) Administrative behavior: a study of decision-making processes in administrative organization, 3th Edition, Free Press.
本村陽一、岩崎弘利 (2006) 『ベイジアンネットワーク技術: ユーザ・顧客のモデル化と不確実性推論』東京電機大学出版局。

強化学習とバンディットアルゴリズムに関する参考文献

Agrawal, S., & Goyal, N. (2011). Analysis of Thompson sampling for the multi-armed bandit problem. arXiv preprint arXiv:1111.1797.
Bubeck, S., & Cesa-Bianchi, N. (2012). Regret analysis of stochastic and nonstochastic multi-armed bandit problems. arXiv preprint arXiv:1204.5721.
Chapelle, O., & Li, L. (2011). An empirical evaluation of thompson sampling. In Advances in neural information processing systems (pp. 2249-2257).
Kaufmann, E., Cappe, O., & Garivier, A. (2012). On Bayesian upper confidence bounds for bandit problems. In International Conference on Artificial Intelligence and Statistics (pp. 592-600).
Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D., & Riedmiller, M. (2013). Playing atari with deep reinforcement learning. arXiv preprint arXiv:1312.5602.
Richard Sutton and Andrew Barto (1998). Reinforcement Learning. MIT Press.
Watkins, C. J. C. H. (1989). Learning from delayed rewards (Doctoral dissertation, University of Cambridge).
Watkins, C. J., & Dayan, P. (1992). Q-learning. Machine learning, 8(3-4), 279-292.
White, J. (2012). Bandit algorithms for website optimization. ” O’Reilly Media, Inc.”.

統計的機械学習問題の枠組みと深層学習に関する参考文献

Ackley, D. H., Hinton, G. E., & Sejnowski, T. J. (1985). A learning algorithm for Boltzmann machines. Cognitive science, 9(1), 147-169.
Hinton, G. E. (2002). Training products of experts by minimizing contrastive divergence. Neural computation, 14(8), 1771-1800.
人工知能学会, 嶌敏弘(編)『深層学習』近代科学社、2015
Le Roux, N., & Bengio, Y. (2008). Representational power of restricted Boltzmann machines and deep belief networks. Neural computation, 20(6), 1631-1649.
Salakhutdinov, R., & Hinton, G. E. (2009). Deep boltzmann machines. InInternational conference on artificial intelligence and statistics (pp. 448-455).
S. Kullback and R. A. Leibler. (1951). “On Information and Sufficiency,” The Annals of Mathematical Statistics, Vol. 22, No. 1 (Mar., 1951), pp. 79-86.
Wainwright, M. J., & Jordan, M. I. (2008). Graphical models, exponential families, and variational inference. Foundations and TrendsR in Machine Learning, 1(1-2), 1-305.
Y Rubner (2000) “The Earth Mover’s Distance as a Metric for Image Retrieval,” International Journal of Computer Vision
November, Volume 40, Issue 2, pp. 99-121.

深層学習に関する参考文献

Baroni, M., Dinu, G., & Kruszewski, G. (2014, June). Don’t count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors. In ACL (1) (pp. 238-247).
Bengio, Y. (2009). Learning deep architectures for AI. Foundations and trendsR in Machine Learning, 2(1), 1-127.
Rumelhart, D.E., Hinton. G.E., Williams, R.J. (1986). “Learning representations of back-propagation errors,” Nature, 323, 533-536.
Cho, K., Van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078.
Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv preprint arXiv:1412.3555.
Gers, F. A., Schmidhuber, J., & Cummins, F. (2000). Learning to forget: Continual prediction with LSTM. Neural computation, 12(10), 2451-2471.
Goldberg, Yoav & Levy, Omer. (2014). word2vec explained: deriving Mikolov et al.’s negative-sampling wordembedding method. arXiv preprint arXiv:1402.3722.
Mikolov, T., Kombrink, S., Burget, L., Černocký, J. H., & Khudanpur, S. (2011, May). Extensions of recurrent neural network language model. In Acoustics, Speech and Signal Processing (ICASSP), 2011 IEEE International Conference on (pp. 5528-5531). IEEE.
Mikolov, T., & Zweig, G. (2012, July). Context dependent recurrent neural network language model. In SLT (pp. 234-239).
Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., & Dean, J. (2013). Distributed representations of words and phrases and their compositionality. InAdvances in neural information processing systems (pp. 3111-3119).
Niu, L. Q., & Dai, X. Y. (2015). Topic2Vec: Learning Distributed Representations of Topics. arXiv preprint arXiv:1506.08422.
Song, F., & Croft, W. B. (1999, November). A general language model for information retrieval. In Proceedings of the eighth international conference on Information and knowledge management (pp. 316-321). ACM.
Sundermeyer, M., Schlüter, R., & Ney, H. (2012, September). LSTM Neural Networks for Language Modeling. In INTERSPEECH (pp. 194-197).
Werbos, P. J. (1990). Backpropagation through time: what it does and how to do it. Proceedings of the IEEE, 78(10), 1550-1560.
人工知能学会, 嶌敏弘(編)『深層学習』近代科学社、2015

自然言語処理とテキストマイニングに関する参考文献

Kamp, H., & Partee, B. (1995). Prototype theory and compositionality.Cognition, 57(2), 129-191.
Kamp, H., & Reyle, U. (2013). From discourse to logic: Introduction to modeltheoretic semantics of natural language, formal logic and discourse representation theory (Vol. 42). Springer Science & Business Media.
工藤拓 (2005)『形態素周辺確率を用いた分かち書きの一般化とその応用』言語処理学会第11回年次大会発表論文集。
工藤拓 (2011) Mecab: Yet another part-of-speech and morphological analyzer. chasen. aist-nara.ac.jp.
石田基広 (2008) 『Rによるテキストマイニング入門』森北出版。

フーリエ変換に関する参考文献

Lighthill, M. J. (1958). An introduction to Fourier analysis and generalised functions. Cambridge University Press.
Luhmann, Niklas. (1995) Die Kunst der Gesellschaft, Suhrkamp Verlag, Frankfurt.
Tolstov, G. P. (2012). Fourier series. Courier Corporation.

無限に関する参考文献

Leibniz, G. W. (1996). New essays on human understanding, P. Remnant & J. Bennett, Eds. and Trans. New York: Cambridge University Press
Wiener, Norbert. (1961). Cybernetics or Control and Communication in the Animal and the Machine (Vol. 25). MIT press.
ゴットフリート・ヴィルヘルム・ライプニッツ(1987) 『人間知性新論』米山優 訳、みすず書房。

スポンサーリンク