【ハックしないE資格対策記-02-】~固有値分解って結局何なの？圏を突破しよう

【ご挨拶】こんにちは！ぬかさんエンジニアリングです。

【本シリーズの概要】

〔物事をうまくやるための〕こつ、アイデア [^1]

人工知能の分野は、良くも悪くも、「人工知能の定義がない」ということに由来する特徴があります。さまざまな技術を取り込む寛容性がある一方で、なんでもかんでも人工知能と言ってしまうことができ、過剰期待を生みやすい性質もあります。だからこそ、人工知能の分野においては、ある一定の知識レベル・技術レベルの基準を作るということが大変重要と考えます。本協会では、初期の重要な活動としてディープラーニングに関する資格試験を実施したいと考えています。ユーザ企業やエンジニアが、一定の知識レベルを担保することで、地に足の着いた議論や事業開発ができるものと考えています。[^2]

ディープラーニングの理論を理解し、適切な手法を選択して実装する能力や知識を有しているかを認定する。[^3]

【今回のテーマ】～固有値分解のイメージと計算方法～

〔ファスト固有値分解〕

◆基本の手順◆

1. 固有値分解したい行列が$n$次正方行列かを確認する
   固有値分解を適応できるのは正方行列のみなので、それ以外の行列には特異値分解を適応する
2. 固有値分解とは$n$次正方行列$A$を$PΛP^{-1}$に分解する手法であることを確認する。
   $Λ$ ：固有値を対角成分に持つ$n$次対角行列
   $P$ ：固有ベクトルを列方向に並べた$n$次の正方行列(逆行列が存在するので正則行列）
   $P^{-1}$ ：正則行列$P$の逆行列
3. 固有値$λ$を$n$個求めて$Λ$を完成させる
   サラスの公式か余因子展開を使って固有方程式$det(λI-A)=0$を、固有値$λ$について解く
   固有値に重解があった場合は$n$個未満であることに注意
4. 固有ベクトル$\boldsymbol{u}$を$n$個求めて$P$を完成させる
   各固有値それぞれについて、固有値を代入した固有方程式と文字で置いた固有ベクトルの同次連立一次方程式を行基本変形やクラメルの公式を使って解く
   重解については、重解の次数分だけ一次独立な固有ベクトルを取れるなら固有値分解可能だが、取れなければジョルダン標準形でアプローチする
5. $P$から逆行列$P^{-1}$を完成させる
   $P$が二次正方行列であれば二次正方行列の逆行列の公式、三次正方行列以上であれば掃き出し法を使って逆行列を求める。
6. 固有値分解の完成！
7. $PΛP^{-1}$を実際に計算して$A$と等しくなるか確かめる。

◆補足知識◆

• 行列$A$が対称行列の場合、$P$は直交行列となり$P$の逆行列$P^{-1}$は転置行列$P^{T}$と等しくなるため、逆行列を求める必要がない。
• 固有ベクトルは自明でない解であり、任意定数を含んでいるので大きさの解が無限に存在するが、大きさ１のベクトルに限定することで１つの解を求めることができる。

〔固有値・固有ベクトル〕

◆定義◆

$n$次正方行列$A$に対し、スカラー$λ$と零ベクトルでない$n$項ベクトル$\boldsymbol{u}≠0$が、

$A\boldsymbol{u}=λ\boldsymbol{u}$

を満たすとき$λ$を$A$の固有値といい、$\boldsymbol{u}$を$A$の固有値$λ$に関する固有ベクトルという。[^4]

• スカラー$λ$ 実数(整数と差が１の整数と整数の間の全て) 3,0,-12,4.82,-1/2,0.3333･･･,$\pi$等々
• $n$次正方行列$A$ 行と列の要素の数が等しい行列

• n項ベクトル$\boldsymbol{u}$：成分をn個持つ縦ベクトル

◆イメージ◆

• 非固有ベクトルの場合
  2次正方行列$A=\begin{pmatrix}4 & 1 \\3 & 6 \\ \end{pmatrix}$と適当なベクトル$\boldsymbol{u}=\begin{pmatrix}2 \\ 1 \\ \end{pmatrix}$を用意します。
  ここで$\boldsymbol{u}$を$A$で一次変換を行うと、結果は$\boldsymbol{u}=\begin{pmatrix}9 \\12 \\ \end{pmatrix}$となります。
  イメージはこの通りです。

• 固有ベクトルの場合
  2次正方行列$A=\begin{pmatrix}4 & 1 \\ 3 & 6 \\ \end{pmatrix}$とベクトル$\boldsymbol{u}=\begin{pmatrix}1 \\ 3 \\ \end{pmatrix}$を用意します。
  ここで$\boldsymbol{u}$を$A$で一次変換を行うと、結果は$\boldsymbol{u}=\begin{pmatrix}7 \\ 21 \\ \end{pmatrix}$となります。 イメージはこの通りです。

• 固有ベクトルに対する固有値
  ここで求めた固有ベクトル$\bigl(\begin{smallmatrix}7 \\ 21 \\ \end{smallmatrix}\bigl)$ は、変換前のベクトル$\bigl(\begin{smallmatrix}1 \\ 3 \\ \end{smallmatrix}\bigl)$ にスカラー$7$を掛けたベクトルだとも見て取れます。このスカラー$7$を固有ベクトルに対する固有値と言います。

◆固有値の求め方◆

▽固有方程式の定義▽

$n$次正方行列$A$に対し、文字$t$についての多項式

$F_A(t)=|tI-A|$

を$A$の固有多項式という。また、$t$についての方程式

$F_A(t)=0$

を$A$の固有方程式という。[^4]

• 固有方程式
  $t$に関する方程式のこと。tは固有値$λ$のことであり、固有方程式を解くことで固有値$λ$が求められる。

▽イメージ▽

▽固有方程式の求め方▽

◆固有ベクトルの求め方◆

▽三次以上の連立一次方程式の求め方▽

1. 係数行列($(A-λ_{i}I)$の部分)を行基本変形を使って階段行列に変換してから$\boldsymbol{u_{j}}$を掛ける
   以下の行基本変形で可能な３つの変形
   １．ある行のc倍を他の行に加えること
   ２．２つの行を入れ替えること
   ３．ある行をc≠0倍すること
   を使って先に係数行列を階段行列に変形します。階段行列がよくわからんという方は下記の◆階段行列◆をご覧頂いてから戻ってきてください。
   例えば、
   $\begin{pmatrix}-2 & 1 & 1\\ -1 & -4 & 5\\ -1 & -1 & 2\\ \end{pmatrix}\begin{pmatrix}x \\y \\z \\ \end{pmatrix}=\begin{pmatrix}0 \\0 \\0 \\ \end{pmatrix}$
   この同次連立一次方程式の固有ベクトルを求める場合、
   $\begin{pmatrix}-2 & 1 & 1\\ -1 & -4 & 5\\ -1 & -1 & 2\\ \end{pmatrix}\rightarrow \begin{pmatrix}1 & 0 & -1 \\0 & 1 & -1 \\0 & 0 & 0 \\ \end{pmatrix}$
   係数行列を行基本変形によって階段行列に変形して
   $x-z=0 , y-z=0$
   $u$を掛けて一次方程式に直すと
   $\boldsymbol{u}=\begin{pmatrix}x \\y \\z \\ \end{pmatrix}=\begin{pmatrix}c \\c \\c \\ \end{pmatrix}=c\begin{pmatrix}1 \\1 \\1 \\ \end{pmatrix}(ただしc≠0)$
   自明でない解を任意定数$c$を用いてこのように求められます。この方法であれば、行基本変形で可能な変形さえ守れば堅実に答えが求まるので３次以上の正方行列を扱うことが有ればぜひ使ってみてください。
2. クラメルの公式を使う
   クラメルの公式については、以下のリンクに飛んでどういったものか確認してください。
   クラメルの公式とその例題・証明をていねいに | 数学の景色
   ただし、リンク先でも注意されている通りクラメルの公式の計算は煩雑で手計算で解くのはあまりお勧めできません。

〔固有値分解〕

◆定義◆

• $Λ$ 固有値を対角成分に持つ対角行列 固有値を固有値を左上から並べる順番と正則行列$P$の固有ベクトルを左から並べる順番は対応している必要があるので、手計算するときなどはしっかり下付き文字などそれぞれの固有値と固有ベクトルのペアが分かるようにしておくと便利。
  ここで少し対角化に触れておく。他の方の記事などで、「固有値分解」と同じものとして「対角化」という言葉を目にした方もいるだろう。 この対角化は本質的に固有値分解と同じことしており、どちらも$Λ$に注目していることに変わりはない。ただ、式にはこのような違いがある。
  固有値分解
  $A=PΛP^{-1}$
  対角化
  $P^{-1}AP=Λ$
  しかし、固有値分解の式と対角化の式は互いに相手と同じ形の式に変形できて、使う情報も同じなので、同じものとして扱われている。気になる方は、逆行列の性質を利用してお互いの式を相手と同じ形に直してみていただきたい。
• $P$ 固有ベクトルを列方向に並べた正方行列(逆行列が存在するので正則行列） 成分を表示すると、
  $P=(\boldsymbol{u_1}\boldsymbol{u_2}\dots\boldsymbol{u_n})\\ \quad=(\begin{pmatrix}x_{11}\\x_{12}\\ \vdots\\x_{1n}\end{pmatrix}\begin{pmatrix}x_{21}\\x_{22}\\ \vdots\\x_{2n}\end{pmatrix}\dots\begin{pmatrix}x_{n1}\\x_{n2}\\ \vdots\\x_{nn}\end{pmatrix})\\ \quad=\begin{pmatrix} x_{11} & x_{21} & \dots & x_{n1} \\x_{12} & x_{22} & \dots & x_{n2} \\ \vdots & \vdots & \ddots & \vdots \\x_{1n} & x_{2n} & \dots & x_{nn} \end{pmatrix}$
  となる。
• $P^{-1}$ 正則行列$P$の逆行列 行列$(P\quad I_n)$を何回かの行基本変形により$(I_n\quad B)$に変形して得られる$B$のことである。
  逆行列の求め方については、下記◆逆行列◆により詳しく解説しているのでご覧いただいて理解出来たら戻ってきてください。

◆固有値分解の求め方◆

1. 固有値分解したい行列が$n$次正方行列かを確認する
   行列$A$は三次正方行列なので固有値分解の手法を適応できます。
2. 固有値分解とは$n$次正方行列$A$を$PΛP^{-1}$に分解する手法であることを確認する。
   $Λ$ ：固有値を対角成分に持つ3次対角行列
   $P$ ：固有ベクトルを列方向に並べた3次の正方行列(逆行列が存在するので正則行列）
   $P^{-1}$ ：正則行列$P$の逆行列
3. 固有値$λ$を$n$個求めて$Λ$を完成させる
   $A$について固有値を求めます。
   固有値の求め方は◆固有値の求め方◆と変わりません。
   はじめに固有方程式$det(A-λI)$に$A$を代入します。
   $det(A-λI)=\begin{vmatrix}\begin{pmatrix}3 & 0 & 1\\0 & 1 & 0\\1 & 0 & 3\\ \end{pmatrix}-\begin{pmatrix}λ & 0 & 0\\0 & λ & 0\\0 & 0 & λ\\ \end{pmatrix}\end{vmatrix}=\begin{vmatrix}3-λ & 0 & 1 \\0 & 1-λ & 0 \\1 & 0 & 3-λ \\ \end{vmatrix}=0$
   ここまでは先ほどを全く同じ手順です。
   その後サラスの公式を用いると固有値は $λ=1,2,4$ であることが分かります。 ここで、新たに余因子展開を使って行列式を解く手法を紹介したいと思います。
   余因子展開は$n>1$次正方行列なら使うことができるの便利な手法なので覚えておいて損はないので実際に計算してみましょう。余因子展開の定義は下記の◆余因子展開◆からご確認ください。
   今回の例では2列目について余因子展開を行います。余因子展開する行か列を選ぶ際には０の数が一番多くなる場所を選ぶと良いです。何故なら、０の成分の余因子展開は必ず０になるからです。今回もそのメソッドに則って２回０が出てくる２列目を選択します。
   計算式は以下の通りとなります。
   $|A|=(0)_{21}(-1)^{2+1}\begin{vmatrix}0 & 0 \\1 & 3-λ \\ \end{vmatrix}+(1-λ)₂₂(-1)^{2+2}\begin{vmatrix}3-λ & 1\\1 & 3-λ\\ \end{vmatrix}+(0)₂₃(-1)^{2+3}\begin{vmatrix}3-λ & 1 \\0 & 0 \\ \end{vmatrix}$
   イメージはこの通り。

4. 固有ベクトル$\boldsymbol{u}$を$n$個求めて$P$を完成させる
   $A$について固有ベクトルを求めます。 求め方は◆固有ベクトルの求め方◆と変わりません。
   三次正方行列の固有ベクトルの各成分は３つあり同次連立一次方程式を解くのが難しくなってくるので、練習として係数行列に対して行基本変形を行ってから計算してみてください。
   計算の結果求められた各固有ベクトルは以下の通りです。
   固有値$λ_1=1$の場合
   $\boldsymbol{u_1}=\begin{pmatrix}0\\1\\0\\ \end{pmatrix}$
   固有値$λ_2=2$の場合
   $\boldsymbol{u_1}=\begin{pmatrix}-1\\0\\1\\ \end{pmatrix}$
   固有値$λ_3=4$の場合
   $\boldsymbol{u_1}=\begin{pmatrix}1\\0\\1\\ \end{pmatrix}$
   固有値分解の定義より
   $P=(\boldsymbol{u_1}\boldsymbol{u_2}\dots\boldsymbol{u_n})$
   であるので、今回求めた固有ベクトルから
   $P=\begin{pmatrix}0 & -1 & 1\\1 & 0 & 0\\0 & 1 & 1\\ \end{pmatrix}$
   が求まります。
5. $P$から逆行列$P^{-1}$を完成させる
   $P$について逆行列を求めます。
   逆行列の求め方は◆逆行列◆で説明した通りです。
   それでは実際に行基本変形を使って計算してみましょう。
   定理により、$P$と単位行列$I_n$を並べてできる$n×2n$行列$(P\quad I_n)$は
   $\begin{pmatrix}0 & -1 & 1 & 1 & 0 & 0 \\1 & 0 & 0 & 0 & 1 & 0 \\0 & 1 & 1 & 0 & 0 & 1 \\ \end{pmatrix}$
   であり、左3×3行列を単位行列$I_n$にするために行基本変形を行います。
   $\begin{pmatrix}0 & -1 & 1 & 1 & 0 & 0 & ⇐\\1 & 0 & 0 & 0 & 1 & 0 \\0 & 1 & 1 & 0 & 0 & 1 \\ \end{pmatrix}$
   ２行目の１倍を１行目に追加
   $\begin{pmatrix}1 & -1 & 1 & 1 & 1 & 0 \\1 & 0 & 0 & 0 & 1 & 0 & ⇐\\0 & 1 & 1 & 0 & 0 & 1 \\ \end{pmatrix}$
   １行目の‐１倍を２行目に追加
   $\begin{pmatrix}1 & -1 & 1 & 1 & 1 & 0 \\0 & 1 & -1 & -1 & 0 & 0 \\0 & 1 & 1 & 0 & 0 & 1 & ⇐\\ \end{pmatrix}$
   ２行目の‐１倍を３行目に追加
   $\begin{pmatrix}1 & -1 & 1 & 1 & 1 & 0 & ⇐\\0 & 1 & -1 & -1 & 0 & 0 \\0 & 0 & 2 & 1 & 0 & 1 \\ \end{pmatrix}$
   ２行目の１倍を１行目に追加
   $\begin{pmatrix}1 & 0 & 0 & 0 & 1 & 0 \\0 & 1 & -1 & -1 & 0 & 0 & ⇐\\0 & 0 & 2 & 1 & 0 & 1 \\ \end{pmatrix}$
   ３行目の1/2倍を２行目に追加
   $\begin{pmatrix}1 & 0 & 0 & 0 & 1 & 0 \\0 & 1 & 0 & -1/2 & 0 & 1/2 \\0 & 0 & 2 & 1 & 0 & 1 & ｜\\ \end{pmatrix}$
   ３行目を1/2倍
   $\begin{pmatrix}1 & 0 & 0 & 0 & 1 & 0 \\0 & 1 & 0 & -1/2 & 0 & 1/2 \\0 & 0 & 1 & 1/2 & 0 & 1/2 \\ \end{pmatrix}$
   これで、左3×3行列を単位行列$I_n$にすることができました。掃きだされた右3×3行列は$B$であり、$P^{-1}$です。つまり、$P$の逆行列は
   $P^{-1}=\begin{pmatrix}0 & 1 & 0\\ -1/2 & 0 & 1/2\\1/2 & 0 & 1/2\\ \end{pmatrix}$

6. 固有値分解の完成！
   $A=PΛP^{-1}$
   $\begin{pmatrix}3 & 0 & 1\\0 & 1 & 0\\1 & 0 & 3\\ \end{pmatrix}= \begin{pmatrix}0 & -1 & 1\\1 & 0 & 0\\0 & 1 & 1\\ \end{pmatrix}\begin{pmatrix}1 & 0 & 0\\0 & 2 & 0\\0 & 0 & 4\\ \end{pmatrix}\begin{pmatrix}0 & 1 & 0\\ -1/2 & 0 & 1/2\\1/2 & 0 & 1/2\\ \end{pmatrix}$
7. $PΛP^{-1}$を実際に計算して$A$と等しくなるか確かめる。
   最後に、固有値分解の式にそれぞれ求めた行列を当てはめて固有値分解が成り立っているか確認してみましょう。
   $A=PΛP^{-1}$より、
   $P=\begin{pmatrix}0 & -1 & 1\\1 & 0 & 0\\0 & 1 & 1\\ \end{pmatrix}$
   $Λ=\begin{pmatrix}1 & 0 & 0\\0 & 2 & 0\\0 & 0 & 4\\ \end{pmatrix}$
   $P=\begin{pmatrix}0 & 1 & 0\\ -1/2 & 0 & 1/2\\1/2 & 0 & 1/2\\ \end{pmatrix}$

〔固有値分解を解くための重要知識〕

◆一次変換(線形変換)◆

▽定義▽

平面上の変換$f$によって点$(x,y)$が移る点を$(x',y')$とする。定数$a,b,c,d$により、関係式

$\begin{pmatrix}x' \\ y' \\ \end{pmatrix}=\begin{pmatrix}a & b \\ c & d \\ \end{pmatrix}\begin{pmatrix}x \\ y \\ \end{pmatrix}$

が全ての点(x,y)に対して成り立つとき、fを行列$\bigl(\begin{smallmatrix}a & b \\ c & d \\ \end{smallmatrix}\bigl)$ が表す一次変換（または線形変換）という。[^5]

• 変換f
  座標平面上の点をある一定の規則で移動させること 変換を記号であらわす場合、$f$や$g$等のアルファベットの小文字が用いられることが多い。

▽イメージ▽

図示するとこう移動していると分かります。 途中式を考えると、

図示するとこう移動していると分かります。 ベクトル$\bigl(\begin{smallmatrix}2 \\ 3 \\ \end{smallmatrix}\bigl)$ が$y$方向に2倍大きくなっています。

◆同次連立一次方程式◆

▽定義▽

$A$を$m×n$行列、$\boldsymbol{x}=\begin{pmatrix}x_{1} \\ x_{2} \\ \vdots \\ x_{n}\end{pmatrix}$,$\boldsymbol{b}=\begin{pmatrix}b_{1} \\ b_{2} \\ \vdots \\ b_{m}\end{pmatrix}$とする。連立１次方程式$A\boldsymbol{x}=\boldsymbol{b}$において、右辺の$\boldsymbol{b}$が０であるもの、すなわち$A\boldsymbol{x}=0$の形のものを同次連立１次方程式とよぶ。

同次連立１次方程式は必ず、$x=0$という解を持つ。この解を自明な解という。[^6]

▽イメージ▽

◆階段行列◆

▽定義▽

まず、第一行から$r$行まではピボットと呼ばれる数１を含んでいる。

この前提条件の下、

1.第$r＋1$行から最後の行までは全ての要素が０

2.第一行からr行(今回は2行目)までの各行では、ピボットより左の成分は全て０

3.第$i$行目のピボットが含まれる列の番号を$p_{i}$としたとき、番号の大きさは

$p_{1}<p_{2}<...<p_{r}$であり、第$p_{i}$列ではピボット以外の要素は全て０

を満たす行列を階段行列という。[^7]

▽補足知識▽

◆逆行列◆

▽定義▽

• $n$次正方行列Aに対して、$AX=XA=I_{n}$ となる$n$次正方行列$X$が存在するとき、$X$を$A$の逆行列と呼ぶ。次の命題2.64($n$次行列$A$に対して、$AX=XA=I_{n}$を満たすn次行列Xは、存在すればただ１つである。)より、$A$の逆行列は存在すればただ一つであり、これを$A^{-1}$と表す。
• 正方行列$A$の逆行列が存在するとき、$A$は正則行列である。[^8]