ihit's diary

ちょっとしたメモに

独立成分分析

春休み「これならわかる最適化数学」

これなら分かる最適化数学―基礎原理から計算手法まで

これなら分かる最適化数学―基礎原理から計算手法まで

を読んで主成分分析(PCA)に興味をもって、それの応用(?)の独立成分分析(ICA)も勉強してみることにした。

参考書は「[詳解] 独立成分分析

詳解 独立成分分析―信号解析の新しい世界

詳解 独立成分分析―信号解析の新しい世界

結構分厚い…
とりあえず14章まで頑張ろう。

とりあえず今日は1章
レビューには基本から書かれているみたいなこと書いてあったけどしょっぱなからムズイ!
もう心折れそう

1章でまず何よりもわかってなかったのは「無相関」と「独立」の違いについて。
これについてはここを読んで分かった。
「相関」は一方の値が決まった時にもう一方の値を推定するに役立つ規則性やら何なりがあるかないかを示している。
「独立」は一方の値が決まった時にもう一方の値に影響を与えるかどうかを示している。

相関⊃独立
という関係みたい

またICAを実現する方法としては2通りあって

  1. 非線形無相関化
    • s1とs2が独立ならば任意の非線形変換g(s1)とh(s2)は無相関らしくその性質を使うらしいことしかわからなかった…
    • 非線形関数h,gを選ぶには最尤推定を使うみたい。とりあえず9章まで我慢
  2. 極大非ガウス
    • 線形結合y=\Sigma_i{b_ix_i}の分散が一定という制約条件のもとで、その極大を求める。こっちはなんとか理解できそうな気がする。

らしい、これからゆっくり読み進めていきたいと思う。