読者です 読者をやめる 読者になる 読者になる

北野坂備忘録

主にインストールやプログラミングのメモを載せています。

パーセプトロンとディープラーニング

 機械学習の勉強にパーセプトロンは避けて通れません。なぜならサポートベクトルマシンもディープラーニングもパーセプトロンから派生してきたからです。
 マージンを最大化するパーセプトロンが線形サポートベクトルマシンです。それがカーネルトリックによって非線形サポートベクトルマシンへと発展していきました。
 同様に、パーセプトロンが多層化して階層型ニューラルネットワークとなり、様々な技術的ブレイクスルーを通じて各種ディープラーニングへと進化していきました。
f:id:kenichia:20160518225149p:plain
 で、パーセプトロンがどう発展していったのかはこの図でいいんですが、ディープラーニング側から見ると問題があります。
 実はディープラーニングにはパーセプトロンから始まる階層型ニューラルネットワークと、ホップフィールド・ネットワークから始まる相互接続型ネットワークの流派があります。それを示したのが下の図です。
f:id:kenichia:20160518225153p:plain
 ディープラーニングと一言で済ましていますが、実のところ様々な手法が混在しているわけです。