パーセプトロンとディープラーニング

　機械学習の勉強にパーセプトロンは避けて通れません。なぜならサポートベクトルマシンもディープラーニングもパーセプトロンから派生してきたからです。
　マージンを最大化するパーセプトロンが線形サポートベクトルマシンです。それがカーネルトリックによって非線形サポートベクトルマシンへと発展していきました。
　同様に、パーセプトロンが多層化して階層型ニューラルネットワークとなり、様々な技術的ブレイクスルーを通じて各種ディープラーニングへと進化していきました。

　で、パーセプトロンがどう発展していったのかはこの図でいいんですが、ディープラーニング側から見ると問題があります。
　実はディープラーニングにはパーセプトロンから始まる階層型ニューラルネットワークと、ホップフィールド・ネットワークから始まる相互接続型ネットワークの流派があります。それを示したのが下の図です。

　ディープラーニングと一言で済ましていますが、実のところ様々な手法が混在しているわけです。