正規方程式とは何か

　数学の得意な人間はだいたいにおいてそうでない人間から見るとたいへん冷たいです。
「正規方程式とは何か？」という文系からの問いに、「最小二乗法を勉強すれば分かるでしょう？」という、木で鼻をくくったような回答をします。
　そもそも文系からすると「この『正規』という単語はどこから湧いて来たのか。どういう意味なのか」をまず知りたいのです。英語でいうとNormal Equationです。このNormalが何を指しているのかをまず知りたい。
　しかしながらポンと数式を出して「これが正規方程式です」で終わる。
　しかもその正規方程式が書籍やサイトによってまるで違う！（ように見える）

　『はじめてのパターン認識』だとこうです。

(1)

　Wikipediaだとこうです。

(2)

　そして一番分かりやすいであろう「高校数学の美しい物語」ではこうです。

(3)

　文系にはこれが全く違う式に見えます。せいぜい「(2)と(3)がなんか似てるかな……？」と思うぐらい。

　「正規方程式とは、条件さえ合えば解析的に最小二乗法が解ける式だけれども、大規模な疎行列のように特徴(変数)が多くなってくるとコストがかかるので勾配法で解いた方が良い」というのが文系が求める機械学習的な回答かと思います。