条件付き確率でどっちが条件か覚えられない！

いい歳をして右と左が分からない人がいます。同様に、いつまでたっても条件付き確率 p(A|B) でどちらが条件部分か覚えられない人がいます。というか、「条件付き確率」という日本語のせいで、 p(条件|確率) に思えてしまうようです。ここは疑似的に「条件…

2016-06-29

Excelのセル内改行の削除（前処理編）

前処理でExcelのセル内改行を削除したいときがあります。 Excelのセル内改行を削除する方法としては、・検索ボックスで「[Ctrl] +[J]」を入力して置換する方法が有名ですが、なぜかそれでは取り切れないセル内改行が存在します。これには、clean関数を使…

2016-06-28

マハラノビス距離（メモ）

マハラノビス距離はインド人の数理統計学者プラサンタ・チャンドラ・マハラノビスによって発明されました。「分散を考慮に入れた距離」とでも申しましょうか。マハラノビス距離を知るのにオススメのサイトはこちら。「教師なし学習による異常値検知: マハ…

2016-06-27

Wekaはこの先どうなるのか

「フリーソフトではじめる機械学習入門」という良くできた機械学習の入門書があります。フリーソフトではじめる機械学習入門ただし、使われているのがWeka。「この先Wekaを使うことがあるのか……？」と問われると答えに窮する。 Wekaを使うとどうしてもブ…

2016-06-26

観測データの無相関化（メモ）

特徴間に相関があると、識別には片方の特徴だけでよい、ということになる。主成分分析と無相関化は「分散が最大になる方向へと射影する」というアプローチは同じだが、無相関化：識別に多くの特徴を採用するため、特徴間の相関をなくす。主成分分析：情報…

2016-06-26

eclipse初心者によくあるミス(Servletのコピー)

Servletを単純にコピー&ペーストして開発。 ↓ しばらくするとサーバ(Tomcat)が起動しなくなる。重大: A child container failed during start（理由）コピー後に@WebServletを変更しなかったため。同じ@WebServlet名のServletが複数あると上記のエラーを…

2016-06-20

共分散行列（メモ）

正確には分散・共分散行列。対角行列は共分散ではなく分散であるため。共分散とは2 組の対応するデータ間での、平均からの偏差の積の平均値。分散共分散共分散共分散分散共分散共分散共分散分散スカラー値における分散をベクトルに拡張したもの。…

2016-06-20

『岩波データサイエンス Vol.3』[特集] 因果推論　実世界のデータから因果を読む

岩波データサイエンス Vol.3 今回はマーケティングや投薬効果といった何か施策を考えるタイプの分析をする人向け。その施策は本当に効果があるのか？ただの相関関係ではないのか？隠れた外部変数があるのではないか？などということを問う。自然言語処…

2016-06-18

Caffe Make時に必要なprotocのインストール(CentOS)

※CentOSにCaffeを入れるのはまったくおすすめしません。遥かに簡単ですので、Ubuntuを使ってください。分かりやすい導入記事はコチラ。 http://www.nal.ics.es.osaka-u.ac.jp/personal/k-yamanishi/CaffeUbuntu.html _____________________________________…