今日はいつもと違ってオープンデータのお話です。 「オープンデータ」という言葉が言いだされてからかなりたちましたが、日本での成功例はあまりありません。 これは構造的なものです。 基本的に、アメリカ（オープンデータの本場はイギリスですが）でうまく…

Wikipedia と しましま先生 の「カーネル」の項目を読んで、 「分からんわ－！」 と叫びながら壁に頭を打ちつけ続けたみなさん、こんにちは。 あなたは正常です。 いったい日本人のうちの何人があれを見て 「あっ、カーネル関数ってこういうことなんだー！」…

mecab-ipadic-neologd のアップデートに失敗、その後成功しましたのでご報告を。 sudo /mecab-ipadic-neologd/bin/install-mecab-ipadic-neologd -n (なんやかやあって) ../libexec/make-mecab-ipadic-neologd.sh: line 102: /usr/bin/mecab-config: そのよ…

Twitter API用のtoken入手時に、携帯電話番号の登録を要求されるようになっていました。 （前はなかったと思うんですが……） 電話番号を登録し、届いたTwitter認証コードを入力するんですが、 失敗しました。 と言われます。 何度繰り返してもダメだったので…

「『機械学習を理解するためには代数を勉強しろ』と言われたが、代数の教科書を読んでもどこが機械学習に役立つのか全く分からない」という話を聞いてその人が読んでいる本を見せてもらったところ、代数の教科書でも群論とか環論の本でした。 「勉強しろと言…

タイトルはいささか暴論ですが。 パターン認識と機械学習 上 私はもともとこの本を「機械学習の教科書」だと思って読み始めました。タイトルが『パターン認識と機械学習』ですからね。 最初に無理矢理読み通した感想は「難しい、良く分からない」というもの…

黄色本（『パターン認識と機械学習』：PRML）を読んでいると、「計画行列」という単語が頻繁に出てきます。 この計画行列ですが、英語では「design matrix」です。なので別書籍では「デザイン行列」と書かれていることもあります。 日本語で「デザイン」とい…

なぜかpg_dumpを使ってpostgresqlの特定テーブルのみをバックアップするコマンドが、インターネット上で流布しているコマンドと実際のコマンドで違っていたのでメモ。 postgresqlのバージョンは8.4.20。[ネット上でよく見かける（今回動かなかった）コマンド…

CentOS6.7のEclipse(Helios)に下記の3プラグインを一気にインストールしようとするがエラーを起こして止まる。・Marketplace Client ・Eclipse Java EE Developer Tools ・Eclipse Web Development Tools "インストール・ダウンロード2" 中に内部エラーが発…

ぐへえ、という感じ。 Ubuntu15.04で、apt-getでpython3.5をインストールしたのち、python3.5をpython3のデフォルトに設定しました。 cd /usr/bin sudo rm python3 sudo ln -s python3.5 python3 再起動したら「端末」が起動しない！？ Launcherを押しても、…

Python用のトピックモデルライブラリgensimのshow_topicsメソッド内で用いられるオプションについて。昔はこうだった lda.show_topics(topics=10, topn=10):今はこう lda.show_topics(num_topics=10, num_words=10) いま上のように書くと「そんなオプション…

pythonからMeCabのparseToNodeを使うと表層形（surface）がおかしい。printでも出てこないし型の判別すらできない。 頭を抱えながらpython-mecabの再インストールなどさんざんやってからこちらのサイトにたどりつく。 www.trifields.jp （以下引用） MeCabの…

Python機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear) なにかこう「一面コードだらけ」という本かなーと想像していたんですが、理論や描画の話も多く前処理にも章を割いています。本のアオリに「絶妙なバランスで『…

clusteridは簡単に変わる。 そのせいでDataNodeが繋がらなくなる。 解決方法 ・手動でdfs/name/current/VERSION内のClusterIDを修正する。 ・さっくりdfs/name/以下を削除する。

「下丸子のコネクショニスト」さんの iamrobotandproud.hatenablog.com を試す。 なにかおかしいと思ったら、 事前に用意されたプログラムに誤植があるため、下記のように訂正した。plot_log.gnuplot.exampleの42, 43行目をset xlabel "Training loss" set y…

PRML(『パターン認識と機械学習』)の上巻に再度手を伸ばしました。 パターン認識と機械学習 上 去年の5月ぐらいに読んだときは全く理解できなかった内容が「これも分かる！あれも分かる！」となり、まるで『グラップラー刃牙』の序盤で山籠もりの結果勇次郎…

hdf5関係でコンパイル失敗。2箇所でひっかかる。 ./include/caffe/data_layers.hpp:9:18: fatal error: hdf5.h: no such file or directory/usr/bin/ld: cannot find -lhdf5_hl /usr/bin/ld: cannot find -lhdf5Makefile.configの以下の2行を変更。 INCLUDE_…

デザインパターンの本は何冊か読みましたが、当時はいまひとつピンときませんでした。 行番号付きBASICからはじまってC言語、Ruby、R、Pythonとクソコードを書き散らしてきましたが、あまりデザインパターンの必要性を感じなかった。 話が変わったのがJavaに…

ひっさしぶりに立ち上げたVMWare上のUbuntuのネットワークが不安定。 しばらくすると切れるけども、また接続される。 これでは仕事にならない。 VMWareの「仮想マシン設定」を確認。 ネットワークアダプタがNATになってる……？ 別件で別のVMの「仮想マシン設…

数学の得意な人間はだいたいにおいてそうでない人間から見るとたいへん冷たいです。 「正規方程式とは何か？」という文系からの問いに、「最小二乗法を勉強すれば分かるでしょう？」という、木で鼻をくくったような回答をします。 そもそも文系からすると「…

ネットワークアダプタ2を追加する。 ネットワークアダプタ（無印）側の「アダプタの設定」を変更する。 これを こうすると…… 「ネットワークアダプタ2」の設定まで勝手に連動して変わってる！ ネットワークアダプタ追加する意味がないだろ！ ※昔のVMWareでは…

トピックモデル本を読んでいると、 トピックモデル (機械学習プロフェッショナルシリーズ) 「パチンコ配分モデル」というパワーワードに突き当たりました。 名前だけでイメージするとまるで「パチンコ玉を配分するようなモデル」に思えますが、実際にはパチ…

いい歳をして右と左が分からない人がいます。 同様に、いつまでたっても条件付き確率 p(A|B) でどちらが条件部分か覚えられない人がいます。 というか、「条件付き確率」という日本語のせいで、 p(条件|確率) に思えてしまうようです。 ここは疑似的に「条件…

前処理でExcelのセル内改行を削除したいときがあります。 Excelのセル内改行を削除する方法としては、 ・検索ボックスで「[Ctrl] +[J]」を入力して置換する 方法が有名ですが、なぜかそれでは取り切れないセル内改行が存在します。 これには、clean関数を使…

マハラノビス距離はインド人の数理統計学者プラサンタ・チャンドラ・マハラノビスによって発明されました。 「分散を考慮に入れた距離」とでも申しましょうか。 マハラノビス距離を知るのにオススメのサイトはこちら。 「教師なし学習による異常値検知: マハ…

「フリーソフトではじめる機械学習入門」という良くできた機械学習の入門書があります。 フリーソフトではじめる機械学習入門 ただし、使われているのがWeka。 「この先Wekaを使うことがあるのか……？」と問われると答えに窮する。 Wekaを使うとどうしてもブ…

特徴間に相関があると、識別には片方の特徴だけでよい、ということになる。 主成分分析と無相関化は「分散が最大になる方向へと射影する」というアプローチは同じだが、 無相関化：識別に多くの特徴を採用するため、特徴間の相関をなくす。 主成分分析：情報…

Servletを単純にコピー&ペーストして開発。 ↓ しばらくするとサーバ(Tomcat)が起動しなくなる。 重大: A child container failed during start（理由） コピー後に@WebServletを変更しなかったため。 同じ@WebServlet名のServletが複数あると上記のエラーを…

正確には分散・共分散行列。対角行列は共分散ではなく分散であるため。 共分散とは2 組の対応するデータ間での、平均からの偏差の積の平均値。 分散 共分散 共分散 共分散 分散 共分散 共分散 共分散 分散 スカラー値における分散をベクトルに拡張したもの。…

岩波データサイエンス Vol.3 今回はマーケティングや投薬効果といった何か施策を考えるタイプの分析をする人向け。 その施策は本当に効果があるのか？ ただの相関関係ではないのか？ 隠れた外部変数があるのではないか？ などということを問う。 自然言語処…