teamQFT @teamqft-blog - Tumblr Blog

版権ついぴくまとめ [15]

PythonによるDeep Learningの実装（Deep Belief Nets 編）

前回、前々回とそれぞれロジスティック回帰（Logistic Regression）、制約付きボルツマンマシン（Restricted Boltzmann Machine, RBM）を紹介しました。手法の説明については、各記事を参照してください。今回は、これら２つを組み合わせて実装されている Deep Belief Nets (DBN) について紹介します。今回のコードは長いので、記事の最後の方に載せています。 DBNは Greedy Layer-Wise Training of Deep Networks [Bengio 2007] で提案されている手法ですが、こちらがDeep Learningのパイオニアと言っても過言ではありません。

DBNは多層ニューラルネットワークの形をしています。従来の研究では、多層にするほど精度が下がるという問題が指摘されていましたが（多層のため誤差の重みが少なくなってしまう）、DBNでは各層でそれぞれ学習を行い、次の層への入力を学習済のデータにすることで多層にするメリットを利用し、これまでの手法に比べ予測精度を高めています。

この、各層の学習にはRBMを用いています。RBMは教師なし学習であり、与えられたデータから特徴を抽出する手法です。なぜDeep Learningでは高い予測精度が得られるのかについては、まだ学術会でも完全に理解はされていませんが、各層でより抽象的な特徴を順番に学習していくからではないか、と考えられています。 RBMは特徴抽出に隠れ層を１つ用いますが、この隠れ層が次の層の入力層になり、次のRBMの学習で用いられます。この、ひとつひとつの層での特徴抽出が、徐々に抽象から具体になっていく感じです。

RBMで特徴抽出を繰り返していきますが、これでは教師あり学習は行えません。そこで、RBMの多層の上にロジスティック回帰の層を出力層としてくっつけたものがDBNとなります。[Bengio 2007]ではロジスティック回帰を使っていますが、ここはSupport Vector Machine（SVM）とかでも代用できるでしょう。コードの方は、[Bengio 2007]に倣ってロジスティック回帰を使っています。（ほぼシグモイド関数だけで全部実装できるので便利かもしれません）

学習が終わると、DBNは重みが調整された、ひとつの多層ニューラルネットワークになります。Deep Boltzmann Machine とは別物なので注意してください。

コードはこちら。前回、前々回で実装したclassも合わせて書いています。

darylfranz

ジョジョスマホの電源落とそうとしたら…wwwwwwwww

9gag

Google Maps in Albania

sryuuki

どんな分野であれ、ゼロから何かを生み出す経験をした人は、あとは事例を見るほどに、自身の経験が増していく。

0から1を作った経験 - レジデント初期研修用資料 (via sryuuki)

attrip

Tumblr風の年賀状が届いたよ！

honishi

自分のプロダクトにゴミっぽい名前とか不吉な名前をつけたくなるというのは、プログラマの伝統としてある

http://sa.tumblr.com/post/71959012 (via honishi)

nsss

クレーマー「おい！誠意見せろよ！」俺＆店長「申し訳ありませんでした」クレーマー「そんなので納得すると思ってんのかよ！」俺「店長、今までお世話になりました。今ここで、俺をクビにして下さい」店長「（なるほど…）よし、わかった」クレーマー「お前が辞めたからなんなの？」俺「お前、表出ろ」クレーマー「すみませんでした」

暇人＼(＾o＾)／速報 : お前らの体験したクレーマーとかについて愚痴ってけ - livedoor Blog（ブログ） (via nsss) (via sopple) (via uessai-text) (via kuriz) (via udonchan) (via hitode909) (via hot-coffee) (via voqn) (via chaosavior) (via nakano) (via mihomihosuzuko) (via azazel-kode) (via rosarosa) (via gkojax) 2010-03-24 (via gkojay) (via pipco) (via naapon) (via rngsnow) (via flatmountain) (via precall) (via zbpt) (via toronei) (via katoyuu) (via ingurimonguri) (via tooola) (via yoconyan) (via ipodstyle) (via appbank) (via kotoripiyopiyo) (via bo-rude) (via oharico) (via jun26) (via nnzai)

ecchiyamon

derutcarf

Tmublrは強烈な自己表現だといってもいい。普段ブログにかけないストレートな言葉、普段人に言えない強烈な一言、それらを他人の言葉を引用することによって間接的に表明できる。間接的だけども、強烈な自己主張。

はてブ雑感。Tumblr雑感。 - Intellectual Journey

・・・というわけでこんな感じ。「言葉」が「画像」に置き換わっているユーザーは多い。画像のほうが、より「間接的」でさらに「強烈」。

(via plasticdreams) 2007-10-15 (via gkojay) (via jinakanishi) (via mcsgsym, derutcarf) (via usaginobike) (via darylfranz) (via sironekotoro) (via yellowblog) (via bgnori) (via petapeta)

(via 8lack8erry) (via ibi-s) (via nnzai)