A Hacker's Memorandum

Satoshi Nagayasu

[snaga2003]

Lesson 2: Setting up with Anaconda

Pythonのセットアップの話なので割愛。

[snaga2003]

Lesson 1: Welcome to the AI Nanodegree

Guides

Sebastian Thrun, Udacity

Peter Norvig, Google

Thad Starner, Georgia Tech

Arpan Chakraborty, PhD

David Joyner, Georgia Tech

Dhruv Parthasarathy, Udacity

Term1プロジェクト

最初はSudokuを解く。

Constraint Propagation

Search

次はGame-Playing Agent

Defeat opponents in Isolation

Minimax

Alpha-beta pruning

Pac-man

Breadth-first Search

Depth-First Search

A-Star Search

Sign Language

Hidden Malkov Model

Term2

Deep Learning

Recurrent Neural Network

Deep Learning based system

Convolutional Neural Network

Udacity Support

Project Reviews

Mentors

Community Support

Meet your peers

Career Support

Deadlines

個々のプロジェクトの締切は suggestion

ペースメーキングのため。

最終的な締切は must

評価のため。

Get started

[snaga2003]

Xamarin入門してみた

[学生さん・初心者さん大歓迎！]Xamarin Advent Calendar 2016 の21日目です。

私 @snaga は普段はデータベースのエンジニアをしていてアプリケーション開発者ではないのですが、「データやデータ分析を活用するスマホアプリ」を開発してみたくなって、1～2ヵ月くらい前にXamarinに入門しようと試みました。

そのプロセスとその時感じたこと、またDev Daysハンズオンのサンプルを読んで調べたこととかを記録・公開してみようと思います。（Xamarinのつらみポイントも）

前提、状況、スキルセットとしては以下のような感じです。

普段はUnix系データベースエンジニアです。

PostgreSQL Deep Dive http://pgsqldeepdive.blogspot.jp/

コードを書く時は、今はCかPythonかBash。かつては、C++かJavaかPerl。

C#は初めて。

アプリケーション開発を生業としたことは（社会人になって以降）無い。

ゆえにMVVMとかデザインパターンとか個々の言語の機能とかに疎い。

ミドルウェアを書いていたことはある。

Visual Studio は超久しぶり。学生時代にASPとSQL Serverで何かを作ってた。

最近、スクワットチャレンジのWebアプリを作った。

http://30-day-squat-challenge.mybluemix.net/static/index.html

とりあえずは、自分の持っているXperia（Android 6.1）をターゲットに開発できればおｋ。

これまでにやってみたこと

環境構築（Windows10/Windows7 + Visual Studio 2015）

環境構築つらい。

C#チュートリアル

C# チュートリアル 全部俺 Advent Calendar 2016

http://qiita.com/advent-calendar/2016/c_sharp_tutorial

絶賛遅延中。

Phoneword サンプル作成。

XamarinにおけるHello, World的な？

https://developer.xamarin.com/guides/android/getting_started/hello,android/hello,android_quickstart/

後に日本語版があることを知る。

https://www.xlsoft.com/jp/products/xamarin/android_hello_world.html

Xamarin Dev Daysのハンズオンのサンプルアプリを作成

コピペで動いた！

https://github.com/chomado/xamarin-dev-doc/tree/master/hands-on

https://github.com/snaga/dev-days-labs

コードをもう少し詳細に読んでみた（←今ココ）

Xamarin（環境構築が）つらい

環境構築つらい

Windows7/Windows10 + Visual Studio 2015 + Xamarin

全部無料ツール使ってるのに、環境整備に1ヵ月近くかかった・・・

VDIを使ってクラウドの向こう側でビルドできるようになる未来はまだですか。

想定通りに動かない場合には Visual Studio のエラーメッセージが何と言っているかを心を込めて読む。

読んで問題がありそうなメッセージを見つけたらそのメッセージでググる。

多分、 StackOverflow が引っかかる。

そのやり取りの時期を確認して、半年以上前だったら眉唾で読む。

Xamarin、いろいろと変化中なので、ちょっと前の情報があんまりアテにならないのを覚悟してググるべし。

java.lang.UnsupportedClassVersionError と言われたらJava SDKのバージョンを疑う。

推奨は Java 8 32bit 版（多分）

java.lang.UnsupportedClassVersionError: com/android/dx/command/Main : Unsupported major.minor version 52.0

Android Virtual Device (AVD) がちゃんと作れなかったら、以前のものを削除して Xamarin Universal Installer を何度か実行してみる。

古い avd は C:\Users\ユーザ名\.android\avd にあるので、手動で削除して Universal Installer からリトライするのも可。

何度かやってるうちになぜかそのうち動く。多分。

つらい。

Google に頼ると blog とかで中途半端な情報が引っかかってしまって右往左往してしまって、つらみが増す。

コミュニティで up to date な手順書とかをメンテするのがいいのかも。

githubで管理して pull req で更新して、とか。

Xamarin Dev Daysのアプリと解説を細かく読む

Xamarin Dev Daysのハンズオンの手順書を参考に、サンプルアプリを作成してみました。

Xamarin Dev Days ハンズオン手順書

https://github.com/chomado/xamarin-dev-doc/tree/master/hands-on

Xamarin Dev Days

https://github.com/snaga/dev-days-labs

が、コードをコピペするだけだと「確かに動くのだけれど結局よく分からん」という状況に陥ってしまったので、分からない用語、分からないC#の文法やXamarinのクラスなどを自分なりに調べてみました。

以下は、手順書に出てくる用語やコードを、自分基準で分からないところなどを調べてみたまとめです。

Xamarin.Forms

クロスプラットフォームでUIを実装するためのライブラリ。

レイアウトは *.xaml と呼ばれるXMLファイルで定義される。

コンポーネントとデータとの連携は Binding という仕組みで実現される（双方向）。

詳細な挙動は *.xaml.cs と呼ばれるC#のコード（コードビハインド）で定義される。

Model, View, ViewModel

モバイルアプリを開発する時のデザインパターン MVVM（Model-View-ViewModel）の各構成要素。

NuGet

ライブラリ管理システム。依存するライブラリの一覧を保存したりレストアしたりできる。

PerlにおけるCPAN, PythonにおけるPIPみたいなもの。

Restore NuGet は pip -r requirements.txt みたいな感じ。

http://www.atmarkit.co.jp/fdotnet/chushin/nuget_01/nuget_01_01.html

ViewModel

「どのようにデータを表示するかのすべての機能」を提供する

データ構造とそれを準備するロジック（サービス連携など）を持つ。

INotifyPropertyChanged

オブジェクトの内容に変更があった時にViewに通知する。

方法 : プロパティの変更通知を実装する https://msdn.microsoft.com/ja-jp/library/ms743695(v=vs.110).aspx

[CallerMemberName] は呼び出し元のメソッド名 http://www.atmarkit.co.jp/fdotnet/special/vs2012review/vs2012review_04.html

PropertyChangedEventArgs は string からイベントの引数を作成する https://msdn.microsoft.com/ja-jp/library/system.componentmodel.propertychangedeventargs(v=vs.110).aspx

PropertyChanged?.Invoke(...) は PropertyChanged != null だったら Invoke() の呼び出し

var

varで宣言するとコンパイラが型を決める。

https://msdn.microsoft.com/ja-jp/library/bb383973.aspx

バッキングフィールド

プロパティの値を隠蔽しておくためのクラスのメンバー変数

アクセサ get/set を通してアクセスされる

ObservableCollection

内容が変更されるとイベントを発火する CollectionChanged を持っているコレクション

async Task

async は非同期処理をする modifier https://msdn.microsoft.com/ja-jp/library/mt674882.aspx

Task は返す型。ここでは何も返さないので Task のみ。intを返す場合には Task など。

using

GCを走らせる Dispose() を自動的に呼び出すブロック。

http://divakk.co.jp/aoyagi/csharp_tips_using.html

await

非同期処理を実装しているルーチンを呼び出す

この処理をしている間も、UIなどは反応する（ブロッキングせず処理を継続できる）

Command

ViewModelから公開、外部から呼び出されて何かの処理をする。

ここでは、Viewからbindされる。

https://developer.xamarin.com/api/type/Xamarin.Forms.Command/

View

XAMLを書く。

{Binding ...} で ViewModel のプロパティとバインドできる。

SpeakersViewModel という ViewModel のクラス名と SpeakersPage.xaml をつなげるのは SpeakersPage.xaml.cs

この SpeakersPage.xaml.cs を「コードビハインド Code-behind」と呼ぶ。

https://msdn.microsoft.com/en-us/library/aa970568(v=vs.110).aspx

コードビハインドのコンストラクタの中で ViewModel をインスタンス化して、メンバ変数 BindingContext に設定することで、View と ViewModel が bind される。

public partial class SpeakersPage : ContentPage

View である SpeakersPage クラスは ContentPage を継承する。

public class App : Application

AppクラスはApplicationを継承する

https://developer.xamarin.com/api/type/Xamarin.Forms.Application/

コンストラクタで NavigationPage() を MainPage として作成して、最初の Content として SpeakersPage を設定する

NavigationPage は スタックのようなページ管理を提供する

https://developer.xamarin.com/guides/xamarin-forms/user-interface/navigation/hierarchical/

await Navigation.PushAsync(new DetailsPage(speaker));

NavigationPageでページを管理している時は Navigation.PushAsync() でページ遷移できる。

非同期で処理できる。（ページ表示に時間がかかる場合もあるから？）

x:Name="ButtonWebsite"

XAML内でコントロールに名前を付けて、イベント（クリックなど）のハンドラーを設定できる。

上に出てきた Command の公開より楽な気がするんだけど、上ではなぜ Command を使ったのか？（チュートリアルだから？）

Command との違い、メリットデメリットは？

処理の流れまとめ: Speakers Page 表示

Speakers Page で Sync Speakers ボタンが押されると GetSpeakersCommand コマンドが発行される。（SpeakersPage.xaml）

GetSpeakersCommand コマンドが発行されると、XAMLで Command として設定された ModelView 内の GetSpeakers() メソッドが呼ばれる。（SpeakersViewModel.cs）

JSONでデータの取得が終わると ObservableCollection コレクションが更新される。（SpeakersViewModel.cs）

更新されると CollectionChanged が発生して View で Binding Speakers している Speakers Page の内容が更新される。（SpeakersPage.xaml）

処理の流れまとめ: Details Page 表示

Speakers Page で ListViewSpeakers 内のスピーカーをタップすると、ItemSelected イベントが発生する。（SpeakersPage.xaml.cs）

イベントハンドラが呼ばれて、Speakerモデルの情報を使って DetailsPage ビューが作成される。（SpeakersPage.xaml.cs）

Navigation.PushAsync() を使ってビューが（スタックに追加されて）表示される。（SpeakersPage.xaml.cs）

まとめ

というわけで、Xamarinを初めて（片手間で）1～2ヵ月間、試行錯誤してきた記録を公開してみました。

スマホNativeアプリが初めてならC#も初めて、Xamarinももちろん初めて、という状況からスタートして、どうにか開発環境の整備と、アプリの基本的なフレームを理解するところまでは到達できたかな、という気がしています。

現時点の感想としては、「Xamarinは怖くない 環境構築を超えれば」という言葉は本当に名言だと思うので、環境構築、どうにかして欲しいです。

Xamarin 概要 from Yoshito Tabuchi

あと、入門する人に対して「まずはこの資料を読んで、次にこのチュートリアルをやって・・・」みたいな Learning Path が集積されて公開されていると嬉しいな、と思いました。ネットにはいろいろ情報があるんですけど、自分のレベルに合わせて自分でチョイスしていくのは初学者には難しいと思うので。

正直、まだまだ分からないことも多いのですが、そろそろチュートリアルのレベルはクリアしつつあるかなという気もしているので（そうでもない？）、次はネットワーク越しにデータを取ってきてあれやこれやする独自のアプリを作ってみたいと思っています。

では。

[snaga2003]

[Clustering & Retrieval] Week 5: Latent Dirichlet Allocation: Mixed Membership Modeling

https://www.coursera.org/learn/ml-clustering-and-retrieval/home/week/5

Mixed membership models for documents

ドキュメント分析の有名な確率モデル LDA

もともと、クラスタリングは個々のトピックに分類する。

「1つのトピックに属する」という考え方で本当にいいのか？

確率的なsoft assignmentが出てきた。

例えば、ある論文で

Scienceに属する単語が使われていたり、

Technologyに属する単語が使われていたり。

Soft assignment では確からしさを使う

でも、どっちか、ではなく、「どっちも」なのでは？

mixed membership models

set of memberships を見つける

Building up to document mixed membership models

alternative document clustering model

文書の表現はtf-idfで行っていた。tf-idf空間。

ここでは、bag-of-wordsによる表現を使う。

単語に分割してまとめて扱う

multi-set 単語が出てきた回数が大事

以前に学んだやり方だと corpus-wide の topic の割合が大事。

ここでは、文書に出てくる単語を見て、各単語がどれくらい出てくるかでトピックに該当する割合を計算する。

scienceの単語と重み付け、techの単語と重み付け、sportsの…

各単語を集計して topic distribution を使って計算する。

Latent Dirichlet allocation (LDA)

LDAはmixed membership model

クラスタリングは、文書全体をどのトピック（クラスタ）に分類するかを決める。

corpus全体の割合を見て

LDAでは、個々の単語を拾ってどのトピックに該当するかを見る

corpus全体の割合を見るのではなく、個々のドキュメントの中で各トピックの割合を見る

Inference in LDA models

LDAではトピック固有の単語の分布を導入する。

corpus 全体で同じものを使う

各ドキュメントの各単語は、どのトピックに分類されるかという値を持つ

最終的には、各ドキュメントは、どのトピックに分類されるか、という値を持つ。

とはいえ、そもそも教師なし学習でどうすればいいのか？

LDAの入力は

corpus内の各ドキュメントのset of words

LDAの出力は

corpus全体のtopic vocab distribution

各単語のtopic assignment

各ドキュメントのtopic proportions

まずLDAの出力の解釈

学習したトピックのcoherenceを見る

単語の分布を見て、トピックを割り当てる

頻出する少数の単語を見るだけではダメで、すべての単語の値を見る。sparse vectorにはならない。

各ドキュメントのtopic proportions。文書の類似度の算出などに使う。

複数のカテゴリに分類するのにも使う。

An inference algorithm for LDA: Gibbs sampling

ここまでのClusteringアルゴリズム

k-means

EM for MoG

まず、bag-of-wordsモデルで何ができるか

EMの拡張

tf-idfのgaussian likelihood

multinomial likelihood of word counts

result: multinomial modelのmixture

LDAモデルには何ができるか？

EMを拡張もできるが、あんまり一般的ではない（性能が悪い）

通常はLDAはBayesian modelのことである

パラメータの不確かさを扱う

推定したパラメータを正規化する

Gibbs sampling for Bayesian inference

Gibbs sampling は、繰り返し行う random assignment

直観的で分かりやすい

実装しやすい

イテレーションの結果何を得られるのか

Joint model probability

今までも見ていた likelihood に似ているが、Bayesianではデータや特定のパラメータについて見るだけではない。

モデルパラメータの確率、確からしさを見る。

これが joint model probability と呼ばれる所以。

Joint model probability を Gibbs sampling のイテレーションで見るとき、初期化の後、増加して、その後上がったり下がったりする。

ランダムなアルゴリズムだから。

Joint probability が増えることを保証はできない。

最適化のアルゴリズムではない。

一点に収束させるのではなく、可能性のある解を求めて空間を探索する。

ランダム性という観点で stochastic gradient descent や ascent に似ている。上がったり下がったりする。

十分なイテレーションの後には correct Bayesian estimates が得られる。

サンプリング、予測モデルを作る、を繰り返す。

イテレーションの間、確率の低い領域よりも高い領域でより長い時間が経過するので、その結果を平均すると correct prediction, correct Bayesian average となる。

good solution とは。探索空間の中にあるモデルパラメータと assignment variables が Joint model probability を最大化するところ。

maximum a posteriori parameter estimates

イテレーションの間、見ていれば得られる。

Standard Gibbs sampling steps

Gibbs samplingのイテレーションを通して見る

assignment variables

model parameters

文書iの中の単語w

probability of assigning Ziw = 2

riw2 = Πi2 * p("EEG" | Ziw = 2) / Σj=1,K Πij p(EEG | Ziw = j)

EMと似ているが、「ドキュメントの中」だけを見るのが違う。

可能性のあるトピックすべてについて計算する。

vocabulary distribution は重要ではない。文書の topic proportions が重要。

topic proportions をサンプリングする。コーパス内のすべての文書について行う。

word assignment variables と topic proportions をサンプリングする。

各文書ごとに、全データについて行う。

Collapsed Gibbs sampling in LDA

indicator variables Ziwだけをサンプルする

topic vocab distributions, per-doc topic proportions はサンプリングしない。

小さい空間を探索するので、非常に良いパフォーマンスを出す

単語ごとに完全に並列に処理できるようになる。

各単語にランダムにクラスタを割り当てる（初期化重要、やり方はいろいろ）

すべての文書に同じことをする。

文書ごとに属するクラスタの値を計算する。

（すべての文書について）各単語ごとに属するクラスタの値を計算する

単語のクラスタへの割り当てを解除する。

次をどう選ぶか。

文書が、各トピックをどれくらい好きか

文書内の assignments を基準に。

(nik + α) / ( Ni - 1 + Kα)

nik: # current assignments to topic k in doc i

α: smoothing parameter from Bayes prior

Ni: # words in doc i

各トピックが、その単語をどれくらい好きか。

コーパス内の他の文書の assignments を基準に。

(m dynamic,k + γ ) / (Σ mw,k + Vγ)

m dynamic,k: # assignments corpus-wide of word "dynamic" to topic k

smoothing parameter from Bayes prior

Vγ size of vocab

vocab内の各単語の確率を知るための、トピックごとの vocab distributions が分からない時、corpus内のword assignmentsを使う。

2つを掛ける。

how much doc likes topic * how much topic likes word

一番大きい topic を選択する

すべての単語、すべてのドキュメントについて行う。

Using samples from collapsed Gibbs

mixed membership models

各トピックへのメンバーシップのセット

bag-of-words表現

コーパス全体での単語の出現率

各トピックにおける文書内での単語の出現率

topic indicator

ある文書のある単語があるトピックに属する確率

clustering では、あるドキュメントがあるトピックに属する確率

K個のベクトル。

topic vocabulary distribution

各トピックにおける、すべての単語の出現頻度

topic proportions

文書がそれぞれのトピックに属する確率のセット（内訳）

気にしているのは

topic vocabulary distributions in corpus

topic proportions within every document

joint model probability を最大化する corpus 内の word assigmnent

document embeddnig

文書を持ってきて mixed membership representation を構築して、文書の topic proportions の conditional distribution が分かる

文書の embed は完全に並列に処理できる

Summary for LDA and Gibbs sampling

割愛

EOF

[snaga2003]

[Clustering & Retrieval] Week 4: Mixture Models: Model-Based Clustering

https://www.coursera.org/learn/ml-clustering-and-retrieval/home/week/4

Why a probabilistic approach?

各トピックごとのユーザの好みを理解したい。

特定の記事がどのクラスタに属するかを明確に決められない。

ある程度近かったり、ある程度遠かったり。

k-meansのような hard assignment はすべてを語らない。

assignment の確からしさ、確率を使う。

k-meansは、クラスタ中心との距離だけが問題とされる。

クラスタの形状などは考慮されない。

クラスタ中心の位置だけで特徴づけされる。

ユークリッド距離とかを使っても変わらない。

failure modes of k-means / k-meansが苦手なケース

クラスタの分布、サイズが違う場合。特に綺麗に分割されていない場合。

クラスタ中心からの距離が等距離になるように分割されるから。

クラスタが重なっている場合。

クラスタが異なる形、傾きを持っている場合。

Probablistic model: mixture model

soft assignments

各クラスタに所属している確率で示す

world news 54%, science 45%, sports 1%, entertainment 0% とか

クラスタの中心だけではなく、形状も考慮できる。

重み付けを学習できる。

クラスタごとに単語の重み付けが変わる、など。

Mixture models

教師なしで画像のクラスタリングをしてグループを見つける。

画像の単純な表現として、画像ごとにRとGとBの平均値を取る。

R=0.05, G=0.7, B=0.9など

すべての「空」の画像のBlue成分を分布させると、0.8近辺に分布する。

すべての「日没」の画像のBlue成分を分布させると、0.3近辺に分布する。

すべての「森」の画像のBlue成分を分布させると、0.42近辺に分布する。

が、ラベルはまだ無い。

なので、全部の画像を混ぜて見てみる。

3つの種類の画像ごとに分布が重なって見える。

Red成分も見てみる。

すべての「森」の画像のred成分を分布させると、0.05近辺に分布する。

すべての「日没」の画像のred成分を分布させると、0.9近辺に分布する。

これらの値の違いを使って分類する。

Background: Gaussian distributions

色要素の分布はガウス分布することを前提としている。

1次元のガウス分布は、平均μと分散σ^2で定義される。

N(x | μ, σ^2)

xはランダムな値

μ, σ^2 はパラメータ

2次元のガウス分布

green, blue, probabilityの三次元

表現は 3D mesh plot と Counter plot

Couter plotは2次元上で表現する場合の標準。

2Dのパラメータ

μ = [μblue, μgreen]

covariance Σ が傾きと拡がりを決める。

多次元のガウス分布

N(x | μ, Σ)

x: ランダムなベクトル

μ, Σ: パラメータ

Mixture of Gaussians

カテゴリ/クラスタごとのガウス分布がある。

blue成分とか

画像のクラスタごとにR,G,Bのガウス分布には関連がある。

ラベルが無いので、最初は全部のガウス分布が混ざってる。

その分布をどうやってモデル化するか？

データの中に「森」の写真が多かったらどうなるか？

確率が上がる。分布の高さが高くなる。

重み付きガウス分布

weight Πk

Π = [Π1, Π2, Π3] = [0.47, 0.26, 0.27]

sum(Πk) = 1

Mixture of Gaussians (1D)

{Πk, μk, σk^2}

Mixture of Gaussians (general h多次元)

{Πk, μk, Σk}

画像のラベルが分からない時、その画像がクラスタkに所属する確率は？

例えば「空」の画像のクラスタに所属する確率は？

p(zi = k) = Πk

zi はデータ xi のクラスタのラベル

クラスタが分かっている画像の場合は？

クラスタkからxiが来た場合。

p(xi | zi = k, μk, Σk) = N(xi, | μk, Σk)

Document clustering

目標は記事をグループ化すること。

ドキュメントはTF-IDFベクターで表現する。

Mixture of Gaussiansを使う。

ドキュメントの空間RV, 単語数V

Soft assignmentsを使う

V次元の場合

Σ で V(V+1)/2 のパラメータを計算しなければならない。

高次元になると大変。

大きいので diagnal form な covariance matrix を使う

diagnal covariance を使うと楕円の傾きがなくなる。

X軸、Y軸に沿った楕円になる。

制約はあるが、それでも各クラスタの各次元のウェイトは学習できる。

それでもk-meansより柔軟

Inferring soft assignments with expectation maximization (EM)

ゴールは各データポイントにsoft assignmentsすること

各データポイントは各クラスタへの確からしさを持つ

ラベルのないデータポイントに、どうやってsoft assgimentsするか

Part 1: What if we knew the cluster parameters {πk , μk , Σk }?

Part 1: もしパラメータ {Πk, μk, Σk} を事前に知っていたとしたら

Responsibilitiesを計算する

Responsibilities

各クラスタにほぼ同じデータ量が含まれていてウェイトが同じ場合。

あるデータがクラスタkに含まれる時、クラスタkが他のクラスタよりrensponsibleであると言う

どのクラスタにも含まれない時はresponsibilityは分割されていて、確からしさが低くなる。

クラスタのデータ量に偏りがあり、ウェイトが異なる場合。

クラスタの間のデータは uncertain だが、ウェイトの大きいクラスタがｙろりrensponsibleとなる。

rik = Πk N(xi | μk, Σk)

クラスターパラメータ {Πk, μk, Σk} が分かっていたら、soft assignments (responsibilities) を計算するのは容易。

実際には分かってないから大変。

Part 2a: Imagine we knew the cluster (hard) assignments zi

Part 2a: クラスタへの割り当て(hard assignments) zi を知っていたら

クラスタパラメータを推定したい

greenクラスタの情報はfuchsiaクラスタのパラメータを知ることに役立つか？　No

hard assignments されているデータがあるとする。

まずクラスタごとに分割する

{Πk, μk, Σk} を maximum likelihood model MLE を使って推定する

Mean/covariance MLE

μk = 1/Nk * Σxi

Σk = 1/Nk * Σ(xi - μk)(xi - μk)^T

cluster population MLE

Πk = Nk/N

クラスタの割り当て hard assigments を知っていたら、クラスタパラメータを計算するのは容易。

実際には分かってないから大変。

Part 2b: What can we do with just soft assignments rij?

Part 2b: soft assignments rij が分かっている時にクラスタパラメータを得たい

各クラスタへのresponsibilitiesをクラスタのweightsとして扱う。

μk = 1/Nsoft_k * Σrik*xi

Σk = 1/Nsoft_k * Σrik*(xi - μk)(xi - μk)^T

Πk = Nsoft_k/N

hard assignmentsが分かってる時とだいたい同じ

Expectation maximization (EM)

EMは繰り返しのアルゴリズム

E-step: クラスタへの割り当ての確率 responsibilities を現在推定されるパラメータを使って推定 estimate する

M-step: 現在の responsibilities を使ってパラメータの likelihood を最大化 maximize する

クラスタパラメータを初期化する

responsibilities rik(1) を計算する（イテレーション1）

soft assignment rik(1) を使って maximize likelihood する。パラメータ再計算。

再計算したパラメータを使ってrik(2) を計算する（イテレーション2）

収束した後でも uncertain なデータは残る。

The nitty gritty of EM

EMにおける収束

EMは coordinate ascent algorithm アルゴリズム

E-stepとM-stepで目的関数を最大化しながら

local modeに収束する

現在のパラメータと responsibilities を使って、データの log likelihood を評価する

初期化は、収束するlocal modeの質と、収束する時間とにおいて、非常に重要

MLEのoverfitting

MLEはoverfittingし得る

どうやって検知するか？

クラスターの中心が点になる。

variance が 0 になる。

likelihood が無限大になる。

多次元でのoverfitting

ドキュメントのクラスタリングとか

単語 w を含む文書一つだけがクラスタ k に所属。

Simple fix: variance を 0 にしない。

小さい diagonal covariance estimate を加える

k-meansとの関係

すべての値が同じ sigma squared diagonal covariance を持つ

variance が 0

EOF

[snaga2003]

[Classification] Week 2: Linear classifiers: Overfitting & regularization

https://www.coursera.org/learn/ml-classification/home/week/2

Training and evaluating a classifier

classifierをトレーニングするということは、coefficients を学習させること。

classification error と accuracy

error : 予測が外れた数 / 予測した数

もっとも良い値: 0.0

accuracy: 予測が当たった数 / 予測した数

もっとも良い値: 1.0

Overfitting in regression: review

高次の多項式 high-order polynomials は柔軟である。

モデルの複雑さが高まれば高まるほど、学習データのエラーは低くなっていく。

が、学習データにフィットさせすぎると、実際のデータでエラーが高まる。

これが overfitting 過学習

モデルの複雑さを高めていくと、ある時点までは training error も true error も下がっていくが、あるポイントを超えると true error が高くなっていく。

Overfitting in classification

例えば、スコアを一次方程式で作成した場合、予測の境界は、二次元のグラフ上の直線で表現できる。

Score(x) = 0.23 + 1.12 #awesome – 1.07 #awful

これを二次 Quadratic features (in 2d) にした場合、境界は複雑になる。

Score(x) = 1.68 + 1.39 #awesome – 0.59 #awful - 1.17 #awesome^2 - 0.96 #awful^2

次数を上げれば上げるほど境界は複雑になる。

overfitting は、学習した coefficients が非常に大きな場合に関連がある。

Classification における overfitting も、training error が減っているのに true error が挙げっていく状態。

Linear regression の overfitting と状況は同じ。

Overfitting in classifiers → Overconfident predictions

ロジスティック回帰では、[-∞, +∞] のスコアを、シグモイド関数を使って [0, 1] にマッピングする。

中間は確信度 0.5

ロジスティック回帰における overfitting の帰結

overfitting になる

coefficients が大きな値になる

スコアが非常に大きくなるので、sigmoid 関数の結果が 0 または 1 に限りなく近くなる。

このモデルでは、予測に対して過剰に確信度が高くなる。

ロジスティック回帰で coefficients が大きくなると、sigmoid 関数の傾きが急になる。

sigmoid 関数の傾きが急になると、decision boundary の周辺の uncertain な領域が小さくなる。

decision boundary の周辺で予測に対する確信度が上がる。

あまりに小さな uncertainly regions は overfitting を意味する。

Overfitting in logistic regression: Another perspective

optional

Penalizing large coefficients to mitigate overfitting

total quality = measure of fit - measure of magnitude of coefficients

measure of fit が大きいと学習用データによりフィットする。

measure of magnitude of coefficients が大きいと overfitting になる。

Maximum likelihood estimation (MLE)

Data likelihoodを最大化する coefficients を探す

coefficients の大きさを示す指標として何を使うか？

Sum of squares (L2 norm) 二乗の総和

Sum of absolute value (L1 norm) 絶対値の総和

これらを使って coefficients を調整 penalize する

total quality = l(w) - ||w||2^2

l(w) : log likelihood

||w||2^2 : L2 penalty

tuning parameter λ を導入する

λ = 0 の場合は、通常の MLE solution となる。

λ = ∞ の場合は、penalty だけが残る。→ w = 0

λ がその中間の場合は、MLE solution で penalty とバランスを取ることになる。

λの選択は学習データへのfitとmagnitudesとのバランス。

大きなデータセットの場合は validation set を使ってλを選ぶ。

小さいデータセットの場合は cross-validation を使ってλを選ぶ。

bias-variance tradeoff

大きいλ: high bias, low variance (e.g., ŵ =0 for λ=∞)

小さいλ: low bias, high variance (e.g., maximum likelihood (MLE) fit of　high-order polynomial for λ=0)

λは「モデルの複雑さ」を制御する。

Visualizing effect of regularization on logistic regression

λを大きくすると、coefficients の値（絶対値）が小さくなる。

Coefficient path

λを横軸に取り coeffients を縦軸に取ると、coefficients が収束していく。

小さくなっていくが、ゼロにはならない。

λを大きくすると、 overconfidence も減っていく。

uncertain な領域が広がる。

Finding best L2 regularized linear classifier with gradient ascent

Gradient ascent

収束するまで w(t+1) ← w(t) + η・▽ℓ(w(t)) を続ける

η はstep size

▽ℓ(w(t)) は Gradient of L2 regularized log-likelihood

Gradient of L2 regularized log-likelihood

Total derivative = Derivative of (log-)likelihood - Derivative of L2 penalty

Derivative of (log-)likelihood =∂l(w) / ∂wj

Derivative of L2 penalty = λ・∂||w||2^2 / ∂wj

L2 regularization の効果 -2 λ wj

wj > 0 の場合は、-2 λ wj が負になり、wjを減少させる

wj < 0 の場合は、-2 λ wj が正になり、wjを増加させる

Sparse logistic regression with L1 regularization

coefficients が sparse だと計算が早くなる（many wj = 0）

どの変数が予測と関係しているか？

L1 regularized logistic regression

total quality = measure of fit - measure of magnitude of coefficients

measure of fit: l(w)

measure of magnitude of coefficients: ||w||1=|w0|+…+|wD|

L2 regularization と同じチューニングパラメータ λ を導入する

ℓ(w) - λ||w||1

Coefficient path

直線的に減る（L2と違いスムースではない）

小さくなっていって最終的にゼロになる。（L2との違い）

Summary of overfitting in logistic regression

いつ、overfitting が長谷氏するか

大きな値の学習済み coeffiients と overfitting の関係

decision boundaries での overfitting の影響度と、linear classifier における予測の確率との関係

L2 regularize logistic regression の意味

チューニングパラメータ λ を変化させると学習した coefficients にどのような変化が起こるか。

coefficient path plot の解釈

gradient ascent を使った L2 regularized logistic regression coefficients の予測

L1 regularizeation を使った sparse な logistic regression solution

EOF

[snaga2003]

[Classification] Week 7: Scaling to Huge Datasets & Online Learning

https://www.coursera.org/learn/ml-classification/home/week/7

なぜ gradient ascent は遅いか・

一回 coefficients を更新するたびに、すべてのデータを使って計算しなければならない。

データはどんどん大きくなるのに、レコメンドはミリ秒で結果を返さなければならない。

データが小さい頃は、モデルの精度が重要だった。

カーネル法やGraphicalモデル

データが大きくなって、モデルがシンプルになった。

ロジスティック回帰、Matrix Factorization

データがさらに大きくなって、モデルの精度も求められるようになった。

並列処理、GPU、クラスタコンピューティング

Boosted tree, Tensor Factorization, deep learning, massive graphical models

処理時間を大きく改善する修正をMLアルゴリズムに加える

Stochastic gradient ascent

coefficients の更新にデータのサブセットを使う

Learning, one data point at a time

gradient ascent はすべてのデータポイントの計算結果の総和

各ステップですべてのデータを使って計算しなければならない。

各ステップの処理時間 ＝ 1データポイントの処理時間 × データポイント数

データ量に比例して学習の時間がかかるようになる。

Stochastic gradient ascent では、各ステップで異なるデータポイントを1つだけを使う。

Stochastic gradient ascent

ロジスティック回帰における Stochastic gradient ascent

毎回異なるデータポイントを使って計算する。

各ステップの処理時間 ＝ 1データポイントの処理時間

Comparing gradient to stochastic gradient

どちらが良いか？ 場合による。

Stochastic gradient の方が処理時間は短い。

が、パラメータへの感応度が非常に強くなる。

Stochastic gradient の方が、より早く高い尤度に到達するが、ノイズ（ぶれ）が大きくなる。

時間が経つと、gradient も最終的には追い付く。

Stocastic gradient は、gradientの改良で、良いスケーラビリティがあり、現実世界に大きな影響を与えたが、正しく活用するにはトリッキーである。

Why would stochastic gradient ever work???

gradient はもっとも急勾配の「ベスト」な方向だが、「登る」方向であればどの方向であっても有用である。

gradient の「ベスト」な方向は、すべてのデータポイントから得られた方向の「総和」である。

stochastic gradient ascent では、ひとつのデータポイントから登る方向を得る。

ほとんどの場合は likelihood は高くなる、稀に低くなるが、平均的には改善していく。

Convergence path

Stochastic gradient はノイズを含みながら発振しながら最適解に近づく。

収束するところでも発振している。

gradient はゆっくりとスムーズに最適解に近づく。

Stochastic gradient: practical tricks

各ステップでデータポイント1つだけを使ってパラメータを更新するので、データの並び順がバイアスを生み出す

データのシステマチックな順番（負の値が先、年齢が若い順、など）は大きなバイアスを生む

学習させる前にデータをシャッフルする

Choosing the step size η

stochastic gradient におけるステップサイズの選択は gradient におけるステップサイズの選択と似ているが、stochastic gradient では非常に不安定である。

ステップサイズが小さいと収束するまでに時間がかかる。

ステップサイズが大きいと大きく振動する。

ステップサイズが大きすぎると goes to crazy。（最適解から遠いところで振動している）

ステップサイズの選択は、gradient と比べて多くの trial and error を必要とする。

exponential な探索空間の中で試す。

ゴール：小さすぎるηと大きすぎるηを見つけるために learning curve を描く。

イテレーションのたびにステップサイズを小さくする、というのは stochastic gradient には重要。

ηt = η0 / t

Don’t trust the last coefficients…

stochastic gradient は最適解の周辺で振動しているため、「完全には収束しない」。

なので、「最後の値」は、良い値であるかもしれないし、悪い値であるかもしれない。

ノイズを最小化するために、最後の coefficients を返すのではなく、それまでの出力の平均を使う。

Learning from batches of data

（optionalのため割愛）

Measuring convergence

（optionalのため割愛）

Adding regularization

（optionalのため割愛）

Online learning: Fitting models from streaming data

Batch learning: 学習に必要なデータが学習開始時にすべてそろっている。

Online learning: 時間の経過とともに学習用のデータが到着する。データが到着したら学習しなければならない。

例えば、広告ターゲティング

ユーザーの行動（クリックしたかどうか、など）に応じて、データを追加して学習する。

オンライン学習では、各タイムステップで

入力データを得る

予測をする

実際の結果を確認する

各タイムステップで coefficients を即時に更新しなければならない。

Stochastic gradient ascent はオンライン学習に使える。

各イテレーションでデータポイント1つだけを使うため。

coefficients を即時に更新するPros & Cons

Pros

モデルは常に最新 → ほとんどの場合は精度が高い

計算コストが小さい

すべてのデータを蓄積する必要がない。

Cons

システム全体が非常に複雑になる

システムを構築、維持する現実的なコスト。

ほとんどの企業は、日次、毎時、週次でデータを保存、パラメータを更新するシステムを構築している。

Summary of scaling to huge datasets & online learning

並列化によるスケーリング

マルチコアプロセッサ

コンピュータクラスタ

スケールさせる大きな機会

並列＆分散MLアルゴリズムの必要性

まとめ

stochastic gradient による学習アルゴリズムの劇的な高速化

stochastic gradient がなぜ機能するのかについての理解

stochastic gradient の実際の適用

オンライン学習の問題

stochastic gradient とオンライン学習の関連

EOF

[snaga2003]

[Classification] Week 6: Evaluating classifiers: Precision & Recall

https://www.coursera.org/learn/ml-classification/home/week/6

レストランのプロモーションのためにレビューを使う。

30%顧客を増やすために、レビューを使って「信頼性の高い」マーケティングキャンペーンを打つ。

reviews がインプット、great quotes や great spokespeople がアウトプット。

positive なレビューを sentiment classifier で判別する。

positive と判別された文章をWebサイトに自動的に掲載する。

What does it mean for a classifier to be good?

良い精度とは何か？

binary classification でランダムな classification だと classification error は 0.5 となる。（baseline）

k個のクラスなら classification error は 1 - 1/k となる。

少なくともこれらを越えなければならない。でないと意味がない。

inbalanced problems の罠

90% の文章が negative だった場合、すべての文章を negative と判定すれば、精度は90%となる。

精度としては素晴らしいが自分には使い物にならない。（というケース）

自動化されたマーケティングキャンペーンで、10個のレビューをWebサイトに載せた場合：

PRECISION: negative な文章を間違えて掲載していないか？

RECALL: positive な文章を間違えて非掲載にしていないか？

精度 accuracy はこれらの問題をうまく捉えられない。

Precision: Fraction of positive predictions that are actually positive

間違って negative を positive と判別していないか？

Precision = true-positive / (true-positive + false-positive)

ベスト: 1.0

ワースト: 0.0

Positive と判別された6つのデータのうち本当に positive なのは4つだったとする。

true-positive = 4, false-positive = 2

Precision = 4 / (4+2) = 0.66

なぜ precision が重要か。

高い precision は、positive と判別されたものが本当に positive である状態に近いことを示す。

Recall: Fraction of positive data predicted to be positive

本当にすべての positive を検出できているか？

Recall = true-positive / ( true-positive + false-negative )

ベスト: 1.0

ワースト: 0.0

本当は positive なデータ6つのうち、4つが positive と判別され、2つが negative と判別されたとする。

true-postiive = 4, false-negative = 2

Recal = 4 / (4+2) = 0.66

なぜ Recall が重要か。

高い Recall は、すべての positive を検出できている状態に近いことを示す。

Precision-recall extremes

楽観的なモデルは、より多くのデータを positive と判別しがち。

recall が高く、precision が低くなる。

悲観的的なモデルは、より少ないデータを positive と判別しがち。

recall が低く、precision が高くなる。

precision と recall のバランス

楽観的なモデルはより多くの positive を判別するが、より多くの false-positive を含む。

悲観的なモデルはより少ない positive を判別するが、より少ない false-positive を含む。

Tradeoff precision and recall

precision と recall のトレードオフはコントロール可能か？

P(y=+1| x) 確信度を使えば可能。

悲観的なモデルを構築する場合には P(y=+1| x) がより高い値の時だけ positive と判別すればよい。

if P(y=+1| x) > 0.999 then +1 else -1

楽観的なモデルを構築する場合には P(y=+1| x) がより低い値の時も positive と判別すればよい。

if P(y=+1| x) > 0.1 then +1 else -1

precision と recall のトレードオフを閾値でコントロールする

Precision-recall curve

t = 1.0 として悲観的な precision = 1.0, recall = 0.0 なモデルから始めて、tを徐々に下げていった時、

理想的なモデルは t を下げても precision が下がらず、recall が上がっていく。

理想は precision = recall = 1.0

実際にはそうはならず、precision が下がっていく。（precision-recall curve）

どのモデルが良いか？ どうやって決めるか？

アルゴリズムを比較する

F1 measure, area-under-the-curve (AUC), ...

おすすめは Precision at k

k個の予測をした時の precision を指標として比較する。

例えば、5個の予測をしたときに precision = 0.8 とか。

Summary of precision-recall

classification accuracy / error は常に適切な評価指標であるとは限らない。

precision は positive と判定されたものが確かに positive であるかどうかを示す。

recall は positive なものを positive と判定できているかを示す。

precision-recall のトレードオフは確信度を閾値として設定する。

precision-recall はカーブを描く。

precision at k を使ってモデルを比較できる。

EOF

[snaga2003]

Watson Analyticsアカウントの作成方法（2016/04/09版）

以下は2016年4月9日時点で確認したWatson Analyticsのアカウントの作成手順です。時間が経つと若干変わる可能性があることをご了承ください。

1. Watson Analyticsのサイトに行く

http://www.ibm.com/analytics/watson-analytics/us-en/

上記URLを開き、オレンジの「Try it for Free」をクリックする。

2. アカウントを登録する

”Please complete your registration for Watson Analytics" と言われるので、メールアドレスとフルネーム、パスワードと国名を入力して「Register」をクリックする。

確認画面が出て確認メールを送った旨が表示される。

3. メールアドレスの確認

登録したメールアドレスに確認のメールが届くので、「Validate Email Address」をクリックして確かに自分のメールアドレスであることを確認する。

4. 登録したアカウントを使ってログインする

IBMのサービスのログイン画面に飛ばされるので、今、登録したメールアドレスとパスワードを使ってログインする。

5. Watson Analyticsのホーム画面に到着

Watson Analyticsのホーム画面に到着すればアカウント作成は完了。

以上。

[snaga2003]

[Classification] Week 5: Boosting

https://www.coursera.org/learn/ml-classification/home/week/5

シンプルな（弱い）classifierは良い。

低い分散と速い学習。

しかし高いバイアス

適切なclassifierを探すには

その1: 説明変数を増やす、（決定木の）深さを増やす。

その2: ？？

Boostingに関する問い

複数の弱いlearners(classifiers)は組み合わせてより強いlearnerを作れるか？

Schapire (1990) Boosting

シンプルな手法、各業界で広く使われる、Kaggleで勝った

Ensemble classifier

Ensemble Methods

単一のclassifierを複数組み合わせて予測のために投票させる

各classifierの予測結果 f(x) に重みづけ w をする。

一般的には

y^ = sign(Σw^t ft(x))

Boosting

Boostingでは予測がうまくいかない（難しい、失敗する）ところにフォーカスする

Decision stumpとかで

重要なデータポイントについては αi で重みづけする。

より重要なデータポイントにはより大きい αi を。

学習の時には、単にデータポイントが αi 倍されたものとして扱う。

例えば αi が 2 なら、そのデータポイントの数を二倍にする。

Boosting = Greedy learning ensembles from data

予測に失敗したデータポイントのウェイトを上げる

AdaBoost

AdaBoost: learning ensemble

αi = 1/N から始める

For t = 1,…,T

Learn ft(x) with data weights αi

Compute coefficient ŵt

Recompute weights αi

最終的なモデルは y^ = sign(Σw^t ft(x))

Computing coefficient ŵt

ft(x)が良好ならウェイトを小さく、良くないなら大きく

分類に失敗したデータポイントの数をウェイトにする

weighted error = 予測に失敗したデータポイントのウェイト総和 / 全データポイントのウェイト総和

coefficient ŵtの計算

coefficient ŵt = 1/2 * ln( (1-weighted_error(ft)) / weighted_error(ft))

Recompute weights αi

αiの更新

予測が当たっていたら αi = αi * e^(-ŵt)

予測がはずれていたら αi = αi * e^(ŵt)

αi の正規化

予測ミスが多くなるとαiが非常に大きくなる

予測ミスが減るとαiが非常に小さくなる

数値的な変動が大きくなるので、正規化する

イテレーションすべての αi の総和が1になるように正規化。

αi = αi / Σαj

AdaBoost example

t=1: オリジナルのデータから学習する（イテレーション1）

予測ミスしたデータポイント数を使ってαiを調整する

t=2: 重みづけしたデータを使って学習する（イテレーション2）

組み合わせ結果は重みづけしたclassifierの総和となる

30回イテレーションしてみた結果の decision boundary を見よ

AdaBoost summary

For t = 1,…,T

Learn ft(x) with data weights αi

Compute coefficient ŵt

Recompute weights αi

Normalize weights αi

最終的なモデルは y^ = sign(Σw^t ft(x))

Boosted decision stumps

すべての説明変数の decision stump を見て、もっとも decision error が低いものを ŵt を計算するための weighted_erorr(ft) として使う。

Boosting convergence & overfitting

イテレーションを繰り返すと boosting の training error は 0 になる。

テクニカルには無限にイテレーションを繰り返せば最終的には 0 になる

training error が振動したりはする

各イテレーションえ weighted_error(ft) < 0.5 という分類を常に見つけられるとは限らない。

極端な例）＋と－が重なっていると分類できない。

Boosting の test error は定常状態に近づく。

overfitting に対して耐性が強い

イテレーションの回数 T について sensitive になる必要はない。

とは言え、最終的には overfitting になるので、Tの最大値を選ぶ必要がある。

いつ boosting を止めると判断するか？

データ量が多いとき → validation set を使う

データ量が少ないとき → cross validation を行う

Summary of boosting

Boostingの派生と、類似のアルゴリズム

Boostingの数百の派生がある

Gradient boosting: AdaBoostに似ているが基本的な分類を超える時に便利

ensemblesを学習するアプローチの中で最重要なもの

Random Forest:

Bagging: データのサブセットを作って木をつくる。平均を使って予測する。

boosting よりシンプルで並列化しやすい

一般的にはboostingより高いエラーを起こす（イテレーションのTが同じ場合）

Boostingのインパクト

もっとも有用な機会学習の手法

コンピュータビジョン Extremely useful in computer vision

競技で強い Used by most winners of ML competitions (Kaggle, KDD Cup,…)

実際にデプロイされているMLシステムは model ensembles を使っている Most deployed ML systems use model ensembles

EOF

[snaga2003]

[Classification] Week 4: Preventing Overfitting in Decision Trees

https://www.coursera.org/learn/ml-classification/home/week/4

Overfitting review

logistic regressionにおけるoverfitting

モデルが複雑になるとある時点まで training error も true error も減少する。

モデルが複雑になりすぎると、training error は下がるが true error は上昇し始める。

トレーニングデータではエラーが下がるが、新しいデータだとエラーが上がる。

この状態がoverfitting

overfitting -> overconfident prediction

degree を上げると、decision boundaries がむやみに細かくなる

bad overfitting, crazy overfitting

Overfitting in decision trees

Decision stump (Depth 1)

一つ目の説明変数 x[1] で分割する。

depth を深くしていくとどうなるか？

training errorは減っていく。decision boundariesも複雑になっていく。

training error が 0.00 とかになるのは big warning

より深いツリーは、より低い training error を実現するが

training error が「0」というのは完璧なモデルなのか？

そうではない。

なぜ depth を深くすると training error が減るのか？

Given a subset of data M (a node in a tree)

For each feature hi(x):

-1. Split data of M according to feature hi(x)

-2. Compute classification error split

Chose feature h*(x) with lowest classification error

そもそも各分割で training error を減らすような設計になっている。

実際の loan data で検証してみると、

training error と validation error を比較して、validation error が最小になるモデルがベストのdepth。

Principle of Occam's razor: Simpler trees are better

Principle of Occam's Razor オッカムの剃刀の原則

"Among competing hypotheses, the one with fewest assumptions should be selected”, William of Occam, 13th Century

複数の減少を説明する時、複数の原因で説明するよりも、単一の原因で説明できる方を選択すべきである。

オッカムの剃刀を decision trees に適用すると

同じ validation error だった場合に、（シンプルと複雑の）中間的なモデルと、複雑なモデルとどちらを選ぶべきか？

中間的なモデル（より複雑ではない方）である。

Modified tree learning problem

低い classification error の「シンプルな」 decision tree を探す。

どうやってよりシンプルな tree を探すか？

Early stopping: tree が複雑になりすぎる前にアルゴリズムを止める。

Pruning: アルゴリズムが終了した後に tree を刈り取ってシンプルにする。

Early stopping for learning decision trees

深い tree は複雑さを上昇させる

Early stopping condition 1: Limit the depth of a tree

Early stopping condition 1: Limit depth of tree

あらかじめ最大の深さ max_depth を決めておく。

どうやって max_depth を決めるか？

validation set か cross-validation を使う。

Early stopping condition 2: Use classification error to limit depth of tree

Early stopping condition 2: No split improves classification error

本来、各splitでクラスを完全に予測できるようになるまでsplitを再帰させるが、どの説明変数でsplitしても classification error が改善されない場合にそこで停止させる。

classification errorが改善されない場合の現実的な対処法

magic parameter ε を導入する。エラーが ε より改善しなかったら止める。

この方法にはいくつかの罠がある（see pruning section）

実際には非常に便利な方法

Early stopping condition 3: Stop if number of data points contained in a node is too small

Early stopping condition 3: Stop when data points in a node <= Nmin

データポイントが設定した閾値を下回ったら停止する。

とても少ないデータポイントしかないsplitは果たして信用できるのか？

例えば、データポイント3、うち Safe 1, Risky 2 など。

Summary of decision trees with early stopping

Early stopping: Summary

Limit tree depth: 一定の深さを超えたら停止する

Classification error: classification error が十分に低減している間は継続する

Minimum node “size”: 少ないデータポイントしか含まないノードの分割は行わない。

Greedy decision tree learning

Step 1: 空のツリーから始める

Step 2: 説明変数を一つ選びsplitする

ツリーの各splitにおいて:

Step 3: 停止する条件に合致したら止めて、そのノードにおける予測を作成する。 (Stopping conditions 1 & 2 or Early stopping conditions 1, 2 & 3)

Step 4: 停止できなければ、Step 2 に行き、再帰して split を継続する。

Overfitting in Decision Trees: Pruning

（Optional なので一旦割愛）

Summary of overfitting in decision trees

decision trees における overfitting を判別する

early stopping によって overfitting を防止する

tree depth を制限する

classification error が低減しなかったら split を止める

少ないデータポイントしかない中間ノードは split しない。

複雑な tree の pruning によって overfitting を防止する

Use a total cost formula that balances classification error and tree complexity

Use total cost to merge potentially complex trees into simpler ones

EOF

[snaga2003]

[Classification] Week 3: Decision Trees

https://www.coursera.org/learn/ml-classification/home/week/3

Predicting potential loan defaults

ローンが返済されない可能性を予測する

何の要素がローンのリスクを高めるか？

クレジットヒストリ、収入、期間、個人情報

ローン申請をインプットとして、Classifier Modelを使ってSafe/Riskyを判別

Decision trees: Intuition

入力に複数の要素（Credit, Income, Term）があった時のスコアを予測する。

ツリー構造による場合分け

Decision tree learning task

Observations から木構造を作る。

トレーニングデータを使って quality metric を最適化する。

Classification Error

エラー = 予測に失敗した数 / 予測した数

ベストは0.0、最悪は1.0

Classification errorを最小化する木構造を見つける

どうやって最適な木を見つけるか？

候補となる木は指数関数的に増える。

NP困難

シンプルな（greedy）アルゴリズムは「良い」木を見つける

approxymately minimize classification error

Greedy decision tree learning: Algorithm outline

Step1: すべてのデータ、空の木から始める。

Step2: 何らかの説明変数で分割する

例えば、クレジットヒストリ

Step3: 予測をする

Step4: 完全に予測できない場合には、さらに再帰的に（別の説明変数で）分割する

Feature split learning = Decision stump learning

学習用データから始める

すべてのデータから始める

ルートノードで、クラス（outcome）ごとに分類する

特定の説明変数（例えば credit）で分割する。

分割した後のノードは中間ノード（intermediate nodes）となる。

中間ノードでの予測は、そのノードに含まれるマジョリティとなるクラスを用いる。

Selecting best feature to split on

最適な説明変数で分割する必要がある。

例えば、 credit と term の2つの変数があった場合にどちらで分割すべきか？

ノードをどのように効率的に分割するか？

classification errorを計算するというアイディア

ルートノードのmajorityで判断すると、errorは0.45

creditで分割すると 0.2、termで分割すると0.25になる。

より低いerrorとなる credit での分割を行う。

要するに、greedy decision tree learning とは

説明変数のうち、splitのエラーが一番低くなる変数を使って分割する手法。

Decision Tree Learning: Recursion & Stopping conditions

ツリーの分割をいつ止めるか？

各ノードで100%予測ができるようになったら終わり（≒ノードの持つy（outcome）が全部同じ）。

100%予測ができないのであれば、他の説明変数を使ってさらに分割する。

使っていない説明変数がなくなったら終わり。

Stopping condition 1: All data agrees on y

Stopping condition 2: Already split on all features

Predictions with decision trees

predict(tree_node, input) * If current tree_node is a leaf: * return majority class of data points in leaf * else * next_note = child node of tree_node whose feature value agrees with input * return predict(next_note, input)

Multiclass classification & predicting probabilities

Multiclass prediction: outcomeが3つ以上

Safe, Risky, Dangerなど

Predicting probabilities with decision trees

条件付き確率で考える

P(y = danger | x), x: credit = poor

7 / (3+1+7) = 0.64

Decision tree learning: Real valued features

実際の値（年収、年齢など）をどう扱うか？

数字のまま扱うと過学習となる。

数字のままではなく、閾値を設定してクラス分けする。

$60k未満、$60k以上、など。

二次元空間で表現できる

Decision trees vs logistic regression: Example

decision boundaries が似てくる

決定木の深さを深くしていく

ロジスティック回帰の説明変数を増やしていく

Summary of decision trees

決定木による分類器を定義する

決定木の出力を解釈する

greedy algorithmを使って学習して決定木を作る

予測をするために決定木を辿っていく

Majority class predictions （もっとも多いクラスを用いる）

Probability predictions （確率を予測する）

決定木は Multiclass classification も扱える

EOF

[snaga2003]

PyInstallを使ってPythonスクリプトからWindows用の実行バイナリを作成する

Pythonインタプリタの入っていないWindows環境でもPythonプログラムを実行したくなったので、PythonスクリプトをWindows実行バイナリに変換する方法を調べてみました。

前提条件

以下の環境での実現方法です。執筆時点における2.7系の最新版で揃えてみました。

Windows 7 Professional Service Pack 1 （64ビット版）

Python 2.7.11

Python for Windows Extensions Build 220

PyInstaller 3.1.1

セットアップ

ソフトウェアの入手

まず、Python 2.7.11 をダウンロードします。今回は64ビット環境なので Windows x86-64 MSI installer を使います。

https://www.python.org/downloads/release/python-2711/

次に、Python for Windows Extensions Build 220 のうち、64ビット版でPython 2.7に対応した pywin32-220.win-amd64-py2.7.exe をダウンロードします。

https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

そして、PyInstaller 3.1.1 をダウンロードします。Windows版はZIPパッケージになっているので PyInstaller 3.1.1 (zip) をダウンロードします。

http://www.pyinstaller.org/

ここまでで必要なソフトウェアのダウンロードは完了です。

ソフトウェアのインストール

まず、Pythonのインストールを行います。特に難しいことはありません。 python-2.7.11.amd64.msi を起動してインストールします。

次に、 Python for Windows Extensions をインストールします。同じようにインストーラを起動してインストールを進めます。途中、Pythonのインストールディレクトリを確認されますので、それが正しく設定されていることを確認してください。

最後に、PyInstallerをインストールします。PyInstallerはインストーラによるインストールではなく、ZIPを解凍して中にあるディレクトリごと適当な場所に配置しておきます。今回は、Cドライブの直下に PyInstaller-3.1 ディレクトリを配置しました。

以上で、ソフトウェアのセットアップは完了です。

Hello.pyをWindowsバイナリに変換する

それでは、Pythonで書かれた Hello World スクリプトをWindowsバイナリに変換してみましょう。

スクリプトを作成する

今回は以下のような簡単なPythonスクリプトを使用します。

ビルド用のバッチファイルを作成する

次にビルド用のバッチファイルを作成します（もちろんコマンドラインから直接手で入力しても構いません）。

ビルド用のバッチファイルでは、Python for Windows Extensions の pywintypes27.dll ファイルのあるディレクトリを PATH 環境変数に追加します。（これをしないと、私の環境ではビルド時に ImportError: No system module 'pywintypes' (pywintypes27.dll) というエラーが出ました）

PATH 環境変数を設定したら、hello.py ファイルを引数として、PyInstallerの pyinstaller.py を実行します。

ここまでで、ソースコードの hello.py とビルドスクリプトの build.bat が準備できました。

Windows用バイナリを作成する

それでは、build.bat を実行して hello.py の実行バイナリを作成しましょう。

build.bat が完了すると、hello.spec というファイルとともに build、dist というサブディレクトリが作成されます。

この dist サブディレクトリの hello サブディレクトリの中に、今回作成した hello.py のバイナリ（と関連ファイル）が作成されています。

これで hello.py スクリプトから作成したWindows用実行バイナリができました。

Windows用バイナリを実行する

作成されたファイルのうち、実行に必要なのは EXE ファイルと DLL ファイルです。これらのファイルだけを残して他のファイルを削除し、 hello.exe を実行してみます。

プログラムが正しく実行されていることが分かります。この EXE ファイルと DLL ファイルを配布すれば、もともとPythonスクリプトであったプログラムを、PythonインタプリタのないWindows環境でも動作させることができるようになります。

以上。

[snaga2003]

[Machine Learning Foundation] Week 4: Clustering and Similarity: Retrieving Documents

https://www.coursera.org/learn/ml-foundations/home/week/4

Retrieving documents of interest

今、何かドキュメントを読んでいるとして、それに似ているものを見つけるのがゴール。

どうやって「似ている」を測るか？

文章をどうやって検索するか？

Word count representation for measuring similarity

Bag of words model

語順は無視する

文中に出てきた単語の数を数える。

類似度の計算は、同じ単語の出現回数を掛けて、全単語の総和を取る

文書Aの単語カウント: 1000530010000

文書Bの単語カウント: 3000200101000

→ 1 * 3 + 5 * 2 = 13 （類似度）

Word Countsの問題は文書の長さ

文書の長さが単に2倍になると、類似度は4倍になる。

各々の文書の単語の出現回数がそれぞれ2倍になるから。

文書Aの単語カウント: 20001060020000

文書Bの単語カウント: 6000 400202000

→ 2 * 6 + 10 * 4 = 52 （類似度）

解決法：Normalization 正規化

二乗和平方で割る sqrt(1^2 + 5^2 + 3^2 + 1^2)

Prioritizing important words with tf-idf

Word Countsの問題：「稀」な単語

頻出単語（the, player, field, goal）が稀な単語（futbol, Messi）を圧倒する

Document frequency 文書の頻度

「稀な単語」を特徴づけるのは、コーパスでの「出現しなさ具合」。

より少ない文書中に出てくる単語を重視する

つまり、単語wが出てくる文書の数で、単語wを重みづけ（ディスカウント）する。

重要な単語

「稀な単語」だけ考えればいいのか？

「重要な単語」を特徴づけるのは、特定の文書内でたくさん出てくる単語（common locally）

コーパス内では稀にしか出てこない。（rare globally）

文書内の頻度（local frequency）とコーパス内での稀さ（global rarity）のトレードオフ

TF-IDF document representation

Term frequency – inverse document frequency (tf-idf)

Term frequency は Word Counts と同じ。

Inverse document frequency は log(# docs / (1 + # docs using word))

多くの文書で使われている単語は、（分母と分子が近づいて、そのlogなので）IDF値が0に近づく。

稀な単語は（分母が大きくなって分子が小さくなるので）IDF値が大きくなる。

単語ごとに TF と IDF を計算し、それを掛けて TF-IDF とする。

Retrieving similar documents

Nearest neighbor search 近傍探索

クエリとなる文書と、検索対象のコーパス

距離 distance metric を指定して、もっとも似ている文書のセットを出力する。

1 – Nearest neighbor

入力はクエリの文書、出力はもっとも似ている文書ひとつ。

アルゴリズム

foreach doc in corpus: s = similarity(doc, query) if s < best_s: best_s = s return best_s

k – Nearest neighbor

入力はクエリの文書、出力はk個の似ている文書。

Clustering documents

トピックでドキュメント群を構造化する

ドキュメント群の中にグループ（クラスタ）を見つけたい: スポーツとかニュースとか

各文書のラベルが既知だったらどうなるか？

ラベルが付けられたトレーニング用（学習用）の文書群

スポーツ、ニュース、エンターテイメント、科学

Multiclass classification problem が起こる https://en.wikipedia.org/wiki/Multiclass_classification

複数のクラスに属する文書はどうなるか？

教師あり学習 supervised learning の例

Clustering

ラベルは無し、クラスタの構造を明らかにしたい

入力はベクトルとしてのドキュメント、出力はクラスタのラベル。

教師なし学習

何がクラスタを決めるのか？

クラスタを決定づけるのは、中心と形/拡がり。

ある文書（doc）をクラスタ（topic label）に割り当てると、クラスタ内のスコアは他のものより高い。

他のクラスタの中心よりも、割り当てられたクラスタの中心の方が類似度が高い。

k-means

前提: 類似度メトリック = クラスタの中心への距離（小さい方が良い）

アルゴリズム

(0) クラスタの中心を決める

(1) 一番近いクラスタの中心に、対象を割り当てる

(2) 割り当てられた対象の平均値を使ってクラスタの中心を更新する

(3) 収束するまで 1.+2. を繰り返す。

Other examples

画像のクラスタリング

グループによる検索

海、ピンクの花、犬、夕日、雲、などなど

健康状態による患者のグループ化

より良い集団と疾病の特徴づけ

例: 患者と発作は多様でいろいろ。

観測された時間経過によって発作をクラスタリングする

Amazonの商品

購入履歴から商品のカテゴリを発見する（「家具」ではなく「子供」のような）

あるいは、「ユーザのグループ」を発見する。

検索結果を構造化する

検索の単語は、複数の意味を持つことがある

例: cardinal （鳥、野球チーム、枢機卿）

出力を構造化するためにクラスタリングを使う

Discovering similar neighborhoods

Task 1: 小さい区域で住宅の価格を予測する。

難しさ: ひと月のうち一部の地域でしか住宅の販売がない。

解決法: 似たトレンドにある地域をクラスタリングし、クラスタ内で情報を共有する。

Task 2: 凶悪事件を予測し、警察により良い仕事をしてもらう。

やはり、似ている地域をクラスタリングし、クラスタ内で情報を共有。

個々にそれぞれの地域を予測するよりも予測の制度は上がる。

EOF

[snaga2003]

[Regression] Week 6: Going nonparametric: Nearest neighbor and kernel regression

https://www.coursera.org/learn/ml-regression/home/week/6

Nearest neighbor regression

局所的な構造を持ち込みたい場合。

データは大量にあることが前提

1 nearest neighbor (1-NN) regression

一番近いデータポイントから値を推定する

一般的に人間が考える方法に近い

求め方

クエリXqに「距離」が一番データポイントXNNを見つけその時のYNNを使う。

ボロノイ図

距離の定義

一次元の場合はユークリッド距離：distance(Xj,Xq) = |Xj-Xq|

多次元の場合はいろいろある。異なる次元には異なる重みを付ける。

sqrt(a1(Xj[1]-Xq[1])^2 + ... + ad(Xj[d]-Xq[d])^2))

他には Mahalanobis, rank-based, correlation-based, cosine similarity, Manhattan, Hamming

データポイントが多いと綺麗にフィットするが、データが欠落するとジャンプする

データ量が多い場合、説明変数が多い場合に向く

計算量

距離の計算が1回1us、100,000データポイントあるとすると、最小を見つける時間は 1us * 100,000 points = 1s。

全部で50msで終わらせたい場合、説明変数を1/20に減らす必要がある（100変数→5変数）など。

k-Nearest neighbors

より多くのデータポイントから予測すると、信頼度が上がる。

ノイズが多い場合にうまくフィットする。

境界やデータが疎なところで問題が起こる。

不連続性（discontinuities）が持ち込まれる。

inputの小さな変化がoutputを大きく変化させるので、信頼できなくなる。

Weighted k-nearest neighbors

予測する際、k-NNのデータポイントのうち、似ているものにより大きな重みづけをする。

yq = (cqNN1*yNN1 + cqNN2*yNN2 + cqNN3*yNN3 + ... + cqNNk*yNNk) / sum(cqNNj)

クエリとの距離 distance(xNNj,xq) が大きい（＝似ていない）場合には重みづけ係数 cqNNj を小さく、距離が小さい（＝似ている）場合には重みづけ係数を大きく。

重みづけの係数にはカーネル関数を使う。

カーネル関数

一次元の場合は Kernelλ(|xi-­‐xq|) = exp(-(xi-xq)2/λ) 。

Kernel regression

k-NNだけではなくすべてのデータポイントに重みづけする。

境界をサポートする。

ローカルフィットのためにはサブセットのデータがあればよい。

bandwidth λの概念

λを狭く（小さく）取りすぎるとオーバーフィッティングになる。入力の変化に対して過剰にセンシティブになる。varianceが大きくなる。

λを広く（大きく）取りすぎるとスムーズすぎるフィットになる。入力の変化に対して変化しなくなる。varianceが小さくなる。

しばしば、カーネルの選択より、λの選択の方がよっぽど問題となる。

どうやってλを決める？

Cross Validation!!

Formalizing the idea of local fits

kernel regression は重みづけ（constant）を変えながら local fits を実現する。

ターゲットポイントを中心としてウィンドウλの中に少しずつデータポイントを取り込み、少しずつデータポイントを外していく。

データポイントごとに重みづけを変える。

グローバルな重みづけを使う手法とここが異なる。

local regression

locally weighted linear regression というのもある。

local な重みづけを linear regression に持ち込む。

variance の増加を最小化しつつ、境界における bias を減少させる。

Local quadratic fit

境界の問題を解決せず、variance も増えるが、内部における歪みを捉えることができる。 help capture curvature in the interior

オススメのデフォルト

local linear regression

Discussion on k-NN and kernel regression

Nonparametric手法

k-NNとkernel regression はノンパラメトリック手法の例

ノンパラメトリック手法の一般的なゴール

柔軟性

f(x)の前提を少なくする

データポイントNが増えるに従って複雑さを増す（≒複雑な事象を表現できる？）

他にもいろいろ

Splines, trees, locally weighted structured regression models…

ノイズ（エラー）の無い無限のデータ（εi=0）を仮定すると、1-NN fit の MSE（bias+error）は 0 になる。

パラメトリック手法と違う。

無限のデータ（εi=0）を仮定すると、kを増やしていけば NN fit の MSE は 0 になる。

NN and kernel methodsはデータが探索空間をカバーしている場合にうまく動作する

for large d or small N

次元 d が増えると、空間をカバーするためにデータポイント N を増やす必要がある。

良いパフォーマンスのためには N = O(exp(d)) のデータポイントが必要。

NN探索の複雑さ

naive な brute force アプローチだと 1-NN の検索に O(N) かかる。

k-NN の探索には O(Nlogk) かかる。

Nが大きかったらどうする？ → Clustering & Retrieval のコースで

k-NN for classification

Classificationを思い出す: SPAM判定

k-NNをClassificationに使う

k-NNによる投票（spam or not spam）によって判定する。

EOF

[snaga2003]

減量生活2015

糖質制限 Advent Calendar 2015 の Day24 です。滑り込みで参加することにしました。ぽすぐれの方から来ました、@snagaです。初Tumblrです。

昨日は @tmd45 さんの「さらに3ヶ月経過 - TMD45'β'LOG!!!」でした。改めて、Advent Celendarの他の方たちの記事も全部読ませていただきましたが、参考になりますね。とても面白いです。

僕は、10月中旬くらいから減量生活に入っているので、糖質制限を含む、その辺の諸々とその成果について書いてみようと思います。

★経緯

夏前に少し体調を崩し、夏はいろいろ抑え気味にしていたものの、秋になってもあんまり体調がよくならないので、どうしようか考えていたのが10月上旬から中旬くらいでした。しかも明らかに太ってきていて、運動不足とストレスと体調不良のコンボな状態がしばらく続いていました。

夏の終わりごろにMisfitとかを買ってウォーキングをやってみたものの、期待するほどは改善しないなーと感じていて、もうちょっと効果のある違ったことをやりたいなーと思っていた時期でもありました。

また、一部オンラインコミュニティ（？）でメシテロが流行っていましたが、元気にメシテロするためには健康な身体が必要、ということで、その点も減量生活に入る理由のひとつになりました。孤独のグルメ、ワカコ酒が好きです。

★10月中旬

最初のキッカケは糖質制限ではなくファスティングでした。

フリーペーパーを読んでいて「半日ファスティング」というものを知ったのがこの頃でした。要は、夕食から翌日の昼食まで（約18時間）固形物を口にしない、というアレです。

調べてみた結果、胃腸の調子が良くなる、体調が良くなる、体重が減る、などなどの効果が想定され、生活へのインパクトもそれほど大きくないと思われたので、「とりあえず1週間」と期限を決めてその日からトライしてみました。

結果、一週間後に1キロ以上体重が減り、体調もそこそこ良かったので継続してみることにしました。このあたりから節制生活っぽくなっていきます。

この頃は、まだ普通にカレーとかを食べてました。

★11月上旬

体調が少し良くなってきたので、ジョギングを始めました。走る日は大体7キロ、40分くらいを走ります。

「Jabra Pulse」という心拍を測れるBluetoothイヤホンを購入したのですが、心拍をモニターしながらジョギングするようになったため、以前のように単純にタイムだけ見ていた頃よりも楽に走れるようになりました。（以前のペースは速すぎたようです。）

★11月中旬

体重が3キロ減ったのを記念して、いきステデビュー。

この頃も、まだ普通にカレーとか食べてました。

★11月下旬

いろいろイベントが重なって死にそうな時期でしたが、生活サイクル、生活スタイルとも、一応、維持していました。

★12月上旬

糖質制限開始。

きっかけは、隣で仕事をしていていつもランチを一緒に取っていた同僚（元ラーメン星人）が糖質制限を始めたことでした。

というわけで、基本、麺・米・パンは食べず、ランチにも肉を食べることが増えてきました。

また、それまでは朝にグリーンスムージーを飲んだりしていたのですが、糖質を考慮して飲まないようにしてみました。

★12月中旬

とあるイベントにて糖質警察さんと初エンカウント。

その時の懇親会の料理が鍋で本当によかったです。

★12月下旬

糖質制限、継続中。

基本、麺・米・パンは食べていません。

ある日の晩御飯は↓のような感じです。

★2ヵ月間の成果

というわけで、10月中旬から減量生活に入ったわけですが、結果として、体重は6キロ減、ウェストも5～6センチほど減り、体調もよくなってきました（赤の破線は7日移動平均）。

秋に買ったジーンズがことごとくサイズオーバーとなり、これはこれで複雑な気分なのですが。

あと、個人的に結構嬉しいのは、数値的な改善もさることながら、今シーズンはまだ一度も風邪を引いておらず、全般的に体調が良い、以前酷かった腰痛や肩こりもなくなった、ということだったりします。

★現在継続していること

現在継続していることは以下の通りです。

①半日ファスティング 　夕食は早めに取り、翌日の昼食まで何も食べない、というサイクルを基本的に維持しています。

②ジョギング 　週に3日くらいのジョギングを維持しています。毎回7キロ。履歴を見ると、12月は10日ほど走ったようです。

③糖質制限 　基本的に、米・麺・パン類は避けています。とは言え、食事のコスパが悪化しているので、ブランパンなどを部分的に導入しています。

なお、お酒はちょいちょい飲みます。

★糖質制限をやってみて

もともと炭水化物にさほど思い入れが無いので、自分にとっては特に難しくなく、糖質制限とは相性はいい気がしています。まぁあまり厳格に制限していないから、というのもあるかもしれませんが。

ただ、基本的にほとんど外食・中食なのですが、定食系の外食は、単純にご飯を抜くと味が濃すぎるので、ちょっと難儀しています。炭水化物と組み合わせて食べる前提で味付けされているからでしょうか。

冷静に考えると、コンビニとかの方がよっぽど食事しやすいような気がしています。定番は、サラダ、サラダチキン、ゆで卵、フランクフルト、あたりでしょうか。仕事上、さすがに毎日19時とかには帰宅できないので、（早めに夕食を終えるためにも）コンビニで済ますことも多くなってきました。

グラフを見ると分かるのですが、糖質制限を始めたあたりから、さらにグラフがグッと下がっていて、これはこれで凄いなぁと思っていたりします。年内にあと1キロくらい落とせると嬉しいのですが。

体調は結構よく、食事の直後も頭がシャープな状態が維持されているような気がするので、糖質制限スタイル、結構いいんじゃないかなーと個人的には思っています。

一点、多くの人が指摘しているように、糖質制限は食費がかかるというのは事実だ思います（自炊しないせいでもあるのですが）。「健康をお金で買う」と考えれば、まぁスポーツジムにお金を払うのと同じようなものなので構わないのですが、もうちょっと工夫していきたいなーと思っています。

あと、もうちょっと世の中の（糖質制限の）食事の選択肢が増えるといいなー。最近、スンドゥブをよく食べます（ライス抜き、肉、豆腐増量）。

★今後について

目標体重はあと3～4キロ減くらいなので、それを達成するまでは、今の諸々を続けていくつもりです。

個人的にはラーメンとか白米とかはもともとそれほど興味はないのですが、カレー星人なので、カレーとどう折り合いを付けていくかが、今後の糖質制限ライフスタイルを左右すると言っても過言ではないかもしれません。

「安西先生、カレーが食べたいです・・・」

チートデイを導入しようかとも思いましたが、チートデイはもう少し体重を絞ってからにしようと思ってます。（1ヵ月後くらいを目標に・・・）

まぁ、カレーが食べたいのであって、別にライスでなくてもいいのも事実なのですが・・・。

あと、ジョギングに加えて、そろそろ筋トレも導入しようかなーと思ったり思わなかったり。

そんな感じのここ数ヶ月です。

ではでは。

明日は糖質制限 Advent Calendar 2015 最終日です。誰か書くのかなー？