#markovchain

[tulisanbiasaaja]

Slowly but sure, we're all moving.

To be a better person.

To fulfill our happiness.

Just like a Markov Chain.

You'll still moving into another state, each day.

Until you find your steady state, until you find your true self.

babooo

[datascienceboom-blog]

MCMC Interactive Gallery

The Markov-chain Monte Carlo Interactive Gallery. A collection of javascript implementations of interesting MCMC algorithms http://bit.ly/2GWukJL

[didyoureddit]

What’s a “Markov Chain?”

A stochastic model describing a sequence of possible events in which the probability of each event depends only on the state attained in the previous event.

r/SubredditSimulator

[mirthe]

model a day as a time-varying Markov chain [..] microdata from the American Time Use Survey from 2014

[hurutoriya]

"A Random Walks View of Spectral Segmentation (AISTATS2001)" 読んだ

pairwise similarities(データ間の類似度)によるクラスタリング・セグメンテーションにおける新しい視点を説明する。 類似度からなるエッジはマルコフランダムウォークとしてみなし、ランダムウォークの遷移行列の固有対の考察を行う。 これらはSpectral Clusteirngが確率的な基礎を持っていることを示す。

Motivation(研究背景・動機)

統計的クラスタリングはデータの観測を行うが、対照的にPairwise Clusreingはデータ間の類似度を示す類似度関数を定義しそしてそれらを評価する尺度を最適化する。 そして良い類似度関数を探すことは熟練の経験が求められる。 最近はPairwise Clusreingの中でもSpectral Clusteirngがよく取り上げれている。この手法はグラフカットの尺度の近似とみなす事ができる。 スパースマトリックスを使うことで計算的な効率も向上している。

この論文ではSpectral Clusteringが類似度によるエッジはマルコフランダムウォークとみなせることと、確率遷移行列の固有値・固有ベクトルの性質の考察を行う。

Method(提案手法)

2. Normalized Cut

$$ Lx=\lambda D x \quad (2) $$ Graph Laplacianに関する一般化固有値問題 $$ \lambda^L, x^{L} $$ 二番目に小さい最小固有値とそれに対応する固有ベクトル(非零の最小固有値、対応する固有ベクトル)

$$ x^{L}_{i} = \begin{cases} \alpha, i \in A\ \beta, i \in \bar{A}\end{cases} (3)$$ 固有ベクトルの成分がグラフの分割を示す

$$ NCut(A,\bar{A})=\lambda^{L} $$

NCutの値が２番目に小さい最小固有値と等しくなる。

等しくなるのは直感的に分かるけど、一行で突然説明されていたので証明されてるところを確認する。(参照論文は明記無し)

固有ベクトル$x^{L}$の要素が2つの分割と等価。

式(3)の事をpiecewise constantと呼ぶことにする。(全集合$I$を($A,\bar{A}$)の部分集合で分割したさいのインデックスが固有ベクトル分布に現れる)

NCutの説明は直感的な説明が欠けている。特にNCutアルゴリズムとその尺度(NCut)が$x^{L}$、pairwise constantになることに直感的に結びつきますか？

2つの部分集合に分割したい時に、ラプラシアンについて一般化固有値問題(2)を解く事で何が起こっているのか?

$x^{L}$が離散化されていない時に、どうパフォーマンスが落ちるのか?

ランダムウォークとみなすことで上記3つの疑問点中でも1-2番目の疑問点について理解することが可能になる。

3. Markov walks and normalized cuts

類似行列$S$の正規化によって確率行列$P$を得る。

$$ P = D^{-1}S \quad (4) $$ $D$: 行列の対角成分に接続されるエッジの重みの総和を持つ行列。

正規化したことにより、すべての行で行成分の総和は$1$。 $P$の固有値の範囲は以下のとおり。 $$\lambda_1 = 1 \geq \lambda_2 \geq ... \geq \lambda_n \geq -1$$

最大固有値に対応する固有ベクトル は$x = \mathbb{1}$、つまり要素がすべて1のベクトルとなる。

確率行列$P$の固有値問題を考える。

$$ Px=\lambda x \quad (5) $$

命題1.

$\lambda,x$が式(5)を満たし、行列$P$が$P=D^{-1}A$を満たす場合、$(1-\lambda),x$は式(2)の固有値、固有ベクトルとなる。

＊これは簡単な式変形で自明になる(論文には証明が描かれておらず、読者へのエクササイズとのこと) $$ L = D-S $$ $$ L x = \lambda D x $$ $$ (D-S)x = \lambda D x $$ $$ (I-D^{-1}S)x = \lambda x $$ $$ (D^{-1}S-I)x = - \lambda x $$ $$ D^{-1}Sx = I x - \lambda x $$ $$ D^{-1}Sx = (I- \lambda)x $$ $$ Px = (I- \lambda)x $$

NCutと行列$P$は同じ固有ベクトルを持つ。 命題1はNcutアルゴリズムにより定式化された固有値問題が確率行列$P$と等しいことを示す。

なぜ2番目に最小な固有ベクトルを用いるのか説明ができる。 もし式(2)の最小固有値に対応する固有ベクトルは、確率行列$P$の最大固有ベクトルとなる。よってその固有ベクトルはなんの情報も持たない事が分かる。

マルコフ連鎖的側面

マルコフ連鎖に関する資料は農工大の堀田先生の資料が分かりやすいです。1

はじめに、下記の式を定義する。 $$ \pi^{\infty} = [\pi^{\infty}{i}]{i \in I} $$ $$ \pi^{\infty}{i} = \frac{d_i}{vol(\rm{I})} $$ $\pi^{\infty}{i}$をインデックスとしてももつベクトル $\pi^{\infty}$ (このマルコフ連鎖は定常的という意味で $\infty$ が添字として使われてる)

$i$番目のエッジの総和に関して全てのエッジの総和でわった値が定常分布の成分となる。

$$ P^T \pi^{\infty} = \pi^{\infty} $$ 上の式を満たすことは明らかで(行列$P$は行の総和が1となるので$P^T \pi^{\infty} = \pi^{\infty}$は成り立つ)、エルゴード性を満たすのでマルコフ連鎖における定常分布となる。

よって$\pi$はマルコフ連鎖の定常分布となる。(画像は画素が変化しないので定常的な分布と見なすことが可能)

また下記の式からマルコフ連鎖は反転可能である事を示す。 $$ \pi^{\infty}{i} P{ij} = \pi^{\infty}{j} P{ji} = \frac{S_{ij}}{\rm{vol}I} $$

画素集合の$i$番目に遷移する確率＊画素集合の$i$番目から$j$番目へ遷移する確率= 画素集合の$j$番目に遷移する確率＊画素集合の$j$番目から$j$番目へ遷移する確率= $i-j$間の類似度/画素集合の要素の合計値

定常分布において、集合$A$から集合$B$へのランダムウォークの確率を$P_{AB}$と定義する。

$$ A \subset I, B \subset I $$ $$ P_{AB} = Pr[A \to B|A] $$ $$ P_{AB} = \frac{\sum_{i \in A , j \in B}\pi^{\infty}i P{ij}}{\pi^{\infty}(A)} = \frac{\sum_{i \in A , j \in B} S_{ij}}{\rm{vol}(A)} $$

上式から下の式を導く。 $$ \mathrm{NCut}(A,\bar{A}) = P_{A\bar{A}} + P_{\bar{A}A} $$

つまり、NCutを集合$A \to \bar{A}$と$\bar{A} \to A$のランダムウォークの確率の和とみなす。

２つの部分集合$A,\bar{A}$に分割してNCutの値が小さい時に、マルコフランダムウォークを行った時に集合$A$からランダムウォークした際はevading set(上手く訳せない)$A$内に滞在、また補集合$\bar{A}$からランダムウォークした際も$\bar{A}$へととどまる。以上のことから、直感的に画素集合$I$を2分割する事はランダムウォークをした際に同じ集合に留まることが分かる。(ここの部分はうまく訳せてないです)

NCutはマルコフランダムウォークにおけるA low conductivity setと強い関連性がある。

A low conductivity set : $h(A) = \mathrm{max}(P_{A \bar{A}},P_{\bar{A}A})$

$\mathrm{NCut}(A,\bar{A}) = P_{A\bar{A}} + P_{\bar{A}A} $ の最小化こそがA low conductivity setの最小化に繋がる。

上の式が小さいことをA low conductivity setと論文内で定義されてる。

このSpectral Graph Theoryとマルコフ連鎖の混交時間についての関係は参考論文[1]に詳しく書かれている。

混交時間とは，マルコフ連鎖の初期状態に依存した分布と定常分布との誤差を十分小さいものとみなすために必要な時間2

図は論文から引用

1段目 : 確率遷移行列$P$

2段目 : 固有値分布

3段目 : 1-3本の固有ベクトルの成分分布

の関連性が示されている。

Stochastic matrices with piecewise constant eigenvectors

遷移行列$P$の2番目に大きい固有値に対応する固有ベクトルを$x^2$とする。(これは$x^{L}$と等しい) 固有ベクトル$x$は画素集合$I$の部分集合$A_{1 \ldots k}$に分割する際に強く関連する。 $$ \Delta = (A_1,A_2, \ldots,A_{k-1},A_k) $$

最大固有ベクトルの$n$本の内$k$本はpiecewise constant

命題2

$P$を画素集合$I$に対応する行列とし独立した固有ベクトル集合を持つ。

$n$次元の行列$P$は$P=D^{-1}S$、$S$が対称行列で$D$が特異な場合$P$は$n$個の独立した固有ベクトルを持つ。$\Delta = (A_1,A_2, \ldots,A_{k-1},A_k)$を$I$の部分集合とする。 $P_{is} = \sum_{j \in A_s} P_{ij}$が定数かつ、行列$R=[P_{ss'}]_{s,s' =1, \ldots k}$が正則だった時に、$P$は$k$本の固有ベクトルを持ちそのベクトルはpiecewise constantとなる。

補題3

$n$次元の行列$P$が$P=D^{-1}S$、$S$は対称、$D$は正則行列の際に$P$は$n$個の独立した固有ベクトルを持つ。

命題2の証明は、付録にて行う。

命題2は、確率行列$P$はマルコフ連鎖が$\Delta = (A_1,A_2, \ldots,A_{k-1},A_k)$の纏められていた場合、piecewise constant固有ベクトルを持つ事がわかる。

命題2は、以下の事を示す。

「Spectrak Clusteringは、画素集合$I$の部分集合に対応する確率遷移行列の類似性によって画素集合$I$をグルーピングすることを可能にしている。」

また行列$P$の最大固有値に対応する固有ベクトルの$(n-k)$固有値の集まりをspurious eigenvaluesと呼ぶことにする。

Modified NCut(MNCut)を定義する。

行列$P$の固有ベクトルを計算

最大から$k$本の固有値に対応する固有ベクトル選択

最大から2番目の固有ベクトル成分から領域を抽出する

図2の(a),(b)は、(a)が原画像、(b)がエッジ検出の出力結果だが、(b)の結果を見てみると分割問題として考えると簡単に達成できる画像ではないことが分かる。 (c),(d)はMNCutを用いて6個の領域分割を行った結果。

MNCutの利点 - $\hat{P}$の固有値とspurious eigenvaluesにギャップが存在する場合、クラスタの数は$k$は自動的に決定される。

Evaluation(評価方法・優位性)

図２と命題の証明にて評価。

Conclusion(結論)

Graph Laplacian とマルコフ連鎖の関連性を示した。 またGraph Laplacianの固有ベクトルを用いれば、巨大な行列に対して低ランク近似を行うことが可能。

直感的なNCutの解釈を提案、また行列$P$の$-1$に近い固有値に対応する固有ベクトルは2分割するインデックスが張られている。

クラスタ結果の調整、言い換えるとクラスタの数の自動決定は、マルコフ連鎖的視点から見た時にとても面白い論文が[4],[11]にある。

マルコフランダムウォーク視点から見るとコンピュータビジョンにおける様々な問題について、新しい提案ができると思われる。

感想

命題のノーテーションの付け方や、英文がところどころ読みにくい所があった。 それ以外でいえば、Graph Laplacian がマルコフ連鎖の確率遷移行列に変化→NCutをランダムウォークとして解釈という流れはとても面白い。 後は、論文内でIntuitivelyって言葉を多用してて直感的にって言葉を使い過ぎではと気になりました。 図2の領域分割結果も虎の大部分は正確に分割できていると書かれているが、上手く分割できてないと思う。

未定義のノーテーションも多々でてくる。例えば、$\hat{P}$と$P$の違いを明確にして欲しい。

MNCutと名づけられてるが、NCutどこが修正されてるのか?(同じに見える)

spurious eigenvaluesで使われてるパラメータ$n$は任意の数なのか、それとも行列の次元数なのか？

$\hat{P}$はUnit Matrixと定義してるが、なぜ$I$を使わないのか?

http://www.tuat.ac.jp/~s-hotta/info/slide4.pdf ↩︎

http://tcslab.csce.kyushu-u.ac.jp/~kijima/papers/PhD.pdf ↩︎

[litteraturing]

Algolit au festival Transmediale

www.transmediale.de/festival

Vendredi 30 janvier 18h30>20h : Haus der Kulturen der Welt John-Foster-Dulles-Allee 10, 10557 Berlin, D. 

Aux côtés de Dick Reckard, An Mertens et Brendan Howell, nous présenterons quelques idées développées lors du workshop ’Cqrrelations' organisé par l'asbl Constant à Bruxelles ; l'idée du workshop ayant été inspiré par Algolit, groupe de recherche à l’intersection entre le texte, le language et le code co-fondé en 2012. Après un temps de présentation/discussion, Algolit performera l’algorithme Markov Chain en utilisant des techniques analogues.

src img : performance Algo-lit, festival Désert Numérique juillet 2014, crédit photo Marie Lechner

[condensed-extended]

[condensed-extended]