Dev memo

エンジニアのめも @iiineco

[dev-memo]

ガンマ分布とは

ある期間ごとに 1 回起こるランダムな事象が $\nu$ 回起こるまでの時間を表す分布。 システムの信頼性を分析するときに使われるらしい。 $\nu = 1$ のとき、指数分布 $Ex(\alpha)$ になるっぽい。

指数分布についての投稿

ガンマ関数とは

ガンマ関数とは階乗の一般化。階乗は正の整数で定義されるけど実数（複素数）に拡張したもの。

$$\Gamma(n+1) = n!$$

定義

任意の複素数 $z$ について $0 < z$ であるとき $\displaystyle \Gamma(z) = \int_{0}^{\infty} t ^{z-1} e^{-t} dt$

性質

$1 < z$ に対して $\Gamma(z) = (z-1)\Gamma(z-1)$

$z$ が正の整数のとき $\Gamma(z) = (z-1)!$

$\Gamma(\frac{1}{2}) = \sqrt{\pi}$

ガンマ分布の定義

表記 $G(\alpha, \nu)$

${\rm Gamma}(発生間隔, 発生回数)$ を表してるっぽい

例）5 年に 1 回（$\alpha = \frac{1}{5}$）の間隔で起こるランダムな事象が 7 回（$\nu = 7$）起こるまでの期間を表す

期待値 $E[X] = \frac{\nu}{\alpha}$

分散 $V[X] = \frac{\nu}{\alpha^2}$

確率質量関数 $\displaystyle f(x) = \frac{1}{\Gamma(\nu)} \alpha ^{\nu} x^{\nu -1} e^{-\alpha x} , \, x \ge 0$

$\Gamma(\nu)$ はガンマ関数

例えば 1 時間内に $\alpha$ 回発生する事象が $\nu$ 回起こるまで、 $x$ 時間内に発生する確率

特性関数 $\displaystyle \phi x(t) = \left( 1 - \frac{jt}{\alpha} \right) ^{-\nu}$

[dev-memo]

指数分布とは

発生間隔を表す分布。ねこがゴロゴロ喉を鳴らす間隔の確率を表せる。待ち行列とかに使われるらしい。 無記憶性を持っていて過去の結果には依存しない。 指数分布は事象が起こる発生「間隔」なのに対し、ポアソン分布は一定期間内に事象が起こる発生「回数」。

ポアソン分布についての投稿

定義

表記 $Ex(\alpha)$

${\rm Exponential}(発生間隔)$ を表してるっぽい

期待値 $E[X] = \frac{1}{\alpha}$

$\displaystyle E[x] = \int^{\infty}_{0} x f(x)dx$ に代入して求める

分散 $V[X] = \frac{1}{\alpha^2}$

$V[X] = E[X^2] - E[X]^2$ に代入して求める

確率質量関数 $\displaystyle f(x) = \alpha e ^{-\alpha x} , \, x \ge 0$

例えば 1 時間内に $\alpha$ 回発生する事象が、$x$ 時間内に発生する確率（時間の単位は何でもよいけど揃える）

特性関数 $\displaystyle \phi x(t) = \left( 1 - \frac{jt}{\alpha} \right) ^{-1}$

[dev-memo]

レスポンシブなサイト対策

数式と iframe の要素（ youtube, infogram ）が 枠からはみだすのを防ぐためにしたこと。

設定

数式と iframe それぞれで設定。

数式

MathJax.Hub.Config に linebreaks: { automatic: true } を追加 MathJax.Hub.Config の設定に関連した投稿

<script type="text/x-mathjax-config"> MathJax.Ajax.config.path["xypic"] = "https://static.tumblr.com/hke9tin/uxJq8o4ns"; MathJax.Hub.Config({ messageStyle: 'none', extensions: ["tex2jax.js"], jax: ["input/TeX","output/HTML-CSS"], "HTML-CSS": { linebreaks: { automatic: true }, availableFonts: ["TeX"], undefinedFamily:"'M PLUS 1p', 'Source Sans Pro', sans-serif", scale:68 }, tex2jax: { linebreaks: { automatic: true }, inlineMath: [['$','$'], ["\\(","\\)"]], displayMath: [ ['$$','$$'], ["\\[","\\]"] ], processEscapes: true }, TeX: {extensions:["AMSmath.js","AMSsymbols.js","[xypic]/xypic.js"]} }); </script>

iframe

css に iframe 用のクラス追加

.res-iframe { position: relative; width: 100%; } .res-iframe iframe { position: absolute; top: 0; left: 0; width: 100%; height: 100%; }

投稿時に iframe 要素を囲って投稿

padding-top の数値は $\frac{高さ}{横幅} \times 100$

<div class="res-iframe" style="padding-top:290%;"> <iframe ../></iframe> ← infogram などでリンクコピーしてきた iframe 要素 </div>

参考

iframe 要素 https://www.taniweb.jp/blog/reference/8999/

[dev-memo]

（連続）一様分布とは

すべての事象において、起こる確率が等しい分布。 一様分布に従う乱数生成など、ランダム性を表現する分布っぽい。

定義

表記 $U(a, b)$

${\rm Uniform}(範囲区間)$ を表してるっぽい

$a, b$ の範囲は $-\infty < a < b < \infty$

期待値 $\displaystyle E[X] = \frac{a + b}{2}$

証明 $\scriptsize E[X] = \int_{a}^{b} xf(x)dx = \int_{a}^{b} \frac{x}{b-a}dx = \frac{1}{b-a} \left[ \frac{x^2}{2} \right] _a^b = \frac{1}{b-a} \left( \frac{b^2 - a^2}{2} \right) = \frac{a + b}{2}$

分散 $\displaystyle V[X] = \frac{(a - b)^2}{12}$

証明 $\scriptsize V[X] = E[X^2] - E[X]^2 = \int_{a}^{b} x^2 f(x)dx - \left( \frac{a+b}{2} \right)^2 = \frac{1}{b-a} \left( \frac{b^3 - a^3}{3} \right) - \frac{a^2 + 2ab + b^2}{4}$ $\scriptsize = \frac{a^2 +ab + b^2}{3} - \frac{a^2 + 2ab + b^2}{4} = \frac{a^2 -2ab +b^2}{12} = \frac{(a - b)^2}{12}$

確率質量関数 $\displaystyle f(x) = \frac{1}{b - a} ,\, a \leq x \leq b$

$a \leq x \leq b$ においてどこでも同じ確率になる

特性関数 $\displaystyle \phi x(t) = \frac{e^{jbt} - e^{jat}}{j(b-a)t}$

[dev-memo]

ポアソン分布とは

一定時間内にランダムなイベントが何回発生するかを表す分布。 1 週間のうちに平均 10 回 "ねこぱんち" される状態のとき、 1 週間に 1 回も "ねこぱんち" されない確率を表せる。 リスク管理によく使われるらしい。

ポアソン分布は 2 項分布の極限

式で表すと以下のような感じ。紺色文字のところが 2 項分布の確率関数。

$$\lim_{\lambda=np , \, n \to \infty} \color{navy}{{}_nC_k p^k (1-p)^{n-k}} = e^{-\lambda} \frac{\lambda^k}{k!}$$

2 項分布についての投稿

式で変換を確認

2 項分布の $np$ を $\lambda$ とおき、$n \to \infty$ に近づける。 $\lambda$ は一定のままとして扱い $n \to \infty$ に近づけると $p \to 0$ に近づく。 $\displaystyle \lim_{\lambda = np , \, n \to \infty} {}_nC_k p^k (1-p)^{n-k}$ で $p=\frac{\lambda}{n}$ とおくと

$\displaystyle = \lim_{n \to \infty} \frac{n!}{(n-k)!k!} \left(\frac{\lambda}{n} \right)^k \left(1 - \frac{\lambda}{n} \right)^{n-k}$ $\displaystyle = \lim_{n \to \infty} \color{steelblue}{\frac{n!}{(n-k)!n^k}} \, \frac{\lambda ^k}{k!} \color{palevioletred}{\left(1 - \frac{\lambda}{n} \right)^{n}} \color{cadetblue}{\left(1 - \frac{\lambda}{n} \right)^{-k}}$

色付き文字をそれぞれ計算

$\displaystyle \lim_{n \to \infty} \color{steelblue}{\frac{n!}{(n-k)!n^k} = \frac{n(n-1)(n-2)...(n-k+1)}{n^k} = \frac{n}{n} \, \frac{n-1}{n}...\frac{n-k+1}{n} = 1}$

$\displaystyle \lim_{n \to \infty} \color{palevioletred}{\left(1 - \frac{\lambda}{n} \right)^{n} = e^{-\lambda}}$ $\scriptsize \color{palevioletred}{e = \lim_{x \to 0} (1+x)^{\frac{1}{x}} \, を利用して \, \left(1 - \frac{\lambda}{n} \right)^{n} = {(1-\frac{\lambda}{n})^{\frac{1}{-\frac{\lambda}{n}}}}^{-\lambda}, \, x = -\frac{\lambda}{n} として \, e^{-\lambda}}$

$\displaystyle \lim_{n \to \infty} \color{cadetblue}{\left(1 - \frac{\lambda}{n} \right)^{-k} = 1}$

よって $\displaystyle f(x) = e^{-\lambda} \frac{\lambda^k}{k!}$

ポアソン分布の定義

表記 $Po(\lambda)$

${\rm Poisson}(発生回数)$ を表してるっぽい

期待値 $E[X] = \lambda$

証明はしないけど 2 項分布は $E[X] = np$ でポアソン分布への式変換のとき $p = \frac{\lambda}{n}$ と扱ったから $\lambda$ っぽい

分散 $V[X] = \lambda$

証明はしないけど 2 項分布は $V[X] = npq$ でポアソン分布への式変換のとき $p \to 0$ に近づくとしたから $q=1-p = 1$ で $\lambda$ っぽい

確率質量関数 $\displaystyle f(x) = e^{-\lambda} \frac{\lambda^k}{k!} ,\, k={1, 2, ...}$

特性関数 $\displaystyle \phi x(t) = exp[\lambda (e^{jt} -1)]$

[dev-memo]

2 項分布とは

コインの "表 or 裏" 、ねこの "睡眠 or 覚醒" など 2 つの状態しか持たない分布。単一試行のものはベルヌーイ分布、複数試行は 2 項分布という。

ベルヌーイ分布

表記 $B(1, p)$

${\rm Binary}(回数, 確率)$ を表してるっぽい

期待値 $E[X] = p$

単一試行なので確率そのまま

$\displaystyle E[X] = \sum_{i=1}^{n}p_i x_i$ に $\, n = 2, \, x = \{0, 1\}$ を代入

分散 $V[X] = pq, \, q=(1-p)$

$\displaystyle V[X] = \sum_{i=1}^{n}p_i (x_i - \mu)^2$ に $n = 2, \, x = \{0, 1\}, \, \mu = p$ を代入

$\scriptsize V[X] = (1-p)(0 - p)^2 + p(1 - p)^2 = (1-p)p^2 + p(1 - 2p + p^2) = p^2 - p^3 + p - 2p^2 +p^3 = p - p^2 = p(1-p) = pq$

確率質量関数 $f(x) = p^kq^{1-k} , \, k=\{0, 1\}$

$k=0$ のときは $q$ 、$k=1$ のときは $p$

特性関数 $\phi x(t) = pe^{jt} +q$

2 項分布

表記 $B(n, p)$

期待値 $E[X] = np$

複数試行なので $E[X] = E[X_1] + E[X_2] + ... + E[X_n]$ と足し合わせる

分散 $V[X] = npq$

期待値同様に、複数試行なので $V[X] = V[X_1] + V[X_2] + ... + V[X_n]$ と足し合わせる

確率質量関数 $f(x) = \left( \begin{array}{cc} n \\\ k \end{array} \right) p^kq^{n-k} ,\, k=\{0, 1, 2, ..., n\}$

$\left( \begin{array}{cc} n \\\ k \end{array} \right) = {}_nC_k = \frac{n!}{k!(n-k)!} $ で n 個から k 個を選ぶ組合せの数を示す

特性関数 $\phi x(t) = (pe^{jt} +q)^n$

[dev-memo]

確率分布に関する定義の確認

確率分布についてまとめるために定義を確認。

平均と分散

期待値（平均）

離散型の分布の場合 $$E[X] = \mu = \sum_{i=1}^{n}p_i x_i$$

連続型の分布の場合 $$E[X] = \mu = \int_{-\infty}^{\infty} xf(x)dx$$

分散: データの散らばり

離散型の分布の場合 $$V[X] = E[(X - \mu)^2] = \sigma^2 = \sum_{i=1}^{n}p_i (x_i - \mu)^2$$

連続型の分布の場合 $$V[X] = \sigma^2 = \int_{-\infty}^{\infty} (x - \mu)^2 f(x)dx$$

標準偏差

$$\sigma = \sqrt{\sigma^2}$$

共分散: データ間 $(X, Y)$ の関係

$$Cov(X, Y) = E[(X - \mu_X)(Y - \mu_Y)] = E[XY] - \mu_X \mu_Y = \sigma_{XY}$$

相関係数 共分散だと単位によって値が大きかったり小さかったりして関係性がわかりにくい。正規化したのが相関係数。 $\sigma_X$, $\sigma_Y$ をそれぞれの標準偏差とすると

$$\rho = \frac{Cov(X, Y)}{\sigma_X \sigma_Y} \,\,( -1 \leq \rho \leq 1)$$

$\rho$ が 0 に近いと $X$, $Y$ はあまり関係なく、1 に近いと同じ様に変化、 -1 に近いと反対に変化する。

確率分布を表す関数

確率質量関数

離散型の分布を表したもの $$f(x_i) = P(X = x_i) \, ただし \sum_i = 1$$

確率密度関数

連続型の分布を表したもの $$P(a \leq X \leq b) = \int_a^b f(x)dx$$

$f(x)$ が確率密度関数。 連続分布の場合、特定の値 a に一致する確率だと 0 になるため $a \leq X \leq b$ と範囲をひろげた確率で考える。

特性関数

確率分布を完全に定義する関数？

$$\phi x(t) = E(e^{itX}) = \int_{-\infty}^{\infty} e^{itx}dF_{\rm X}(x)$$

$t$ は実数、$i$ は虚数。 連続型分布の特性関数は、確率密度関数 $f_X$ のフーリエ変換 $\displaystyle = \int_{-\infty}^{\infty} e^{itx}f_{\rm X}(x)dx$ となる。

[dev-memo]

EM アルゴリズムとは

Expectation Maximum algorithm.

EMアルゴリズム（英: expectation–maximization algorithm）とは、統計学において、確率モデルのパラメータを最尤推定する手法の一つであり、観測不可能な潜在変数（英語版）に確率モデルが依存する場合に用いられる。

Wikipedia より

混合ガウスモデル（GMM: Gaussian Mixture Model）を用いて k 個のクラスタに確率的に分類できる。 処理の流れは k-means と共通点が多い。

k-means アルゴリズムについての投稿

混合ガウスモデルについての投稿

EM アルゴリズムイメージ

k-means 同様 infogram で作成してみた。

EM algorithm Infogram

[dev-memo]

動画からの特徴抽出で調査予定のもの

以下について調べてみる。

物体の動き

オプティカルフロー（Lucas-Kanade 法?）

時空間特徴

SURF (Speeded-Up Robust Features)

Delaunay 三角

OpenCV を利用するとよさそう。

OpenCV のオプティカルフローチュートリアル

OpenCV の SURF チュートリアル

[dev-memo]

混合ガウスモデル (GMM) とは

GMM: Gaussian Mixture Model。

$k$ 個のクラスタにおけるガウス分布を混ぜあわせたもの。 EM アルゴリズムを用いることで k-means 同様、 $k$ 個にクラスタ分類ができる。

GMM は以下の式で表される。

$$ p(x|\pi, \mu, \Sigma) = \sum^K_{k=1}\pi_k N(x|\mu_k, \Sigma_k) $$

$x$: サンプルデータ

$\mu_k$: クラスタ $k$ の平均

$\Sigma_k$: クラスタ $k$ の共分散行列

$\pi_k$: 混合の割合

$\displaystyle \sum^K_{k=1}\pi_k=1$ となるようにする

グラフで確認してしてみる

混合の割合が 1 となるよう以下の割合で作成した場合

クラスタ A : 0.3

クラスタ B : 0.3

クラスタ C : 0.4

各クラスタを混合の割合に合わせて縮小した状態 EM アルゴリズムの説明でよく見かけるのはこっち。

[dev-memo]

k-means アルゴリズムとは

k 個のクラスタに分類するアルゴリズム。混合ガウスモデル（GMM: Gaussian Mixture Model）と類似点が多いため GMM を勉強する前に内容を確認。

k-means と GMM の共通点 初期値を与え、誤差が少なくなるまで繰り返し計算することでクラスタ分類する

k-means と GMM の相違点

k-means はどこかのクラスタにしか分類されない（ 0 or 1 ）

GMM はどこのクラスタにも確率的に分類される（合計は 1 となる）

k-means アルゴリズムイメージ

infogram で作成してみた。

k-means Infogram

[dev-memo]

tumblr でサブドメインを移転してみた

ブログタイトルにあわせて "tech.miaw.me" から "dev.miaw.me" に移転。 URL 変更はデメリットが大きいので、今後は気をつける。

Google Search Console のアドレス変更ツールを利用できる方法はみつけられなかった。。

実施したこと

契約しているドメインサイトで CNAME を追加設定

参考： https://tumblr.zendesk.com/hc/ja/articles/231256548-カスタムドメイン

tumblr でリダイレクト用のブログを新規追加

旧 URL からリダイレクトできるようにブログを新規作成する。

https://www.tumblr.com/settings/blog で [新しいブログを作る] をクリックして作成

URL は適当に設定

ブログタイトルは "旧" + ${現行のタイトル} としておく（任意）

[テーマの編集]ー[ HTML を編集] と [詳細設定] は現行サイトからコピペする（任意）

[詳細設定]ー[デフォルトのモバイルテーマを使用]はオフにする

[テーマの編集]ー[ HTML を編集] で <head> タグ内に以下を追記してリダイレクトを確認する（${新 URL } の箇所は置き換え）

<script type="text/javascript"> setTimeout("link()", 0); function link(){location.href='https://${新 URL }'}; </script>

tumblr で現行ブログの独自ドメイン変更

以下の 3 点に気をつけて新 URL へ変更する

独自ドメインの箇所に新 URL を設定

投稿した内容に旧 URL が含まれている場合は修正（投稿数多いと大変そう）

[テーマの編集] の [ HTML を編集] でも旧 URL が含まれている場合は修正

tumblr でリダイレクト用ブログの独自ドメイン変更

独自ドメインの箇所に旧 URL を設定する。旧 URL のどのページでもサイトトップへのリダイレクトとなるけど今回は OK とする。

Google Search Console に新 URL 登録

アドレス変更ツールは使えないため移行と認識させれない。使うには旧 URL で 301 リダイレクトを実装しないといけないけど方法がみつけられなかった。

https://search.google.com/search-console/welcome で新 URL 登録

https://search.google.com/search-console/sitemaps で新 URL のサイトマップ登録

https://${新 URL }/sitemap.xml で確認できる

Google アナリティクスの URL 設定変更

Google Search Console とは違い URL 変更しても過去の情報は保持される。

[管理]ー[プロパティ設定]ー[デフォルトの URL] を変更

http になってたら https にしておく

[管理]ー[ビューの設定]ー[ウェブサイトの URL] を変更

同様に http になってたら https にしておく

[管理]ー[プロパティ設定]ー[Search Console を調整] で Search Console へのリンクを設定しておく

[dev-memo]

Create Infographics, Reports and Maps - Infogram

Infogram is an easy to use infographic and chart maker. Create and share beautiful infographics, online reports, and interactive maps. Make your own here.

tumblr にグラフを載せるときは infogram を利用しようと思う。決めたポイントは以下。

無料プランがある

テンプレートが豊富

編集方法が簡単そう

フォーマットは以下のとおり。

ダウンロードの場合は PNG, JPG, PDF 形式のいずれか ダウンロードは有料プランだった

リンクの場合は共有リンク、埋め込みリンク、トラッキングリンクのいずれか

後日、利用してみての追記：

作成してみたところ以下のことがわかった。きれいなグラフを載せたいだけなので、もう少し自分の用途に合ったものを探してみる。

単なるダミーデータでよいのにデータの編集や色の設定をしようとすると大変

リンクは tumblr の場合 <script> タグが投稿本文には使えないから使えるリンクに制限がある（<script> タグありのものを利用できるようにするにはきっとテーマをいじくる必要がある）

DL は有料なことに気づいた

[dev-memo]

tumblr で複数投稿に対するタグ一括編集

備忘録

以下のリンク先を表示（ログイン必要）

https://www.tumblr.com/mega-editor/published

メインブログではなくサブブログの場合は https://www.tumblr.com/mega-editor/published/{ サブブログのユーザー名 }

管理画面の [大量投稿エディタ] クリックでも同じページ

対象の投稿を選んで [タグを編集] または [タグを追加] と進めば OK

[dev-memo]

隠れマルコフモデル（HMM）を利用した動画解析

python で HMM を使って動画解析を試してみた。

https://gist.github.com/iiineco/8bc70d0fab3a17badc8495d2bf8c7399

[dev-memo]

GitPitch is a markdown presentation solution for developers. Perfect for tech conferences, meetups, and training. Modular. Speaker-ready. On MacOS, Linux, and Windows 10.

スライドを markdown で書ける。 チュートリアルが youtube にある。

[dev-memo]

無料アイコン Font Awesome ver.5 の利用方法

無料で利用できるアイコン Font Awesome ver.5 の利用方法についてめも。 tumblr の外観を編集すれば tumblr で利用できる。 mi テキストエディタ の markdown ブラウザ表示でも利用できる。

CSS で記載して利用する場合

CSS の CDN を設定。

<head> <link rel="stylesheet" href="https://use.fontawesome.com/releases/v5.13.0/css/all.css"> <link rel="stylesheet" href="https://use.fontawesome.com/releases/v5.13.0/css/v4-shims.css"> </head>

CSS でセレクタの前にアイコンを追加

以下の 3 属性を必ず設定する必要がある。.balance-scale は任意の class 名。

.balance-scale::before { font-family: "Font Awesome 5 Free"; /* ver.5 の固定値 */ font-weight: 400; /* アイコンの Style によって異なる */ content: "\f24e"; /* アイコンの Unicode */ }

以下でアイコンを選んで、アイコンをクリックするとリンク先で Unicode をコピーできる https://fontawesome.com/icons?d=gallery

指定する font-weight は以下のとおり

Style @font-face weight Solid 900 Regular 400 Light 300 Duotone 900 Brands 400

html で本文 `` タグ内にそのまま記載する場合

JavaScript の CDN を設定

<head> <script defer src="https://use.fontawesome.com/releases/v5.13.0/js/all.js"></script> <script defer src="https://use.fontawesome.com/releases/v5.13.0/js/v4-shims.js"></script> </head>

本文に記載

と表示するには以下のように書く。

<i class="fas fa-balance-scale"></i>

<i> タグは CSS で記載する場合と同様、アイコンのページでコピーできる

無料アイコンの class の違い アイコンのスタイルによって fas とか fab が決まる

Style Style Prefix Example Rendering Solid fas <i class="fas fa-address-card"></i> Regular far <i class="far fa-address-card"></i> Brands fab <i class="fab fa-apple-pay"></i>

参考

ver.4 と ver.5 では html や css での書き方が違う（アップデートする場合は書き換えないといけないから注意 ） https://fontawesome.com/how-to-use/on-the-web/setup/upgrading-from-version-4

アイコンの詳細について https://fontawesome.com/how-to-use/on-the-web/referencing-icons/basic-use