EM演算法實驗

Mondo 科技 更新 2024-01-31

在已知每個實驗的硬幣分別是 A 和 B 的情況下,我們可以直接使用最大似然估計來求解硬幣 A 和 B $ p a $ 和 $ p b $ 正向出現的概率。 由於每個實驗獨立丟擲十次,可以看出實驗結果遵循 $ b(10, p a) $ 和 $ b(10, p b) $ 的二項分布

設幣A的$i$實驗面朝上$y a$的次數,幣B的$i$實驗$y b $的次數,分別進行$n a$實驗和$n b$實驗,a的似然估計函式可得到:

l_a=\prod^__a}p_a^_a}(1-p_a)^_a} $

b 的似然估計函式為:

l_b=\prod^__b}p_b^_b}(1-p_b)^_b} $

分別取對數和推導 $p a$,我們得到:

frac=\sum^_(frac}-\frac})

設導數為 0 並得到:

p_a = \frac^y_a^}^y_a^+\sum_^(10-y_a^)}

以同樣的方式,我們得到: $ p b = frac y b } y b + sum (10-y b )}

替換資料,即查詢:

p_a = \frac=\frac=0.8\\\p_b = \frac=\frac=0.45 $$

當我們不知道每個實驗選擇哪種硬幣時,我們無法直接估計 A 和 B 的最大可能性。 在這種情況下,需要使用 em 演算法通過引入乙個潛在變數 $z$ 來對幣概率進行建模,並指定 $z=0$ 中的 $z 表示當前幣是幣 a,$z=1$ 表示當前幣是幣 b,$p(z=0)= pi$。 在這種情況下,模型引數 $ theta=( pi,p a,p b)$,我們可以知道 $y$ 與 $z$ 相關,這需要 $p(y|theta)$,您需要找到 $p(y, z|theta)$。

計算 $z i$ 和 $y i$ 分別是為 $i$ 實驗選擇的硬幣(未知)和正面,則所有實驗的似然函式變為。

p(y|\theta)=\prod^_p(y=y_i|\theta)=\prod^_\sum_ }p(y=y_i,z=z_i|\theta)=\prod_^\sum_}p(z=z_i|\theta)p(y=y_i|z=z_i,\theta)\\=\prod_^[pi\ p_a^(1-p_a)^+1-\pi)\ p_b^(1-p_b)^]

最大似然估計引數為:

hat\theta=\arg\max_\theta\ln p(y|\theta) $

這個問題很難找到解析解,因此需要使用em迭代法來求近似解。

因為。 $ ln p(y|\theta)=\sum_^\ln[\pi\ p_a^(1-p_a)^+1-\pi)\ p_b^(1-p_b)^]

帶有“和”的對數極難求解,由詹森不等式獲得。

ln p(y|\theta) = \sum^_\ln \sum_}p(y=y_i,z=z_i|\theta)\\=\sum^_\ln \sum_}q_i(z_i,\theta)\frac\\\ge\sum^_ sum_}q_i(z_i,\theta)\ln \frac=q(\theta;\theta) $

而。 $ q_i(z_i,\theta)=p(z=z_i|y=y_i, \theta)=\frac\\\=\frac\ p_a^(1-p_a)^+z_i(1-\pi)\ p_b^(1-p_b)^}p_a^(1-p_a)^+1-\pi)\ p_b^(1-p_b)^}

可以看出,$1-q i(0)=q i(1)$

在步驟e中,我們通過統計計算每個實驗的$q i(z)$,然後固定引數$theta$,更改引數$theta'=( pi',p a',p b')$以最大化以下函式:

q(\theta’;\theta)=\sum_^\sum_}q_i(z_i,\theta)\ln \frac\\\=\sum_^q_i(0,\theta)\ln \frac\ p_a’^(1-p_a’)^sum_^q_i(1,\theta)\ln \frac\ p_b’^(1-p_b’)^

$ pi$ 收益率的偏導數:

frac=\frac^nq_i(0,\theta)}-frac^nq_i(1,\theta)}

設導數為 0 得到

pi’=\frac^q_i(0,\theta)}

以同樣的方式,我們得到: $ p a'= frac y iq i(0, theta)} 10q i(0, theta)} p b'= frac y iq i(1, theta)} 10q i(1, theta)}

這是 m 步驟的更新公式。

em 演算法要求我們手動指定乙個初始值,然後以終止條件 $|theta’-\theta||epsilon 1$ 或 $|q(\theta’; theta)-q(\theta; \theta)||epsilon_2$

指定初始值 $ pi=05$,$p_a=0.6$,$p_b=0.5$,最終迭代過程如下:

iteration 1 pi = 0.597 p_a = 0.713, p_b = 0.581iteration 2 pi = 0.591 p_a = 0.733, p_b = 0.555iteration 3 pi = 0.582 p_a = 0.752, p_b = 0.532iteration 4 pi = 0.572 p_a = 0.767, p_b = 0.516iteration 5 pi = 0.564 p_a = 0.777, p_b = 0.509iteration 6 pi = 0.556 p_a = 0.783, p_b = 0.506iteration 7 pi = 0.550 p_a = 0.786, p_b = 0.506iteration 8 pi = 0.545 p_a = 0.788, p_b = 0.507iteration 9 pi = 0.541 p_a = 0.789, p_b = 0.508iteration 10 pi = 0.538 p_a = 0.790, p_b = 0.509iteration 11 pi = 0.535 p_a = 0.791, p_b = 0.510iteration 12 pi = 0.533 p_a = 0.791, p_b = 0.510iteration 13 pi = 0.531 p_a = 0.792, p_b = 0.511iteration 14 pi = 0.529 p_a = 0.792, p_b = 0.512iteration 15 pi = 0.528 p_a = 0.792, p_b = 0.512iteration 16 pi = 0.527 p_a = 0.792, p_b = 0.512no update in params, stop iterationresult pi = 0.527 p_a = 0.792, p_b = 0.512

相關問題答案

    Model S 格仔 EMEYA 摔跤手腕,你用百萬美元的預算選擇誰?

    購買汽車始終是一項艱鉅的任務,即使您的預算為數百萬美元。比如我們今天要講的,如果你年輕有為,有百萬美金的預算,你會選擇新領頭羊特斯拉Model S,還是最新的保時捷Panamera,還是會選擇路特斯Emeya,它不僅美觀,而且動力更強。廣州車展期間,路特斯EMEYA在開放預訂後小時內訂單超過輛。消費...

    演算法分析回溯

    回溯是 DFS 中的乙個技巧。回溯方法採用試錯的思想,試圖一步一步地解決問題。在逐步解決問題的過程中,當它試圖發現現有的分步答案無法正常工作時,它就會得到解決取消上一步甚至上一步的計算,並嘗試使用其他可能的分步解決方案再次找到問題的答案。通俗地說,回溯是一種演算法,如果它不起作用,就會回溯。回溯的本...

    邊緣計算閘道器演算法

    邊緣計算閘道器的演算法主要涉及資料採集 資料處理和分析。在資料收集方面,邊緣計算閘道器需要能夠連線到各種感測器和裝置,並從中提取有用的資料。這就需要使用相應的通訊協議和資料格式,如MQTT COAP等,以保證資料的準確性和實時性。在資料處理和分析方面,邊緣計算閘道器需要具備多種演算法和模型,才能實現...

    基於PostgreSQL演算法的擴充套件視覺化平台(主題開放)。

    選題依據及意義 不少於字 選題依據。將這些新的資料庫演算法整合到大多數資料庫系統中是非常困難的。目前,大多數資料庫系統,如MySOL,Oracle,Microsoft SOL Server,其功能擴充套件性都不好,如果要在這些資料庫系統中新增新的演算法,往往需要修改這些系統的原始碼,無論是開發門檻還...

    自製em細菌的配方和生產

    自製EM菌的配方和製作方法如下 配方 紅糖公斤,菌株瓶,乙個容量為公斤的深色塑料桶,可密封。取公斤冷開水倒入塑料桶中。將紅糖用公斤冷開水融化,倒入塑料桶中。將培養物倒入塑料桶中,攪拌均勻並密封。發酵 天。生產方法 製備菌種 紅糖 尿素 磷酸二氫鉀 水等原料。將公斤水煮至度,加入公斤紅糖融化,保溫分鐘...