機器學習貝葉斯和優化方法怎麼樣

『壹』 機器學習

機器學習是人工智慧的一個子集。

這項技術的主要任務是指導計算機從數據中學習，然後利用經驗來改善自身的性能，不需要進行明確的編程。在機器學習中，演算法會不斷進行訓練，從大型數據集中發現模式和相關性，然後根據數據分析結果做出最佳決策和預測。

特點

機器學習應用具有自我演進能力，它們獲得的數據越多，准確性會越高。機器學習技術的應用無處不在，比如我們的家居生活、購物車、娛樂媒體以及醫療保健等。

機器學習演算法能夠識別模式和相關性，這意味著它們可以快速准確地分析自身的投資回報率。對於投資機器學習技術的企業來說，他們可以利用這個特性，快速評估採用機器學習技術對運營的影響。

『貳』 貝葉斯定理厲害在哪裡有哪些驚為天人的應用

生活中的貝葉斯思維，貝葉斯定理與人腦的工作機制很像，這也是為什麼它能成為機器學習的基礎。如果你仔細觀察小孩學習新東西的這個能力，會發現，很多東西根本就是看一遍就會。比如我3歲的外甥，看了我做俯卧撐的動作，也做了一次這個動作，雖然動作不標准，但是也是有模有樣。同樣的，我告訴他一個新單詞，他一開始並不知道這個詞是什麼意思，但是他可以根據當時的情景，先來個猜測（先驗概率/主觀判斷）。一有機會，他就會在不同的場合說出這個詞，然後觀察你的反應。如果我告訴他用對了，他就會進一步記住這個詞的意思，如果我告訴他用錯了，他就會進行相應調整。（可能性函數/調整因子）。經過這樣反復的猜測、試探、調整主觀判斷，就是貝葉斯定理思維的過程。同樣的，我們成人也在用貝葉斯思維來做出決策。比如，你和女神在聊天的時候，如果對方說出「雖然」兩個字，你大概就會猜測，對方後繼九成的可能性會說出「但是」。我們的大腦看起來就好像是天生在用貝葉斯定理，即根據生活的經歷有了主觀判斷（先驗概率），然後根據搜集新的信息來修正（可能性函數/調整因子），最後做出高概率的預測（後驗概率）。

『叄』 貝葉斯決策的優點及局限性是什麼

1.貝葉斯決策的優點
（1）貝葉斯決策能對信息的價值或是否需要採集新的信息做出科學的判斷.（2）它能對調查結果的可能性加以數量化的評價,而不是像一般的決策方法那樣,對調查結果或者是完全相信,或者是完全不相信.
（3）如果說任何調查結果都不可能完全准確,先驗知識或主觀概率也不是完全可以相信的,那麼貝葉斯決策則巧妙地將這兩種信息有機地結合起來了.
（4）它可以在決策過程中根據具體情況下不斷地使用,使決策逐步完善和更加科學.
2.貝葉斯決策的局限性：
（1）它需要的數據多,分析計算比較復雜,特別在解決復雜問題時,這個矛盾就更為突出.
（2）有些數據必須使用主觀概率,有些人不太相信,這也妨礙了貝葉斯決策方法的推廣使用.

『肆』 機器學習中幾個常見模型的優缺點

機器學習中幾個常見模型的優缺點
樸素貝葉斯：優點：對小規模的數據表現很好，適合多分類任務，適合增量式訓練。
缺點：對輸入數據的表達形式很敏感（連續數據的處理方式）。
決策樹：優點：計算量簡單，可解釋性強，比較適合處理有缺失屬性值的樣本，能夠處理不相關的特徵。缺點：容易過擬合（後續出現了隨機森林，減小了過擬合現象）。
邏輯回歸：優點：實現簡單，分類時計算量非常小，速度很快，存儲資源低。缺點：容易欠擬合，一般准確度不高；只能處理二分類問題（softmax解決多分類），需線性可分。
損失函數：
KNN：優點：思想簡單，理論成熟，既可以用來做分類也可以用來做回歸； 可用於非線性分類；訓練時間復雜度為O(n)；准確度高，對數據沒有假設，對outlier不敏感。缺點：計算量大；樣本不平衡時的問題；需要大量的內存；未歸一化時影響很大。
SVM：優點：可用於線性/非線性分類，也可以用於回歸；低泛化誤差；容易解釋；計算復雜度較低。缺點：對參數和核函數的選擇比較敏感；原始的SVM只比較擅長處理二分類問題。
損失函數：
歸一化的作用：
1. 提高梯度下降法求解最優解的速度（很難收斂甚至不能收斂）；例如等高線：
2. 有可能提高精度；一些分類器需要計算樣本之間的距離，例如KNN，若一個特徵值范圍較大，距離計算將取決於這個特徵。

『伍』 機器學習里的貝葉斯估計是什麼完全看不懂，可不可以用通俗的語句解釋一下大片粘貼的就不用了

以下是我個人的理解：

首先說明一下，機器學習中參數估計方法最基本的就是極大似然估計。極大似然估計結果完全依賴於給定的樣本數據，它視待估參數為一個未知但固定的量，從而不考慮先驗知識的影響。因此如果樣本數據不能很好反映模型的情況，那麼得到的參數估計結果就會有較大偏差。

舉個簡單的例子，我們都知道拋一枚普通硬幣，出現正面反面的概率各為1/2。如果現在正面出現9次，反面出現1次，那麼用極大似然估計得到的概率就是P(正面)=9/10，P(反面)=1/10，顯然是有偏差的。為了減小這個偏差，於是我們就採用貝葉斯估計方法。

回憶一下貝葉斯公式，它是用來計算後驗概率的，也就是已知結果求其導致原因的概率。該公式的結果取決於兩方面：似然估計和先驗概率。正是如此，我們最終的估計結果才更加客觀合理地反映模型的參數。

一般地，假設先驗概率為P(θ)，似然函數為L(θ|X)=P(X|θ)，X為樣本集合，我們將貝葉斯公式簡單表示為P(θ|X)∝P(θ)L(θ|X)，這便是θ的貝葉斯估計。

『陸』 機器學習一般常用的演算法有哪些

機器學習是人工智慧的核心技術，是學習人工智慧必不可少的環節。機器學習中有很多演算法，能夠解決很多以前難以企的問題，機器學習中涉及到的演算法有不少，下面小編就給大家普及一下這些演算法。

一、線性回歸

一般來說，線性回歸是統計學和機器學習中最知名和最易理解的演算法之一。這一演算法中我們可以用來預測建模，而預測建模主要關注最小化模型誤差或者盡可能作出最准確的預測，以可解釋性為代價。我們將借用、重用包括統計學在內的很多不同領域的演算法，並將其用於這些目的。當然我們可以使用不同的技術從數據中學習線性回歸模型，例如用於普通最小二乘法和梯度下降優化的線性代數解。就目前而言，線性回歸已經存在了200多年，並得到了廣泛研究。使用這種技術的一些經驗是盡可能去除非常相似（相關）的變數，並去除噪音。這是一種快速、簡單的技術。

二、Logistic 回歸

它是解決二分類問題的首選方法。Logistic 回歸與線性回歸相似，目標都是找到每個輸入變數的權重，即系數值。與線性回歸不同的是，Logistic 回歸對輸出的預測使用被稱為 logistic 函數的非線性函數進行變換。logistic 函數看起來像一個大的S，並且可以將任何值轉換到0到1的區間內。這非常實用，因為我們可以規定logistic函數的輸出值是0和1並預測類別值。像線性回歸一樣，Logistic 回歸在刪除與輸出變數無關的屬性以及非常相似的屬性時效果更好。它是一個快速的學習模型，並且對於二分類問題非常有效。

三、線性判別分析（LDA）

在前面我們介紹的Logistic 回歸是一種分類演算法，傳統上，它僅限於只有兩類的分類問題。而LDA的表示非常簡單直接。它由數據的統計屬性構成，對每個類別進行計算。單個輸入變數的 LDA包括兩個，第一就是每個類別的平均值，第二就是所有類別的方差。而在線性判別分析，進行預測的方法是計算每個類別的判別值並對具備最大值的類別進行預測。該技術假設數據呈高斯分布，因此最好預先從數據中刪除異常值。這是處理分類預測建模問題的一種簡單而強大的方法。

四、決策樹

決策樹是預測建模機器學習的一種重要演算法。決策樹模型的表示是一個二叉樹。這是演算法和數據結構中的二叉樹，沒什麼特別的。每個節點代表一個單獨的輸入變數x和該變數上的一個分割點。而決策樹的葉節點包含一個用於預測的輸出變數y。通過遍歷該樹的分割點，直到到達一個葉節點並輸出該節點的類別值就可以作出預測。當然決策樹的有點就是決策樹學習速度和預測速度都很快。它們還可以解決大量問題，並且不需要對數據做特別准備。

五、樸素貝葉斯

其實樸素貝葉斯是一個簡單但是很強大的預測建模演算法。而這個模型由兩種概率組成，這兩種概率都可以直接從訓練數據中計算出來。第一種就是每個類別的概率，第二種就是給定每個 x 的值，每個類別的條件概率。一旦計算出來，概率模型可用於使用貝葉斯定理對新數據進行預測。當我們的數據是實值時，通常假設一個高斯分布，這樣我們可以簡單的估計這些概率。而樸素貝葉斯之所以是樸素的，是因為它假設每個輸入變數是獨立的。這是一個強大的假設，真實的數據並非如此，但是，該技術在大量復雜問題上非常有用。所以說，樸素貝葉斯是一個十分實用的功能。

六、K近鄰演算法

K近鄰演算法簡稱KNN演算法，KNN 演算法非常簡單且有效。KNN的模型表示是整個訓練數據集。KNN演算法在整個訓練集中搜索K個最相似實例（近鄰）並匯總這K個實例的輸出變數，以預測新數據點。對於回歸問題，這可能是平均輸出變數，對於分類問題，這可能是眾數類別值。而其中的訣竅在於如何確定數據實例間的相似性。如果屬性的度量單位相同，那麼最簡單的技術是使用歐幾里得距離，我們可以根據每個輸入變數之間的差值直接計算出來其數值。當然，KNN需要大量內存或空間來存儲所有數據，但是只有在需要預測時才執行計算。我們還可以隨時更新和管理訓練實例，以保持預測的准確性。

七、Boosting 和 AdaBoost

首先，Boosting 是一種集成技術，它試圖集成一些弱分類器來創建一個強分類器。這通過從訓練數據中構建一個模型，然後創建第二個模型來嘗試糾正第一個模型的錯誤來完成。一直添加模型直到能夠完美預測訓練集，或添加的模型數量已經達到最大數量。而AdaBoost 是第一個為二分類開發的真正成功的 boosting 演算法。這是理解 boosting 的最佳起點。現代 boosting 方法建立在 AdaBoost 之上，最顯著的是隨機梯度提升。當然，AdaBoost 與短決策樹一起使用。在第一個決策樹創建之後，利用每個訓練實例上樹的性能來衡量下一個決策樹應該對每個訓練實例付出多少注意力。難以預測的訓練數據被分配更多權重，而容易預測的數據分配的權重較少。依次創建模型，每一個模型在訓練實例上更新權重，影響序列中下一個決策樹的學習。在所有決策樹建立之後，對新數據進行預測，並且通過每個決策樹在訓練數據上的精確度評估其性能。所以說，由於在糾正演算法錯誤上投入了太多注意力，所以具備已刪除異常值的干凈數據十分重要。

八、學習向量量化演算法（簡稱 LVQ）

學習向量量化也是機器學習其中的一個演算法。可能大家不知道的是，K近鄰演算法的一個缺點是我們需要遍歷整個訓練數據集。學習向量量化演算法（簡稱 LVQ）是一種人工神經網路演算法，它允許你選擇訓練實例的數量，並精確地學習這些實例應該是什麼樣的。而學習向量量化的表示是碼本向量的集合。這些是在開始時隨機選擇的，並逐漸調整以在學習演算法的多次迭代中最好地總結訓練數據集。在學習之後，碼本向量可用於預測。最相似的近鄰通過計算每個碼本向量和新數據實例之間的距離找到。然後返回最佳匹配單元的類別值或作為預測。如果大家重新調整數據，使其具有相同的范圍，就可以獲得最佳結果。當然，如果大家發現KNN在大家數據集上達到很好的結果，請嘗試用LVQ減少存儲整個訓練數據集的內存要求

『柒』 貝葉斯定理（轉載）

貝葉斯定理太有用了，不管是在投資領域，還是機器學習，或是日常生活中高手幾乎都在用到它。

生命科學家用貝葉斯定理研究基因是如何被控制的；教育學家突然意識到，學生的學習過程其實就是貝葉斯法則的運用；基金經理用貝葉斯法則找到投資策 略；Google用貝葉斯定理改進搜索功能，幫助用戶過濾垃圾郵件；無人駕駛汽車接收車頂感測器收集到的路況和交通數據，運用貝葉斯定理更新從地圖上獲得 的信息；人工智慧、機器翻譯中大量用到貝葉斯定理。

我將從以下4個角度來科普貝葉斯定理及其背後的思維：

1.貝葉斯定理有什麼用？

2.什麼是貝葉斯定理？

3.貝葉斯定理的應用案例

4.生活中的貝葉斯思維

1.貝葉斯定理有什麼用？

英國數學家托馬斯·貝葉斯（Thomas Bayes）在1763年發表的一篇論文中，首先提出了這個定理。而這篇論文是在他死後才由他的一位朋友發表出來的。

（ps：貝葉斯定理其實就是下面圖片中的概率公式，這里先不講這個公式，而是重點關注它的使用價值，因為只有理解了它的使用意義，你才會更有興趣去學習它。）

在這篇論文中，他為了解決一個「逆概率」問題，而提出了貝葉斯定理。

在貝葉斯寫這篇文章之前，人們已經能夠計算「正向概率」，比如杜蕾斯舉辦了一個抽獎，抽獎桶里有10個球，其中2個白球，8個黑球，抽到白球就算你中獎。你伸手進去隨便摸出1顆球，摸出中獎球的概率是多大。

根據頻率概率的計算公式，你可以輕松的知道中獎的概率是2/10

如果還不懂怎麼算出來的，可以看我之前寫的科普概率的回答： 猴子：如何理解條件概率？

而貝葉斯在他的文章中是為了解決一個「逆概率」的問題。比如上面的例子我們並不知道抽獎桶里有什麼，而是摸出一個球，通過觀察這個球的顏色，來預測這個桶里里白色球和黑色球的比例。

這個預測其實就可以用貝葉斯定理來做。貝葉斯當時的論文只是對「逆概率」這個問題的一個直接的求解嘗試，這哥們當時並不清楚這裡面這裡麵包含著的深刻思想。

然而後來，貝葉斯定理席捲了概率論，並將應用延伸到各個問題領域。可以說，所有需要作出概率預測的地方都可以見到貝葉斯定理的影子，特別地，貝葉斯是機器學習的核心方法之一。

為什麼貝葉斯定理在現實生活中這么有用呢？

這是因為現實生活中的問題，大部分都是像上面的「逆概率」問題。生活中絕大多數決策面臨的信息都是不全的，我們手中只有有限的信息。既然無法得到全面的信息，我們就在信息有限的情況下，盡可能做出一個好的預測。

比如天氣預報說，明天降雨的概率是30%，這是什麼意思呢？

我們無法像計算頻率概率那樣，重復地把明天過上100次，然後計算出大約有30次會下雨。

而是只能利用有限的信息（過去天氣的測量數據），用貝葉斯定理來預測出明天下雨的概率是多少。

同樣的，在現實世界中，我們每個人都需要預測。想要深入分析未來、思考是否買股票、政策給自己帶來哪些機遇、提出新產品構想，或者只是計劃一周的飯菜。

貝葉斯定理就是為了解決這些問題而誕生的，它可以根據過去的數據來預測出概率。

貝葉斯定理的思考方式為我們提供了明顯有效的方法來幫助我們提供能力，以便更好地預測未來的商業、金融、以及日常生活。

總結下第1部分：貝葉斯定理有什麼用？

在有限的信息下，能夠幫助我們預測出概率。

所有需要作出概率預測的地方都可以見到貝葉斯定理的影子，特別地，貝葉斯是機器學習的核心方法之一。例如垃圾郵件過濾，中文分詞，艾滋病檢查，肝癌檢查等。

2.什麼是貝葉斯定理？

貝葉斯定理長這樣：

到這來，你可能會說：猴子，說人話，我一看到公式就頭大啊。

其實，我和你一樣，不喜歡公式。我們還是從一個例子開始聊起。

我的朋友小鹿說，他的女神每次看到他的時候都沖他笑，他想知道女神是不是喜歡他呢？

誰讓我學過統計概率知識呢，下面我們一起用貝葉斯幫小鹿預測下女神喜歡他的概率有多大，這樣小鹿就可以根據概率的大小來決定是否要表白女神。

首先，我分析了給定的已知信息和未知信息：

1）要求解的問題：女神喜歡你，記為A事件

2）已知條件：女神經常沖你笑，記為B事件

所以說，P(A|B)是女神經常沖你笑這個事件(B)發生後，女神喜歡你（A）的概率。

從公式來看，我們需要知道這么3個事情：

1）先驗概率

我 們把P(A)稱為'先驗概率'（Prior probability），即在不知道B事件的前提下，我們對A事件概率的一個主觀判斷。這個例子里就是在不知道女神經常對你笑的前提下，來主觀判斷出女 神喜歡一個人的概率，這里我們假設是50%，也就是不能喜歡你，可能不喜歡還你的概率都是一半。

2）可能性函數

P(B|A)/P(B)稱為'可能性函數'（Likelyhood），這是一個調整因子，即新信息B帶來的調整，作用是使得先驗概率更接近真實概率。

可 能性函數你可以理解為新信息過來後，對先驗概率的一個調整。比如我們剛開始看到「人工智慧」這個信息，你有自己的理解（先驗概率/主觀判斷），但是當你學 習了一些數據分析，或者看了些這方面的書後（新的信息），然後你根據掌握的最新信息優化了自己之前的理解（可能性函數/調整因子），最後重新理解了「人工 智能」這個信息（後驗概率）

如果'可能性函數'P(B|A)/P(B)>1，意味著'先驗概率'被增強，事件A的發生的可能性變大；

如果'可能性函數'=1，意味著B事件無助於判斷事件A的可能性；

如果"可能性函數"<1，意味著"先驗概率"被削弱，事件A的可能性變小

還是剛才的例子，根據女神經常沖你笑這個新的信息，我調查走訪了女神的閨蜜，最後發現女神平日比較高冷，很少對人笑。所以我估計出'可能性函數'P(B|A)/P(B)=1.5（具體如何估計，省去1萬字，後面會有更詳細科學的例子）

3）後驗概率

P(A|B)稱為'後驗概率'（Posterior probability），即在B事件發生之後，我們對A事件概率的重新評估。這個例子里就是在女神沖你笑後，對女神喜歡你的概率重新預測。

帶入貝葉斯公式計算出P(A|B)=P(A)* P(B|A)/P(B)=50% *1.5=75%

因此，女神經常沖你笑，喜歡上你的概率是75%。這說明，女神經常沖你笑這個新信息的推斷能力很強，將50%的'先驗概率'一下子提高到了75%的'後驗概率'。

在得到預測概率後，小鹿自信滿滿的發了下面的表白微博：無圖

稍後，果然收到了女神的回復。預測成功。無圖

現在我們再看一遍貝葉斯公式，你現在就能明白這個公式背後的最關鍵思想了：

我們先根據以往的經驗預估一個'先驗概率'P(A)，然後加入新的信息（實驗結果B），這樣有了新的信息後，我們對事件A的預測就更加准確。

因此，貝葉斯定理可以理解成下面的式子：

後驗概率（新信息出現後的A概率）＝先驗概率（A概率） x 可能性函數（新信息帶來的調整）

貝葉斯的底層思想就是：

如果我能掌握一個事情的全部信息，我當然能計算出一個客觀概率（古典概率）。

可是生活中絕大多數決策面臨的信息都是不全的，我們手中只有有限的信息。既然無法得到全面的信息，我們就在信息有限的情況下，盡可能做出一個好的預測。也就是，在主觀判斷的基礎上，你可以先估計一個值（先驗概率），然後根據觀察的新信息不斷修正(可能性函數)。

如果用圖形表示就是這樣的：

其實阿爾法狗也是這么戰勝人類的，簡單來說，阿爾法狗會在下每一步棋的時候，都可以計算自己贏棋的最大概率，就是說在每走一步之後，他都可以完全客觀冷靜的更新自己的信念值，完全不受其他環境影響。

3.貝葉斯定理的應用案例

前面我們介紹了貝葉斯定理公式，及其背後的思想。現在我們來舉個應用案例，你會更加熟悉這個牛瓣的工具。

為了後面的案例計算，我們需要先補充下面這個知識。

1.全概率公式

這個公式的作用是計算貝葉斯定理中的P(B)。

假定樣本空間S，由兩個事件A與A'組成的和。例如下圖中，紅色部分是事件A，綠色部分是事件A'，它們共同構成了樣本空間S。

這時候來了個事件B，如下圖：

全概率公式：

它的含義是，如果A和A'構成一個問題的全部（全部的樣本空間），那麼事件B的概率，就等於A和A'的概率分別乘以B對這兩個事件的條件概率之和。

看到這么復雜的公式，記不住沒關系，因為我也記不住，下面用的時候翻到這里來看下就可以了。

案例1：貝葉斯定理在做判斷上的應用

有兩個一模一樣的碗，1號碗里有30個巧克力和10個水果糖，2號碗里有20個巧克力和20個水果糖。

然後把碗蓋住。隨機選擇一個碗，從裡面摸出一個巧克力。

問題：這顆巧克力來自1號碗的概率是多少？

好了，下面我就用套路來解決這個問題，到最後我會給出這個套路。

第1步，分解問題

1）要求解的問題：取出的巧克力，來自1號碗的概率是多少？

來自1號碗記為事件A1，來自2號碗記為事件A2

取出的是巧克力，記為事件B，

那麼要求的問題就是P(A1|B)，即取出的是巧克力，來自1號碗的概率

2）已知信息：

1號碗里有30個巧克力和10個水果糖

2號碗里有20個巧克力和20個水果糖

取出的是巧克力

第2步，應用貝葉斯定理

1）求先驗概率

由於兩個碗是一樣的，所以在得到新信息（取出是巧克力之前），這兩個碗被選中的概率相同，因此P(A1)=P(A2)=0.5,(其中A1表示來自1號碗，A2表示來自2號碗)

這個概率就是'先驗概率'，即沒有做實驗之前，來自一號碗、二號碗的概率都是0.5。

2）求可能性函數

P(B|A1)/P(B)

其中，P(B|A1)表示從一號碗中(A1)取出巧克力(B)的概率。

因為1號碗里有30個水果糖和10個巧克力，所以P(B|A1)=30/(30+10)=75%

現在只有求出P(B)就可以得到答案。根據全概率公式，可以求得P(B)如下圖：

圖中P(B|A1)是1號碗中巧克力的概率，我們根據前面的已知條件，很容易求出。

同樣的，P(B|A2)是2號碗中巧克力的概率，也很容易求出（圖中已給出）。

而P(A1)=P(A2)=0.5

將這些數值帶入公式中就是小學生也可以算出來的事情了。最後P(B)=62.5%

所以，可能性函數P(A1|B)/P(B)=75%/62.5%=1.2

可能性函數>1.表示新信息B對事情A1的可能性增強了。

3）帶入貝葉斯公式求後驗概率

將上述計算結果，帶入貝葉斯定理，即可算出P(A1|B)=60%

這個例子中我們需要關注的是約束條件：抓出的是巧克力。如果沒有這個約束條件在，來自一號碗這件事的概率就是50%了，因為巧克力的分布不均把概率從50%提升到60%。

現在，我總結下剛才的貝葉斯定理應用的套路，你就更清楚了，會發現像小學生做應用題一樣簡單：

第1步. 分解問題

簡單來說就像做應用題的感覺，先列出解決這個問題所需要的一些條件，然後記清楚哪些是已知的，哪些是未知的。

1）要求解的問題是什麼？

識別出哪個是貝葉斯中的事件A（一般是想要知道的問題），哪個是事件B（一般是新的信息，或者實驗結果）

2）已知條件是什麼？

第2步.應用貝葉斯定理

第3步，求貝葉斯公式中的2個指標

1）求先驗概率

2）求可能性函數

3）帶入貝葉斯公式求後驗概率

『捌』 機器學習里的貝葉斯估計是什麼

貝葉斯估計(Bayesian estimation)，是在給定訓練數據D時，確定假設空間H中的最佳假設。 最佳假設:一種方法是把它定義為在給定數據D以及H中不同假設的先驗概率的有關知識下的最可能假設。貝葉斯理論提供了一種計算假設概率的方法，基於假設的先驗概率、給定假設下觀察到不同數據的概率以及觀察到的數據本身。

貝葉斯分類器的工作原理:就是求條件概率然後比較大小：

條件概率概念：在已知b發生的情況下，a發生的概率。我們寫做：p(a|b)。

例如：已知一本書有這些tag：tag1,tag2,tag3……它屬於「人文」分類的概率是多少？屬於「非人文」分類的概率呢？

假設p1表示在這種情況下，它屬於「人文」的概率，p2表示這種情況下，它屬於「非人文」的概率。

如果p1>p2，那麼這本書就屬於「人文」，反過來就是「非人文」。我們不考慮p1=p2的情況。

所以，問題就變成了，如何通過tag1,tag2,tag3…來計算p1和p2？

知一本書有這些tag：tag1,tag2,tag3……它屬於「人文」分類的概率表示為p(type1|tag：tag1,tag2,tag3...),

類似的 屬於「非人文」分類的概率表示為p(type2|tag：tag1,tag2,tag3...）,利用貝葉斯公式：

P(A|B)P(B)=P(B|A)P(A),可以得到p(type1|tag1,tag2,tag3...) = p(tag1,tag2,tag3...|type1)* p(type1)/ p(tag1,tag2,tag3...)，

p(type2|tag1,tag2,tag3...) = p(tag1,tag2,tag3...|type2)* p(type2)/ p(tag1,tag2,tag3...)，

所以只需要得到p(tag1,tag2,tag3...|type1)，p(type1)， p(tag1,tag2,tag3...) 的值就可以得到p(type1|tag1,tag2,tag3...)

但做為分類器的大小比較，我們發現不需要全部得到值就可以比較大小，因為分母都是p(tag1,tag2,tag3...)，所以我們只需要得到

p(tag1,tag2,tag3...|type1)* p(type1)和p(tag1,tag2,tag3...|type2)* p(type2)的大小來比較即可；

對於p(type1)的計算就是在整個訓練數據中出現的type1類書籍出現的概率；p(type2）同理；簡單；

對於計算 p(tag1,tag2,tag3...|type1)，我們用到的是樸素貝葉斯，也就是說tag1和tag2和tag3等每個tag出現的概率是不互相影響的是

獨立的；所以p(tag1,tag2,tag3...|type1)=p(tag1|type1)*p(tag2|type1)*p(tag3|type1)*p(...|type1),也就是說，我們可以計算每一個

tag，在type1書籍的所有tag中出現的概率，然後將它們乘起來，就得到我們想要的p(tag1,tag2,tag3...|type1)；

『玖』 貝葉斯定理 在機器學習中有哪些應用

歐米伽（類似於w的）是參數，delta（三角）是超參數，負責控制參數的，指對於參數大概的信息。X獨立變數t是觀測值，yipsilon（類似於E的那玩意）是指模型誤差，sigma是已知的參數值，一般用來指誤差的方差

『拾』 常用機器學習方法有哪些

機器學習中常用的方法有：

(1) 歸納學習

符號歸納學習：典型的符號歸納學習有示例學習、決策樹學習。

函數歸納學習(發現學習)：典型的函數歸納學習有神經網路學習、示例學習、發現學習、統計學習。

(2) 演繹學習

(3) 類比學習：典型的類比學習有案例(範例)學習。

(4) 分析學習：典型的分析學習有解釋學習、宏操作學習。

(10)機器學習貝葉斯和優化方法怎麼樣擴展閱讀：

機器學習常見演算法：

1、決策樹演算法

決策樹及其變種是一類將輸入空間分成不同的區域，每個區域有獨立參數的演算法。決策樹演算法充分利用了樹形模型，根節點到一個葉子節點是一條分類的路徑規則，每個葉子節點象徵一個判斷類別。先將樣本分成不同的子集，再進行分割遞推，直至每個子集得到同類型的樣本，從根節點開始測試，到子樹再到葉子節點，即可得出預測類別。此方法的特點是結構簡單、處理數據效率較高。

2、樸素貝葉斯演算法

樸素貝葉斯演算法是一種分類演算法。它不是單一演算法，而是一系列演算法，它們都有一個共同的原則，即被分類的每個特徵都與任何其他特徵的值無關。樸素貝葉斯分類器認為這些「特徵」中的每一個都獨立地貢獻概率，而不管特徵之間的任何相關性。然而，特徵並不總是獨立的，這通常被視為樸素貝葉斯演算法的缺點。簡而言之，樸素貝葉斯演算法允許我們使用概率給出一組特徵來預測一個類。與其他常見的分類方法相比，樸素貝葉斯演算法需要的訓練很少。在進行預測之前必須完成的唯一工作是找到特徵的個體概率分布的參數，這通常可以快速且確定地完成。這意味著即使對於高維數據點或大量數據點，樸素貝葉斯分類器也可以表現良好。

3、支持向量機演算法

基本思想可概括如下：首先，要利用一種變換將空間高維化，當然這種變換是非線性的，然後，在新的復雜空間取最優線性分類表面。由此種方式獲得的分類函數在形式上類似於神經網路演算法。支持向量機是統計學習領域中一個代表性演算法，但它與傳統方式的思維方法很不同，輸入空間、提高維度從而將問題簡短化，使問題歸結為線性可分的經典解問題。支持向量機應用於垃圾郵件識別，人臉識別等多種分類問題。