聚類分析缺點及改進方法

① 數學建模中模糊聚類分析法的優缺點

數學建模中模糊聚類分析法優點：聚類分析模型的優點就是直觀，結論形式簡明。 缺點：在樣本量較大時，要獲得聚類結論有一定困難。
由於相似系數是根據被試的反映來建立反映被試間內在聯系的指標， 而實踐中有時盡管從被試反映所得出的數據中發現他們之間有緊密的關系，但事物之間卻無任何內在聯系，此時，如果根據距離或相 似系數得出聚類分析的結果，顯然是不適當的，但是，聚類分析模型本身卻無法識別這類錯誤。
模糊聚類分析是根據客觀事物間的特徵、親疏程度、相似性，通過建立模糊相似關系對客觀事物進行聚類的分析方法。

模糊劃分矩陣有無窮多個，這種模糊劃分矩陣的全體稱為模糊劃分空間。最優分類的標準是樣本與聚類中心的距離平方和最小。因為一個樣本是按不同的隸屬度屬於各類的，所以應同時考慮它與每一類的聚類中心的距離。逐步聚類法需要反復迭代計算，計算工作量很大，要在電子計算機上進行。算出最優模糊劃分矩陣後，還必須求得相應的常規劃分。此時可將得到的聚類中心存在計算機中，將樣本重新逐個輸入，去與每個聚類中心進行比較，與哪個聚類中心最接近就屬於哪一類。
這種方法要預先知道分類數，如分類數不合理，就重新計算。這就不如運用基於模糊等價關系的系統聚類法，但可以得到聚類中心，即各類模式樣本，而這往往正是所要求的。因此可用模糊等價關系所得結果作為初始分類，再通過反復迭代法求得更好的結果。

② 關於聚類分析

1。聚類分析的特點
聚類分析（cluster analysis）是根據事物本身的特性研究個體的一種方法，目的在於將相似的事物歸類。它的原則是同一類中的個體有較大的相似性，不同類的個體差異性很大。這種方法有三個特徵：適用於沒有先驗知識的分類。如果沒有這些事先的經驗或一些國際、國內、行業標准，分類便會顯得隨意和主觀。這時只要設定比較完善的分類變數，就可以通過聚類分析法得到較為科學合理的類別；可以處理多個變數決定的分類。例如，要根據消費者購買量的大小進行分類比較容易，但如果在進行數據挖掘時，要求根據消費者的購買量、家庭收入、家庭支出、年齡等多個指標進行分類通常比較復雜，而聚類分析法可以解決這類問題；聚類分析法是一種探索性分析方法，能夠分析事物的內在特點和規律，並根據相似性原則對事物進行分組，是數據挖掘中常用的一種技術。
這種較成熟的統計學方法如果在市場分析中得到恰當的應用，必將改善市場營銷的效果，為企業決策提供有益的參考。其應用的步驟為：將市場分析中的問題轉化為聚類分析可以解決的問題，利用相關軟體（如SPSS、SAS等）求得結果，由專家解讀結果，並轉換為實際操作措施，從而提高企業利潤，降低企業成本。
2.應用范圍
聚類分析在客戶細分中的應用

消費同一種類的商品或服務時，不同的客戶有不同的消費特點，通過研究這些特點，企業可以制定出不同的營銷組合，從而獲取最大的消費者剩餘，這就是客戶細分的主要目的。常用的客戶分類方法主要有三類：經驗描述法，由決策者根據經驗對客戶進行類別劃分；傳統統計法，根據客戶屬性特徵的簡單統計來劃分客戶類別；非傳統統計方法，即基於人工智慧技術的非數值方法。聚類分析法兼有後兩類方法的特點，能夠有效完成客戶細分的過程。
例如，客戶的購買動機一般由需要、認知、學習等內因和文化、社會、家庭、小群體、參考群體等外因共同決定。要按購買動機的不同來劃分客戶時，可以把前述因素作為分析變數，並將所有目標客戶每一個分析變數的指標值量化出來，再運用聚類分析法進行分類。在指標值量化時如果遇到一些定性的指標值，可以用一些定性數據定量化的方法加以轉化，如模糊評價法等。除此之外，可以將客戶滿意度水平和重復購買機會大小作為屬性進行分類；還可以在區分客戶之間差異性的問題上納入一套新的分類法，將客戶的差異性變數劃分為五類：產品利益、客戶之間的相互作用力、選擇障礙、議價能力和收益率，依據這些分析變數聚類得到的歸類，可以為企業制定營銷決策提供有益參考。
以上分析的共同點在於都是依據多個變數進行分類，這正好符合聚類分析法解決問題的特點；不同點在於從不同的角度尋求分析變數，為某一方面的決策提供參考，這正是聚類分析法在客戶細分問題中運用范圍廣的體現。

聚類分析在實驗市場選擇中的應用

實驗調查法是市場調查中一種有效的一手資料收集方法，主要用於市場銷售實驗，即所謂的市場測試。通過小規模的實驗性改變，以觀察客戶對產品或服務的反應，從而分析該改變是否值得在大范圍內推廣。
實驗調查法最常用的領域有：市場飽和度測試。市場飽和度反映市場的潛在購買力，是市場營銷戰略和策略決策的重要參考指標。企業通常通過將消費者購買產品或服務的各種決定因素（如價格等）降到最低限度的方法來測試市場飽和度。或者在出現滯銷時，企業投放類似的新產品或服務到特定的市場，以測試市場是否真正達到飽和，是否具有潛在的購買力。前述兩種措施由於利益和風險的原因，不可能在企業覆蓋的所有市場中實施，只能選擇合適的實驗市場和對照市場加以測試，得到近似的市場飽和度；產品的價格實驗。這種實驗往往將新定價的產品投放市場，對顧客的態度和反應進行測試，了解顧客對這種價格的是否接受或接受程度；新產品上市實驗。波士頓矩陣研究的企業產品生命周期圖表明，企業為了生存和發展往往要不斷開發新產品，並使之向明星產品和金牛產品順利過渡。然而新產品投放市場後的失敗率卻很高，大致為66%到90%。因而為了降低新產品的失敗率，在產品大規模上市前，運用實驗調查法對新產品的各方面（外觀設計、性能、廣告和推廣營銷組合等）進行實驗是非常有必要的。
在實驗調查方法中，最常用的是前後單組對比實驗、對照組對比實驗和前後對照組對比實驗。這些方法要求科學的選擇實驗和非實驗單位，即隨機選擇出的實驗單位和非實驗單位之間必須具備一定的可比性，兩類單位的主客觀條件應基本相同。
通過聚類分析，可將待選的實驗市場（商場、居民區、城市等）分成同質的幾類小組，在同一組內選擇實驗單位和非實驗單位，這樣便保證了這兩個單位之間具有了一定的可比性。聚類時，商店的規模、類型、設備狀況、所處的地段、管理水平等就是聚類的分析變數。 轉

③ 主成分分析，聚類分析，因子分析的基本思想以及他們各自的優缺點。

主成分分析與因子分析的區別

1. 目的不同： 因子分析把諸多變數看成由對每一個變數都有作用的一些公共因子和僅對某一個變數有作用的特殊因子線性組合而成，因此就是要從數據中控查出對變數起解釋作用的公共因子和特殊因子以及其組合系數；主成分分析只是從空間生成的角度尋找能解釋諸多變數變異的絕大部分的幾組彼此不相關的新變數（主成分）。

2. 線性表示方向不同： 因子分析是把變數表示成各公因子的線性組合；而主成分分析中則是把主成分表示成各變數的線性組合。

3. 假設條件不同：主成分分析中不需要有假設；因子分析的假設包括：各個公共因子之間不相關，特殊因子之間不相關，公共因子和特殊因子之間不相關。

4. 提取主因子的方法不同：因子分析抽取主因子不僅有主成分法，還有極大似然法，主軸因子法，基於這些方法得到的結果也不同；主成分只能用主成分法抽取。

5. 主成分與因子的變化：當給定的協方差矩陣或者相關矩陣的特徵值唯一時，主成分一般是固定的；而因子分析中因子不是固定的，可以旋轉得到不同的因子。

6. 因子數量與主成分的數量：在因子分析中，因子個數需要分析者指定（SPSS根據一定的條件自動設定，只要是特徵值大於1的因子主可進入分析），指定的因子數量不同而結果也不同；在主成分分析中，成分的數量是一定的，一般有幾個變數就有幾個主成分（只是主成分所解釋的信息量不等）。

7. 功能：和主成分分析相比，由於因子分析可以使用旋轉技術幫助解釋因子，在解釋方面更加有優勢；而如果想把現有的變數變成少數幾個新的變數（新的變數幾乎帶有原來所有變數的信息）來進入後續的分析，則可以使用主成分分析。當然，這種情況也可以使用因子得分做到，所以這種區分不是絕對的。

1 、聚類分析

基本原理：將個體（樣品）或者對象（變數）按相似程度（距離遠近）劃分類別，使得同一類中的元素之間的相似性比其他類的元素的相似性更強。目的在於使類間元素的同質性最大化和類與類間元素的異質性最大化。

常用聚類方法：系統聚類法，K-均值法，模糊聚類法，有序樣品的聚類，分解法，加入法。

注意事項：1. 系統聚類法可對變數或者記錄進行分類，K-均值法只能對記錄進行分類；

2. K-均值法要求分析人員事先知道樣品分為多少類；

3. 對變數的多元正態性，方差齊性等要求較高。

應用領域：細分市場，消費行為劃分，設計抽樣方案等

2、判別分析

基本原理：從已知的各種分類情況中總結規律（訓練出判別函數），當新樣品進入時，判斷其與判別函數之間的相似程度（概率最大，距離最近，離差最小等判別准則）。

常用判別方法：最大似然法，距離判別法，Fisher判別法，Bayes判別法，逐步判別法等。

注意事項：1. 判別分析的基本條件：分組類型在兩組以上，解釋變數必須是可測的；

2. 每個解釋變數不能是其它解釋變數的線性組合（比如出現多重共線性情況時，判別權重會出現問題）；

3. 各解釋變數之間服從多元正態分布（不符合時，可使用Logistic回歸替代），且各組解釋變數的協方差矩陣相等（各組協方方差矩陣有顯著差異時，判別函數不相同）。

相對而言，即使判別函數違反上述適用條件，也很穩健，對結果影響不大。

應用領域：對客戶進行信用預測，尋找潛在客戶（是否為消費者，公司是否成功，學生是否被錄用等等），臨床上用於鑒別診斷。

3、 主成分分析/ 因子分析

主成分分析基本原理：利用降維（線性變換)的思想，在損失很少信息的前提下把多個指標轉化為幾個綜合指標（主成分),即每個主成分都是原始變數的線性組合,且各個主成分之間互不相關,使得主成分比原始變數具有某些更優越的性能（主成分必須保留原始變數90%以上的信息），從而達到簡化系統結構，抓住問題實質的目的。

因子分析基本原理：利用降維的思想，由研究原始變數相關矩陣內部的依賴關系出發，把一些具有錯綜復雜關系的變數歸結為少數幾個綜合因子。（因子分析是主成分的推廣，相對於主成分分析，更傾向於描述原始變數之間的相關關系）

求解主成分的方法：從協方差陣出發（協方差陣已知），從相關陣出發（相關陣R已知）。

（實際研究中，總體協方差陣與相關陣是未知的，必須通過樣本數據來估計）

求解因子載荷的方法：主成分法，主軸因子法，極大似然法，最小二乘法，a因子提取法。

注意事項：1. 由協方差陣出發與由相關陣出發求解主成分所得結果不一致時，要恰當的選取某一種方法；

2. 對於度量單位或是取值范圍在同量級的數據，可直接求協方差陣；對於度量單位不同的指標或是取值范圍彼此差異非常大的指標，應考慮將數據標准化，再由協方差陣求主成分；

3.主成分分析不要求數據來源於正態分布；

4. 在選取初始變數進入分析時應該特別注意原始變數是否存在多重共線性的問題（最小特徵根接近於零，說明存在多重共線性問題）。

5. 因子分析中各個公共因子之間不相關，特殊因子之間不相關，公共因子和特殊因子之間不相關。

應用領域：解決共線性問題，評價問卷的結構效度，尋找變數間潛在的結構，內在結構證實。

4、對應分析/最優尺度分析

基本原理：利用降維的思想以達到簡化數據結構的目的，同時對數據表中的行與列進行處理，尋求以低維圖形表示數據表中行與列之間的關系。

對應分析：用於展示變數（兩個/多個分類）間的關系（變數的分類數較多時較佳）；

最優尺度分析：可同時分析多個變數間的關系，變數的類型可以是無序多分類，有序多分類或連續性變數，並 對多選題的分析提供了支持。

5、典型相關分析

基本原理：借用主成分分析降維的思想，分別對兩組變數提取主成分，且使從兩組變數提取的主成分之間的相關程度達到最大，而從同一組內部提取的各主成分之間互不相關。

④ 聚類分析方法應用於哪些問題的研究

1.聚類分析的特點
聚類分析（cluster analysis）是根據事物本身的特性研究個體的一種方法,目的在於將相似的事物歸類.它的原則是同一類中的個體有較大的相似性,不同類的個體差異性很大.這種方法有三個特徵：適用於沒有先驗知識的分類.如果沒有這些事先的經驗或一些國際、國內、行業標准,分類便會顯得隨意和主觀.這時只要設定比較完善的分類變數,就可以通過聚類分析法得到較為科學合理的類別；可以處理多個變數決定的分類.例如,要根據消費者購買量的大小進行分類比較容易,但如果在進行數據挖掘時,要求根據消費者的購買量、家庭收入、家庭支出、年齡等多個指標進行分類通常比較復雜,而聚類分析法可以解決這類問題；聚類分析法是一種探索性分析方法,能夠分析事物的內在特點和規律,並根據相似性原則對事物進行分組,是數據挖掘中常用的一種技術.
這種較成熟的統計學方法如果在市場分析中得到恰當的應用,必將改善市場營銷的效果,為企業決策提供有益的參考.其應用的步驟為：將市場分析中的問題轉化為聚類分析可以解決的問題,利用相關軟體（如SPSS、SAS等）求得結果,由專家解讀結果,並轉換為實際操作措施,從而提高企業利潤,降低企業成本.
2.應用范圍
聚類分析在客戶細分中的應用

消費同一種類的商品或服務時,不同的客戶有不同的消費特點,通過研究這些特點,企業可以制定出不同的營銷組合,從而獲取最大的消費者剩餘,這就是客戶細分的主要目的.常用的客戶分類方法主要有三類：經驗描述法,由決策者根據經驗對客戶進行類別劃分；傳統統計法,根據客戶屬性特徵的簡單統計來劃分客戶類別；非傳統統計方法,即基於人工智慧技術的非數值方法.聚類分析法兼有後兩類方法的特點,能夠有效完成客戶細分的過程.
例如,客戶的購買動機一般由需要、認知、學習等內因和文化、社會、家庭、小群體、參考群體等外因共同決定.要按購買動機的不同來劃分客戶時,可以把前述因素作為分析變數,並將所有目標客戶每一個分析變數的指標值量化出來,再運用聚類分析法進行分類.在指標值量化時如果遇到一些定性的指標值,可以用一些定性數據定量化的方法加以轉化,如模糊評價法等.除此之外,可以將客戶滿意度水平和重復購買機會大小作為屬性進行分類；還可以在區分客戶之間差異性的問題上納入一套新的分類法,將客戶的差異性變數劃分為五類：產品利益、客戶之間的相互作用力、選擇障礙、議價能力和收益率,依據這些分析變數聚類得到的歸類,可以為企業制定營銷決策提供有益參考.
以上分析的共同點在於都是依據多個變數進行分類,這正好符合聚類分析法解決問題的特點；不同點在於從不同的角度尋求分析變數,為某一方面的決策提供參考,這正是聚類分析法在客戶細分問題中運用范圍廣的體現.

聚類分析在實驗市場選擇中的應用

實驗調查法是市場調查中一種有效的一手資料收集方法,主要用於市場銷售實驗,即所謂的市場測試.通過小規模的實驗性改變,以觀察客戶對產品或服務的反應,從而分析該改變是否值得在大范圍內推廣.
實驗調查法最常用的領域有：市場飽和度測試.市場飽和度反映市場的潛在購買力,是市場營銷戰略和策略決策的重要參考指標.企業通常通過將消費者購買產品或服務的各種決定因素（如價格等）降到最低限度的方法來測試市場飽和度.或者在出現滯銷時,企業投放類似的新產品或服務到特定的市場,以測試市場是否真正達到飽和,是否具有潛在的購買力.前述兩種措施由於利益和風險的原因,不可能在企業覆蓋的所有市場中實施,只能選擇合適的實驗市場和對照市場加以測試,得到近似的市場飽和度；產品的價格實驗.這種實驗往往將新定價的產品投放市場,對顧客的態度和反應進行測試,了解顧客對這種價格的是否接受或接受程度；新產品上市實驗.波士頓矩陣研究的企業產品生命周期圖表明,企業為了生存和發展往往要不斷開發新產品,並使之向明星產品和金牛產品順利過渡.然而新產品投放市場後的失敗率卻很高,大致為66%到90%.因而為了降低新產品的失敗率,在產品大規模上市前,運用實驗調查法對新產品的各方面（外觀設計、性能、廣告和推廣營銷組合等）進行實驗是非常有必要的.
在實驗調查方法中,最常用的是前後單組對比實驗、對照組對比實驗和前後對照組對比實驗.這些方法要求科學的選擇實驗和非實驗單位,即隨機選擇出的實驗單位和非實驗單位之間必須具備一定的可比性,兩類單位的主客觀條件應基本相同.
通過聚類分析,可將待選的實驗市場（商場、居民區、城市等）分成同質的幾類小組,在同一組內選擇實驗單位和非實驗單位,這樣便保證了這兩個單位之間具有了一定的可比性.聚類時,商店的規模、類型、設備狀況、所處的地段、管理水平等就是聚類的分析變數

⑤ 在應用聚類分析和判別分析解決實際問題時應該注意哪些方面

聚類要注意的問題
聚類結果主要受所選擇的變數影響.如果去掉一些變數,或者增加一些變數,結果會很不同.
相比之下,聚類方法的選擇則不那麼重要了.因此,聚類之前一定要目標明確._
另外就分成多少類來說,也要有道理.只要你高興,從分層聚類的計算機結果可以得到任何可能數量的類.但是,聚類的目的是要使各類距離盡可能的遠,而類中點的距離盡可能的近,而且分類結果還要有令人信服的解釋.這一點就不是數學可以解決的了.
判別分析要注意的問題
訓練樣本中必須有所有要判別的類型,分類必須清楚,不能有混雜.
要選擇好可能由於判別的預測變數.這是最重要的一步.當然,在應用中,選擇的餘地不見得有多大.
要注意數據是否有不尋常的點或者模式存在.還要看預測變數中是否有些不適宜的;這可以用單變數方差分析(ANOVA)和相關分析來驗證.
判別分析是為了正確地分類,但同時也要注意使用盡可能少的預測變數來達到這個目的.使用較少的變數意味著節省資源和易於對結果進行解釋.
在計算中需要看關於各個類的有關變數的均值是否顯著不同的檢驗結果(在SPSS選項中選擇Wilks'
Lambda,Rao's
V,The
Squared
Mahalanobis
Distance或The
Sum
of
Unexplained
Variations等檢驗的計算機輸出),以確定是否分類結果是僅僅由於隨機因素.
此外成員的權數(SPSS用prior
probability,即"先驗概率",和貝葉斯統計的先驗概率有區別)需要考慮;一般來說,加權要按照各類觀測值的多少,觀測值少的就要按照比例多加權.
對於多個判別函數,要弄清各自的重要性.
注意訓練樣本的正確和錯誤分類率.研究被誤分類的觀測值,看是否可以找出原因.

⑥ 如何判斷聚類分析結構的優劣

需要搜集用戶的哪些特徵？聚類分析變數選擇的原則是：在哪些變數組合的前提，使得類別內部的差異盡可能的小，即同質性高，類別間的差異盡可能的大，即同質性低，並且變數之間不能存在高度相關。常用的用戶特徵變數有：①
人口學變數：如年齡、性別、婚姻、教育程度、職業、收入等。通過人口學變數進行分類，了解每類人口的需求有何差異。②
用戶目標：如用戶為什麼使用這個產品？為什麼選擇線上購買？了解不同使用目的的用戶的各自特徵，從而查看各類目標用戶的需求。③
用戶使用場景：用戶在什麼時候，什麼情況下使用這個產品？了解用戶在各類場景下的偏好/行為差異。④
用戶行為數據：如使用頻率，使用時長，客單價等。劃分用戶活躍等級，用戶價值等級等。⑤
態度傾向量表：如消費偏好，價值觀等，看不同價值觀、不同生活方式的群體在消費取向或行為上的差異。需要多少樣本量？沒有限制，通常情況下與實際應用有關，如果非要加一個理論的限制，通常認為，樣本的個數要大於聚類個數的平方。①如果需要聚類的數據量較少（lt;100），那麼三種方法(層次聚類法，K-均值聚類法，兩步聚類法)都可以考慮使用。優先考慮層次聚類法，因為層次聚類法產生的樹狀圖更加直觀形象，易於解釋，並且，層次聚類法提供方法、距離計算方式、標准化方式的豐富程度也是其他兩種方法所無法比擬的。②如果需要聚類的數據量較大（;1000），應該考慮選擇快速聚類別法或者兩步聚類法進行。③如果數據量在100～1000之間，理論上現在的計算條件是可能滿足任何聚類方法的要求的，但是結果的展示會比較困難，例如不可能再去直接觀察樹狀圖了。應用定量方法還是定性方法？聚類分析是一種定量分析方法，但對聚類分析結果的解釋還需要結合定性資料討論。1.聚類分析的定義與用途聚類分析（Cluster Analysis）是一種探索性的數據分析方法，根據指標/變數的數據結構特徵，對數據進行分類，使得類別內部的差異盡可能的小，即同質性高，類別間的差異盡可能的大，即同質性低。2.聚類分析的方法①層次聚類法（Hierarchical），也叫系統聚類法。既可處理分類變數，也可處理連續變數，但不能同時處理兩種變數類型，不需要指定類別數。聚類結果間存在著嵌套，或者說層次的關系。②K-均值聚類法（K-Means Cluster），也叫快速聚類法。針對連續變數，也可處理有序分類變數，運算很快，但需要指定類別數。K-均值聚類法不會自動對數據進行標准化處理，需要先自己手動進行標准化分析。③兩步聚類法（Two-Step Cluster）：可以同時處理分類變數和連續變數，能自動識別最佳的類別數，結果比較穩定。如果只對連續變數進行聚類，描述記錄之間的距離性時可以使用歐氏（Euclidean）距離，也可以使用對數似然值（Log-likelihood），如果使用前者，則該方法和傳統的聚類方法並無太大區別；但是若進行聚類的還有離散變數，那麼就只能使用對數似然值來表述記錄間的差異性。當聚類指標為有序類別變數時，Two-Step Cluster出來的分類結果沒有K-means cluster的明晰，這是因為K-means演算法假定聚類指標變數為連續變數。3.聚類分析的步驟①確定研究目的：研究問題關注點有哪些、是否有先驗分類數…②問卷編制：態度語句李克特項目、有序類別…③確定分析變數：問卷變數的類型，連續or分類，有序類別or無序類別、是否納入後台數據，變數間相關性低…④聚類分析：聚類分析方法選擇、數據標准化方法、聚類類別數確定…⑤結果檢驗：類別間差異分析、是否符合常理…⑥聚類結果解釋：類別的命名、類別間的差異、結合定性資料解釋…

⑦ 如何運用聚類分析法

聚類分析法是理想的多變數統計技術，主要有分層聚類法和迭代聚類法。聚類通過把目標數據放入少數相對同源的組或「類」（cluster）里。分析表達數據，（1）通過一系列的檢測將待測的一組基因的變異標准化，然後成對比較線性協方差。（2）通過把用最緊密關聯的譜來放基因進行樣本聚類，例如用簡單的層級聚類（hierarchical clustering）方法。這種聚類亦可擴展到每個實驗樣本，利用一組基因總的線性相關進行聚類。（3）多維等級分析（multidimensional scaling analysis,MDS）是一種在二維Euclidean 「距離」中顯示實驗樣本相關的大約程度。（4）K-means方法聚類，通過重復再分配類成員來使「類」內分散度最小化的方法。

聚類方法有兩個顯著的局限：首先，要聚類結果要明確就需分離度很好（well-separated）的數據。幾乎所有現存的演算法都是從互相區別的不重疊的類數據中產生同樣的聚類。但是，如果類是擴散且互相滲透，那麼每種演算法的的結果將有點不同。結果，每種演算法界定的邊界不清，每種聚類演算法得到各自的最適結果，每個數據部分將產生單一的信息。為解釋因不同演算法使同樣數據產生不同結果，必須注意判斷不同的方式。對遺傳學家來說，正確解釋來自任一演算法的聚類內容的實際結果是困難的（特別是邊界）。最終，將需要經驗可信度通過序列比較來指導聚類解釋。

第二個局限由線性相關產生。上述的所有聚類方法分析的僅是簡單的一對一的關系。因為只是成對的線性比較，大大減少發現表達類型關系的計算量，但忽視了生物系統多因素和非線性的特點。

從統計學的觀點看，聚類分析是通過數據建模簡化數據的一種方法。傳統的統計聚類分析方法包括系統聚類法、分解法、加入法、動態聚類法、有序樣品聚類、有重疊聚類和模糊聚類等。採用k-均值、k-中心點等演算法的聚類分析工具已被加入到許多著名的統計分析軟體包中，如SPSS、SAS等。
從機器學習的角度講，簇相當於隱藏模式。聚類是搜索簇的無監督學習過程。與分類不同，無監督學習不依賴預先定義的類或帶類標記的訓練實例，需要由聚類學習演算法自動確定標記，而分類學習的實例或數據對象有類別標記。聚類是觀察式學習，而不是示例式的學習。
從實際應用的角度看，聚類分析是數據挖掘的主要任務之一。就數據挖掘功能而言，聚類能夠作為一個獨立的工具獲得數據的分布狀況，觀察每一簇數據的特徵，集中對特定的聚簇集合作進一步地分析。
聚類分析還可以作為其他數據挖掘任務（如分類、關聯規則）的預處理步驟。
數據挖掘領域主要研究面向大型資料庫、數據倉庫的高效實用的聚類分析演算法。

聚類分析是數據挖掘中的一個很活躍的研究領域，並提出了許多聚類演算法。
這些演算法可以被分為劃分方法、層次方法、基於密度方法、基於網格方法和
基於模型方法。
1 劃分方法(PAM:PArtitioning method) 首先創建k個劃分，k為要創建的劃分個數；然後利用一個循環
定位技術通過將對象從一個劃分移到另一個劃分來幫助改善劃分質量。典型的劃分方法包括：
k-means,k-medoids,CLARA(Clustering LARge Application),
CLARANS(Clustering Large Application based upon RANdomized Search).
FCM
2 層次方法(hierarchical method) 創建一個層次以分解給定的數據集。該方法可以分為自上
而下（分解）和自下而上（合並）兩種操作方式。為彌補分解與合並的不足，層次合
並經常要與其它聚類方法相結合，如循環定位。典型的這類方法包括：
第一個是;BIRCH(Balanced Iterative Recing and Clustering using Hierarchies) 方法，它首先利用樹的結構對對象集進行劃分；然後再利
用其它聚類方法對這些聚類進行優化。
第二個是CURE(Clustering Using REprisentatives) 方法，它利用固定數目代表對象來表示相應聚類；然後對各聚類按照指定
量（向聚類中心）進行收縮。
第三個是ROCK方法，它利用聚類間的連接進行聚類合並。
最後一個CHEMALOEN，它則是在層次聚類時構造動態模型。
3 基於密度方法，根據密度完成對象的聚類。它根據對象周圍的密度（如
DBSCAN）不斷增長聚類。典型的基於密度方法包括：
DBSCAN(Densit-based Spatial Clustering of Application with Noise):該演算法通過不斷生長足夠高密
度區域來進行聚類；它能從含有雜訊的空間資料庫中發現任意形狀的聚類。此方法將一個聚類定義
為一組「密度連接」的點集。
OPTICS(Ordering Points To Identify the Clustering Structure):並不明確產生一
個聚類，而是為自動交互的聚類分析計算出一個增強聚類順序。。
4 基於網格方法，首先將對象空間劃分為有限個單元以構成網格結構；然後利
用網格結構完成聚類。
STING(STatistical INformation Grid) 就是一個利用網格單元保存的統計信息進行基
於網格聚類的方法。
CLIQUE(Clustering In QUEst)和Wave-Cluster 則是一個將基於網格與基於密度相結合的方
法。
5 基於模型方法，它假設每個聚類的模型並發現適合相應模型的數據。典型的
基於模型方法包括：
統計方法COBWEB:是一個常用的且簡單的增量式概念聚類方法。它的輸入對象是采
用符號量（屬性-值）對來加以描述的。採用分類樹的形式來創建
一個層次聚類。
CLASSIT是COBWEB的另一個版本.。它可以對連續取值屬性進行增量式聚
類。它為每個結點中的每個屬性保存相應的連續正態分布（均值與方差）；並利
用一個改進的分類能力描述方法，即不象COBWEB那樣計算離散屬性（取值）
和而是對連續屬性求積分。但是CLASSIT方法也存在與COBWEB類似的問題。
因此它們都不適合對大資料庫進行聚類處理.

⑧ 常用的聚類方法有哪幾種

聚類分析的演算法可以分為劃分法、層次法、基於密度的方法、基於網格的方法、基於模型的方法。

1、劃分法，給定一個有N個元組或者紀錄的數據集，分裂法將構造K個分組，每一個分組就代表一個聚類，K<N。

2、層次法，這種方法對給定的數據集進行層次似的分解，直到某種條件滿足為止。

3、基於密度的方法，基於密度的方法與其它方法的一個根本區別是：它不是基於各種各樣的距離的，而是基於密度的。這樣就能克服基於距離的演算法只能發現「類圓形」的聚類的缺點。

4、圖論聚類方法解決的第一步是建立與問題相適應的圖，圖的節點對應於被分析數據的最小單元，圖的邊（或弧）對應於最小處理單元數據之間的相似性度量。

5、基於網格的方法，這種方法首先將數據空間劃分成為有限個單元的網格結構,所有的處理都是以單個的單元為對象的。

6、基於模型的方法，基於模型的方法給每一個聚類假定一個模型，然後去尋找能夠很好的滿足這個模型的數據集。

(8)聚類分析缺點及改進方法擴展閱讀：

在商業上，聚類可以幫助市場分析人員從消費者資料庫中區分出不同的消費群體來，並且概括出每一類消費者的消費模式或者說習慣。

它作為數據挖掘中的一個模塊，可以作為一個單獨的工具以發現資料庫中分布的一些深層的信息，並且概括出每一類的特點，或者把注意力放在某一個特定的類上以作進一步的分析；並且，聚類分析也可以作為數據挖掘演算法中其他分析演算法的一個預處理步驟。

許多聚類演算法在小於 200 個數據對象的小數據集合上工作得很好；但是，一個大規模資料庫可能包含幾百萬個對象，在這樣的大數據集合樣本上進行聚類可能會導致有偏的結果。

許多聚類演算法在聚類分析中要求用戶輸入一定的參數，例如希望產生的簇的數目。聚類結果對於輸入參數十分敏感。參數通常很難確定，特別是對於包含高維對象的數據集來說。這樣不僅加重了用戶的負擔，也使得聚類的質量難以控制。

⑨ 通過聚類分析對客戶進行分類後，再通過模型分析預測哪些人可能成為我們的客戶，其可能存在的弊端是什麼

聚類分析依賴於聚類演算法的選取，如果是k-mans聚類演算法，對於初始值的選取是隨機的，初始選擇會影響結果，所以可能不準確！聚類分析依賴於聚類演算法的選取，如果是k-mans聚類演算法，對於初始值的選取是隨機的，初始選擇會影響結果，所以可能不準確！聚類分析依賴於聚類演算法的選取，如果是k-mans聚類演算法，對於初始值的選取是隨機的，初始選擇會影響結果，所以可能不準確！

⑩ 四種聚類方法之比較

四種聚類方法之比較
介紹了較為常見的k-means、層次聚類、SOM、FCM等四種聚類演算法，闡述了各自的原理和使用步驟，利用國際通用測試數據集IRIS對這些演算法進行了驗證和比較。結果顯示對該測試類型數據，FCM和k-means都具有較高的准確度，層次聚類准確度最差，而SOM則耗時最長。
關鍵詞:聚類演算法；k-means；層次聚類；SOM；FCM
聚類分析是一種重要的人類行為，早在孩提時代，一個人就通過不斷改進下意識中的聚類模式來學會如何區分貓狗、動物植物。目前在許多領域都得到了廣泛的研究和成功的應用，如用於模式識別、數據分析、圖像處理、市場研究、客戶分割、Web文檔分類等[1]。
聚類就是按照某個特定標准(如距離准則)把一個數據集分割成不同的類或簇，使得同一個簇內的數據對象的相似性盡可能大，同時不在同一個簇中的數據對象的差異性也盡可能地大。即聚類後同一類的數據盡可能聚集到一起，不同數據盡量分離。
聚類技術[2]正在蓬勃發展，對此有貢獻的研究領域包括數據挖掘、統計學、機器學習、空間資料庫技術、生物學以及市場營銷等。各種聚類方法也被不斷提出和改進，而不同的方法適合於不同類型的數據，因此對各種聚類方法、聚類效果的比較成為值得研究的課題。
1 聚類演算法的分類
目前，有大量的聚類演算法[3]。而對於具體應用，聚類演算法的選擇取決於數據的類型、聚類的目的。如果聚類分析被用作描述或探查的工具，可以對同樣的數據嘗試多種演算法，以發現數據可能揭示的結果。
主要的聚類演算法可以劃分為如下幾類：劃分方法、層次方法、基於密度的方法、基於網格的方法以及基於模型的方法[4-6]。
每一類中都存在著得到廣泛應用的演算法，例如：劃分方法中的k-means[7]聚類演算法、層次方法中的凝聚型層次聚類演算法[8]、基於模型方法中的神經網路[9]聚類演算法等。
目前,聚類問題的研究不僅僅局限於上述的硬聚類，即每一個數據只能被歸為一類，模糊聚類[10]也是聚類分析中研究較為廣泛的一個分支。模糊聚類通過隸屬函數來確定每個數據隸屬於各個簇的程度，而不是將一個數據對象硬性地歸類到某一簇中。目前已有很多關於模糊聚類的演算法被提出，如著名的FCM演算法等。
本文主要對k-means聚類演算法、凝聚型層次聚類演算法、神經網路聚類演算法之SOM,以及模糊聚類的FCM演算法通過通用測試數據集進行聚類效果的比較和分析。
2 四種常用聚類演算法研究
2.1 k-means聚類演算法
k-means是劃分方法中較經典的聚類演算法之一。由於該演算法的效率高，所以在對大規模數據進行聚類時被廣泛應用。目前，許多演算法均圍繞著該演算法進行擴展和改進。
k-means演算法以k為參數，把n個對象分成k個簇，使簇內具有較高的相似度，而簇間的相似度較低。k-means演算法的處理過程如下：首先，隨機地選擇k個對象，每個對象初始地代表了一個簇的平均值或中心;對剩餘的每個對象，根據其與各簇中心的距離，將它賦給最近的簇;然後重新計算每個簇的平均值。這個過程不斷重復，直到准則函數收斂。通常，採用平方誤差准則，其定義如下：

這里E是資料庫中所有對象的平方誤差的總和，p是空間中的點，mi是簇Ci的平均值[9]。該目標函數使生成的簇盡可能緊湊獨立，使用的距離度量是歐幾里得距離,當然也可以用其他距離度量。k-means聚類演算法的演算法流程如下：
輸入：包含n個對象的資料庫和簇的數目k；
輸出：k個簇，使平方誤差准則最小。
步驟：
(1) 任意選擇k個對象作為初始的簇中心；
(2) repeat；
(3) 根據簇中對象的平均值，將每個對象(重新)賦予最類似的簇；
(4) 更新簇的平均值，即計算每個簇中對象的平均值；
(5) until不再發生變化。
2.2 層次聚類演算法
根據層次分解的順序是自底向上的還是自上向下的，層次聚類演算法分為凝聚的層次聚類演算法和分裂的層次聚類演算法。
凝聚型層次聚類的策略是先將每個對象作為一個簇，然後合並這些原子簇為越來越大的簇，直到所有對象都在一個簇中，或者某個終結條件被滿足。絕大多數層次聚類屬於凝聚型層次聚類，它們只是在簇間相似度的定義上有所不同。四種廣泛採用的簇間距離度量方法如下：

這里給出採用最小距離的凝聚層次聚類演算法流程：
(1) 將每個對象看作一類，計算兩兩之間的最小距離；
(2) 將距離最小的兩個類合並成一個新類；
(3) 重新計算新類與所有類之間的距離；
(4) 重復(2)、(3)，直到所有類最後合並成一類。
2.3 SOM聚類演算法
SOM神經網路[11]是由芬蘭神經網路專家Kohonen教授提出的，該演算法假設在輸入對象中存在一些拓撲結構或順序，可以實現從輸入空間(n維)到輸出平面(2維)的降維映射，其映射具有拓撲特徵保持性質,與實際的大腦處理有很強的理論聯系。
SOM網路包含輸入層和輸出層。輸入層對應一個高維的輸入向量，輸出層由一系列組織在2維網格上的有序節點構成，輸入節點與輸出節點通過權重向量連接。學習過程中，找到與之距離最短的輸出層單元，即獲勝單元，對其更新。同時，將鄰近區域的權值更新，使輸出節點保持輸入向量的拓撲特徵。
演算法流程：
(1) 網路初始化，對輸出層每個節點權重賦初值；
(2) 將輸入樣本中隨機選取輸入向量，找到與輸入向量距離最小的權重向量；
(3) 定義獲勝單元，在獲勝單元的鄰近區域調整權重使其向輸入向量靠攏；
(4) 提供新樣本、進行訓練；
(5) 收縮鄰域半徑、減小學習率、重復，直到小於允許值，輸出聚類結果。
2.4 FCM聚類演算法
1965年美國加州大學柏克萊分校的扎德教授第一次提出了『集合』的概念。經過十多年的發展，模糊集合理論漸漸被應用到各個實際應用方面。為克服非此即彼的分類缺點，出現了以模糊集合論為數學基礎的聚類分析。用模糊數學的方法進行聚類分析，就是模糊聚類分析[12]。
FCM演算法是一種以隸屬度來確定每個數據點屬於某個聚類程度的演算法。該聚類演算法是傳統硬聚類演算法的一種改進。

演算法流程：
(1) 標准化數據矩陣；
(2) 建立模糊相似矩陣，初始化隸屬矩陣；
(3) 演算法開始迭代，直到目標函數收斂到極小值；
(4) 根據迭代結果，由最後的隸屬矩陣確定數據所屬的類，顯示最後的聚類結果。
3 四種聚類演算法試驗
3.1 試驗數據
實驗中，選取專門用於測試分類、聚類演算法的國際通用的UCI資料庫中的IRIS[13]數據集，IRIS數據集包含150個樣本數據，分別取自三種不同的鶯尾屬植物setosa、versicolor和virginica的花朵樣本,每個數據含有4個屬性，即萼片長度、萼片寬度、花瓣長度，單位為cm。在數據集上執行不同的聚類演算法，可以得到不同精度的聚類結果。
3.2 試驗結果說明
文中基於前面所述各演算法原理及演算法流程，用matlab進行編程運算，得到表1所示聚類結果。

如表1所示，對於四種聚類演算法，按三方面進行比較：(1)聚錯樣本數：總的聚錯的樣本數，即各類中聚錯的樣本數的和；(2)運行時間：即聚類整個過程所耗費的時間，單位為s；(3)平均准確度：設原數據集有k個類,用ci表示第i類，ni為ci中樣本的個數，mi為聚類正確的個數,則mi/ni為第i類中的精度，則平均精度為：

3.3 試驗結果分析
四種聚類演算法中，在運行時間及准確度方面綜合考慮，k-means和FCM相對優於其他。但是，各個演算法還是存在固定缺點：k-means聚類演算法的初始點選擇不穩定，是隨機選取的，這就引起聚類結果的不穩定，本實驗中雖是經過多次實驗取的平均值，但是具體初始點的選擇方法還需進一步研究；層次聚類雖然不需要確定分類數，但是一旦一個分裂或者合並被執行，就不能修正，聚類質量受限制；FCM對初始聚類中心敏感，需要人為確定聚類數，容易陷入局部最優解；SOM與實際大腦處理有很強的理論聯系。但是處理時間較長，需要進一步研究使其適應大型資料庫。
聚類分析因其在許多領域的成功應用而展現出誘人的應用前景，除經典聚類演算法外，各種新的聚類方法正被不斷被提出。