导航:首页 > 安装方法 > 聚类分析方法的一般步骤

聚类分析方法的一般步骤

发布时间:2022-05-18 02:34:26

㈠ spss软件聚类分析怎么用,从输入数据到结果,树状图结果。整个操作怎么进行。需要基本思路。

1、【分析】-【分类】-【k-平均值聚类】,进行相关参数的设置。

如何对混合型数据做聚类分析

如何对混合型数据做聚类分析
利用聚类分析,我们可以很容易地看清数据集中样本的分布情况。以往介绍聚类分析的文章中通常只介绍如何处理连续型变量,这些文字并没有过多地介绍如何处理混合型数据(如同时包含连续型变量、名义型变量和顺序型变量的数据)。本文将利用 Gower 距离、PAM(partitioning around medoids)算法和轮廓系数来介绍如何对混合型数据做聚类分析。
R语言
本文主要分为三个部分:
距离计算
聚类算法的选择
聚类个数的选择
为了介绍方便,本文直接使用 ISLR 包中的 College 数据集。该数据集包含了自 1995 年以来美国大学的 777 条数据,其中主要有以下几个变量:
连续型变量
录取率
学费
新生数量
分类型变量
公立或私立院校
是否为高水平院校,即所有新生中毕业于排名前 10% 高中的新生数量占比是否大于 50%
本文中涉及到的R包有:
In [3]:
set.seed(1680) # 设置随机种子,使得本文结果具有可重现性
library(dplyr)
library(ISLR)
library(cluster)
library(Rtsne)
library(ggplot2)

Attaching package: ‘dplyr’

The following objects are masked from ‘package:stats’:

filter, lag

The following objects are masked from ‘package:base’:

intersect, setdiff, setequal, union

构建聚类模型之前,我们需要做一些数据清洗工作:
录取率等于录取人数除以总申请人数
判断某个学校是否为高水平院校,需要根据该学校的所有新生中毕业于排名前 10% 高中的新生数量占比是否大于 50% 来决定

In [5]:

college_clean <- College %>%
mutate(name = row.names(.),
accept_rate = Accept/Apps,
isElite = cut(Top10perc,
breaks = c(0, 50, 100),
labels = c("Not Elite", "Elite"),
include.lowest = TRUE)) %>%
mutate(isElite = factor(isElite)) %>%
select(name, accept_rate, Outstate, Enroll,
Grad.Rate, Private, isElite)

glimpse(college_clean)

Observations: 777
Variables: 7
$ name (chr) "Abilene Christian University", "Adelphi University", "...
$ accept_rate (dbl) 0.7421687, 0.8801464, 0.7682073, 0.8369305, 0.7564767, ...
$ Outstate (dbl) 7440, 12280, 11250, 12960, 7560, 13500, 13290, 13868, 1...
$ Enroll (dbl) 721, 512, 336, 137, 55, 158, 103, 489, 227, 172, 472, 4...
$ Grad.Rate (dbl) 60, 56, 54, 59, 15, 55, 63, 73, 80, 52, 73, 76, 74, 68,...
$ Private (fctr) Yes, Yes, Yes, Yes, Yes, Yes, Yes, Yes, Yes, Yes, Yes,...
$ isElite (fctr) Not Elite, Not Elite, Not Elite, Elite, Not Elite, Not...
距离计算
聚类分析的第一步是定义样本之间距离的度量方法,最常用的距离度量方法是欧式距离。然而欧氏距离只适用于连续型变量,所以本文将采用另外一种距离度量方法—— Gower 距离。
Gower 距离
Gower 距离的定义非常简单。首先每个类型的变量都有特殊的距离度量方法,而且该方法会将变量标准化到[0,1]之间。接下来,利用加权线性组合的方法来计算最终的距离矩阵。不同类型变量的计算方法如下所示:
连续型变量:利用归一化的曼哈顿距离
顺序型变量:首先将变量按顺序排列,然后利用经过特殊调整的曼哈顿距离
名义型变量:首先将包含 k 个类别的变量转换成 k 个 0-1 变量,然后利用 Dice 系数做进一步的计算
优点:通俗易懂且计算方便
缺点:非常容易受无标准化的连续型变量异常值影响,所以数据转换过程必不可少;该方法需要耗费较大的内存
利用 daisy 函数,我们只需要一行代码就可以计算出 Gower 距离。需要注意的是,由于新生入学人数是右偏变量,我们需要对其做对数转换。daisy 函数内置了对数转换的功能,你可以调用帮助文档来获取更多的参数说明。

In [6]:

# Remove college name before clustering

gower_dist <- daisy(college_clean[, -1],
metric = "gower",
type = list(logratio = 3))

# Check attributes to ensure the correct methods are being used
# (I = interval, N = nominal)
# Note that despite logratio being called,
# the type remains coded as "I"

summary(gower_dist)

Out[6]:

301476 dissimilarities, summarized :
Min. 1st Qu. Median Mean 3rd Qu. Max.
0.0018601 0.1034400 0.2358700 0.2314500 0.3271400 0.7773500
Metric : mixed ; Types = I, I, I, I, N, N
Number of objects : 777

此外,我们可以通过观察最相似和最不相似的样本来判断该度量方法的合理性。本案例中,圣托马斯大学和约翰卡罗尔大学最相似,而俄克拉荷马科技和艺术大学和哈佛大学差异最大。

In [7]:

gower_mat <- as.matrix(gower_dist)

# Output most similar pair

college_clean[
which(gower_mat == min(gower_mat[gower_mat != min(gower_mat)]),
arr.ind = TRUE)[1, ], ]

Out[7]:

In [8]:

# Output most dissimilar pair

college_clean[
which(gower_mat == max(gower_mat[gower_mat != max(gower_mat)]),
arr.ind = TRUE)[1, ], ]

Out[8]:

聚类算法的选择

现在我们已经计算好样本间的距离矩阵,接下来需要选择一个合适的聚类算法,本文采用 PAM(partioniong around medoids)算法来构建模型:

PAM 算法的主要步骤:

随机选择 k 个数据点,并将其设为簇中心点
遍历所有样本点,并将样本点归入最近的簇中
对每个簇而言,找出与簇内其他点距离之和最小的点,并将其设为新的簇中心点
重复第2步,直到收敛

该算法和 K-means 算法非常相似。事实上,除了中心点的计算方法不同外,其他步骤都完全一致 。

优点:简单易懂且不易受异常值所影响
缺点:算法时间复杂度为 O(n2)O(n2)

聚类个数的选择

我们将利用轮廓系数来确定最佳的聚类个数,轮廓系数是一个用于衡量聚类离散度的内部指标,该指标的取值范围是[-1,1],其数值越大越好。通过比较不同聚类个数下轮廓系数的大小,我们可以看出当聚类个数为 3 时,聚类效果最好。

In [9]:

# Calculate silhouette width for many k using PAM

sil_width <- c(NA)

for(i in 2:10){

pam_fit <- pam(gower_dist,
diss = TRUE,
k = i)

sil_width[i] <- pam_fit$silinfo$avg.width

}

# Plot sihouette width (higher is better)

plot(1:10, sil_width,
xlab = "Number of clusters",
ylab = "Silhouette Width")
lines(1:10, sil_width)

聚类结果解释
描述统计量

聚类完毕后,我们可以调用 summary 函数来查看每个簇的汇总信息。从这些汇总信息中我们可以看出:簇1主要是中等学费且学生规模较小的私立非顶尖院校,簇2主要是高收费、低录取率且高毕业率的私立顶尖院校,而簇3则是低学费、低毕业率且学生规模较大的公立非顶尖院校。

In [18]:

pam_fit <- pam(gower_dist, diss = TRUE, k = 3)

pam_results <- college_clean %>%
dplyr::select(-name) %>%
mutate(cluster = pam_fit$clustering) %>%
group_by(cluster) %>%
do(the_summary = summary(.))

print(pam_results$the_summary)

[[1]]
accept_rate Outstate Enroll Grad.Rate Private
Min. :0.3283 Min. : 2340 Min. : 35.0 Min. : 15.00 No : 0
1st Qu.:0.7225 1st Qu.: 8842 1st Qu.: 194.8 1st Qu.: 56.00 Yes:500
Median :0.8004 Median :10905 Median : 308.0 Median : 67.50
Mean :0.7820 Mean :11200 Mean : 418.6 Mean : 66.97
3rd Qu.:0.8581 3rd Qu.:13240 3rd Qu.: 484.8 3rd Qu.: 78.25
Max. :1.0000 Max. :21700 Max. :4615.0 Max. :118.00
isElite cluster
Not Elite:500 Min. :1
Elite : 0 1st Qu.:1
Median :1
Mean :1
3rd Qu.:1
Max. :1

[[2]]
accept_rate Outstate Enroll Grad.Rate Private
Min. :0.1545 Min. : 5224 Min. : 137.0 Min. : 54.00 No : 4
1st Qu.:0.4135 1st Qu.:13850 1st Qu.: 391.0 1st Qu.: 77.00 Yes:65
Median :0.5329 Median :17238 Median : 601.0 Median : 89.00
Mean :0.5392 Mean :16225 Mean : 882.5 Mean : 84.78
3rd Qu.:0.6988 3rd Qu.:18590 3rd Qu.:1191.0 3rd Qu.: 94.00
Max. :0.9605 Max. :20100 Max. :4893.0 Max. :100.00
isElite cluster
Not Elite: 0 Min. :2
Elite :69 1st Qu.:2
Median :2
Mean :2
3rd Qu.:2
Max. :2

[[3]]
accept_rate Outstate Enroll Grad.Rate Private
Min. :0.3746 Min. : 2580 Min. : 153 Min. : 10.00 No :208
1st Qu.:0.6423 1st Qu.: 5295 1st Qu.: 694 1st Qu.: 46.00 Yes: 0
Median :0.7458 Median : 6598 Median :1302 Median : 54.50
Mean :0.7315 Mean : 6698 Mean :1615 Mean : 55.42
3rd Qu.:0.8368 3rd Qu.: 7748 3rd Qu.:2184 3rd Qu.: 65.00
Max. :1.0000 Max. :15516 Max. :6392 Max. :100.00
isElite cluster
Not Elite:199 Min. :3
Elite : 9 1st Qu.:3
Median :3
Mean :3
3rd Qu.:3
Max. :3

PAM 算法的另一个优点是各个簇的中心点是实际的样本点。从聚类结果中我们可以看出,圣弗朗西斯大学是簇1 的中心点,巴朗德学院是簇2 的中心点,而密歇根州州立大学河谷大学是簇3 的中心点。

In [19]:

college_clean[pam_fit$medoids, ]

Out[19]:

可视化方法

t-SNE 是一种降维方法,它可以在保留聚类结构的前提下,将多维信息压缩到二维或三维空间中。借助t-SNE我们可以将 PAM 算法的聚类结果绘制出来,有趣的是私立顶尖院校和公立非顶尖院校这两个簇中间存在一个小聚类簇。

In [22]:

tsne_obj <- Rtsne(gower_dist, is_distance = TRUE)

tsne_data <- tsne_obj$Y %>%
data.frame() %>%
setNames(c("X", "Y")) %>%
mutate(cluster = factor(pam_fit$clustering),
name = college_clean$name)

ggplot(aes(x = X, y = Y), data = tsne_data) +
geom_point(aes(color = cluster))

进一步探究可以发现,这一小簇主要包含一些竞争力较强的公立院校,比如弗吉尼亚大学和加州大学伯克利分校。虽然无法通过轮廓系数指标来证明多分一类是合理的,但是这 13 所院校的确显着不同于其他三个簇的院校。

In [25]:

tsne_data %>%
filter(X > 15 & X < 25,
Y > -15 & Y < -10) %>%
left_join(college_clean, by = "name") %>%
collect %>%
.[["name"]]

Out[25]:

‘Kansas State University’
‘North Carolina State University at Raleigh’
‘Pennsylvania State Univ. Main Campus’
‘SUNY at Buffalo’
‘Texas A&M Univ. at College Station’
‘University of Georgia’
‘University of Kansas’
‘University of Maryland at College Park’
‘University of Minnesota Twin Cities’
‘University of Missouri at Columbia’
‘University of Tennessee at Knoxville’
‘University of Texas at Austin’

㈢ 聚类分析

化探工作中常常要研究元素和样品分类问题。聚类分析则提供了一些数量化的衡量元素或样品相似程度的指示,利用这些指标可将元素样品按其相似程度的大小划分为不同的类,从而揭示元素或样品之间的本质联系,这有助于研究元素共生组合关系和对岩体异常等的分类评价。

根据分类对象不同,聚类分析分为R型聚类分析(对元素进行分类),Q型聚类分析(对样品进行分类)。聚类分析一般采用逐次联结法,具体做法如下。

1.转换对数

常将实测数据先转换为对数,因为微量元素多属对数正态分布,而且数据过于离散。

2.数据均匀化

数据均匀化化的目的是将大小悬殊的数据化为同一度量的水平上。均匀化的方法常用的有:

(1)标准化

用于R型聚类分析,计算公式:

地球化学找矿

式中:zij为标准化数据;xij为原始数据(对数值);xi为 i个变量的平均值(对数平均值),

为i个变量的标准离差,σi

;i为变量数(i=1,2,3,…,m);j为样品数(j=1,2,3,…,n)。

(2)正规化

用于Q型聚类分析,计算公式:

地球化学找矿

式中:wij为正规化数据;xij为原始数据(对数值);xi(max)为i个变量的最大值(对数值);xi(min)为i个变量的最小值(对数值);i 为变量数(i =1,2,3,…,m);j 为样品数(j=1,2,3,…,n)。

(3)计算相似性统计量

1)相关系数r

用于R型聚分析,计算公式(任何两元素):

地球化学找矿

数据标准化后:

地球化学找矿

-1≤r≤1,|r|愈大,元素愈相似。

2)相似性系数

用于Q型聚类分析,计算公式(任何二样品):

地球化学找矿

-1≤cosθ≤1,|cosθ|愈大,元素愈相似。

3)距离系数

用于Q型聚类分析,计算公式(对于任何两样品)

地球化学找矿

对于正规化数据0≤d≤1,d值越小样品越相似。将计算出的相似性统计量排列成矩阵。

(4)根据相似性统计量进行分类

1)选出相似程度最大(即相关系数、相似性系数最大,距离系数最小)的一对元素或样品联结成一类,填入分类表(表6-4),联结后的元素或样品组成一个新变量(新样品)替换序号较小的变量(样品),去掉序号较大的变量(样品)。

2)将联结成一类的元素或样品均匀化数据加权平均,替换序号较小的一行作为新变量(新样品)的数据,去掉序号较大的一行数据,其余各行不变。得到比原来少一个变量或样品的均匀化数据表。

表6-4 分类统计表

加权平均计算公式:

如第一、二两个元素联结后新变量的标准化数据为,则:

地球化学找矿

N1和N2分别为权,未组合的数据权为1,组合一次权增加1。

3)根据新变量(新样品)的数据,计算新变量(新样品)与其余变量(样品)间的相似性统计量,其余不变,列出新的矩阵。

4)重复上述1),2),3)各步骤,即挑选相似程度最大的变量(或样品)联结归类;加权平均合并数据;计算新变量(新样品)与其他变量(样品)间的相似性统计量,刷新原矩阵,直至全部联结完毕为止。

5)制作谱系图,见图6-3。

图6-3 谱系图(示意)

3.计算实例

某地一批超基性岩样品,经分析 Ni,Co,Cu,Cr,S,As含量如表6-5。

表6-5 某地超基性样品Ni,Co,Cu,Cr,S,As 含量

(1)用R型聚类分析对元素进行分类

1)将原始数据转换为对数,并计算各元素对数值的平均值和标准离差,其结果见表6-6。

2)将各样品中各元素含量对数值进行标准化。

3)按照数据标准化公式:

地球化学找矿

地球化学找矿

于是可得标准化数据表6-7。

表6-7 标准化数据

4)计算相关系数,列出相关系数矩阵R(0),按照相关系数计算公式:

地球化学找矿

于是得相关矩阵R(0)

地球化学找矿

5)将R(0)中相关系数最大的Co,Cu联结成一类,记为Co′填入分类统计表中,并计算Co′的数据。

按照加权平均计算公式:

地球化学找矿

于是得表6-8。

表6-8 由R(0)得到的Co′值

6)计算新变量Co′与剩余的变量的相关系数,列出新相关矩阵R(1)

相关系数计算公式同前(以下同),于是得:

地球化学找矿

7)将R(1)中相关系数最大的Ni,Co′联结成一类,记为Ni′填入分类统计表中,并计算Ni′的数据。

Ni′的数据仍按前加权平均的公式计算(以下同),于是得表6-9。

表6-9 由Co′重新计算的Ni′值

8)计算新变量Ni′与剩余的变量的相关系数,列出新相关矩阵R(2)

于是得:

地球化学找矿

9)将R(2)中相关系数最大的S,As联结成一类,记为填入分类统计表中,并计算S′的数据(表6-10)。

表6-10 S′计算结果

10)计算新变量S′与剩余变量的相关系数,列出刷新的相关矩阵R(3)

地球化学找矿

11)将R(3)中相关系数最大的 Ni′与 S′联结成一类,记为 Ni″,填入分类统计表中(表6-11)。

表6-11 Ni″计算结果

12)计算新变量Ni″与剩余变量的相关系数,列出刷新的相关矩R(4)

13)最后将Ni″与Cr联结起来,记入分类统计表6-12。

表6-12 分类统计表

14)制作谱系图(图6-4)。

图6-4 谱系图

从上述谱系图可见,在相关系数0.2~0.5的相似水平上,可将述六个元素分为两类:一类是 Cr(亲氧元素);另一类是 Co,Cu,Ni,As(亲硫元素)。在相关系数0.6 左右可将亲硫元素分为两组,一组是S,As(阴离子);一组是Co,Cu,Ni(阳离子),且Co,Cu相关关系更密切。这样R型聚类分析清楚地显示出这些元素在超基性岩石的相互关系。

(2)用Q型聚类分析对样品进行分类

仍以上述超基岩样品分析结果为例。

对样品分类常用距离系数。由于距离系数是对直角坐标系而言,即要求变量要互不相关。故可先用R型聚类分析(式R型因子分析)选出互相独立的变量(在用R型聚类分析时,通常取相关系数绝对值小的变量),然后以距离系数对样品进行分类。

上例R型聚类分析结果,在R=0.6 水平左右可将变量分为三组,即Ni′(Ni,Co,Cu);S′(S,As);Cr,现以这三组为变量对样品进行分类。

1)将变量数据(对数值)进行合并,得出新的数据表。合并的办法是取该组变量的平均值,于是得表6-13。

表6-13 对变量数据合并后的新的数据

2)将数据正规化。按正规化的公式:

地球化学找矿

于是得表6-14。

表6-14 正规化后的数据表

3)计算距离系数djk,列出初始距离系数矩阵D(0)

按距离系数公式:

地球化学找矿

于是得:

地球化学找矿

4)将D(0)中距离系数值最小的(5),(6)样品联结成一类,记为(5′)填入分类统计表中,并计算(5′)的数据。

按照加权平均计算公式:

地球化学找矿

于是得表6-15。

表6-15 (5′)的数据表

5)计算(5′)与样品的距离系数,列出刷新距离系数矩阵D(1),于是得:

地球化学找矿

6)将D(1)中距离系数最大的(2),(5′)联结成一类,记为(2′),填入分类统计表中,并计算(2′)的数据。于是得表6-16。

表6-16 (2′)的数据表

7)计算(2′)与剩余样品的距离系数,列出刷新的距离系数矩阵D(2),于是得:

地球化学找矿

8)将D(2)中距离系数最小的(1),(4)联结成一类,记为(1′),填入分类统计表中,并计算(1′)的数据。于是得表6-17。

表6-17 (1′)的数据表

9)计算(1′)与剩余样品的距离系数,列出刷新的距离系数矩阵D(3),于是得:

地球化学找矿

10)将D(3)中距离系数最小的(1′),(2′),联结成一类,记为(1″),填入分类统计表中,并计算(1″)的数据。于是得表6-18。

表6-18 (1″)的数据表

11)计算(1″)与剩余样品的距离系数,列出新的距离系数矩阵D(4),于是得:

地球化学找矿

12)最后将(1″),(3)联结成一类,填入分类统计表6-19。

表6-19 分类统计表

13)制作谱系图(图6-5)。

图6-5 谱系图

从谱系图上可得:在距离系数0.35~0.5水平上,可将数个样品分成三类;一类是矿化的蛇纹岩(1)及(4);另一类是无矿化的蛇纹岩(2)及滑镁岩(5),(6);样品(3)为单独一类,它是无矿化的蛇纹岩。因此,通过Q型聚类分析很好地将该地含矿岩体和不含矿岩体区分开来。至于样品(3)单独开,还可进一步研究它与其他无矿岩体的差异。

这里需要特别指出的是,运用回归分析、判别分析、聚类分析都是在特定的地质条件下得出的统计规律,因此,在利用这些规律对未知进行判断时,一定要注意地质条件的相似性,切不可把某一地质条件下导出的规律,生搬硬套地用于解决不同地质条件下的问题。

㈣ SPSS怎么聚类分析

聚类分析一般是将样本进行分类,得到几类,然后对几个类别进行命名,以及得到的类别数据一般需要用于后续进一步分析使用等。所以聚类分析后一般需要使用方差分析,这个步骤还比较多,建议你使用在线版本的SPSS软件SPSSAU进行分析,这是个智能化的软件,里面全部把过程都帮你整理好,以及表格也全部进行了智能化规范。

㈤ 聚类分析法

聚类分析,亦称群分析或点分析,是研究多要素事物分类问题的数量方法。其基本原理是,根据样本自身的属性,用数学方法按照某些相似性或差异性指标,定量地确定样本之间的亲疏关系,并按亲疏关系的程度对样本进行聚类(徐建华,1994)。

聚类分析方法,应用在地下水中,是在各种指标和质量级别标准约束条件下,通过样品的各项指标监测值综合聚类,以判别地下水质量的级别。常见的聚类分析方法有系统聚类法、模糊聚类法和灰色聚类法等。

(一)系统聚类法

系统聚类法的主要步骤有:数据标准化、相似性统计量计算和聚类。

1.数据标准化

在聚类分析中,聚类要素的选择是十分重要的,它直接影响分类结果的准确性和可靠性。在地下水质量研究中,被聚类的对象常常是多个要素构成的。不同要素的数据差异可能很大,这会对分类结果产生影响。因此当分类要素的对象确定之后,在进行聚类分析之前,首先对聚类要素进行数据标准化处理。

假设把所考虑的水质分析点(G)作为聚类对象(有m个),用i表示(i=1,2,…,m);把影响水质的主要因素作为聚类指标(有n个),用j表示(j=1,2,…,n),它们所对应的要素数据可用表4-3给出。在聚类分析中,聚类要素的数据标准化的方法较多,一般采用标准差法和极差法。

表4-3 聚类对象与要素数据

对于第j个变量进行标准化,就是将xij变换为x′ij

(1)总和标准化

区域地下水功能可持续性评价理论与方法研究

这种标准化方法所得的新数据x′ij满足

区域地下水功能可持续性评价理论与方法研究

(2)标准差标准化

区域地下水功能可持续性评价理论与方法研究

式中:

由这种标准化方法所得的新数据x′ij,各要素的平均值为0,标准差为1,即有

区域地下水功能可持续性评价理论与方法研究

(3)极差标准化

区域地下水功能可持续性评价理论与方法研究

经过这种标准化所得的新数据,各要素的极大值为1,极小值为0,其余的数值均在[0,1]闭区间内。

上述式中:xij为j变量实测值;xj为j变量的样本平均值;sj为样本标准差。

2.相似性统计量

系统聚类法要求给出一个能反映样品间相似程度的一个数字指标,需要找到能量度相似关系的统计量,这是系统聚类法的关键。

相似性统计量一般使用距离系数和相似系数进行计算。距离系数是把样品看成多维空间的点,用点间的距离来表示研究对象的紧密关系,距离越小,表明关系越密切。相似系数值表明样本和变量间的相似程度。

(1)距离系数

常采用欧几里得绝对距离,其中i样品与j样品距离dij

区域地下水功能可持续性评价理论与方法研究

dij越小,表示i,j样品越相似。

(2)相似系数

常见的相似系数有夹角余弦和相关系数,计算公式为

1)夹角余弦

区域地下水功能可持续性评价理论与方法研究

在式(4-20)中:-1≤cosθij≤1。

2)相关系数

区域地下水功能可持续性评价理论与方法研究

式中:dij为i样品与j样品的欧几里得距离;cosθij为i样品与j样品的相似系数;rij为i样品与j样品的相关系数;xik为i样品第k个因子的实测值或标准化值;xjk为j样品第k个因子的实测值或标准化值;

为i样品第k个因子的均值,

为j样品第k个因子的均值,

;n为样品的数目;k为因子(变量)数。

3.聚类

在选定相似性统计量之后,根据计算结果构成距离或相似性系数矩阵(n×n),然后通过一定的方法把n个样品组合成不同等级的分类单位,对类进行并类,即将最相似的样品归为一组,然后,把次相似的样品归为分类级别较高的组。聚类主要有直接聚类法、距离聚类法(最短距离聚类法、最远距离聚类法)。

(1)直接聚类法

直接聚类法,是根据距离或相似系数矩阵的结构一次并类得到结果,是一种简便的聚类方法。它首先把各个分类对象单独视为一类,然后根据距离最小或相似系数最大的原则,依次选出一对分类对象,并成新类。如果一对分类对象正好属于已归的两类,则把这两类并为一类。每一次归并,都划去该对象所在的列与列序相同的行。经过n-1次把全部分类对象归为一类,最后根据归并的先后顺序作出聚类分析谱系图。

(2)距离聚类法

距离聚类法包括最短距离聚类法和最远距离聚类法。最短距离聚类法具有空间压缩性,而最远距离聚类法具有空间扩张性。这两种聚类方法关于类之间的距离计算可以用一个统一的公式表示:

区域地下水功能可持续性评价理论与方法研究

当γ=-0.5时,式(4-22)计算类之间的距离最短;当γ=0.5时,式(4-22)计算类之间的距离最远。

最短、最远距离法,是在原来的n×n距离矩阵的非对角元素中找出dpq=min(dij)或dpq=max(dij),把分类对象Gp和Gq归并为一新类Gr,然后按计算公式:

dpq=min(dpk,dqk)(k≠ p,q) (4-23)

dpq=max(dpk,dqk)(k≠ p,q) (4-24)

计算原来各类与新类之间的距离,这样就得到一个新的(n-1)阶的距离矩阵;再从新的距离矩阵中选出最小或最大的dij,把Gi和Gj归并成新类;再计算各类与新类的距离,直至各分类对象被归为一类为止。最后综合整个聚类过程,作出最短距离或最远距离聚类谱系图(图4-1)。

图4-1 地下水质量评价的聚类谱系图

(二)模糊聚类法

模糊聚类法是普通聚类方法的一种拓展,它是在聚类方法中引入模糊概念形成的。该方法评价地下水质量的主要步骤,包括数据标准化、标定和聚类3个方面(付雁鹏等,1987)。

1.数据标准化

在进行聚类过程中,由于所研究的各个变量绝对值不一样,所以直接使用原始数据进行计算就会突出绝对值大的变量,而降低绝对值小的变量作用,特别是在进行模糊聚类分析中,模糊运算要求必须将数据压缩在[0,1]之间。因此,模糊聚类计算的首要工作是解决数据标准化问题。数据标准化的方法见系统聚类分析法。

2.标定与聚类

所谓标定就是计算出被分类对象间的相似系数rij,从而确定论域集U上的模糊相似关系Rij。相似系数的求取,与系统聚类分析法相同。

聚类就是在已建立的模糊关系矩阵Rij上,给出不同的置信水平λ(λ∈[0,1])进行截取,进而得到不同的分类。

聚类方法较多,主要有基于模糊等价关系基础上的聚类与基于最大树的聚类。

(1)模糊等价关系方法

所谓模糊等价关系,是指具有自反性(rii=1)、对称性(rij=rji)与传递性(R·R⊆R)的模糊关系。

基于模糊等价关系的模糊聚类分析方法的基本思想是:由于模糊等价关系R是论域集U与自己的直积U×U上的一个模糊子集,因此可以对R进行分解,当用λ-水平对R作截集时,截得的U×U的普通子集Rλ就是U上的一个普通等价关系,也就是得到了关于U中被分类对象元素的一种。当λ由1下降到0时,所得的分类由细变粗,逐渐归并,从而形成一个动态聚类谱系图(徐建华,1994)。此类分析方法的具体步骤如下。

第一步:模糊相似关系的建立,即计算各分类对象之间相似性统计量。

第二步:将模糊相似关系R改造为模糊等价关系R′。模糊等价关系要求满足自反性、对称性与传递性。一般而言,模糊相似关系满足自反性和对称性,但不满足传递性。因此,需要采用传递闭合的性质将模糊相似关系改造为模糊等价关系。改造的方法是将相似关系R自乘,即

R2=R·R

R4=R2·R2

这样计算下去,直到:R2k=Rk·Rk=Rk,则R′=Rk便是一个模糊等价关系。

第三步:在不同的截集水平下进行聚类。

(2)最大树聚类方法

基于最大树的模糊聚类分析方法的基本思路是:最大树是一个不包含回路的连通图(图4-2);选取λ水平对树枝进行截取,砍去权重低于λ 的枝,形成几个孤立的子树,每一棵子树就是一个类的集合。此类分析方法的具体步骤如下。

图4-2 最大聚类支撑树图

第一步:计算分类对象之间的模糊相似性统计量rij,构建最大树。

以所有被分类的对象为顶点,当两点间rij不等于0时,两点间可以用树干连接,这种连接是按rij从大到小的顺序依次进行的,从而构成最大树。

第二步:由最大树进行聚类分析。

选择某一λ值作截集,将树中小于λ值的树干砍断,使相连的结点构成一类,即子树,当λ由1到0时,所得到的分类由细变粗,各结点所代表的分类对象逐渐归并,从而形成一个动态聚类谱系图。

在聚类方法中,模糊聚类法比普通聚类法有较大的突破,简化了运算过程,使聚类法更易于掌握。

(三)灰色聚类法

灰色聚类是根据不同聚类指标所拥有的白化数,按几个灰类将聚类对象进行归纳,以判断该聚类对象属于哪一类。

灰色聚类应用于地下水水质评价中,是把所考虑的水质分析点作为聚类对象,用i表示(i=1,2,…,n);把影响水质的主要因素作为聚类指标,用j表示(j=1,2,…,m),把水质级别作为聚类灰数(灰类),用k表示(k=1,2,3)即一级、二级、三级3个灰类(罗定贵等,1995)。

灰色聚类的主要步骤:确定聚类白化数、确定各灰色白化函数fjk、求标定聚类权重ηjk、求聚类系数和按最大原则确定聚类对象分类。

1.确定聚类白化数

当各灰类白化数在数量上相差悬殊时,为保证各指标间的可比性与等效性,必须进行白化数的无量纲化处理。即给出第i个聚类对象中第j个聚类指标所拥有的白化数,i=1,2,…,n;j=1,2,…,m。

2.确定各灰色白化函数

建立满足各指标、级别区间为最大白化函数值(等于1),偏离此区间愈远,白化函数愈小(趋于0)的功效函数fij(x)。根据监测值Cki,可在图上(图4-3)解析出相应的白化函数值fjk(Cik),j=1,2,…,m;k=1,2,3。

3.求标定聚类权重

根据式(4-25),计算得出聚类权重ηjk的矩阵(n×m)。

区域地下水功能可持续性评价理论与方法研究

式中:ηjk为第j个指标对第k个灰类的权重;λjk为白化函数的阈值(根据标准浓度而定)。

图4-3 白化函数图

注:图4-3白化函数f(x)∈[0,1],具有下述特点:①平顶部分,表示该量的最佳程度。这部分的值为最佳值,即系数(权)为1,f(x)=max=1(峰值),x∈[x2,x3]。②白化函数是单调变化的,左边部分f(x)=L(x),单调增,x∈(x1,x2],称为白化的左支函数;右边部分f(x)=R(x),单调减,x∈[x3,x4),称为白化的右支函数。③白化函数左右支函数对称。④白化函数,为了简便,一般是直线。⑤白化函数的起点和终点,一般来说是人为凭经验确定。

4.求聚类系数

σik=∑fjk(dij)ηjk (4-26)

式中:σik为第i个聚类对象属于第k个灰类的系数,i=1,2,…,n;k=1,2,3。

5.按最大原则确定聚类对象分类

由σik构造聚类向量矩阵,行向量最大者,确定k样品属于j级对应的级别。

用灰色聚类方法进行地下水水质评价,能最大限度地避免因人为因素而造成的“失真、失效”现象。

聚类方法计算相对复杂,但是计算结果与地下水质量标准级别对应性明显,能够较全面反映地下水质量状况,也是较高层次定量研究地下水质量的重要方法。

㈥ spss做聚类分析的具体步骤是什么

excel表:整理一份excel数据表,第一列为材料或数据的名称,后几列为各项数值
导入数据:打开SPSS,点击File——Open——DATA, 选择已经编辑好的excel表
点击analyze——Classify——Hierarchical cluster analysis——数据导入variables,表头项导入label case by;
选择Method 项,根据需要选择方法,点击Plots选择dendrogram(打对勾),其余各项根据自己需要选择要计算的统计量,点击ok即可。

㈦ 如何对用户进行聚类分析

需要搜集用户的哪些特征?

聚类分析变量选择的原则是:在哪些变量组合的前提,使得类别内部的差异尽可能的小,即同质性高,类别间的差异尽可能的大,即同质性低,并且变量之间不能存在高度相关。

常用的用户特征变量有:


人口学变量:如年龄、性别、婚姻、教育程度、职业、收入等。通过人口学变量进行分类,了解每类人口的需求有何差异。


用户目标:如用户为什么使用这个产品?为什么选择线上购买?了解不同使用目的的用户的各自特征,从而查看各类目标用户的需求。


用户使用场景:用户在什么时候,什么情况下使用这个产品?了解用户在各类场景下的偏好/行为差异。


用户行为数据:如使用频率,使用时长,客单价等。划分用户活跃等级,用户价值等级等。


态度倾向量表:如消费偏好,价值观等,看不同价值观、不同生活方式的群体在消费取向或行为上的差异。

需要多少样本量?

没有限制,通常情况下与实际应用有关,如果非要加一个理论的限制,通常认为,样本的个数要大于聚类个数的平方。

①如果需要聚类的数据量较少(<100),那么三种方法(层次聚类法,K-均值聚类法,两步聚类法)都可以考虑使用。优先考虑层次聚类法,因为层次聚类法产生的树状图更加直观形象,易于解释,并且,层次聚类法提供方法、距离计算方式、标准化方式的丰富程度也是其他两种方法所无法比拟的。

②如果需要聚类的数据量较大(>1000),应该考虑选择快速聚类别法或者两步聚类法进行。

③如果数据量在100~1000之间,理论上现在的计算条件是可能满足任何聚类方法的要求的,但是结果的展示会比较困难,例如不可能再去直接观察树状图了。

应用定量方法还是定性方法?

聚类分析是一种定量分析方法,但对聚类分析结果的解释还需要结合定性资料讨论。

1.聚类分析的定义与用途

聚类分析(Cluster Analysis)是一种探索性的数据分析方法,根据指标/变量的数据结构特征,对数据进行分类,使得类别内部的差异尽可能的小,即同质性高,类别间的差异尽可能的大,即同质性低。

2.聚类分析的方法

①层次聚类法(Hierarchical),也叫系统聚类法。既可处理分类变量,也可处理连续变量,但不能同时处理两种变量类型,不需要指定类别数。聚类结果间存在着嵌套,或者说层次的关系。

②K-均值聚类法(K-Means Cluster),也叫快速聚类法。针对连续变量,也可处理有序分类变量,运算很快,但需要指定类别数。K-均值聚类法不会自动对数据进行标准化处理,需要先自己手动进行标准化分析。

③两步聚类法(Two-Step Cluster):可以同时处理分类变量和连续变量,能自动识别最佳的类别数,结果比较稳定。如果只对连续变量进行聚类,描述记录之间的距离性时可以使用欧氏(Euclidean)距离,也可以使用对数似然值(Log-likelihood),如果使用前者,则该方法和传统的聚类方法并无太大区别;但是若进行聚类的还有离散变量,那么就只能使用对数似然值来表述记录间的差异性。当聚类指标为有序类别变量时,Two-Step Cluster出来的分类结果没有K-means cluster的明晰,这是因为K-means算法假定聚类指标变量为连续变量。

3.聚类分析的步骤

①确定研究目的:研究问题关注点有哪些、是否有先验分类数…

②问卷编制:态度语句李克特项目、有序类别…

③确定分析变量:问卷变量的类型,连续or分类,有序类别or无序类别、是否纳入后台数据,变量间相关性低…

④聚类分析:聚类分析方法选择、数据标准化方法、聚类类别数确定…

⑤结果检验:类别间差异分析、是否符合常理…

⑥聚类结果解释:类别的命名、类别间的差异、结合定性资料解释…

㈧ 聚类分析的基本步骤,相对于层次聚类,它有怎样

聚类分析一般要计算ICC值(intra class coefficients),或者用one way anova 做方差分析,确定数据之间的方差是否符合聚类分析的标准。层次聚类(multilevel data analysis)比聚类分析更进一步,它要求数据必须是嵌套数据(nested data),并且ICC值和Rwcg值要符合具体的经验值(不同学科貌似这个cutoff值不一样)。聚类分析和层次聚类可以使用MLwiN,stata,Mplus软件实现,R貌似也可以,但我不会用,不确定。

㈨ 聚类分析法(CA)

3.2.3.1 技术原理

聚类分析又称群分析(CA),它是研究(对样品或指标)分类问题的一种多元统计方法。首先认为所研究的样品或指标(变量)之间存在着程度不同的相似性(亲疏关系),根据一批样品的多个观测指标具体找出一些能够度量样品或指标之间相似程度的统计量,以这些统计量为划分类型的依据,把一些相似程度较大的样品(或指标)聚合为一类,把另一些彼此之间相似程度较大的样品(或指标)聚合为另一类,根据分类对象不同,可分为对样品分类的Q型聚类分析和对指标分类的R型聚类分析两种类型。聚类分析可用SPSS软件直接实现,在水质时空变异、水化学类型分区中得到广泛的应用。聚类分析的功能是建立一种分类方法,它将一批样品或变量,按照它们在性质上的亲疏、相似程度进行分类,聚类分析的内容十分丰富,按其聚类的方法可分为以下几种:系统聚类法、调优法、最优分割法、模糊聚类法等。

聚类分析根据分类对象的不同又分为R型和Q型两大类,R型是对变量(指标)进行分类,Q型是对样品进行分类。为了对样品(或变量)进行分类,就必须研究它们之间的关系,描述样品间亲疏相似程度的统计量很多,目前用得最多的是距离和相似系数。距离方法主要有:闵科夫斯基(Minkowski)距离、绝对值距离、欧氏距离等。

样品间的亲疏程度除了用距离描述外,也可用相似系数来表示,相似系数的构造主要有以下两种方法:对于定量变量,我们通常采用的相似系数有xi和xj之间的夹角余弦和相关系数。

3.2.3.2 方法流程

目前使用最多的聚类方法是系统聚类法,其基本思想是:先将n个样品各自看成一类,共有n个类,然后计算类与类间的距离,选择距离最小的两类合并成一个新类,使总类数减少为n-1,接着再计算这n-1类两两间的距离,从中找出距离最近的两类合并,总类数又减少一个,剩下n-2个类,照此下去,每合并一次,减少一类,直至所有样品都合并成一类为止。在并类的过程当中,可以根据聚类的先后以及并类时两类间的距离,画出能直观反映各样品间相近和疏远程度的聚类图(也称谱系图),根据这张聚类图有可能找到最合适的分类方案。系统聚类法的聚类原则决定于样品间的距离(或相似系数)及类间距离的定义,类间距离的不同定义就产生了不同的系统聚类分析方法,类间距离的定义方法主要有最短距离法、最长距离法、中间距离法、重心法、类平均法。在合理地选定(或定义)样品间的距离以后,再适当定义类间的距离,就确定了一种聚类规则,之后按照系统聚类法的一般步骤加以聚类(图3.4)。

图3.4 聚类分析技术流程图

3.2.3.3 适用范围

聚类分析能够将变量及样本按照相应的规则进行分类,在大样本多参数数据降维方面具有相对的优势,尤其是对于在时间、空间上具有复杂变化的数据,聚类分析能够根据变量和样本的相关性和相似性,将数据有效地划分为不同的类别,并通过树状图反映出样品随距离或变量间相似性变化的情况,为查清变量和样品之间关系提供了依据,也为查明污染来源奠定了基础。

㈩ spss聚类分析步骤是什么

步骤如下:

操作设备:戴尔电脑

操作系统:win10

1、首先通过快捷方式打开SPSS分析工具,默认显示数据视图。

阅读全文

与聚类分析方法的一般步骤相关的资料

热点内容
沉迷手机解决方法作文 浏览:264
羽毛球耐打的解决方法 浏览:889
早期流产治疗方法 浏览:199
治感冒鼻塞的简单方法 浏览:28
3m试纸检测菌落读数方法 浏览:463
日本gc护牙素使用方法 浏览:55
塑料花制作方法大全简单 浏览:592
alura的使用方法 浏览:637
板栗树嫁接后种植方法 浏览:234
财务知识教学方法 浏览:110
文本分析法研究方法 浏览:542
测微仪使用方法 浏览:456
福腾宝炒锅使用方法 浏览:860
如何学好拼读的方法 浏览:84
汽轮机支撑瓦测量方法 浏览:959
大型手工飞机制作方法及图片 浏览:604
基准测量方法和技巧 浏览:384
虱虫一扫光使用方法 浏览:972
如何找鬼最灵验的方法 浏览:308
对开式法兰安装方法 浏览:136