解决数据集中风险的方法

A. 面对数据治理的挑战及难点，如何找到最佳解决办法

一、建立数据治理计划时，您将遇到几个挑战：

·  数据治理是更大的 IT治理策略的一部分。  数据与IT部门需要相互配合才能成功。

·  进行任何类型的优化都很难，让员工关心数据治理更是难上加难。  需要激励和动力来让你的员工遵循新数据治理计划。

·  数据治理工作需要灵活地适应团队需求，并且对用户来说必须简单易用。  如果数据治理阻碍了政正常业务工作，则不会促进业务目标。

二、面对这些挑战，您应该如何实施数据治理方案？

以下是8点数据治理最佳实践方法，它们将帮助您进行数据治理。

1.  为您的数据设置格式标准， 并在后期处理和将数据提取到大数据平台中时使用技术来实施这些标准。您将要从许多不同的来源中提取数据，因此您应该对大数据系统中的数据进行规范化。

2.  非托管数据也是重要数据！ 文件，文件夹和共享中的数据是您最有价值的数据中的一部分，而且通常比托管数据具有更大的风险。确保您的数据治理策略涵盖非结构化数据。

3. 尽早制定 业务目标 以进行数据治理，并分配一名首席数据官（CDO）。使CDO负责管理和实现数据治理目标。

4.  把事情简单化！ 数据治理不是企业大多数人的主要工作。最大限度地减少对个人贡献者和团队的影响。

5.  为数据治理团队的成员建立不同的角色。 数据所有者是关键，因为它们与创建和管理的数据最接近。您可以分配数据管理人员与数据所有者合作，以进行指导并促进沟通。您的数据治理团队应具有跨职能并有权推动您的数据治理计划。

6.  对所有数据进行分类和标记。 为元数据建立标准，以促进您的业务目标并允许重复使用数据。

7.  用几种不同的方式衡量您的进度。 您可以收集的指标越多越好。数据治理的一些关键指标可能是您要保存多少陈旧数据，已分配数据所有者的文件夹数量以及所创建的敏感数据数量。

8.  尽可能自动化。  自动化工作流程，批准流程， 数据请求，权限请求以及您可以执行的其他所有操作，以使数据治理计划能够高效运转。

三、数据治理工具推荐--睿治数据治理工具

面对以上8点数据治理最佳实践方法，我为您推荐一款好用的数据治理工具配合实施数据治理方案，不仅可以保证您的数据治理项目按计划实施，也可以将每一个过程都以实时可视化的方式展示给您。以下为数据治理工具推荐：

睿治数据治理平台融合数据集成、数据交换、实时计算存储、元数据管理、数据标准管理、数据质量管理、主数据管理、数据资产管理、数据安全管理、数据生命周期管理十大产品模块，打通数据治理各个环节，十大产品模块可独立或任意组合使用，快速满足政府、企业各类不同的数据治理场景。

四、睿治数据治理工具实施案例

山东某能源集团大数据资产平台

建设内容：

建设集团 数据治理体系 ，从根本解决问题，掌握数据来龙去脉，发现数据质量原因从源头提升数据质量；实现数据赋能对人财物产供销环数据集市建设，全面实现业务人员自助取数分析；建设集团数据应用商店实现数字化运营，实现数据市场化管理，通过智能化、自动化减少运营成本，降低安全风险，提升工作效率，增加企业市场竞争力。

项目价值：

基于数据治理体系建立集团大数据资产平台，运用大数据技术实现数据采集、清洗、分析建模的设计，形成集团高质量数据资产，通过数据资产目录对全集团发布，并用业务元数据解释数据含义，便于业务人员定位自己所需数据，与此同时，业务人员可以对自己所需数据提出申请，审批通过后，可直接基于治理数据利用敏捷分析工具实现自助探索分析，真正实现数据赋能，保障日常生产经营管理。

免费试用数据治理工具

B. 怎么处理缺失值/异常值

https://www.hu.com/question/58230411?sort=created
https://blog.csdn.net/Forlogen/article/details/89534235

（1）随机丢失（MAR，Missing at Random）（数据丢失的概率与丢失的数据本身无关，而依赖于其他完全变量（无缺失变量））

随机丢失意味着数据丢失的概率与丢失的数据本身无关，而仅与部分已观测到的数据有关。也就是说，数据的缺失不是完全随机的，该类数据的缺失依赖于其他完全变量。

（2）完全随机丢失（MCAR，Missing Completely at Random）（数据缺失完全随机事件，无依赖关系）

数据的缺失是完全随机的，不依赖于任何不完全变量或完全变量，不影响样本的无偏性。简单来说，就是数据丢失的概率与其假设值以及其他变量值都完全无关。

（3）非随机丢失（MNAR，Missing not at Random）

数据的缺失与不完全变量自身的取值有关。分为两种情况：缺失值取决于其假设值（例如，高收入人群通常不希望在调查中透露他们的收入）；或者，缺失值取决于其他变量值（假设基础数据很正常，也无临床症状，医生可能就觉得无需进一步检查，所以会有数据缺失）。

在前两种情况下可以根据其出现情况删除缺失值的数据，同时，随机缺失可以通过已知变量对缺失值进行估计。

在第三种情况下，删除包含缺失值的数据可能会导致模型出现偏差，同时，对数据进行填充也需要格外谨慎。

如果一个病人的体温测量值是有时缺失的，其原因是医生觉得病得太重的病人不需要量体温，那这个缺失显然不是MAR或者MCAR的。对于离散型特征，如果将特征中的缺失值单独编码成一个独立的类别（比如missing），而这个missing类别训练出来后对response有预测作用，那么这个特征中的缺失行为基本不是MAR或者MCAR的。

（1）generative methods：这些方法主要依赖于EM算法和深度学习，如DAE、GAN等
（2）discriminative methods：如MICE、MissForest、matrix completion等

目前的生成式填补算法存在着一些缺点，它们是以一种基于对数据分布的先验假设的方法，当数据中含有混合类别和连续变量时，它的泛化能力就会很差。DAE在一定程度上解决了这个问题，但是它在训练的过程中需要完整的数据集，在很多情况下，缺失的数据部分在一定程度上反映了完整数据集的内在结构信息，所以获取到完整的数据集是不太可能的。DAE的另一种方法允许使用不完整的数据集进行训练，但是它只能根据观察到的部分来表示数据。而使用DCGANs来完成图像填补的算法，同样需要完整的数据集来训练判别器。

难点：如果其他变量和缺失变量无关，则预测的结果无意义。如果预测结果相当准确，则又说明这个变量是没必要加入建模的。一般情况下，介于两者之间。

方法 0（最简单粗暴）：在构建模型时忽略异常值。 如果缺失数据量少的话

方法1（快速简单但效果差）：把数值型（连续型）变量中的缺失值用其所对应的类别中的中位数替换。把描述型（离散型）变量缺失的部分用所对应类别中出现最多的数值替代。

方法2(耗时费力但效果好)：虽然依然是使用中位数和出现次数最多的数来进行替换，方法2引入了权重。即对需要替换的数据先和其他数据做相似度测量也就是下面公式中的Weight，在补全缺失点是相似的点的数据会有更高的权重W。

方法3 （类xgboost）：把缺失值当做稀疏矩阵来对待，本身的在节点分裂时不考虑的缺失值的数值。缺失值数据会被分到左子树和右子树分别计算损失，选择较优的那一个。如果训练中没有数据缺失，预测时出现了数据缺失，那么默认被分类到右子树。这样的处理方法固然巧妙，但也有风险：即我们假设了训练数据和预测数据的分布相同，比如缺失值的分布也相同，不过直觉上应该影响不是很大:)

方法4 （回归）：基于完整的数据集，建立回归方程。对于包含空值的对象，将已知属性值代入方程来估计未知属性值，以此估计值来进行填充。当变量不是线性相关时会导致有偏差的估计。

方法5 （Kmeans）先根据欧式距离或相关分析来确定距离具有缺失数据样本最近的K个样本，将这K个值加权平均来估计该样本的缺失数据。

方法6 （离散化）为缺失值定制一个特征值比如，男/女/缺失 分别对应[0/1,0/1,0/1]=>[0,0,1] 这种onehot编码，特征离散化后加入计算。

方法1（AutoEncoder系列）：在训练的时候使用0作为缺失值，相当于不激活边，在输出的时候不论输出了什么都强行置为0，防止反向传播的时候影响到边的权重。

方法2 GAN（GAIN），目前的SOTA

方法1（MissForest）：对于一个有n个特征的数据来说，其中特征T有缺失值，我们就把特征T当作标签，其他的n-1个特征和原本的标签组成新的特征矩阵。那对于T来说，它没有缺失的部分，就是我们的Y_test，这部分数据既有标签也有特征，而它缺失的部分，只有特征没有标签，就是我们需要预测的部分。

那如果数据中除了特征T之外，其他特征也有缺失值怎么办？答案是遍历所有的特征，从缺失最少的开始进行填补（因为填补缺失最少的特征所需要的准确信息最少）。

填补一个特征时，先将其他特征的缺失值若为连续型值可用中位数、平均数代替，离散可用众数代替，每完成一次回归预测，就将预测值放到原本的特征矩阵中，再继续填补下一个特征。每一次填补完毕，有缺失值的特征会减少一个，所以每次循环后，需要用0来填补的特征就越来越少。当进行到最后一个特征时（这个特征应该是所有特征中缺失值最多的），已经没有任何的其他特征需要用0来进行填补了，而我们已经使用回归为其他特征填补了大量有效信息，可以用来填补缺失最多的特征。

方法2（matrix factorization）：矩阵分解

然后梯度下降一把梭

“年收入”：商品推荐场景下填充平均值，借贷额度场景下填充最小值；
“行为时间点”：填充众数；
“价格”：商品推荐场景下填充最小值，商品匹配场景下填充平均值；
“人体寿命”：保险费用估计场景下填充最大值，人口估计场景下填充平均值；
“驾龄”：没有填写这一项的用户可能是没有车，为它填充为0较为合理；
”本科毕业时间”：没有填写这一项的用户可能是没有上大学，为它填充正无穷比较合理；
“婚姻状态”：没有填写这一项的用户可能对自己的隐私比较敏感，应单独设为一个分类，如已婚1、未婚0、未填-1。

主流的机器学习模型千千万，很难一概而论。但有一些经验法则(rule of thumb)供参考：
1）树模型对于缺失值的敏感度较低，大部分时候可以在数据有缺失时使用。
2）涉及到距离度量(distance measurement)时，如计算两个点之间的距离，缺失数据就变得比较重要。因为涉及到“距离”这个概念，那么缺失值处理不当就会导致效果很差，如K近邻算法(KNN)和支持向量机(SVM)。
3）线性模型的代价函数(loss function)往往涉及到距离(distance)的计算，计算预测值和真实值之间的差别，这容易导致对缺失值敏感。
4）神经网络的鲁棒性强，对于缺失数据不是非常敏感，但一般没有那么多数据可供使用。
5）贝叶斯模型对于缺失数据也比较稳定，数据量很小的时候首推贝叶斯模型。

总结来看，对于有缺失值的数据在经过缺失值处理后：

C. 大学数据中心机房运维风险的识别和应对论文

大学数据中心机房运维风险的识别和应对论文

无论是身处学校还是步入社会，许多人都写过论文吧，论文是探讨问题进行学术研究的一种手段。还是对论文一筹莫展吗？下面是我整理的大学数据中心机房运维风险的识别和应对论文，欢迎阅读，希望大家能够喜欢。

摘要：

高校数据中心机房作为学校重要的场所，为学校日常教学办公提供重要的网络保障。如何保障数据中心的安全，已经变得越来越重要。本文通过研究风险管理在高校数据中心机房的应用研究。以我校数据中心机房运维项目为例，进行风险管理各方面的研究。旨在提高机房管理人员管理能力，保障数据中心机房安全。

关键词：

风险识别；风险应对；数据中心机房；

引言：

数据中心机房是学校数据汇聚交互的核心场所，所有接入校园网的数据都是通过数据中心机房进行交互。信息化大背景下，高校数据中心机房为师生提供更加便捷的服务，在教学、科研、办公等方面都有体现。

近些年来，随着数字校园，智慧校园的推进，全国各高校的数据中心机房规模不断发展。“一表通系统”上线，“最多跑一次”改革，高校越来越多的业务都转到校园网上，办公流程的简化，业务流程的电子化，极大地方便了广大师生。但同时，伴随着不断增长的业务，扩增的机房设备，我们对数据中心的要求不断提升，日常的运维管理面临的风险也越来越大。

1、高校数据中心运维引入风险管理的意义

数据中心机房是全校网络的核心区域，包括服务器，IPS设备，业务系统等，是一系列硬件软件设备的总和。一般高中小学校不会涉及数据中心机房，而大学的数据中心机房则不同，需要专人管理。数据中心机房的日常维护绝不是简单的设备维修，而是一项长期且细致的工作，涉及的内容很多，包括机房设备维修，系统升级，安防检查等。因此我们需要引入一整套科学合理的管理方法来应对风险。

数据中心机房的风险管理涉及内容很多有：风险识别，风险分析，风险应对等。其中，风险识别就是识别出潜在的风险，例如：机房火灾，漏水，停电等，是风险管理中最重要的内容之一，是确定潜在风险并分析找出应对方法的前提。所以一般对于风险识别的内容，我们会花费大量的时间来收集汇总，识别中会用到的德尔菲法，头脑风暴等方法。在数据中心日常运维中，针对识别出的高风险因素，我们需要制定相关的策略，包括消极和积极2方面的风险应对策略。风险存在是必然，我们需要积极引入风险管理机制，才能在出现问题时候迅速解决。

2、数据中心机房运维的风险识别

每个项目特性是千差万别，项目独特性决定项目实施过程存在很多不确定性，尽可能识别出不确定因素，是确保项目成功的重要因素[1]。风险识别不仅是风险管理的核心部分，更是基础内容。风险识别就是运用各种科学方法，识别项目的潜在风险，识别引发潜在风险的原因以及可能引发的`后果。特点：风险识别覆盖整个项目的生命周期。项目管理过程中，需要对风险进行反复地识别。风险识别的方法很多，包括德尔菲法，头脑风暴，专家判断等。

为了尽可能全面地识别出潜在的风险，结合实际情况，对数据中心机房风险识别步骤包括3步，第一步，进行工作分解结构WBS，目的就是为了更直观地进行风险识别。第二步，风险收集，针对运维项目，需要组织人员进行现场勘查，发现存在的问题，收集数据中心的资料。针对运维现状，组织全体人员进行头脑风暴法识别潜在的风险，再利用专家调查法对收集的潜在风险进行识别。第三步，风险确认，组织相关人员进行总结分析归纳，最终得到运维项目风险登记册。

(1）工作分解结构WBS

数据中心运维项目按照一定原则进行工作分解，其目的是为了给风险识别提供依据。首先，组织运维项目的各部门的负责人员，技术人员等进行现场勘查，摸清机房现状。按照整体机房运维的思路做好地勘工作，地勘需要记录各个领域的工作，并进行工作分解。

(2）风险收集

本次运维项目的风险收集采用头脑风暴会议。在会议之前，需要收集项目相关资料，包括项目技术文件，运维记录，机房资料，合同等。然后提前将地勘记录和收集到的项目资料发给参与会议的人员，确保参会人员能提前充分了解项目内容。会议针对运维项目期间可能存在的风险，进行充分的讨论和汇总。由项目经理担任本次会议支持人，在主持人的推动下，与参会人员就项目的风险集思广益。所有参与人员均有平等发言权，对潜在的风险提出自己的观点。最后将会议的内容进行整理汇总，初步得到机房运维的风险因素。

(3）风险确认

风险确认即将收集汇总的风险因素发给专家小组，由专家小组再次确认，记录整理并完成风险识别。专家小组包括各行业专家、部门负责人等。专家小组通过了解数据中心机房运维项目的基本情况，背景等，对头脑风暴会议收集的风险因素进行多次征询，直至达成一致意见，完成项目风险识别。

最终将运维项目风险分为5类，包括设备风险，业务风险，运维管理风险，自然风险，其他风险。设备风险包含：服务器风险，IPS设备风险，环控设备风险等。业务风险包括：特大网络故障风险，一般业务故障风险，业务质量下降风险等。运维管理风险包括：团队管理风险，沟通交流风险，人员管理风险等。自然风险包括：火灾，水灾，电磁干扰等，其他风险包括：合同风险，需求变化风险，人员技术风险等。

3、数据中心机房运维的风险分析

风险分析从2方面进行，第一个是定性风险分析，定性分析是指采取一定手段，综合评估分析存在的风险概率以及它的影响程度，并对风险按风险程度排序。同时为下一步分析提供依据。本次运维项目研究所用到的分析工具有概率-影响矩阵，风险分类，专家判断法等。定性风险分析过程作用是为了降低项目的不确定性，并重点关注高优先级的风险，有利于后续针对性开展风险应对。

概率-影响矩阵（P-I矩阵）是经常使用的工具，它是针对不同程度的风险，进行分级和排序，便于下一步进行定量分析及应对。在概率-影响矩阵中，一般将横坐标和纵坐标从低到高划分为5个标准，用数值0.1、0.3、0.5、0.7、0.9表示，一共划分为25个方格，方格内数字表示风险值R，公式为R=P*I。R数值越低，概率越小，影响程度越小。R数值越高，概率越高，影响程度越大。概率高，影响程度高的区域，一般在右上角，属于高风险，需要采取重点措施，并采取积极地应对策略。概率低，影响程度低的区域，一般在左下角，属于低风险区域，一般列入待观察风险清单，一般不需要采取积极管理措施，监测即可。

第二个是定量风险分析，它是对定性分析过程中，对项目影响很大，风险等级很高的风险进行更加具体的分析。它是对风险事件的影响程度分析，一般高风险事件分配高数值，低风险分配低数值。定量风险分析的目的是为了确定重大的风险，同时提醒管理人员对高风险，进行密切关注，做好应对准备。

4、数据中心机房运维的风险应对

风险应对过程是在风险分析之后，针对存在的风险，在分析风险概率及其影响程度基础上，制定一系列措施降低风险、提高有利机会。通过科学合理的管理理论和措施，可以有效规避和降低项目风险。风险应对措施必须及时有效，并制定多种应对方式，择优选择。

风险应对方法有很多，针对已总结的风险，结合数据中心项目的具体情况制定相关的应对策略包括：风险规避，风险转移，风险预防，风险减轻。

(1）风险规避：风险规避是为了达到项目目的，改变原来计划，从而规避风险，减少风险带来的影响。如：调试项目范围，利用多种手段达到目的等。在机房检修的时候，必须秉承着不影响机房正常运行的原则。检修UPS蓄电池，进行放电时，不能影响机房正常运行。检修空调时，应该要一个一个进行检查，不能同时关闭所有机房空调，否则会影响机房正常散热，导致服务器出现故障。维护业务服务器时，必须不能影响其他业务的运行。

(2）风险转移：风险转移目的是将风险转嫁给第三方人员，包括风险的影响和责任。在数据中心机房运维中，常见的风险转移就是第三方公司维保。因为数据中心机房的重要性，所以必须保证机房7*24小时都要稳定运行。单单依靠网络中心一个部门是无法保障机房的一年365天的安全，还必须要有其他部门和第三方运维公司的配合。现在高校的数据中心机房都会有第三方公司运维，包括服务器的维保，环境监控的维保，网络安全维保等。转移工具包括合同、履约保证协议、保密协议，保证书等。通过签署合同或协议，能将风险的责任转移给第三方。

(3）风险预防：风险预防就是针对存在的风险，制定应急预案，避免风险的发生。施工或运维过程中一旦出现风险或者发现目标与预期有较大偏差时，即可按照应急方案采取相应措施。机房定期进行应急演练是必要的，针对运维情况制定不同的应急演练内容，如：特大网络故障，一般业务故障，火灾等。有利于提高运维人员对突发安全事件的响应与处置能力，保障学校机房安全、持续和稳定运行。机房内不需要的设备必须及时清理，必须建立定期检查制度，对相关设备进行详细检查[2]。

(4）风险减轻：风险减轻就是减轻风险事件所带来的影响，减低风险发生的概率。它分为两个方面，第一个是已经发生的风险，要采取积极的措施减少风险带来的影响。第二个是还没发生的风险，要采取积极措施减少发生概率。例如：在机房整理线缆时候，必须按照行业规范，进行走线，并按照统一标准添加标签，确保线材整洁。这样能减少后期维护的成本，当出现线路问题时，能在第一时间找到问题线路。此外，在机房配备UPS电源，也是为了保护服务器设备，在断电情况下能继续工作一段时间，减少服务器突然断电引发的一系列问题。

5、结语

数据中心机房承担着高校全部的信息化业务，运维内容包括服务器，IPS设备，业务系统等软硬件设备，涉及多个部门和第三方运维公司。因此，高校数据中心机房运维是一个长期、复杂的项目，需要持续性地管理。

风险管理作为一种科学的管理手段，在数据中心机房的运维中的应用有着重要的意义，通过风险管理研究，识别、分析和应对等，我们可以清晰地了解整个运维项目存在的风险。识别潜在风险，通过科学的风险分析手段，应对不同程度的风险。

参考文献

[1]郑渝莎.浅谈通信机房搬迁项目的风险管理[J].江西建材，2017(13):261+263.

[2]王欣.信息机房运维及其管理的主要策略分析[J].计算机产品与流通，2020(01):131.

D. 什么是操作风险如何应对操作风险

操作风险是指由于信息系统或内部控制缺陷导致意外损失的风险。引起操作风险的原因包括: 人为错误、电脑系统故障、工作程序和内部控制不当，等等。

应对：

1、加大改革力度

2、不断完善内部控制制度

3、全面落实操作风险管理责任制

4、切实改进操作风险管理方法

5、加强人员管理

(4)解决数据集中风险的方法扩展阅读

类型：

1、内部欺诈

有机构内部人员参与的诈骗、盗用资产、违犯法律以及公司的规章制度的行为。

2、外部欺诈

第三方的诈骗、盗用资产、违犯法律的行为。

3、风险事件

由于不履行合同，或者不符合劳动健康、安全法规所引起的赔偿要求。

操作风险的特殊性决定了对其计量也不同于市场风险和信贷风险。其次是操作风险损失的不可预测性。对于市场风险，可以根据市场因素变化的程度计算出标的资产相应的损失状况，而市场因素变化的范围通常是可以大致估计的；

操作风险分布的不平衡性。对于市场风险，当市场因素变化时银行标的资产在不同部门、不同分支机构的损失状况是基本相同的。

E. 数据挖掘中要避免的11大错误

数据挖掘中要避免的11大错误

1. 缺乏数据（Lack Data）

对于分类问题或预估问题来说，常常缺乏准确标注的案例。

例如：

欺诈侦测（Fraud Detection）：在上百万的交易中，可能只有屈指可数的欺诈交易，还有很多的欺诈交易没有被正确标注出来，这就需要在建模前花费大量人力来修正。

信用评分（Credit Scoring）：需要对潜在的高风险客户进行长期跟踪（比如两年），从而积累足够的评分样本。

2. 太关注训练（Focus on Training）

IDMer：就象体育训练中越来越注重实战训练，因为单纯的封闭式训练常常会训练时状态神勇，比赛时一塌糊涂。

实际上，只有样本外数据上的模型评分结果才真正有用！（否则的话，直接用参照表好了！）

例如：

癌症检测（Cancer detection）：MD Anderson的医生和研究人员（1993）使用神经网络来进行癌症检测，惊奇地发现，训练时间越长（从几天延长至数周），对训练集的性能改善非常轻微，但在测试集上的性能却明显下降。

机器学习或计算机科学研究者常常试图让模型在已知数据上表现最优，这样做的结果通常会导致过度拟合（overfit）。

解决方法：

解决这个问题的典型方法是重抽样（Re-Sampling）。重抽样技术包括：bootstrap、cross-validation、jackknife、leave-one-out…等等。

3. 只依赖一项技术（Rely on One Technique）

IDMer：这个错误和第10种错误有相通之处，请同时参照其解决方法。没有对比也就没有所谓的好坏，辩证法的思想在此体现无遗。

“当小孩子手拿一把锤子时，整个世界看起来就是一枚钉子。”要想让工作尽善尽美，就需要一套完整的工具箱。

不要简单地信赖你用单个方法分析的结果，至少要和传统方法（比如线性回归或线性判别分析）做个比较。

研究结果：按照《神经网络》期刊的统计，在过去3年来，只有1/6的文章中做到了上述两点。也就是说，在独立于训练样本之外的测试集上进行了开集测试，并与其它广泛采用的方法进行了对比。

解决方法：

使用一系列好的工具和方法。（每种工具或方法可能最多带来5%~10%的改进）。

4. 提错了问题（Ask the Wrong Question）

IDMer：一般在分类算法中都会给出分类精度作为衡量模型好坏的标准，但在实际项目中我们却几乎不看这个指标。为什么？因为那不是我们关注的目标。

项目的目标：一定要锁定正确的目标

例如：

欺诈侦测（关注的是正例！）（Shannon实验室在国际长途电话上的分析）：不要试图在一般的通话中把欺诈和非欺诈行为分类出来，重点应放在如何描述正常通话的特征，然后据此发现异常通话行为。

模型的目标：让计算机去做你希望它做的事

大多数研究人员会沉迷于模型的收敛性来尽量降低误差，这样让他们可以获得数学上的美感。但更应该让计算机做的事情应该是如何改善业务，而不是仅仅侧重模型计算上的精度。

5. 只靠数据来说话（Listen (only) to the Data）

IDMer：“让数据说话”没有错，关键是还要记得另一句话：兼听则明，偏听则暗！如果数据＋工具就可以解决问题的话，还要人做什么呢？

投机取巧的数据：数据本身只能帮助分析人员找到什么是显着的结果，但它并不能告诉你结果是对还是错。

经过设计的实验：某些实验设计中掺杂了人为的成分，这样的实验结果也常常不可信。

6. 使用了未来的信息（Accept Leaks from the Future）

IDMer：看似不可能，却是实际中很容易犯的错误，特别是你面对成千上万个变量的时候。认真、仔细、有条理是数据挖掘人员的基本要求。

预报（Forecast）示例：预报芝加哥银行在某天的利率，使用神经网络建模，模型的准确率达到95%。但在模型中却使用了该天的利率作为输入变量。

金融业中的预报示例：使用3日的移动平均来预报，但却把移动平均的中点设在今天。

解决方法：

要仔细查看那些让结果表现得异常好的变量，这些变量有可能是不应该使用，或者不应该直接使用的。

给数据加上时间戳，避免被误用。

7. 抛弃了不该忽略的案例（Discount Pesky Cases）

IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？不同的人生态度可以有同样精彩的人生，不同的数据也可能蕴含同样重要的价值。

异常值可能会导致错误的结果（比如价格中的小数点标错了），但也可能是问题的答案（比如臭氧洞）。所以需要仔细检查这些异常。

研究中最让激动的话语不是“啊哈！”，而是“这就有点奇怪了……”

数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。

例如：

在直邮营销中，在对家庭地址的合并和清洗过程中发现的数据不一致，反而可能是新的营销机会。

解决方法：

可视化可以帮助你分析大量的假设是否成立。

8. 轻信预测（Extrapolate）

IDMer：依然是辩证法中的观点，事物都是不断发展变化的。

人们常常在经验不多的时候轻易得出一些结论。

即便发现了一些反例，人们也不太愿意放弃原先的想法。

维度咒语：在低维度上的直觉，放在高维度空间中，常常是毫无意义的。

解决方法：

进化论。没有正确的结论，只有越来越准确的结论。

9. 试图回答所有问题（Answer Every Inquiry）

IDMer：有点像我爬山时鼓励自己的一句话“我不知道什么时候能登上山峰，但我知道爬一步就离终点近一步。”

“不知道”是一种有意义的模型结果。

模型也许无法100%准确回答问题，但至少可以帮我们估计出现某种结果的可能性。

10. 随便地进行抽样（Sample Casually）

降低抽样水平。例如，MD直邮公司进行响应预测分析，但发现数据集中的不响应客户占比太高（总共一百万直邮客户，其中超过99%的人未对营销做出响应）。于是建模人员做了如下抽样：把所有响应者放入样本集，然后在所有不响应者中进行系统抽样，即每隔10人抽一个放入样本集，直到样本集达到10万人。但模型居然得出如下规则：凡是居住在Ketchikan、Wrangell和Ward Cove Alaska的人都会响应营销。这显然是有问题的结论。（问题就出在这种抽样方法上，因为原始数据集已经按照邮政编码排序，上面这三个地区中不响应者未能被抽取到样本集中，故此得出了这种结论）。

解决方法：“喝前摇一摇！”先打乱原始数据集中的顺序，从而保证抽样的随机性。

提高抽样水平。例如，在信用评分中，因为违约客户的占比一般都非常低，所以在建模时常常会人为调高违约客户的占比（比如把这些违约客户的权重提高5倍）。建模中发现，随着模型越来越复杂，判别违约客户的准确率也越来越高，但对正常客户的误判率也随之升高。（问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了）

解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。

11. 太相信最佳模型（Believe the Best Model）

IDMer：还是那句老话－“没有最好，只有更好！”

可解释性并不一定总是必要的。看起来并不完全正确或者可以解释的模型，有时也会有用。

“最佳”模型中使用的一些变量，会分散人们太多的注意力。（不可解释性有时也是一个优点）

一般来说，很多变量看起来彼此都很相似，而最佳模型的结构看上去也千差万别，无迹可循。但需注意的是，结构上相似并不意味着功能上也相似。

解决方法：把多个模型集装起来可能会带来更好更稳定的结果。

数据挖掘最重要的要素是分析人员的相关业务知识和思维模式。丰富的业务知识是设计有效的相关变量的必要条件，而分析人员的思维模式从另外一个方面也保障了设计变量的结构化和完整性。所以我们在掌握丰富的业务知识同时，如果能够按照正确的思维模式去思考问题，将会发现解决问题并不是很困难的。

F. 信息系统风险的应对措施包括哪些

1、提高警惕：

当整体行情出现较大升幅，成交量屡屡创出天量，股市中赚钱效应普及，市场人气鼎沸，投资者踊跃入市，股民对风险意识逐渐淡漠时，往往是系统性风险将要出现的征兆。从投资价值分析，当市场整体价值有高估趋势的时候，投资者切不可放松对系统性风险的警惕。

2、投入比例：

股市行情的运行过程中，始终存在着不确定性因素，投资者可以根据行情发展的阶段来不断调整资金投入比例。由于股市升幅较大，从有效控制风险的角度出发，投资者不宜采用重仓操作的方式，至于全进全出的满仓操作更加不合时宜。

这一时期需要将资金投入比例控制在可承受风险的范围内。仓位较重的投资者可以有选择地抛出一些股票，减轻仓位，或者将部分投资资金用于相对较安全的投资中，如申购新股等。

3、赢损准备：

投资者无法预测什么时候会出现系统性风险，尤其在行情快速上升的时期。如果提前卖出手中的股票，往往意味着投资者无法享受“疯狂”行情的拉升机会。这时，投资者可以在控制仓位的前提下继续持股，但随时做好止赢或止损的准备，一旦市场出现系统性风险的时候，投资者可以果断斩仓卖出，从而防止损失的进一步扩大。

(6)解决数据集中风险的方法扩展阅读：

信息系统风险的主要影响因素：

1、股价过高：

当股市经过狂炒后特别是无理性的炒作后，股价就会大幅飙升，从而导致股市的平均市盈率偏高、相对投资价值不足，此时先入市资金的盈利已十分丰厚，一些股民就会率先撤出，将资金投向别处，从而导致股市的暴跌。股市上有一句名言，暴涨之后必有暴跌，暴涨与暴跌是一对孪生兄弟，就是对这种风险的一种客观描述。

2、从众行为

在股市上，许多股民并无主见，看见别人抛售股票时，也不究其缘由，就认为该股票行情看跌，便跟着大量抛售，以致引起一个抛售狂潮，从而使该股票价格猛跌，造成股票持有人的损失。

3、环境恶化：

当一个国家宏观经济政策发生变化而将对上市公司的经营乃至整个国民经济产生不利影响时，如政权或政府的更迭及某个领导人的逝世、战争及其他因素引起的社会动荡，在此时，所有企业的经营都无一例外地要受其影响，其经营水平面临普遍下降的危险，股市上所有的股票价格都将随之向下调整。

G. 数据收集和分析常用方法

一、头脑风暴法：

常用于“收集需求”过程中，属于群体创新技术。联想是产生新观念的基本过程。在集体讨论问题的过程中，每提出一个新的观念，都能引发他人的联想。相继产生一连串的新观念，产生连锁反应，形成新观念堆，为创造性地解决问题提供了更多的可能性。

在不受任何限制的情况下，集体讨论问题能激发人的热情。人人自由发言、相互影响、相互感染，能形成热潮，突破固有观念的束缚，最大限度地发挥创造性地思维能力。

在有竞争意识情况下，人人争先恐后，竞相发言，不断地开动思维机器，力求有独到见解，新奇观念。心理学的原理告诉我们，人类有争强好胜心理，在有竞争意识的情况下，人的心理活动效率可增加50%或更多。

二、德尔菲技术：

常用于“收集需求”过程中，属于群体创新技术。这一方法的步骤是：

（1）根据问题的特点，选择和邀请做过相关研究或有相关经验的专家。

（2）将与问题有关的信息分别提供给专家，请他们各自独立发表自己的意见，并写成书面材料。

（3）管理者收集并综合专家们的意见后，将综合意见反馈给各位专家，请他们再次发表意见。如果分歧很大，可以开会集中讨论；否则，管理者分头与专家联络。

（4）如此反复多次，最后形成代表专家组意见的方案。

德尔菲法的典型特征

（1）吸收专家参与预测，充分利用专家的经验和学识；

（2）采用匿名或背靠背的方式，能使每一位专家独立自由地作出自己的判断；

（3）预测过程几轮反馈，使专家的意见逐渐趋同。

优点：能充分发挥各位专家的作用，集思广益，准确性高。能把各位专家意见的分歧点表达出来，取各家之长，避各家之短。

缺点：德尔菲法的主要缺点是过程比较复杂，花费时间较长。

三、帕累托图：

常用于“实施质量控制”过程中。帕累托图又叫排列图、主次图,是按照发生频率大小顺序绘制的直方图，表示有多少结果是由已确认类型或范畴的原因所造成。它是将出现的质量问题和质量改进项目按照重要程度依次排列而采用的一种图表。可以用来分析质量问题，确定产生质量问题的主要因素。标准帕累托图按等级排序的目的是指导如何采取纠正措施：项目班子应首先采取措施纠正造成最多数量缺陷的问题。从概念上说，帕累托图与帕累托法则一脉相承，该法则认为相对来说数量较少的原因往往造成绝大多数的问题或缺陷。

排列图用双直角坐标系表示,左边纵坐标表示频数,右边纵坐标表示频率.分析线表示累积频率,横坐标表示影响质量的各项因素,按影响程度的大小(即出现频数多少)从左到右排列,通过对排列图的观察分析可以抓住影响质量的主要因素.

帕累托法则往往称为二八原理，即百分之八十的问题是百分之二十的原因所造成的。帕累托图在项目管理中主要用来找出产生大多数问题的关键原因，用来解决大多数问题。

X(经典帕累托图)

四、控制图：

常用于“规划质量、实施质量控制”过程中，就是对生产过程的关键质量特性值进行测定、记录、评估并监测过程是否处于控制状态的一种图形方法。根据假设检验的原理构造一种图，用于监测生产过程是否处于控制状态。它是统计质量管理的一种重要手段和工具。

它是一种有控制界限的图，用来区分引起的原因是偶然的还是系统的，可以提供系统原因存在的资讯，从而判断生产过于受控状态。控制图按其用途可分为两类，一类是供分析用的控制图，用来控制生产过程中有关质量特性值的变化情况，看工序是否处于稳定受控状；再一类的控制图，主要用于发现生产过程是否出现了异常情况，以预防产生不合格品。

7点规则：如果遇到连续7点数据落在平均线的同一侧。那么，应当考虑是否存在特殊原因。因为，一个点落在平均线一侧的概率是1/2。连续两点落在同一侧的概率是1/2中的1/2=1/4。连续三点落在同一侧的概率是1/4中的1/2=1/8。如此下去，连续七点落在同一侧的概率是（1/2）X（1/2）X（1/2）X（1/2）X（1/2）X（1/2）X（1/2）=1/128=0.0078。这个概率值是千分之8。这个概率应当讲是很小的。当我们在生产抽样的时候，这样小的概率是不应当被抽到的。现在被抽到了，说明不正常了，就有可能发生了特殊原因。

五、SWOT分析：

常用于“识别风险”过程中，其中，S代表strength(优势)，W代表weakness(弱势)，O代表opportunity(机会)，T代表threat(威胁)。其中，S、W是内部因素，O、T是外部因素。这种分析常用于企业内部分析方法，即根据企业自身的既定内在条件进行分析，找出企业的优势、劣势及核心竞争力之所在。

近来，SWOT分析已广被应用在许多领域上，如学校的自我分析、个人的能力自我分析等方面。比如，在利用SWOT对自己进行职业发展分析时，可以遵循以下五个步骤：

第一步，评估自己的长处和短处每个人都有自己独特的技能、天赋和能力。在当今分工非常细的环境里，每个人擅长于某一领域，而不是样样精通。(当然，除非天才)。举个例子，有些人不喜欢整天坐在办公室里，而有些人则一想到不得不与陌生人打交道时，心里就发麻，惴惴不安。请作个列表，列出你自己喜欢做的事情和你的长处所在。同样，通过列表，你可以找出自己不是很喜欢做的事情和你的弱势。找出你的短处与发现你的长处同等重要，因为你可以基于自己的长处和短处上，作两种选择；或者努力去改正常的错误，提高你的技能，或是放弃那些对你不擅长的技能要求的学系。列出你认为自己所具备的很重要的强项和对你的学习选择产生影响的弱势，然后再标出那些你认为对你很重要的强弱势。

第二步，找出您的职业机会和威胁。我们知道，不同的行业(包括这些行业里不同的公司)都面临不同的外部机会和威胁，所以，找出这些外界因素将助您成功地找到一份适合自己的工作，对您求职是非常重要的，因为这些机会和威胁会影响您的第一份工作和今后的职业发展。如果公司处于一个常受到外界不利因素影响的行业里，很自然，这个公司能提供的职业机会将是很少的，而且没有职业升迁的机会。相反，充满了许多积极的外界因素的行业将为求职者提供广阔的职业前景。请列出您感兴趣的一两个行业，然后认真地评估这些行业所面临的机会和威胁。

第三步，提纲式地列出今后3-5年内您的职业目标。仔细地对自己做一个SWOT分析评估，列出您5年内最想实现的四至五个职业目标。这些目标可以包括：您想从事哪一种职业，您将管理多少人，或者您希望自己拿到的薪水属哪一级别。请时刻记住：您必须竭尽所能地发挥出自己的优势，使之与行业提供的工作机会完满匹配。

第四步，提纲式地列出一份今后3-5年的职业行动计划。这一步主要涉及到一些具体的内容。请您拟出一份实现上述第三步列出的每一目标的行动计划，并且详细地说明为了实现每一目标，您要做的每一件事，何时完成这些事。如果您觉得您需要一些外界帮助，请说明您需要何种帮助和您如何获取这种帮助。例如，您的个人SWOT分析可能表明，为了实现您理想中的职业目标，您需要进修更多的管理课程，那么，您的职业行动计划应说明要参加哪些课程、什么水平的课程以及何时进修这些课程等等。您拟订的详尽的行动计划将帮助您做决策，就像外出旅游前事先制定的计划将成为您的行动指南一样。

第五步，寻求专业帮助。能分析出自己职业发展及行为习惯中的缺点并不难，但要去以合适的方法改变它们却很难。相信您的朋友、上级主管、职业咨询专家都可以给您一定的帮助，特别是很多时候借助专业的咨询力量会让您大走捷径。有外力的协助和监督也会让您更好的取得效。

六、敏感性分析：

常用于“实施定量风险分析”过程中，敏感性分析的作用是确定影响项目风险的敏感因素。寻找出影响最大、最敏感的主要变量因素，进一步分析、预测或估算其影响程度，找出产生不确定性的根源，采取相应有效措施。敏感性分析有助于确定哪些风险对项目具有最大的潜在影响。它把所有其他不确定因素保持在基准值的条件下，考察项目的每项要素的不确定性对日标产生多大程度的影响。敏感性分析最常用的显示方式是龙卷风图。龙卷风图有助于比较具有较高不确定性的变量与相对稳定的变量之间的相对重要程度。

七、预期货币价值：

又称风险暴露值、风险期望值，是定量风险分析的一种技术，常和决策树一起使用，它是将特定情况下可能的风险造成的货币后果和发生概率相乘，此项目包含了风险和现金的考虑。正值表示机会，负值表示风险。每个可能结果的数值与发生机率相乘后加总即得到。

例：一专案投资100万,有50%机率会延误而罚款20万则EMV值为多少?

答：100+(-20*50%)=90

八、蒙特卡罗法：

用于定量风险分析，是一种采用随机抽样（Random Sampling）统计来估算结果的计算方法。项目管理中蒙特卡罗模拟方法的一般步骤是：

1．对每一项活动，输入最小、最大和最可能估计数据，并为其选择一种合适的先验分布模型；

2．计算机根据上述输入，利用给定的某种规则，快速实施充分大量的随机抽样

3．对随机抽样的数据进行必要的数学计算，求出结果

4．对求出的结果进行统计学处理，求出最小值、最大值以及数学期望值和单位标准偏差

5．根据求出的统计学处理数据，让计算机自动生成概率分布曲线和累积概率曲线(通常是基于正态分布的概率累积S曲线)

6．依据累积概率曲线进行项目风险分析。