㈠ 常用的数据处理方法
前面所述的各种放射性测量方法，包括航空γ能谱测量，地面γ能谱测量和氡及其子体的各种测量方法，都已用在石油放射性勘查工作之中。数据处理工作量大的是航空γ能谱测量。
（一）数据的光滑
为了减少测量数据的统计涨落影响及地面偶然因素的影响，对原始测量数据进行光滑处理。消除随机影响。
放射性测量数据光滑，最常用的光滑方法是多项式拟合移动法。在要光滑测量曲线上任取一点，并在该点两边各取m个点，共有2m+1点；用一个以该点为中心的q阶多项式对这一曲线段作最小二乘拟合，则该多项式在中心点的值，即为平滑后该点的值。用此法逐点处理，即得光滑后的曲线，光滑计算公式（公式推导略）为
核辐射场与放射性勘查
式中：yi+j、为第i点光滑前后的值；为系数；为规范化常数。
五点光滑的二次多项式的具体光滑公式为
核辐射场与放射性勘查
如果一次光滑不够理想，可以重复进行1～2次，但不宜过多重复使用。
光滑方法，还有傅里叶变换法，以及多点平均值法，多点加权平均值法等。
使用那种方法选定之后，一般都通过编程存入计算机，进行自动化处理。
图7-2-1是美国东得克萨斯州一个油田上的航空γ放射性异常中的两条剖面图（A-B和B-C）。经过光滑处理后，低值连续，清晰明显，与油田对应的位置较好。说明四个油藏都在铀（w（U））和钾（w（K））的低值位置。
图7-2-1 美国东得克萨斯油田航空γ放射性异常剖面图
（二）趋势面分析方法
趋势分析主要反映测量变量在大范围（区域）连续变化的趋势。在原始数据中常含有许多随机误差和局部点异常，直观反映是测量曲线上下跳动或小范围突变。使用趋势分析处理是为了得到研究区域辐射场的总体分布趋势。
趋势面分析，实质上是利用多元回归分析，进行空间数据拟合。根据计算方法不同，又可分为图解法趋势面分析和数学计算法趋势面分析。图解法趋势面分析的基本思路是对观测数据采用二维方块取平均值法，或滑动平均值法计算趋势值。方块平均值法是对每一方块内的数据取平均值，作为该方块重心点的趋势值。滑动平均值法是设想一个方框，放在测区数据分布的平面图上，把落在方框内的测点数据取平均值，记在方框中心上，最后得到趋势面等值图。一般讲做一次是不够的，需要如此重复3～9次。一般都有专门程序可供使用（不作详述）。如图7-1-14（a）为原始数据等值图，中间有许多呈点状高值或低值分布，经过四次趋势面分析之后可以清楚地看出三个低值异常区。
计算法趋势面分析是选定一个数学函数，对观测数据进行拟合，给出一个曲线。拟合函数常用的有多项式函数，傅里叶级数，三角函数以及指数函数的多项式函数等。目前以二维多项式函数应用最多。
（三）岩性影响及其校正分析
不同岩石、不同土壤中放射性核素含量是有差别，有的相差还比较大，有的相差甚至超过10%～20%。这是油田放射性测量的主要影响因素。
一个测区可能出现不同土壤分布，把不同放射性水平的土壤上测量结果校正到同一水平（叫归一化方法）是非常重要的工作，主要有下面三种方法。
1.确定土壤核素含量的归一化方法
利用γ能谱测量资料，根据测区地质图或土壤分布图，分别统计总道的总计数率和铀、钍、钾含量的平均值。然后进行逐点校正，即逐点减去同类土壤的平均值，其剩余值即为异常值。
核辐射场与放射性勘查
式中：分别为第 i类土壤中测点 j的总计数和铀、钍、钾含量。分别为i类土壤的平均总计数和铀、钍、钾的平均值。分别为扣除各类土壤平均值后的剩余值，即为各测点不同土壤校正后的归一化的油田的放射性异常。根据需要可以用来绘制平面剖面图或等值线图，即为经过不同岩性（土壤）校正后的油田放射性异常图。
这个方法的缺点是计算工作量较大。
2.用钍归一化校正铀、钾含量
对自然界各种岩石中的钍、铀、钾含量的相关性研究（D.F.Saundr，1987），发现它们的含量具有很好的相关性（表7-2-2）；而且随岩性不同含量确有相应的增加或减小，据此可以利用钍的含量计算铀和钾的含量。钍有很好的化学稳定性，钍在地表环境条件下基本不流失。因此，利用钍含量计算出来的铀、钾含量，应当是与油藏存在引起的铀、钾
表7-2-2 几种岩石的钍、铀、钾含量
异常无关的正常值。用每点实测的铀、钾，减去计算的正常值，那么每个测点的铀、钾剩余值（差值）应当是油气藏引起的异常值。这样就校正了岩性（土壤）变化的影响。
对于航空γ能谱测量的总道计数率，也同样可以用钍含量（或计数率）归一化校正总道计数率，效果也非常好。
具体方法如下。
1）对铀、钾的归一化校正。
2）根据航空γ能谱测量或地面γ能谱测量数据，按测线计算铀、钍、钾含量。根据岩石（土壤）中钍与铀，钍与钾的相关关系（表7-2-1），认为铀和钍存在线性关系，钾和钍存在对数线性关系，于是建立相应的拟合关系式。
核辐射场与放射性勘查
式中：A、B、A′、B′为回归系数（对每个测区得到一组常数）；wi（Th）为测点i实测的钍含量；w点i（U）、w点i（K）为i点由钍含量计算的铀、钾含量。
计算每个测点的铀、钾剩余值：
核辐射场与放射性勘查
式中：wi（U）、wi（K）为测点i的实测值。剩余值Δwi（U）和Δwi（K）为油藏引起的异常值。
南阳-泌阳航空γ能谱测区，测得的钍、铀、钾含量，按钍含量分间隔，计算其平均值，列于表7-2-3。根据此表中数据，由（7-2-7）和（7-2-8）式得：
核辐射场与放射性勘查
表7-2-3 南阳-泌阳航空γ能谱计算的钍、铀、钾
3）对总道γ计数率的归一化校正。钍比较稳定，可以认为与油气藏形成的放射性异常无关。经研究得知，原岩的总道计数率（I点i）与钍含量的对数值存在近似的线性关系，即
核辐射场与放射性勘查
根据γ能谱实测数据求得实测i点的总道计数率（Ii）与I点i的差值：
核辐射场与放射性勘查
即为消除岩性影响的，由油气藏引起的γ总计数率异常值。
图7-2-2 钍归一化校正岩性影响的结果
图7-2-2为任丘双河油田，两条测线（1100线和11010线）。用钍归一化法，消除岩性影响的结果。油田边界高值和油田上方低值，除钾11010线外都比较明显清晰。与已知油田边界基本一致。
㈡ 常用的数据分析方法有哪些
常见的数据分析方法有哪些？
1.趋势分析
当有大量数据时，我们希望更快，更方便地从数据中查找数据信息，这时我们需要使用图形功能。所谓的图形功能就是用EXCEl或其他绘图工具来绘制图形。
趋势分析通常用于长期跟踪核心指标，例如点击率，GMV和活跃用户数。通常，只制作一个简单的数据趋势图，但并不是分析数据趋势图。它必须像上面一样。数据具有那些趋势变化，无论是周期性的，是否存在拐点以及分析背后的原因，还是内部的或外部的。趋势分析的最佳输出是比率，有环比，同比和固定基数比。例如，2017年4月的GDP比3月增加了多少，这是环比关系，该环比关系反映了近期趋势的变化，但具有季节性影响。为了消除季节性因素的影响，引入了同比数据，例如：2017年4月的GDP与2016年4月相比增长了多少，这是同比数据。更好地理解固定基准比率，即固定某个基准点，例如，以2017年1月的数据为基准点，固定基准比率是2017年5月数据与该数据2017年1月之间的比较。
2.对比分析
水平对比度：水平对比度是与自己进行比较。最常见的数据指标是需要与目标值进行比较，以了解我们是否已完成目标；与上个月相比，要了解我们环比的增长情况。
纵向对比：简单来说，就是与其他对比。我们必须与竞争对手进行比较以了解我们在市场上的份额和地位。
许多人可能会说比较分析听起来很简单。让我举一个例子。有一个电子商务公司的登录页面。昨天的PV是5000。您如何看待此类数据？您不会有任何感觉。如果此签到页面的平均PV为10,000，则意味着昨天有一个主要问题。如果签到页面的平均PV为2000，则昨天有一个跳跃。数据只能通过比较才有意义。
3.象限分析
根据不同的数据，每个比较对象分为4个象限。如果将IQ和EQ划分，则可以将其划分为两个维度和四个象限，每个人都有自己的象限。一般来说，智商保证一个人的下限，情商提高一个人的上限。
说一个象限分析方法的例子，在实际工作中使用过：通常，p2p产品的注册用户由第三方渠道主导。如果您可以根据流量来源的质量和数量划分四个象限，然后选择一个固定的时间点，比较每个渠道的流量成本效果，则该质量可以用作保留的总金额的维度为标准。对于高质量和高数量的通道，继续增加引入高质量和低数量的通道，低质量和低数量的通过，低质量和高数量的尝试策略和要求，例如象限分析可以让我们比较和分析时间以获得非常直观和快速的结果。
4.交叉分析
比较分析包括水平和垂直比较。如果要同时比较水平和垂直方向，则可以使用交叉分析方法。交叉分析方法是从多个维度交叉显示数据，并从多个角度执行组合分析。
分析应用程序数据时，通常分为iOS和Android。
交叉分析的主要功能是从多个维度细分数据并找到最相关的维度，以探究数据更改的原因。
㈢ 数据处理方式
什么是大数据：大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），网络随便找找都有。
大数据处理流程：
1.是数据采集,搭建数据仓库，数据采集就是把数据通过前端埋点，接口日志调用流数据，数据库抓取，客户自己上传数据，把这些信息基础数据把各种维度保存起来，感觉有些数据没用（刚开始做只想着功能，有些数据没采集， 后来被老大训了一顿）。
2.数据清洗/预处理：就是把收到数据简单处理，比如把ip转换成地址，过滤掉脏数据等。
3.有了数据之后就可以对数据进行加工处理，数据处理的方式很多，总体分为离线处理，实时处理，离线处理就是每天定时处理，常用的有阿里的maxComputer,hive,MapRece,离线处理主要用storm,spark,hadoop,通过一些数据处理框架，可以吧数据计算成各种KPI,在这里需要注意一下，不要只想着功能，主要是把各种数据维度建起来，基本数据做全，还要可复用，后期就可以把各种kpi随意组合展示出来。
4.数据展现，数据做出来没用，要可视化，做到MVP，就是快速做出来一个效果，不合适及时调整，这点有点类似于Scrum敏捷开发，数据展示的可以用datav，神策等，前端好的可以忽略，自己来画页面。
数据采集：
1.批数据采集，就是每天定时去数据库抓取数据快照，我们用的maxComputer，可以根据需求，设置每天去数据库备份一次快照，如何备份，如何设置数据源，如何设置出错，在maxComputer都有文档介绍，使用maxComputer需要注册阿里云服务
2.实时接口调用数据采集，可以用logHub,dataHub,流数据处理技术,DataHub具有高可用，低延迟，高可扩展，高吞吐的特点。
高吞吐：最高支持单主题（Topic）每日T级别的数据量写入，每个分片（Shard）支持最高每日8000万Record级别的写入量。
实时性：通过DataHub ，您可以实时的收集各种方式生成的数据并进行实时的处理，
设计思路：首先写一个sdk把公司所有后台服务调用接口调用情况记录下来，开辟线程池，把记录下来的数据不停的往dataHub,logHub存储，前提是设置好接收数据的dataHub表结构
3.前台数据埋点，这些就要根据业务需求来设置了，也是通过流数据传输到数据仓库，如上述第二步。
数据处理：
数据采集完成就可以对数据进行加工处理，可分为离线批处理，实时处理。
1.离线批处理maxComputer，这是阿里提供的一项大数据处理服务，是一种快速，完全托管的TB/PB级数据仓库解决方案，编写数据处理脚本，设置任务执行时间，任务执行条件，就可以按照你的要求，每天产生你需要数据
2.实时处理：采用storm/spark,目前接触的只有storm,strom基本概念网上一大把，在这里讲一下大概处理过程，首先设置要读取得数据源，只要启动storm就会不停息的读取数据源。Spout，用来读取数据。Tuple：一次消息传递的基本单元，理解为一组消息就是一个Tuple。stream,用来传输流，Tuple的集合。Bolt：接受数据然后执行处理的组件,用户可以在其中执行自己想要的操作。可以在里边写业务逻辑，storm不会保存结果，需要自己写代码保存，把这些合并起来就是一个拓扑，总体来说就是把拓扑提交到服务器启动后，他会不停读取数据源，然后通过stream把数据流动，通过自己写的Bolt代码进行数据处理，然后保存到任意地方，关于如何安装部署storm，如何设置数据源，网上都有教程，这里不多说。
数据展现：做了上述那么多，终于可以直观的展示了，由于前端技术不行，借用了第三方展示平台datav,datav支持两种数据读取模式，第一种，直接读取数据库，把你计算好的数据，通过sql查出，需要配置数据源，读取数据之后按照给定的格式，进行格式化就可以展现出来
@jiaoready @jiaoready 第二种采用接口的形式，可以直接采用api，在数据区域配置为api，填写接口地址，需要的参数即可，这里就不多说了。
㈣ 数据处理的常用方式
数据分析与处理方法：
采集
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的大量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些大量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，还有，常用数据挖掘算法都以单线程为主。
㈤ 常用数据分析与处理方法
一、漏斗分析法：漏斗分析法能够科学反映用户行为状态，以及从起点到终点各阶段用户转化率情况，是一种重要的分析模型。漏斗分析模型已经广泛应用于网站和APP的用户行为分析中，例如流量监控、CRM系统、SEO优化、产品营销和销售等日常数据运营与数据分析工作中
二、留存分析法：留存分析法是一种用来分析用户参与情况和活跃程度的分析模型，考察进行初始行为的用户中，有多少人会进行后续行为。从用户的角度来说，留存率越高就说明这个产品对用户的核心需求也把握的越好，转化成产品的活跃用户也会更多，最终能帮助公司更好的盈利。
三、分组分析法：分组分析法是根据数据分析对象的特征，按照一定的标志（指标），把数据分析对象划分为不同的部分和类型来进行研究，以揭示其内在的联系和规律性。
四、矩阵分析法：矩阵分析法是指根据事物（如产品、服务等）的两个重要属性（指标）作为分析的依据，进行分类关联分析，找出解决问题的一种分析方法，也称为矩阵关联分析法，简称矩阵分析法。
㈥ 如何在excel中对数据进行分类并处理
当需要在Excel中对数据进行分类计算时，除了使用
数据透视表
，还可以使用
分类汇总
命令。与数据透视表不同的是，它可以直接在数据区域中插入汇总行，从而可以同时看到数据明细和汇总。下面是分类汇总的使用方法:
在进行分类汇总前，需保证数据具有下列格式，即数据区域的第一行为标题行，数据区域中没有
空行
和空列，数据区域四周是空行和空列，如下图是几种商品在一些城市的销售数据。另外，如果数据区域在应用分类汇总前已被设置成Excel
2003列表或Excel
2007表，需将其转换为普通区域。因为对于Excel
2003列表或Excel
2007表无法使用分类汇总。
一、仅对某列进行分类汇总
例如上例中需要对各城市的销售量进行分类汇总，方法如下:
1.
首先对数据按需要分类汇总的列(本例为“城市”列)进行排序。
选择“城市”列中的任意单元格，在Excel
2003中单击工具栏中的排序按钮如“A→Z”。在Excel
2007中，选择功能区中“数据”
选项卡
，在“排序和筛选”组中单击“A→Z”按钮。
2.
选择数据区域中的某个单元格，在Excel
2003中单击菜单“数据→分类汇总”。如果是Excel
2007，则在“数据”选项卡的“分级显示”组中单击“分类汇总”。
3.
在弹出的“分类汇总”对话框中，在“分类字段”下选择“城市”，在“汇总方式”中选择某种汇总方式，可供选择的汇总方式有“求和”、“计数”、“平均值”等，本例中选择默认的“求和”。在“选定汇总项”下仅选择“销售额”。
4.单击确定，Excel将按城市进行分类汇总。
二、对多列进行分类汇总
如上例中需要同时对“城市”列和“
商品名称
”列进行分类汇总，可以插入嵌套分类汇总。
1.对数据进行多列排序，即进行多关键字排序。
首先选择数据区域中的某个单元格。
在Excel
2003中，单击菜单“数据→排序”。弹出“排序”对话框，其中主要关键字选择“城市”，次要关键字选择“商品名称”，其他选择默认。
如果是Excel
2007，在“数据”选项卡的“排序和筛选”组中单击“排序”命令，在弹出的“排序”对话框中，单击“添加条件”按钮添加次要关键字排序条件，然后主要关键字选择“城市”，次要关键字选择“商品名称”，其他选择默认。
2.对“城市”列进行分类汇总(外部分类汇总)。
按上述方法打开“分类汇总”对话框，在“分类字段”下选择“城市”，在“汇总方式”中选择默认的“求和”，在“选定汇总项”下仅选择“销售额”。单击“确定”。
3.对“商品名称”列进行分类汇总(嵌套分类汇总)。
再次打开“分类汇总”对话框，在“分类字段”下选择“商品名称”，取消选择“替换当前分类汇总”，单击“确定”。
这时Excel将按“城市”列和“商品名称”列对“销售额”进行分类汇总。
如果不需要显示明细数据，可以单击左侧的分级显示符号，如本例中右上角的数字和左侧的
减号
来隐藏明细数据。
三、删除分类汇总
在“分类汇总”对话框中，单击“全部删除”即可。
㈦ 数据分析的基本方法有哪些
数据分析的三个常用方法：
1. 数据趋势分析
趋势分析一般而言，适用于产品核心指标的长期跟踪，比如，点击率，GMV，活跃用户数等。做出简单的数据趋势图，并不算是趋势分析，趋势分析更多的是需要明确数据的变化，以及对变化原因进行分析。
趋势分析，最好的产出是比值。在趋势分析的时候需要明确几个概念：环比，同比，定基比。环比是指，是本期统计数据与上期比较，例如2019年2月份与2019年1月份相比较，环比可以知道最近的变化趋势，但是会有些季节性差异。为了消除季节差异，于是有了同比的概念，例如2019年2月份和2018年2月份进行比较。定基比更好理解，就是和某个基点进行比较，比如2018年1月作为基点，定基比则为2019年2月和2018年1月进行比较。
比如：2019年2月份某APP月活跃用户数我2000万，相比1月份，环比增加2%，相比去年2月份，同比增长20%。趋势分析另一个核心目的则是对趋势做出解释，对于趋势线中明显的拐点，发生了什么事情要给出合理的解释，无论是外部原因还是内部原因。
2. 数据对比分析
数据的趋势变化独立的看，其实很多情况下并不能说明问题，比如如果一个企业盈利增长10%，我们并无法判断这个企业的好坏，如果这个企业所处行业的其他企业普遍为负增长，则5%很多，如果行业其他企业增长平均为50%，则这是一个很差的数据。
对比分析，就是给孤立的数据一个合理的参考系，否则孤立的数据毫无意义。在此我向大家推荐一个大数据技术交流圈： 658558542 突破技术瓶颈，提升思维能力 。
一般而言，对比的数据是数据的基本面，比如行业的情况，全站的情况等。有的时候，在产品迭代测试的时候，为了增加说服力，会人为的设置对比的基准。也就是A/B test。
比较试验最关键的是A/B两组只保持单一变量，其他条件保持一致。比如测试首页改版的效果，就需要保持A/B两组用户质量保持相同，上线时间保持相同，来源渠道相同等。只有这样才能得到比较有说服力的数据。
3. 数据细分分析
在得到一些初步结论的时候，需要进一步地细拆，因为在一些综合指标的使用过程中，会抹杀一些关键的数据细节，而指标本身的变化，也需要分析变化产生的原因。这里的细分一定要进行多维度的细拆。常见的拆分方法包括：
分时 ：不同时间短数据是否有变化。
分渠道 ：不同来源的流量或者产品是否有变化。
分用户 ：新注册用户和老用户相比是否有差异，高等级用户和低等级用户相比是否有差异。
分地区 ：不同地区的数据是否有变化。
组成拆分 ：比如搜索由搜索词组成，可以拆分不同搜索词;店铺流量由不用店铺产生，可以分拆不同的店铺。
细分分析是一个非常重要的手段，多问一些为什么，才是得到结论的关键，而一步一步拆分，就是在不断问为什么的过程。
㈧ 数据处理的常用方法有
1、列表法：是将实验所获得的数据用表格的形式进行排列的数据处理方法。列表法的作用有两种：一是记录实验数据，二是能显示出物理量间的对应关系。
2、图示法：是用图象来表示物理规律的一种实验数据处理方法。一般来讲,一个物理规律可以用三种方式来表述:文字表述、解析函数关系表述、图象表示。
3、图解法：是在图示法的基础上，利用已经作好的图线，定量地求出待测量或某些参数或经验公式的方法。
4、逐差法：由于随机误差具有抵偿性，对于多次测量的结果，常用平均值来估计最佳值，以消除随机误差的影响。
5、最小二乘法：通过实验获得测量数据后，可确定假定函数关系中的各项系数，这一过程就是求取有关物理量之间关系的经验公式。从几何上看，就是要选择一条曲线，使之与所获得的实验数据更好地吻合。
㈨ 数据整理的好方法有哪些
1、整理数据的常用方法有：⑴归纳法: 可应用直方图、分组法、层别法及统计解析法。⑵演绎法: 可应用要因分析图、散布图及相关回归分析。⑶预防法: 通称管制图法，包括Pn管制图、P管制图、C管制图、U管制图、管制图、X-Rs管制图。
2、数据整理是对调查、观察、实验等研究活动中所搜集到的资料进行检验、归类编码和数字编码的过程。它是数据统计分析的基础。
3、整理数据的步骤：⑴原始数据之审核。⑵分类项目之确定。⑶施行归类整理。⑷列表。⑸绘图。