自然语言情感分析方法

A. R语言中的情感分析与机器学习

来源 | 雪晴数据网
利用机器学习可以很方便的做情感分析。本篇文章将介绍在R语言中如何利用机器学习方法来做情感分析。在R语言中，由Timothy P.Jurka开发的情感分析以及更一般的文本挖掘包已经得到了很好的发展。你可以查看下sentiment包以及梦幻般的RTextTools包。实际上，Timothy还写了一个针对低内存下多元Logistic回归（也称最大熵）的R包maxtent。

然而，RTextTools包中不包含朴素贝叶斯方法。e1071包可以很好的执行朴素贝叶斯方法。e1071是TU Wien(维也纳科技大学)统计系的一门课程。这个包的主要开发者是David Meyer。

我们仍然有必要了解文本分析方面的知识。用R语言来处理文本分析已经是公认的事实（详见R语言中的自然语言处理）。tm包算是其中成功的一部分：它是R语言在文本挖掘应用中的一个框架。它在文本清洗（词干提取，删除停用词等）以及将文本转换为词条-文档矩阵(dtm)方面做得很好。这里是对它的一个介绍。文本分析最重要的部分就是得到每个文档的特征向量，其中词语特征最重要的。当然，你也可以将单个词语特征扩展为双词组，三连词，n-连词等。在本篇文章，我们以单个词语特征为例做演示。

注意，在R中用ngram包来处理n-连词。在过去，Rweka包提供了函数来处理它，感兴趣的可以查看这个案例。现在，你可以设置RTextTools包中create_matrix函数的参数ngramLength来实现它。

第一步是读取数据：

创建词条-文档矩阵：

现在，我们可以用这个数据集来训练朴素贝叶斯模型。注意，e1071要求响应变量是数值型或因子型的。我们用下面的方法将字符串型数据转换成因子型：

测试结果准确度：

显然，这个结果跟python得到的结果是相同的（这篇文章是用python得到的结果）。

其它机器学习方法怎样呢？

下面我们使用RTextTools包来处理它。

首先，指定相应的数据：

其次，用多种机器学习算法训练模型：

现在，我们可以使用训练过的模型做测试集分类：

准确性如何呢？

得到模型的结果摘要（特别是结果的有效性）：

结果的交叉验证：

结果可在我的Rpub页面找到。可以看到，maxent的准确性跟朴素贝叶斯是一样的，其它方法的结果准确性更差。这是可以理解的，因为我们给的是一个非常小的数据集。扩大训练集后，利用更复杂的方法我们对推文做的情感分析可以得到一个更好的结果。示例演示如下：

推文情感分析

数据来自victornep。victorneo展示的是用python对推文做情感分析。这里，我们用R来处理它：

读取数据：

首先，尝试下朴素贝叶斯

然后，尝试其他方法：

这里，我们也希望得到正式的测试结果。包括：

1.analytics@algorithm_summary：包括精确度，召回率，准确率，F-scores的摘要

2.analytics@label_summary：类标签摘要

3.analytics@document_summary：所有数据和得分的原摘要

4.analytics@ensemble_summary：所有 精确度/覆盖度 比值的摘要

现在让我们看看结果：

与朴素贝叶斯方法相比，其它算法的结果更好，召回精度高于0.95。结果可在Rpub查看

原文链接：http：//www.xueqing.cc/cms/article/107

B. 自然语言处理怎么最快入门

自然语言处理（简称NLP），是研究计算机处理人类语言的一门技术，包括：

1.句法语义分析：对于给定的句子，进行分词、词性标记、命名实体识别和链接、句法分析、语义角色识别和多义词消歧。

2.信息抽取：从给定文本中抽取重要的信息，比如，时间、地点、人物、事件、原因、结果、数字、日期、货币、专有名词等等。通俗说来，就是要了解谁在什么时候、什么原因、对谁、做了什么事、有什么结果。涉及到实体识别、时间抽取、因果关系抽取等关键技术。

3.文本挖掘（或者文本数据挖掘）：包括文本聚类、分类、信息抽取、摘要、情感分析以及对挖掘的信息和知识的可视化、交互式的表达界面。目前主流的技术都是基于统计机器学习的。

4.机器翻译：把输入的源语言文本通过自动翻译获得另外一种语言的文本。根据输入媒介不同，可以细分为文本翻译、语音翻译、手语翻译、图形翻译等。机器翻译从最早的基于规则的方法到二十年前的基于统计的方法，再到今天的基于神经网络（编码-解码）的方法，逐渐形成了一套比较严谨的方法体系。

5.信息检索：对大规模的文档进行索引。可简单对文档中的词汇，赋之以不同的权重来建立索引，也可利用1，2，3的技术来建立更加深层的索引。在查询的时候，对输入的查询表达式比如一个检索词或者一个句子进行分析，然后在索引里面查找匹配的候选文档，再根据一个排序机制把候选文档排序，最后输出排序得分最高的文档。

6.问答系统：对一个自然语言表达的问题，由问答系统给出一个精准的答案。需要对自然语言查询语句进行某种程度的语义分析，包括实体链接、关系识别，形成逻辑表达式，然后到知识库中查找可能的候选答案并通过一个排序机制找出最佳的答案。

7.对话系统：系统通过一系列的对话，跟用户进行聊天、回答、完成某一项任务。涉及到用户意图理解、通用聊天引擎、问答引擎、对话管理等技术。此外，为了体现上下文相关，要具备多轮对话能力。同时，为了体现个性化，要开发用户画像以及基于用户画像的个性化回复。随着深度学习在图像识别、语音识别领域的大放异彩，人们对深度学习在NLP的价值也寄予厚望。再加上AlphaGo的成功，人工智能的研究和应用变得炙手可热。自然语言处理作为人工智能领域的认知智能，成为目前大家关注的焦点。很多研究生都在进入自然语言领域，寄望未来在人工智能方向大展身手。但是，大家常常遇到一些问题。俗话说，万事开头难。如果第一件事情成功了，学生就能建立信心，找到窍门，今后越做越好。否则，也可能就灰心丧气，甚至离开这个领域。

C. 自然语言处理为什么要分词

当然需要。 既然是“文本挖掘”，自然语言处理最基本的功能点肯定都要做： 新词发现、分词、词性标注、分类、自动提取标签、实体自动发现和识别。 最基本的这些功能点做了之后，可以用统计方法完成简单文本挖掘应用，统计方法比如： TF/IDF、Map/Rece、贝叶斯。 再深入一些，就需要： 聚类（层次聚类、SVM、VSM）、情感趋势分析。 再想提高： 语法分析、句式判断。 但一般做到NLP最基本功能点+统计方法即可搞定一般的互联中国应用。 本回答由电脑中国络分类达人 董辉推荐

D. 情感解析技术现在能做到什么

情感解析技术实质上也就是人工智能中的自然语言处理技术中的一种。
也许前两年我还很难回答你这个问题，不过随着机器学习技术、硬件迭代等因素这两年人工智能得到了极大的发展，自然语言处理也就有了越来越多地实用价值。
在正式回答你的问题之前，我们先要明白，作为人工智能技术基础的机器学习，其最重要的就是需要有充分大的样本数据进行训练，即需要先给机器一些已知“情感”的语言数据，才可以获取最终的解析引擎。这一点尤为重要，因为这决定了能产生使用价值的领域一定存在着易获取、易分析的语言数据才行。当然同时又要对顾客/消费者的情感反馈有着积极地需求。
以这两个为条件，那么结果显而易见了：
1、对话机器人。诸如微软小冰、苹果siri等。非常容易理解，因为“对话”本身就是语言数据之间的沟通，而情感数据作为从语言数据中提炼出来的附加价值信息，对智能对话机器人的“人性化”来说当然是有百利而无一弊。而且，对于这些大企业来说，巨量的语言数据也相当容易获取。
3、情绪客服质检。这是一个很容易被忽略的行业，但是确实人工智能情感解析最直接最有效的应用之一。试想一下，客服质检需要做的是什么工作：判断客服人员工作是否到位……传统的客服质检只能通过堆叠人力的方式，主观、抽样判断。而现有的所谓“客服质检”系统也只不过是关键词提取、匹配，根本不是质检。但是情绪解析的出现彻底改变了这一状况，其实也不难理解，因为判断客服工作最直接的指标不就是顾客的“满意程度”嘛，而通过情绪解析获取的顾客通话或文本输入中的“情感状态及变化趋势”不就满足了这一条件。唯一的一个问题就是这需要很强的情绪解析实践能力，对准确率和技术基础有着很高的要求，故目前为止也只有很少几家诸如语忆科技等提供商才有这样的技术。但事实上，客服质检一定会是最需要情绪解析的细分行业之一。
2、各种评论分析。这点也不难理解，在当今电商消费已经变成主流的网络时代，电商上会产生海量的评论数据。在以前，由于评论量不多，且是非结构化数据，文本处理能力又有限，导致品牌方们很难从中获取有用的信息，从而有巨量的评论数据被浪费。但是如今已经不一样了，像以上所提到的一些优秀的引擎提供商，不仅可以从评论中提取关键词、还能通过情绪解析明白用户的满意程度。一些上文提到的供应商有的还能做到对特定关键词的观点提取。这些都能帮助甲方从评论中挖掘非常有价值的消费者洞察。不难想象，一旦技术成熟，像评论一样的非结构化数据作为用户想法的直接传递，其价值将会远超那些“浏览量”“互动率”等结构化数据……
……
除此之外，还有如书籍分析归类、教育辅导优化、歌词台词总结等等很多应用场景，只不过有些商业价值不明显的领域仍然需要大胆的创新者去研究和开拓。不过无论如何，在这个人工智能兴起的时代，情绪解析仍处于朝阳时代，还具备着极大的潜力等待被挖掘~

E. AI技术之自然语言处理（NLP）如何应用

按照技术实现难度的不同，这类系统可以分成简单匹配式、模糊匹配式和段落理解式三种类型。简单匹配式辅导答疑系统主要通过简单的关键字匹配技术来实现对学生提出问题与答案库中相关应答条目的匹配，从而做到自动回答问题或进行相关辅导。模糊匹配式辅导答疑系统则在此基础上増加了同义词和反义词的匹配。这样，即使学生所提问题中按原来的关键字在答案库中找不到直接匹配的答案，但是假若与该关键字同义或反义的词能够匹配则仍可在答案库中找到相关的应答条目。段落理解式辅导答疑系统是最理想的、也是真正智能化的辅导答疑系统（简单匹配式和模糊匹配式，严格说只能称之为“自动辅导答疑系统”而非“智能辅导答疑系统”）。但是由于这种系统涉及自然语言的段落理解，对于汉语来说，这种理解涉及自动分词、词性分析、句法分析和语义分析等NLP领域的多种复杂技术，所以实现难度很大。迄今为止，在国内的网络教学中还没有一个实用化的、能真正实现汉语段落理解的智能辅导答疑系统。但是在我国有些大学的人工智能实验室或中文信息处理实验室中，已有少数研究人员正在研发这类系统的实验原型。相信在不久的将来，就会有这一类的实用性智能系统问世。这是优质网络课程的重要研究方向之一。

F. 自然语言处理有哪些商用进展

现如今自然语言处理的常用方法是：分词标注，文本分类，关键词分析，敏感用语识别，词频统计，观点归纳，情绪解析…也许很多号称自己是人工智能企业都会和你标榜他们有如上功能，然而其中真正有价值的却为数不多。举例来说，“观点归纳”和“文本分类”很多时候是依附在“关键词分析”之上；“敏感用语识别”更多是和行业相关，技术难度不大；“情绪解析”大多数AI只能做到正负极判断，无法识别具体情绪…换句话说，自然语言处理的难点或正真拉开差距的是如何做到关键词提取、结构分析、情绪识别等...而题主所问的自然语言处理的商业用途其实更适合落实到具体一个或几个文本处理功能可以带来怎么样的商业价值更合适。当然具体算法、怎样的神经网络、机器学习等这里就不具体展开了。由于笔者是专注于文本分析中的“情绪解析”一块，且恰所研发的AI可能是全国最好中文文本情绪解析引擎，故这里提一下我的思路。大数据营销解决方案一提到大数据（人工智能依赖大数据），有那么几个行业是怎么也避开不掉的：征信、医药、遥感、天文、交通以及营销等。其中自然语言处理可能会带来巨大变革的便是营销。之所以这样说，首先我们要明白营销的首要也是最重要的要素就是理解消费者。在如今互联网时代下，相较于以前传统的调研方式，营销人也的确拥有了更多的手段去洞察他们潜在的消费者肖像。然而，这样的方式始终只是机械化地从消费者行为记录中去提取，猜测他们的“相貌”，这样做不仅缺乏准确性，也同样因为无法直接和他们“交流”知晓他们真正的诉求。文本以及情感分析此时就很有必要了，现在巨量的消费行为都发生在电商上，这种现象带来的一个好处是品牌方有了一个渠道去整合、收集并分析消费者对产品的评价。基于自然语言处理技术，这些评价很有可能被提炼出非常有价值的商业洞察。而情绪解析，又可以为这些评价提供一个天然的真实的“标签”，我们可以知道哪些评论是“愤怒”的，哪些是“兴奋”的，又有哪些评论是“焦虑”的或“惊喜”的，来对评价进行更准确地分类及加权……除了电商评论，品牌方任何公关及广告都能帮助获取有用的文本数据，加上相应自然语言处理系统，这些文本数据能帮助品牌方去更直接更准确地理解消费者诉求。客服质检变革客服质检是个相对较小的行业，但是它却因为自然语言处理的成熟化而产生了质的变革，可以说他是被自然语言处理技术改变最多的行业之一也不为过。其实大家仔细想一想也就不难理解了，往常来说对客服人员的绩效考核都是难上加难。即便你有全程录音，但是由于数量关系更本无法做到去回顾每个客服人员的每一次通话，甚至是抽样都会消耗巨量的时间和人力。同时，客服质检拥有着很严重的滞后性，当客户对客服人员产生不满时，或客服的表现不够专业时，往往缺少有效的手段及时发现，从而导致事态的严重化…… 之前市场上最多的客服质检手段便是让用户在通话完毕后进行打分，然而想想我们自己是如何对待这件事的吧，且不说反馈率极低，这种打分极致严重缺少标准化，感性意识极强，对客户绩效考核、质检影响有限。而自然语言处理加上情绪识别已能很好的解决这个问题，通过关键词提取和敏感词预警能很好的规范客服人员的专业性，实时的双向情绪监控则能把控住通话局面，情绪解析系统特有的情绪波动指数能帮助制定规范公平的绩效考核制度……

G. python 自然语言分析

你这是要做一个 能预测分类的 模型
分词只是第一步，为了把文本结构化，也就是转换成向量。
然后你需要先为每个向量做一个分类标注，这个标注相当于正确答案，用来让模型学习规律的，也就是一句话对应什么情感类型
回到正题，使用Python怎么做？训练用sklearn包，可以用朴素贝叶斯，或者支持向量机模型做分类。
sklearn里面都有的，代码怎么写，说不清，你得网络

H. 怎样用python处理文本情感分析

Python 有良好的程序包可以进行情感分类，那就是Python 自然语言处理包，Natural Language Toolkit ，简称NLTK 。NLTK 当然不只是处理情感分析，NLTK 有着整套自然语言处理的工具，从分词到实体识别，从情感分类到句法分析，完整而丰富，功能强大。

I. NLP（自然语言处理）技术的NLP 相关API调用举例

调用示例
这里将以一个简单的情感分析任务为例,调用腾讯文智SDK来处理NLP问题的方法。
首先请在相关云的官网下的sdk下载中心，下载或更新最新版本的sdk，本次以php-sdk为例，修改demo.php文件，修改点如下:a)SecretId，SecretKey改为自己相应的值，这里查看：b）$package=array('offset'=>0, 'limit'=>3); 改为：$package = array(content=>李亚鹏挺王菲：加油！孩儿他娘。);说明：这是情感分析接口的参数。
c）$a=$cvm->DescribeInstances($package); 改为：$a = $wen->TextSentiment($package);说明：这是模块的相关接口，具体请查看接口列表：d）其他所有地方的$cvm改为$wen，即替换为文智模块。
修改后的demo.php如下：
<?php
error_reporting(E_ALL ^ E_NOTICE);
require_once './src/QcloudApi/QcloudApi.php';
$config = array('SecretId' => '在你下载或更新SDK的那个官网上的SecretId',
'SecretKey' => '在你下载或更新SDK的那个官网上的SecretId',
'RequestMethod' => 'POST',
'DefaultRegion' => 'gz');
$wen = QcloudApi::load(QcloudApi::MODULE_WENZHI, $config);
$package = array(content=>李亚鹏挺王菲：加油！孩儿他娘。);
$a = $wen->TextSentiment($package);
if ($a === false) {
$error = $wen->getError();
echo Error code: . $error->getCode() . . ;
echo message: . $error->getMessage() . . ;
echo ext: . var_export($error->getExt(), true) . . ;
} else {
var_mp($a);
}
echo Request: . $wen->getLastRequest();
echo Response: . $wen->getLastResponse();
echo ;

J. 情感分析技术有哪些应用

情感分析(又称为观点挖掘或感情AI)是指使用自然语言处理、文本分析、计算语言学和生物特征识别来系统地识别、提取、量化和研究情感状态和主观信息。情感分析广泛应用于分析客户的心声，如评论和调查回复，在线和社交媒体，以及从市场营销到客户服务再到临床医学的保健材料。

情感分析的一个基本任务是在文档、句子或特征/方面级别对给定文本的极性进行分类，判断在文档、句子或实体特征/方面中表达的意见是积极的、消极的还是中性的。高级的“超越极性”情感分类着眼于诸如“愤怒”、“悲伤”和“快乐”等情绪状态。

进行情感分析的先驱包括“一般询问者”（General Inquirer），它提供了量化文本模式的线索，另外，还提供了基于对人的言语行为进行分析来检查一个人的心理状态的心理学研究。