nlp预训练模型微调方法

3. 什么是NLP

NLP超级领导力
NLP
(Neuro-Linguistic
Programming)
身心语言程式学是一门综合身、心、语言相互关系的实用心理学，透过观察行为模式和语言表达，了解人的思想，也是研究人类超然成就的学科。
‘Neuro’神经是指我们大脑神经的能力，包括视觉、听觉、嗅觉、味觉、触觉等五官的潜意识感觉及意识层面的分析推理能力；
‘Linguistic’语言是指我们所有语言及非语言的沟通方法；
‘Programming’程序是指我们习惯的思维及行为模式，透过一系列的技巧，像计算机一样可以更新软件，转化行为、语言、思考方法，经过有计划和策略性的锻炼，智能的行为是绝对可以复制的。复制卓越，为自己创造不平凡的成就。
由于NLP不断创造了卓越效果，现已被广泛应用到社会各个阶层，特别是提升商务、领导、销售、管理、人才培训、教育、辅导以及心理治疗效益上。在现今全球经济和社会制度转型的情况下，我们必须学习新的技巧来增强自己在逆境中的竞争力。
简单来说，NLP是一门通过改变自己来达到改变整个世界的实用心理学和方法论，也是研究人类超然成就的学科。
人们都知道成功需要自信、恒心、毅力和良好的人际关系，但如何才能做到这些，NLP课程的独特之处就在于它告诉我们一套具有高度可操作性并行之有效的方法。
为什么要学NLP
？
开发无限的潜能，规划美好未来；
提升演说技巧；
赢得卓越人际关系：通晓人的反应机理，明辨行动背后动机；
获得最有效的沟通方式：摆脱有口难开、欲辩难明的窘境；
洞悉内心运行机制，重新调整行为模式，有效达成最终目标；
高效接受世界信息，熟练处理有用资源，准确把握无限的机会；
真正获得幸福的家庭生活，驾驭最佳的亲子教育方法；
重塑或加强自信、平抚心灵创伤、舒缓沉重压力、
消除不良习惯、美化个人仪态；
消除不良情绪，拥有开怀人生，我们需要来自内心的灿烂笑容。
适合对象；
提升个人素质及追求卓越的人士；
希望增强效率和竞争力的人士；
企业总裁及行政人员；
从事市场推广和销售业人士；
教师和教育工作者；
医疗和卫生界从业人士；
各行各业主管及专业人士。
领导力训练是一个人要走上人上人的必经之路。没有领导力你就永远没有办法掌控你的人生。这是一个现代大学生梦寐以求的课程。是让我们的打开成功人生大门的一把金钥匙。
高级回应术是NLP技巧中最有效最实用的沟通技巧，让你成为众人瞩目的领袖。
通过高级回应术的练习可以让你成为一个游刃有余的演讲大师。
通过训练你可以成为有影响力的人。同时具有很强的亲和力。
学习NLP高级技巧---后设模式、激励策略、思维方法等。
这样的课程沈阳的润才教育有：
咨询电话：024－88828581
润才总部地址：沈阳市和平区十三纬路云集街10甲（十三纬路格林大厦北走100米）

4. 如何利用深度学习技术训练聊天机器人语言模型

数据预处理

模型能聊的内容也取决于选取的语料。如果已经具备了原始聊天数据，可以用SQL通过关键字查询一些对话，也就是从大库里选取出一个小库来训练。从一些论文上，很多算法都是在数据预处理层面的，比如Mechanism-Aware Neural Machine for Dialogue Response Generation就介绍了，从大库中抽取小库，然后再进行融合，训练出有特色的对话来。

对于英语，需要了解NLTK，NLTK提供了加载语料，语料标准化，语料分类，PoS词性标注，语意抽取等功能。

另一个功能强大的工具库是CoreNLP，作为 Stanford开源出来的工具，特色是实体标注，语意抽取，支持多种语言。

下面主要介绍两个内容：

中文分词

现在有很多中文分词的SDK，分词的算法也比较多，也有很多文章对不同SDK的性能做比较。做中文分词的示例代码如下。

# coding:utf8
'''
Segmenter with Chinese
'''

import jieba
import langid


def segment_chinese_sentence(sentence):
'''
Return segmented sentence.
'''
seg_list = jieba.cut(sentence, cut_all=False)
seg_sentence = u" ".join(seg_list)
return seg_sentence.strip().encode('utf8')


def process_sentence(sentence):
'''
Only process Chinese Sentence.
'''
if langid.classify(sentence)[0] == 'zh':
return segment_chinese_sentence(sentence)
return sentence

if __name__ == "__main__":
print(process_sentence('飞雪连天射白鹿'))
print(process_sentence('I have a pen.'))

以上使用了langid先判断语句是否是中文，然后使用jieba进行分词。

在功能上，jieba分词支持全切分模式，精确模式和搜索引擎模式。

全切分：输出所有分词。

精确：概率上的最佳分词。

所有引擎模式：对精确切分后的长句再进行分词。

jieba分词的实现

主要是分成下面三步：

1、加载字典，在内存中建立字典空间。

字典的构造是每行一个词，空格，词频，空格，词性。

上诉书 3 n
上诉人 3 n
上诉期 3 b
上诉状 4 n
上课 650 v

建立字典空间的是使用python的dict，采用前缀数组的方式。

使用前缀数组的原因是树结构只有一层 -word:freq，效率高，节省空间。比如单词"dog", 字典中将这样存储：

{
"d": 0,
"do": 0,
"dog": 1 # value为词频
}

字典空间的主要用途是对输入句子建立有向无环图，然后根据算法进行切分。算法的取舍主要是根据模式- 全切，精确还是搜索。

2、对输入的语句分词，首先是建立一个有向无环图。
有向无环图,Directed acyclic graph(音 /ˈdæɡ/)。

【图 3-2】 DAG

DAG对于后面计算最大概率路径和使用HNN模型识别新词有直接关系。

3、按照模式，对有向无环图进行遍历，比如，在精确模式下，便利就是求最大权重和的路径，权重来自于在字典中定义的词频。对于没有出现在词典中的词，连续的单个字符也许会构成新词。然后用HMM模型和Viterbi算法识别新词。

精确模型切词：使用动态规划对最大概率路径进行求解。

最大概率路径：求route = (w1, w2, w3 ,.., wn)，使得Σweight(wi)最大。Wi为该词的词频。

更多的细节还需要读一下jieba的源码。

自定义字典

jieba分词默认的字典是:1998人民日报的切分语料还有一个msr的切分语料和一些txt小说。开发者可以自行添加字典，只要符合字典构建的格式就行。

jieba分词同时提供接口添加词汇。

Word embedding

使用机器学习训练的语言模型，网络算法是使用数字进行计算，在输入进行编码，在输出进行解码。word embedding就是编解码的手段。

【图 3-3】 word embedding, Ref. #7

word embedding是文本的数值化表示方法。表示法包括one-hot，bag of words，N-gram，分布式表示，共现矩阵等。

Word2vec

近年来，word2vec被广泛采用。Word2vec输入文章或者其他语料，输出语料中词汇建设的词向量空间。详细可参考word2vec数学原理解析。

使用word2vec

安装完成后，得到word2vec命令行工具。

word2vec -train "data/review.txt"
-output "data/review.model"
-cbow 1
-size 100
-window 8
-negative 25
-hs 0
-sample 1e-4
-threads 20
-binary 1
-iter 15

-train "data/review.txt" 表示在指定的语料库上训练模型

-cbow 1 表示用cbow模型，设成0表示用skip-gram模型

-size 100 词向量的维度为100

-window 8 训练窗口的大小为8 即考虑一个单词的前八个和后八个单词

-negative 25 -hs 0 是使用negative sample还是HS算法

-sample 1e-4 采用阈值

-threads 20 线程数

-binary 1 输出model保存成2进制

-iter 15 迭代次数

在训练完成后，就得到一个model，用该model可以查询每个词的词向量，在词和词之间求距离，将不同词放在数学公式中计算输出相关性的词。比如：

vector("法国") - vector("巴黎) + vector("英国") = vector("伦敦")"

对于训练不同的语料库，可以单独的训练词向量模型，可以利用已经训练好的模型。

其它训练词向量空间工具推荐：Glove。

Seq2Seq

2014年，Sequence to Sequence Learning with Neural Networks提出了使用深度学习技术，基于RNN和LSTM网络训练翻译系统，取得了突破，这一方法便应用在更广泛的领域，比如问答系统，图像字幕，语音识别，撰写诗词等。Seq2Seq完成了【encoder + decoder -> target】的映射，在上面的论文中，清晰的介绍了实现方式。

【图 3-4】 Seq2Seq, Ref. #1

也有很多文章解读它的原理。在使用Seq2Seq的过程中，虽然也研究了它的结构，但我还不认为能理解和解释它。下面谈两点感受：

a. RNN保存了语言顺序的特点，这和CNN在处理带有形状的模型时如出一辙，就是数学模型的设计符合物理模型。

【图 3-5】 RNN, Ref. #6

b. LSTM Cell的复杂度对应了自然语言处理的复杂度。

【图 3-6】 LSTM, Ref. #6

理由是，有人将LSTM Cell尝试了多种其它方案传递状态，结果也很好。

【图 3-7】 GRU, Ref. #6

LSTM的一个替代方案：GRU。只要RNN的Cell足够复杂，它就能工作的很好。

使用DeepQA2训练语言模型

准备工作，下载项目：

git clone https://github.com/Samurais/DeepQA2.git
cd DeepQA2
open README.md # 根据README.md安装依赖包

DeepQA2将工作分成三个过程：

数据预处理：从语料库到数据字典。

训练模型：从数据字典到语言模型。

提供服务：从语言模型到RESt API。

预处理

DeepQA2使用Cornell Movie Dialogs Corpus作为demo语料库。

原始数据就是movie_lines.txt和movie_conversations.txt。这两个文件的组织形式参考README.txt

deepqa2/dataset/preprocesser.py是将这两个文件处理成数据字典的模块。

train_max_length_enco就是问题的长度，train_max_length_deco就是答案的长度。在语料库中，大于该长度的部分会被截断。

程序运行后，会生成dataset-cornell-20.pkl文件，它加载到python中是一个字典：

word2id存储了{word: id}，其中word是一个单词，id是int数字，代表这个单词的id。

id2word存储了{id: word}。

trainingSamples存储了问答的对话对。

比如 [[[1,2,3],[4,5,6]], [[7,8,9], [10, 11, 12]]]

1，2，3 ... 12 都是word id。

[1,2,3] 和 [4,5,6] 构成一个问答。 [7,8,9] 和 [10, 11, 12] 构成一个问答。

开始训练

cp config.sample.ini config.ini # modify keys
python deepqa2/train.py

config.ini是配置文件, 根据config.sample.ini进行修改。训练的时间由epoch，learning rate, maxlength和对话对的数量而定。

deepqa2/train.py大约100行，完成数据字典加载、初始化tensorflow的session，saver，writer、初始化神经元模型、根据epoch进行迭代，保存模型到磁盘。

session是网络图，由placeholder, variable, cell, layer, output 组成。

saver是保存model的，也可以用来恢复model。model就是实例化variable的session。

writer是查看loss fn或者其他开发者感兴趣的数据的收集器。writer的结果会被saver保存，然后使用tensorboard查看。

Model

Model的构建要考虑输入，状态，softmax，输出。

定义损耗函数，使用AdamOptimizer进行迭代。

最后，参考一下训练的loop部分。

每次训练，model会被存储在save路径下，文件夹的命名根据机器的hostname，时间戳生成。

提供服务

在TensorFlow中，提供了标准的serving模块 - tensorflow serving。但研究了很久，还专门看了一遍 《C++ Essentials》，还没有将它搞定，社区也普遍抱怨tensorflow serving不好学，不好用。训练结束后，使用下面的脚本启动服务，DeepQA2的serve部分还是调用TensorFlow的python api。

cd DeepQA2/save/deeplearning.cobra.vulcan.20170127.175256/deepqa2/serve
cp db.sample.sqlite3 db.sqlite3
python manage.py runserver 0.0.0.0:8000

测试

POST /api/v1/question HTTP/1.1
Host: 127.0.0.1:8000
Content-Type: application/json
Authorization: Basic YWRtaW46cGFzc3dvcmQxMjM=
Cache-Control: no-cache

{"message": "good to know"}

response
{
"rc": 0,
"msg": "hello"
}

serve的核心代码在serve/api/chatbotmanager.py中。

使用脚本

scripts/start_training.sh启动训练

scripts/start_tensorboard.sh启动Tensorboard

scripts/start_serving.sh启动服务

对模型的评价

目前代码具有很高的维护性，这也是从DeepQA项目进行重构的原因，更清晰的数据预处理、训练和服务。有新的变更可以添加到deepqa2/models中，然后在train.py和chatbotmanager.py变更一下。

有待改进的地方

a. 新建models/rnn2.py, 使用dropout。目前DeepQA中已经使用了Drop.

b. tensorflow rc0.12.x中已经提供了seq2seq network，可以更新成tf版本.

c. 融合训练，目前model只有一个库，应该是设计一个新的模型，支持一个大库和小库，不同权重进行，就如Mechanism-Aware Neural Machinefor Dialogue Response Generation的介绍。

d. 代码支持多机多GPU运行。

e. 目前训练的结果都是QA对，对于一个问题，可以有多个答案。

f. 目前没有一个方法进行accuracy测试，一个思路是在训练中就提供干扰项，因为当前只有正确的答案，如果提供错误的答案（而且越多越好），就可以使用recall_at_k方法进行测试。

机器人家上了解到的，希望对你有用

5. 什么是NLP

“安东尼在NLP的基础上，创立了NAC。NAC全称为“Neuro Associative Conditioning”，中文翻译为“神经链调整术”。是一个关于如何改变习惯的技巧。安东尼从NLP中博大的体系中抽取一小部分，加以简化，改造成一般人可使用的技巧。他的书中，并不只是在讲NAC，更多的是在说NLP，不过为了方便起见，他一律称之为NAC。他的NAC，的确是一个强有力的技巧。对于想学NAC的朋友来说，安东尼的书及音视频是最好的选择。至于陈安之，他讲的东西，是从安东尼抽出的一小部分NLP，又取出一小部分来讲。结合营销方面的内容来讲。主要是讲心态方面。对于具体的NLP操作方法，已经极少涉及了。故而，我个人不推荐学习NAC或NLP从陈那边学起。”－－牛头定义：NLP是神经语言程序学的英文缩写，也意译为：身心语言程序学。它是一门研究卓越思想与技能的实用学科。它主要分为身心、语言、程序三个主要部分。身心部分主要讲人们内心的改变，语言部分讲外在的沟通，而程序部分则主要是指怎么复制卓越的思想与技能。jN＝身心2 s: q: s4 G, X( h0 t# uN（Neuro）指神经系统，意译为身心。指我们的身心素质跟状态。ＮＬＰ这部分主要是讲自身的各种素质的改善的。身心包括二方面：1、身：身体素质与状态。２、心：心理素质、结构与状态。如性格、心态、习惯、能力、观念等。你说你自信，这是一个心的素质，属N；你说你有点困，这是一个身体状态，属N。" p. [& K1 E) l3 [5 w+ n/ `& b- `1 O* r9 U记忆小诀窍：字母N是由两个竖“│”与一个斜线“＼”组成的。二个“│”分别代表身体与心灵，斜线“＼”联结二个“│”，代表“身体与心灵是相互联系与影响的”的含意——这是NLP的一个重要的、基本的观念。* X4 H; L9 C! ?6 J% f7 P9 y J2 Z; b+ WL＝语言' c8 k/ H: q2 l" u4 c& qL（Linguistic）是指语言，也指沟通。这指的语言或沟通，都是广义的，这里的“语言”是指你与自己及外界沟通的各种方式。ＮＬＰ这部分就是讲各种各样的沟通了，比如一般的人际关系，乃到婚恋亲子、职场沟通、销售说服、领导技能等等。语言包括二个方面：. M$ Z' {/ |% X9 I0 Q1、外在的沟通方式。如说、听、表情、动作、声调、观察、尝、闻等等。2、内心的沟通方式。如内心对话、想象、感受等。7 I/ b* h1 I; D" L- G, R5 p( ]0 d ^5 u9 b- r3 ]+ Z( x你说儿子说：“这是面包！”——这是语言。口语语言。你对属下做了一个胜利的手势。——这是语言。肢体语言。你在心里想象明天就可以去郊外玩了。——这是语言。视觉语言。你扁了一个可恶的人。——这是语言。肢体语言：拳头在说话。记忆小诀窍：看右图，L就像一个嘴是吧，所以，就代表语言啦。5 i5 Q) D% v+ Z4 o9 A* h0 \P＝编程（也译叫程序）, p1 @, a# K( {P（Programming）是编程。它的意思是具体的，步骤清晰的方法。这是ＮＬＰ的一个特色，一些个人成长的学问虽然提供许多有益的观念，可是缺乏可操作的具体方法，ＮＬＰ则主张技能是可以复制的，所以它研究成功者的卓越思想与技能，并总结成具体的、步骤分明的方法，可供人学习。这个过程就叫“复制”，而复制得来的具体的、步骤分明的方法，就叫“程序”。你打开门，走过去，拿起一瓶雪碧一饮而尽，说一声：好喝。——这就是一个程序。也可以说是一个过程。你早上下床，刷牙，洗脸，上班。——这是一个程序。上街，邻居对你微笑，你也对他微笑。——这是一个程序。K2 K. a每个人都有惯用的、比较固定的程序，那就是习惯了。拥有不同的习惯，就使我们拥有不同的人生。8 ~0 e6 e( f# {1 @记忆小诀窍：字母P，就是一条不同的道理，就像是一个人要从A点走到B点，一个人是走了弯路，没到达终点，一个人走对了路，从A走到B了。程序就是指正确的道路，步骤，方法。6 @" s/ y3 o; |) m1 E1 D& z8 ~NLP＝身心语言程序学5 Y( M6 l" M$ l+ QNLP就是研究卓越思想与技能的实用学科。它主要包括身心、语言、程序三部分的内容。这并不是说其它方面的内容就没有了，只不过是说这三方面的内容是ＮＬＰ最初发展出来时，最基本的组成部分。说明：最早有人曾经给ＮＬＰ下了一个定义，说NLP就是我们用语言来改变身心状态的具体方法。这对于NLP最早的内容来说，是比较适当的。可是随着NLP的发展，它并不只是包括身心、语言、程序这三部分的内容，这个定义就显得有点窄了，所以牛头把定义改为：NLP就是研究卓越思想与技能的实用学科。NLP是“神经语言程式学“的英文缩写，即“NEURO LINGUISTIC PROGRAMMING”。 Neuro意为神经，指我们的神经系统。人类的所有行为都是神经的反应过程。因为人类是以五种感官-----视、听、触、味、嗅与世界建立联系，进行信息沟通，五种感官便是我们心智的途径。在NLP中，我们将要讨论的就是我们如何去组织我们的心智，取得对世界或人类彼此之间的认识。 Linguistic意指语言，在这里是指广义上的语言，它不仅指口语，还包括肢体语言、习惯等等。语言反映了我们的心智世界，是心智的外化表现形式。NLP中，我们将探讨我们如何使用它，它又如何影响我们的生活。Programming意为程序、程式，是借用了电脑的词汇，它是指为达到某种结果的系统内部运作过程。我们的大脑正如一部计算机，计算机能否执行某一功能，关键在于你装入什么样的软件，执行什么样的程序。例如，，你只有装入五笔字型软件，你才能录入汉字；只有装入《命令与征服》，才能在电脑里开始你的战争游戏。我们的感觉、思想、行动都是单纯的“习惯程序”，因此，只要你通过一定的方法，让心智的软件升级，便可达到生命质量的跃迁。因为我们是以思想、语言及行动与他人和客观世界相联结，所以神经语言程式学是有关这种联结过程的科学。班德勒本人将NLP描述成一种教育过程。他说：“我们所做的就是发展出一些方法，来教导人们如何使用他们自己的头脑。” 增进世界观的学问 NLP是目前被广泛使用的沟通模式。它针对人们的思考过程加以研究，已发现影响人们语言及非语言行为的模式。并由这些模式，NLP的目的在于帮助人们、团体与组织，协助他们将既有的意识构想用于组织其经验，尤其是与决策、创意、学习几激发有关的部分。NLP发展的一套可以用于个人，也可以用于专业的技巧，在国际上被用于商业、销售、体育、法律、教育等领域，让我们不只能伸展出去并影响他人，更可以深入自己的内心，协调内心中相互冲突的自我，提升心灵的品质。所以说，NLP是一种有关增进你的世界观的学问。 NLP的原理 NLP是研究主观经验的学科，因此，它提出了许多假设作为前提。假设就不必然是真实的，NLP也不宣称他们是真实的。这一点与我们的常规思维有了较大的出入。NLP所要问的问题不是“他们是不是真的？”而是“他们会不会产生结果？”也就是说，你假设它们是真的，并按这假设去行动，而注意所得的结果是什么。 据此，NLP提出一项重要的假设前提：地图非疆域。人们经由感官或表象系统（在心智上传达信息到感官系统的方式，包括视、听、触、味、嗅五种方式）接受讯息，并因此而产生不同的体验，这种内心产生的体验，我们称之为“地图”。由于每个人发展表象系统所在的环境、背景的不同，许多人常会发展出或偏重于某一系统的信息处理能力。例如，倾向于使用视觉的人，通过自己所看到的来理解周围的世界，同时对所有外在与内在的刺激，皆通过视觉形象加以分类、记忆、思考。每个人都使用其视觉、听觉、触觉及嗅觉以建立其世界的模式。由于个人感官或表象系统接收信息方式不同，每个人因而发展出的个人的思维模式（即“地图”），也使人们对世界（即“疆域”）有着不同的体验。这就是“地图非疆域”这一假设的涵义。人们以多种微妙方式呈现他们的思考方式。任何人都有可能自另一个人身上辨认出思考的讯号，同时侦测出特别的形态。例如，眼睛可以表现出人们的思考方式，是否正将事物图象化或倾听、感受。NLP极力找出人们体验外在环境的多种方法，对一个人的感官、表象系统及思维模式加以破译。 对他人思维方式的解读，有两种重要的用途。其一，一旦发现对方的思考过程，就可以改变自己的沟通技巧以配合对方，如此便可以建立和谐的关系。这一点，可以应用在人际沟通、谈判、销售等许多方面。第二项用途就是复制卓越，复制卓越是一种模仿的过程，想要模仿一项技巧，就要找出深谙此技巧的人，他是如何思想以及让他能做好此技巧背后的信念、价值观等。一旦找出对方的策略，我们也依此仿效，就会获得相应的技巧。 NLP认为，只要人能学来的东西都可以模仿，并取得相应的效果。这一点在自我能力的提升、快速学习、快速阅读等方面都有实际的效用。 无限成长的远景 NLP几乎涵盖了所有心智活动的范畴，包括你的心态、思维以及感觉。由于平时我们未曾意识到思维模式的运作过程，就好象“自己被绑在汽车的后座，而由别人开着车上路一样。”（班德勒语）NLP就是学会改变自己的方法，“对自己头脑中所发生的事故做一些控制”，达到以弹性反应面对问题的境界。也就是说，先求个人的协调，再到专业的卓越，进而与周遭互动，终至精神的圆满与升华。由于NLP的实用性以及它带给我们的无限成长的可能性，使NLP一经问世便被各行业所采用，特别是医疗界、工商界及教育培训界等精英的投入，在短短的二十几年时间，使NLP在世界范围内得到推广。现在世界上，各主要国家都有NLP协会。有的国家如美国、加拿大、英国、德国等有数个协会同时并存，互不隶属，但他们经常交流发表各自工作中新的进展。最为有趣的是曾有一国际NLP协会，在创立初期相当活跃，也制定了一些专业NLP执行人员授证资格规范，为许多协会所遵照。但或许因NLP学派本身非常尊重个人的独特性，所以这有“大统一”味道的协会渐渐销声匿迹，而各自独立的协会或训练中心以其自身的声誉与特色而继续活跃。这也是NLP发展的独特性. 我相信学习好NLP将为我的自我掌控大师之路铺平道路。NLP是神经语言程序学的英文缩写。N＝身心N（Neuro）指神经系统，意译为身心。指我们的身心素质、结构与状态。身心包括二方面：１、身：身体素质与状态。２、心：心理素质、结构与状态。如性格、心态、习惯、能力、观念等。你说你自信，这是一个心的素质，属N；你说你有点困，这是一个身体状态，属N。记忆小诀窍：字母N是由两个竖“│”与一个斜线“＼”组成的。二个“│”分别代表身体与心灵，斜线“＼”联结二个“│”，代表“身体与心灵是相互联系与影响的”的含意——这是NLP的一个重要的、基本的观念。L＝语言L（Linguistic）是指语言，也指沟通。这指的语言或沟通，都是广义的，这里的“语言”是指你与自己及外界沟通的各种方式。语言包括二个方面：1、外在的沟通方式。如说、听、表情、动作、声调、观察、尝、闻等等。2、内心的沟通方式。如内心对话、想象、感受等。你说儿子说：“这是面包！”——这是语言。口语语言。你对属下做了一个胜利的手势。——这是语言。肢体语言。你在心里想象明天就可以去郊外玩了。——这是语言。视觉语言。你扁了一个可恶的人。——这是语言。肢体语言：拳头在说话。记忆小诀窍：L就像一个嘴是吧，所以，就代表语言啦。P＝程序P（Programming）是程序。它的意思是具体的，步骤清晰的方法。在前面，我们谈到身心与语言。我们就是通过语言来影响自己与他人的身心。同样，他人也通过语言来影响我们。这个影响的过程，NLP称之为程序。你打开门，走过去，拿起一瓶雪碧一饮而尽，说一声：好喝。——这就是一个程序。也可以说是一个过程。你早上下床，刷牙，洗脸，上班。——这是一个程序。上街，邻居对你微笑，你也对他微笑。——这是一个程序。每个人都有惯用的、比较固定的程序，那就是习惯了。拥有不同的习惯，就使我们拥有不同的人生。记忆小诀窍：字母P，就是一条不同的道理，就像是一个人要从A点走到B点，一个人是走了弯路，没到达终点，一个人走对了路，从A走到B了。程序就是指正确的道路，步骤，方法。放在一起，这三个词的意思是指人们为使他们的思维、讲话和活动达到具体的后果所采取的具体行为。简单地说，NLP是研究如何以有效地方式使你达到良好的身心状态，及如何有效的影响他人。NLP的研究对象NLP相信成功是可以复制的，它的研究对象就是成功者成功的“程序”。NLP的目的NLP的目的在于复制成功。即将成功者获致成果的程序总结出来，精炼成一套明白可行的技术，让一般人可依之而行与获致同样卓越的成就。牛头给学习NLP的朋友的第一封信亲爱的牛友们：你好。下面我们谈谈NLP命运连锁方程式，以及它带来的改变。不断地学习NLP的过程中，你会发现，我们只要改变自己的动作、想象、内心对话、想法等等语言方式——事实上也就是我们的感官（视觉、听觉、触觉、味觉、嗅觉）的运作，我们就可以改变自己的感受、观念、行为、习惯、性格乃于命运。我们把这一个连锁反应称之为—— NLP命运连锁方程式语言→感受→观念→行为→习惯→性格→命运改变你的语言，你就可以改变你的感受。改变你的感受，你就可以改变你的信念。改变你的信念，你就可以改变你的行为。改变你的行为，你就可以改变你的习惯。改变你的习惯，你就可以改变你的性格。改变你的性格，你就可以创造你的命运 NLP命运连锁方程式，就是语言改变身心状态的一个过程。其中，信念、感受、行为、习惯、性格都是不同表现形式的身心状态。感受与观念，一般被统称为心态。它们存在于心灵内部，而当它们表现出来时，就成为行为。不断重复的行为，可以形成习惯。而许许多多的习惯，则组成一个人的性格。 可以呈现NLP强大威力的一点，有时NLP通过语言的运用，就可以直接修改一个人的习惯、性格，并造成持久的改变。这一点在外行人看来、听来是一种奇迹、谎言、或急功近利的期望。而事实上，这刚好就是NLP的魅力所在。它可以造就快速而且持久的改变。 需要被强调的是，当你学会了NLP，利用NLP来改变自己或他人是很快的。但是，并不是说学习NLP的过程就是很快的，我们需要通过扎实地学习NLP的精神与基本功。许多时候，NLP强大的技巧被错误的运用于商业炒作。大量的NLP学习者，在没有学习NLP的精神与基本功之前，就被教导以各种各样的技巧，这样的结果就是让学习者对于NLP只得其形，不得其神。他们虽然也可以促成自己或他人的改变，可是那是短暂或低效的。 所以，不断领悟NLP的精神、大量练习NLP的基本功，并且将NLP的技术灵活地运用于生活的每一个方面。是牛头能给予每一个学习NLP的朋友最真诚、最强烈的忠告。 在接下来的课程中，牛头会一步一步地给大家介绍NLP的精神、技术，当你把一个技术练习到得手应手时，你就可以进入下一个技术的练习。并在之后的练习中，把不同的技术结合起来运用。在学习的过程中，你会发现，你看到别人造就的许多辉煌成就或改变，都源于这些基本的精神与技巧的巧妙组合。就像一首伟大的乐曲是源于一些基本音符奇妙的组合是一样的。 在学习之初，不要期待速成——虽然NLP有这样的效果。你只要扎扎实实的练习每一个技巧、领悟每一个精神。改变会自己静悄悄的来临，而且它的美妙与巨大，会让你感到惊喜与慰藉，因为一切点滴的努力，都将在你生命中不断的展示它特独的，傲人的成果。你的朋友：牛头NAC神经链调整术！NAC神经链调整术是我现在经常运用的非常有效的改变行为的工具，如果你有什么想要改变的行为，比如吸烟、上网成瘾、行为粗鲁等，都可以运用NAC神经链调整术来进行调整和改变。NAC神经链调整术基于一个重要的原理：任何不断重复的行为，最终会成为习惯；任何行为，只要不再去做它，终究会消逝不见。NAC神经链调整术有几个步骤：第一、确定你想要改变的事情，比如我自己要改变看小说上瘾的坏习惯。。第二、让想要达到一定要，想一想如果没有改变会有什么后果，如果改变了会有什么好处，尽可能想更多的原因。比如如果没有改变，我就难以采取积极的行动去实现自己的梦想，会因为失去自制而沮丧、悔恨。。而如果改变了，我就能够拥有一个更加自由、充实和快乐的人生。。第三、 中断模式：一有出现旧模式的征兆，就马上运用剧烈的改变自己的动作、语言、改变注意力焦点等方式来中断模式！一旦出现想要看小说的念头，就跳起来挥舞着拳头对自己说：我不要！我承诺过自己的！我要自由！。。总之，任何你能想到的方式，只要能中断旧的行为都可以，不要怕显的很傻，越激烈的方式效果越好！^_^第四、用新模式代替，新模式必须有旧模式给你的，而且还有旧模式没有的。比如我用学习来代替看小说，学习能够给我更大的快乐和充实！第五、强化！要不断的给自己奖励！固定奖励：每天总结，对好的结果加以奖励！太棒了！我是最棒的！不定期的奖励：当发现自己有所懈怠，受到诱惑，但仍然控制住自己时，给自己奖励！超级大奖：取得最后的重大胜利时，给自己超级大奖励！比如放假、买最棒的水果！第六、持续一段时间，比如1个月后，旧的行为模式逐渐被新的行为模式代替。恭喜你，成功离你不远了。。继续加强！！NAC神经链调整术基本原理：想要消除一种旧的、不良的行为模式，要做到几步1、下定决心要改变它！通过给自己不想要、想要使自己达到“一定要”的程度比如：我不要放纵自己，我不要失去自我控制，我不想要事情过后沮丧，不满，失去信心！我想要做自己的主人，我要自我掌控，我要成功，我要更高层次的快乐！2、打破旧模式！一旦旧模式有出现的兆头，就通过各种各样有较大影响力的方法将其打破！比如激烈的改变行气！对自己大喊：XXXX！问自己：我做这种事情会造成什么后果？这是我真正想要的吗？？我难道就只能这样而已吗？？3、用新模式代替！如果仅仅只是打破旧的还不行哦，没有新的代替这个打破就不能坚持下去。这个新模式必须能够代替旧摸索带给我们快乐的感觉，最好是比旧模式更高层次的，更强烈的快乐啦^_^比如用看教学录像带代替看无聊小说。4、不断的强化新模式！潜意识的两个基本原理：任何事情，只要不断的重复，终究会成为一种习惯任何事情，只要不再去加强它，终究会消失不见所以，每一次的打破旧模式、实行新模式，都是对旧模式的一次削弱，都是对新模式的一次加强。只要抓住每一次机会，不断的重复、重复、重复，旧模式必定会被新模式所取代！5、在强化过程中，要运用好自我激励和奖励！每当自己做好了一次，就要立刻给自己奖励！精神上的，物质上的！是不是给自己来个大奖！认定自己的目标，持之以恒的去做，失败是不可能的！成功是一定的！ NLP十四项心理定律 这些心理定律我最初是在博恩崔西的火凤凰超级课程里面听到了，感觉非常棒，前几天在中国NLP论坛看到有人贴出，在这里和大家分享一下。^_^ 一般人看到这些心理定律可能会认为很玄乎，或者觉得：这不就是唯心主义吗？其实只要你好好的去观察，好好的去思考，你自然能够发现其中蕴含的深刻的道理。^_^太阳的东升西落，地球运行的轨道，潮起潮落，月亮的阴阳圆缺，春夏秋冬的更替，一切都是那么的有规律。其实在人类的心灵里也存在着许多规律，然而却很少有人了解它们。 以下是十四项心理定律，你可以应用它们在任何的领域里。无论是销售沟通、还是设立目标、时间管理、领导组织都可以应用这些原理和定律。1. 坚信定律当你对某件事情抱着百分之一万的相信，它最后就会变成事实。2. 期望定律期望定律告诉我们，当我们怀着对某件事情非常强烈期望的时候，我们所期望的事物就会出现。坚信定律和期望定律告诉我们，要对我们的梦想和目标抱着百分百的信心和期望。3. 情绪定律情绪定律告诉我们，人百分之百是情绪化的。即使有人说某人很理性，其实当这个人很有“理性”地思考问题的时候，也是受到他当时情绪状态的影响，“理性地思考”本身也是一种情绪状态。所以人们百分之百是情绪化的动物，而且任何时候的决定都是情绪化的决定。情绪定律告诉我们，掌控情绪就能掌控自己的行为。4. 因果定律任何事情的发生，都有其必然的原因。有因才有果。换句话说，当你看到任何现象的时候，你不用觉得不可理解或者奇怪，因为任何事情的发生都必有其原因。你今天的现状结果是你过去种下的因导致的结果。因果定律告诉我们：成功一定有方法，失败一定有原因。只要我们找出成功和失败的原因，就能让自己避开失败，收获成功。5. 吸引定律当你的思想专注在某一领域的时候，跟这个领域相关的人、事、物就会被你吸引而来。吸引定律与我们大脑的信息过滤系统有关：专注的事物我们看到，不相关的事情被我们直接忽略。6. 重复定律任何的行为和思维，只要你不断的重复就会得到不断的加强。在你的潜意识当中，只要你能够不断地重复一些人、事、物，它们都会在潜意识里变成事实。重复－习惯－性格－命运7. 累积定律很多年轻人都曾梦想做一番大事业，其实天下并没有什么大事可做，有的只是小事。一件一件小事累积起来就形成了大事。任何大成就或者大灾难都是累积的结果。成功就是简单的事情不断重复的做，成功就是每次进步一点点。8. 辐射定律当你做一件事情的时候，影响的并不只是这件事情的本身，它还会辐射到相关的其它领域。任何事情都有辐射作用。9. 相关定律相关定律告诉我们：这个世界上的每一件事情之间都有一定的联系，没有一件事情是完全独立的。要解决某个难题最好从其它相关的某个地方入手，而不只是专注在一个困难点上。10. 专精定律专精定律告诉我们，只有专精在一个领域，这个领域才能有所发展。所以无论你做任何的行业都要把做该行业的最顶尖为目标，只有当你能够专精的时候，你所做的领域才会出类拔萃地成长。11. 替换定律替换定律就是说，当我们有一项不想要的记忆或者是负面的习惯，我们是无法完全去除掉，只能用一种新的记忆或新的习惯去替换他。12. 惯性定律任何事情只要你能够持续不断去加强它，它终究会变成一种习惯。替换定律和惯性定律的应用实例之一就是安东尼罗宾的NAC神经链调整术。13. 显现定律显现定律就是说，当我们持续寻找、追问答案的时候，它们最终都必将显现。14. 需求定律任何人做任何事情都是带有一种需求。尊重并满足对方的需求，别人才会尊重我们的需求。NLP第一个基本精神“尊重”－－摘自中国NLP学院 一、尊重就是尊重对方的意愿，尊重对方的决定。 "意向"、"选择"对一个人而言，不就是自己人生的意义和价值吗？有人说："选择是上天赋予人的最大礼物。"遇到不如意，我们可以选择灰心丧志，也可以选择吸取经验、东山再起，这是我们的自由，没有人逼我们。 应用NLP时，如果未经对方同意，未尊重对方的意愿，只想将自己认为好的东西，强加诸对方身上，这种行为，岂不是就像一位满脸邪恶，口念魔咒，一手挥舞魔杖，一手拿着毒液，想把对方变成自己奴仆的魔法师？是否施行NLP，完全根据对方的意愿和决定，而不是自己想要什么，或是只为了证明自己的能力。唯有"尊重"，NLP才有尊严与价值。 另一个角度来说，人生是数不尽、大大小小的许多"选择"、"决定"所累积而来，别人尊重我们的意愿和决定，那么，真正要对生命负责的就唯有自己了(这就是责任意识)。 伟评：我想大家应该都会认同：“尊重是人与人之间相处的基本原则”。然而，在沟通的过程中真正的做到尊重别人的又有几个？大部分人在沟通过程中都会不知不觉的将自己的观念和想法去强加给对方，而不顾对方的意愿和选择。正是因为这种“不尊重”，造成了沟通中非常大的障碍。 二、意向是开启自己内在宝藏的金钥。 往往听到"因为别人如何如何，才造成自己怎样怎样…"，其实，这是不负责任的说法，就算别人怒骂、言行不当，如果我们内心不接纳，我们怎会受影响？所以说："别人无法改变自己，除非自己愿意、想要，否则别人帮不上忙。"这句话非常值得相信，施行NLP时能做的事唯有：提供更多的信息与可能，供对方参考、选择而已。 伟评：我们很难让对方去做他不愿意做的事情，同样，如果我们自己不愿意改变，就没有人能够改变我们。所以，我现在一般不会主动去“帮助”别人改变，既是在我看来对方确实需要改变，除非他自己表现出了很强的改变的意愿。 三、意愿的强度决定效果。 从另外一个角度来说，前述那句话也透露了"'意愿的强度'和'效果'成正相关"这个重要讯息。施行NLP协助对方之前，我们必须先确认对方的意愿，强化对方的意愿，如果改变的意愿不足，施行NLP是不会有什么效果的。 伟评：成功＝100％的意愿×100％的方法×100％的行动。知道“为何要成功”比知道“如何成功”重要一万倍！为什么同样听安东尼罗宾的30天课程，我可以有这么大的改变，而很多人却机会没有任何改变？因为想要改变的意愿不一样。如果你没有一定要成功的意愿，那么在成功道路上遇到的重重困难就会让你离成功越来越远。 四、没有人能够真正为别人的生命负责。 凭心而论，谁能真正为别人的生命负责？即使父母对子女、老师对学生、上司对部属…，谁能真正做得到？我们无法为别人负责，又岂能要求主导别人的生命？我们深入观察的话，我们将发现：没有人比自己更了解自己、更爱自己！ 伟评：是的，只有我们自己，才能为自己的生命负责！其他的任何人都没办法，也没资格为我们的生命负责。人生只有一次，想要选择什么样的人生，责任百分百在于我们自己！ 五、一个人的真正意愿和选择，必须非常用心去了解。 一个人的真正意愿和选择，经常不能只从语言信息了解，往往隐藏于很不容易发现的角落，非

6. 如何评价何恺明等关于Masked Autoencoder的新作

本文证明了面向计算机视觉的masked autoencoders(MAE)是一种可扩展的自监督学习器。我们的 MAE 方法很简单:我们随机掩盖输入图像的patch，然后重建丢失的像素。

扩展性好的简单算法是深度学习的核心。在NLP中，简单的自监督学习方法使得可以从指数缩放的模型中获益。

在计算机视觉中，尽管在自我监督学习方面取得了进展，但实际的预训练模式仍主要是受到监督的方式。在这项研究中，我们在ImageNet和转移学习中观察到，自动编码器是一种简单的自我监督方法，类似于NLP中的技术，为我们提供了可扩展的优势。视觉中的自我监督学习现在可能正走上与NLP类似的轨道。

另一方面，我们注意到，图像和语言是不同性质的信号，必须仔细处理这种差异。图像仅仅是记录下来的光，是没有语义分解成文字的视觉模拟。我们不尝试删除对象，而是删除最有可能不构成语义段的随机patch。

总结如下：

我们的MAE重建像素，而像素不是语义实体。然而，我们观察到，我们的MAE推断出复杂的、整体的重建，这表明它已经学习了许多视觉概念、如语义。我们假设这种行为是通过MAE内部丰富的隐藏表征发生的。我们希望这一观点将启发今后的工作。

7. 更深更宽的Transformer网络是否意味着能够获得更强的预训练模型

是的，意味着可以获得更大范围更强的训练模型。
当可供训练的token较少时，较大的模型往往不易于发挥它强大的建模表征能力；另外，当模型非常大时，就需要更多的并行操作。由于特征表示能力有限，较小的Transformer往往达不到大模型的performance。

8. 什么是NLPNLP有用吗

nlp的目的
认真看完九点内容，你就会了解
第一、学习NLP的目标是为了我们自己的人生更幸福快乐。
当我们去察觉生活中的选时，我们不会去强调'什么对的'或者'什么错的'，而是去关注什么是有效果的。因为，当我们去强调对和错时，已失去灵活了，幸福的人生离我们也就起来越远了。比如，很多家长用打孩子来教育孩子。我们不去评价这种做法是对的还是错的，我们只需要问家长：这种做法否是有效果呢？
第二、卓越源于拥有更多的选择，智慧来自多角度的视野。
就像有位朋友问到关于小偷和抢劫的这个问题，当你从自已的角度看这件事情的时候，你会感觉到很痛苦；当你站在对方的角度来看的时候，你也许开始同情对方；当你站在人类的这个角度来看的时候，你也许就会有更多的不同的感受。这也说明了NLP在沟通中那么有效的原因：我们透过多角度的视角来观察事情。当我们用多角度的视野来看待事情的时候，我们就拥有了更多的选择。当我们拥有更多的选择的时候，我们的行为结果就会有所不同，从而让我们的生活变得不同。
X
第三，NLP是关乎掌控自我思维的工具和方法。
NLP研究的是人类的沟通模式，人类大脑处理数据的程序和方法。因而当我们学习NLP的时候，我们就越来越能掌控自己的思维。当我们能够掌控自己的思维的时候，我们就开始能够决定我们自己的情绪。当我们能够决定我们的情绪的时候，我们的行为，别人对我们的态度也就会由此改变了。
第四、NLP是一个模仿及复制卓越的方法。
比如，当我们学习NLP后，大家就能很容易地把学习数学拿到一百的程序和方法复制到语文的学习中，从而全面的提升。
第五、NLP是一种加速学习的策略。
其实这一点和上面的道理是相同的，如我发现我的朋友很会讨女孩子欢心。于是我就观察他的策略。当我把他的策略了解后，我就能够快速的学习到他的妙招。在NLP世界中，很多的训练师用这种策略的方法来训练那些从来不会射击的人学习射击，只要一天就能达到神枪手的水平。
第六、NLP帮助我们建立更良好的人际关系和提升说服力。如说感知位置，行为模式等等。
第七、NLP帮助我们提升我们的自我价值。自我价值就是一个人对于自我的内在评价，而这个评价则是与自信，能力等息息相关的。
第八、NLP技术收益
管理工作会变得更轻松、有趣而有效，让你从又忙又累的工作中解脱出来。
发觉很多人愿意向你靠近，影响力大增，不知不觉地让你身边的人进步。
掌握思考的奥秘，知道如何思考和引导别人如何思考。
掌握对话技巧能有效提升你的沟通、谈判、说服能力，使你拥有圆融的人际关系。
掌握行动的奥秘，知道如何去推动自己和他人。
如果你是一个不满18岁孩子的父母，学了这个课程会因此改变你和孩子的一生。
第九、NLP技术
意愿：一种自动接收大自然能量的神奇魔法;只有意愿的事,才会在你的心灵深处有无限的力量支持你直到你成功。
催眠：直接对潜意识说话，让你的每一个细胞都活跃起来，为实现你的目标而努力。
贯通身、心、灵：让你掌握用脑、用心、用身体深层说话的方法。
神圣的力量：提炼神圣的力量，应用于工作、生活中。
快乐元素：如何让你枯燥、乏味的工作变得快乐。（价值的扩大、转移）
美好的一天：如何让你轻松、快乐、精彩每一天。
创造未来：找出推动你前行的自然动力，用时间线将这股动力扭转，朝向你理想的未来，让未来掌握在你手里。
美妙人生：让你一学就用，马上解决人生困惑，让你的一生充实、美妙、幸福。
NLP是对人类主观经验的研究。更直白地说，NLP是一种思想的技巧。
NLP就是我们用语言来改变身心状态的具体方法。'模仿'是它的中心学问。
NLP可以实现你的富翁梦，即使不是物质上的富翁，也会是精神上的富翁。
加qq1147164581，手把手教你，nlp课堂