基于情感词典的情感分析

情感分析主要是判别文本的情感倾向,即属于正面、负面、中性。利用机器提取人们对某人或事物的态度,从而发现潜在的问题用于改进或预测。

目前主要的情感分析方法是基于情感词典的,以及基于监督或半监督学习的。基于情感词典的方法都好说,本篇接下来会详细讲;基于监督或半监督学习的方法主要是基于神经网络、深度学习的一些方法将文档转换成向量后,利用SVM、贝叶斯分类器等分类器再去分类,从而判断文档的情感倾向。

基于情感词典的情感分析主要是利用事先准备好的情感词库,给每个词以相应的情感倾向度的权值,然后从文本中提取出所有的情感词并根据句子特点(反问句,疑问句等)计算最后的情感得分和,根据情感得分判断文本的情感极性。

这种方法的首要任务是如何去构建情感词典,如何判断一个词语是褒义词或贬义词,目前的研究有两种思路:

基于语义计算的情感词构建,核心是如何构建基础情感词,然后由目标词与这些基础情感词做语义相似度计算。

这类基础情感词必须要人工标记,我们一般选下列几种前人整理好的情感词典:

构建好上述的基础情感词典后,我们可以对语料库进行中文分词处理,然后扫描每个单词,与情感词典中的词进行HowNet语义相似度计算,当相似度达到一定阈值时即可判断该词的情感倾向和权值。

其中HowNet语义相似度的计算部分我们在前面的相似度计算一篇中有详细介绍,读者可以参考阅读。

基于统计分析的情感词典构造也是需要事先准备一套情感极性明显的基础情感词典,然后由目标词与该基础情感词典中的单词计算点间互信息,一般我们使用SO-PMI算法,然后由点间互信息值来判断该目标词的情感极性和情感倾向度。

基础情感词典的构造与上小节类似,我们下面直接讲SO-PMI算法。

首先对文本进行分词,然后通过查事先准备好的情感词典表,以提取所有的情感词,并读取情感词对应的情感极性和权值。

这种是比较明显的,但句子存在情感转移或情感极性反转等情况,比如“我不喜欢你”,“喜欢”是褒义词,但前面加个“不”否定一下,则整个句子就成了负面。

否定词是副词的一种,它是表示否定意义的词语,在文本中具有独特的语法意义和影响。根据中文成句习惯,单重否定往往会改变情感极性,而双重否定表示肯定。

常见的否定词有:不、没、无、非、莫、弗、毋、勿、未、否、别、無、休不曾、未必、没有、不要、难以、未曾。

程度副词也是副词的一种,副词一般用于修饰或限制动词与形容词,表示范围、程度等。“程度”是指某个量处于相应层次序列中的某个层级上,是量的层级表现。

比如句子“这个小姐姐非常好看”,其中“好看”是褒义词,“非常”在前面修饰,加强了这种褒义程度。由此可知,程度副词的加入使用户在的情感倾向强弱程度上发生了变化,仍需做相应处理。

又如“太好看”和“特别好看”,“太”和“特别”这两个程度词表现的程度是不一样的,所以有人提出把程度副词划分为四个等级,即极量、高量、中量和低量,分别对应不同的权重。

同否定词的处理方式一样,句子中检测情感词前面是否存在程度副词,如果存在,则将情感词的权值乘以程度副词的权重。

其中需要事先准备好程度副词表,一般从《知网》的“中文程度级别词语”整理。

感叹句是以抒发感情为主的句子,它所抒发的感情有赞美、愉悦、愤慨、叹息、惊讶、哀伤等,句末通常都用感叹号来标识。通常感叹句是依附于它所在情感句的情感极性,可以是对正面情感或者负面情感的程度加深。

我们可以将感叹句中的情感词的权值加倍,或者乘以某一权重来加深这种情感;感叹句通过感叹号(“!”)来识别。

反问句的目的往往是加强语气,把原本的思想表达更加强烈、鲜明。它通常比陈述句表达更为有力,感情色彩也更加明显。

比如“难道我对你不够好么?”,“好”是褒义,“不够好”就变成了贬义,而反问“难道...?”又将句子转换成了褒义,而且语气更强烈。

反问句的存在可以通过反问标志来判断,可从语料中挑选出大量反问句并对反问标记词进行抽取,获得部分反问句标记词。类似感叹号,反问句在句尾有疑问号“”的出现,这给反问句的判断提供了帮助。

常用的反问标记词有:为什么、凭什么、难道、何必、怎能、怎么能、怎么会怎会、哪能、能不、能没、不都、不也、不就、谁叫谁让、就算、这算、还算、就不、还不、莫非等等。

对于网络文本,比如微博或者论坛等,平台都提供了丰富多彩的表情符号供用户选择。由于有些表情符号暗含了感情色彩,人们常用合适的表情来直接表达某种心情。

比如“今天掉了100块钱[\大哭]”,其中整个句子汉字部分都是称述事实,不含情感色彩,但最后的表情符号“[\大哭]”就含有悲伤的情感。

同基准情感词的处理一样,我们事先人工挑选暗含情感色彩的表情符号构成正负面表情符号表,并根据表达的情感程度不同而为不同的表情符号设置不同的权重;对句子进行分析时,之间提取句子中的情感表情符号及其对应的权重即可。

如下是论文《基于情感词典的中文微博情感倾向分析》中给出的表情符号示例:

情感倾向度是为了计算文本表达正面情感的程度或者负面情感的程度,一般我们把每条句子的情感值进行累加,得到整个文本的情感值;而句子的情感值根据上面的分析逻辑来算。

笔者查阅过多种资料,基本上基于情感词典的情感分析方法都如上面所述,大同小异,所以其他的不做过多讲解

这种方法依赖于情感词典的完善程度,需要大量的情感词典做多模式匹配,所以高效的匹配算法对工程实现来说是有价值的,可参考笔者之前写的《双数组字典树》一篇。

THE END
1.自然语言处理相关工具调研hownet知网情感词典HowNet(知网情感词典)是董振东先生、董强先生父子毕三十年之功标注的大型语言知识库,主要面向中文(也包括英文)的词汇与概念。 该词典主要分为中文和英文两部分,共包含如下数据: TSING TSING(中文褒贬义词典)清华大学李军基于其他学者工作的基础上所整理。该词典共包含两个文件,一个为褒义一个为贬义。其中共包含褒义词https://blog.csdn.net/weixin_37647148/article/details/105775640
2.情感语录软件哪个最好情感语录软件免费版推荐情感语录软件有哪些?情感问题是大家无论处在什么年龄段都会遇到的问题,不论是友情、爱情、亲情,总会有各方面的问题困扰着大家,很多朋友在面对这些情感问题时不知道如何去面对解决,有的会选择逃避,今天小编给大家推荐几款好用的情感语录软件,这些软件上有着丰富的情感http://www.downcc.com/k/qgylrj/
3.情感词典学术百科提供全面的“情感词典”相关文献(论文)下载,论文摘要免费查询,情感词典论文全文下载提供PDF格式文件。情感词典中文、英文词汇释义(解释),“情感词典”各类研究资料、调研报告等。https://wiki.cnki.com.cn/HotWord/1966843.htm
4.有道词典词典 翻译 笔记 中英 清除 1. 20kb 《酒吧广告》“恋人约会,寻找伴侣,请到相约情吧来!” Advertisement of bar Lovers dating, seeking lover. please come to emotion. 2. 34kb 如果觉得朋友不是那么想听你的婚外情故事,那就试着把它倾诉给纸张吧。 If you get the feeling your friends are quite https://m.youdao.com/singledict?q=%E6%83%85%E5%90%A7&dict=blng_sents&more=true
5.最全中文情感词库码农集市专业分享IT编程学习资源恰逢**你笑上传1.53MB文件格式zip情感词库语义词库情感分析中文NLP 目前最全的中文情感词典,包括以下内容: 褒贬词及其近义词 ,汉语情感词极值表, 清华大学李军中文褒贬义词典, 情感词典及其分类, 情感词汇本体, 台湾大学NTUSD简体中文情感词典, 知网Hownet情感词典。 https://www.coder100.com/index/index/content/id/3027221
6.7.4主要的情感词典资源在前面章节的叙述中,已经穿插介绍了一些公开的情感词典。这里我们整理如下,方便参考。 中文领域有如下几个情感词典(见表7.5)。 表7.5 中文公共情感词典及其词语条目数 此外,还有北京大学研发的情绪词典(Xu,et al.2010),包括喜悦情绪的词条91个,愤怒的词条112个,悲哀的词条89个,恐惧的词条103个,以及惊讶情绪的词条https://cooc.cqmu.edu.cn/course/knowledgepoint/7420.aspx
7.情感词典,emotionalthesaurus,音标,读音,翻译,英文例句,英语词典英语情感动词的“-ing分词”与-“ed分词”的理解和用法是英语学习中的一个难点,特别是区别使用“exc ited”与“exc iting”之类的分词。 更多例句>> 5) sensibility word 情感词语6) emotive verbs 感情动词 1. The article analyses metaphorical mechanism of Russian emotive verbs and physical verbs throughhttp://www.dictall.com/indu58/94/58945743502.htm
8.情感词典的翻译是:Emotionaldictionary中文翻译英文意思,翻译aINTERMEDIATE CONSIGNEE 中间承销人[translate] aThe human quality of attraction is put into a plastic product 吸引力的人的质量被放入塑料产品[translate] a我相信,爱情的结局,就是我们最终的 I believed that, love result, is we final[translate] a情感词典 Emotion dictionary[translate]http://eyu.zaixian-fanyi.com/fan_yi_8042057
9.情感词典汇总自然语言处理使用的情感词典下载自然语言处理使用的情感词典,包括知网词典、台湾大学NTUSD、清华大学李军、Bosen情感词典、否定词词典等(Emotional dictionaries used in natural language processing, including HowNet dictionary, Taiwan University NTUSD, Tsinghua University Li Jun, Bosen sentiment dictionary, negative word dictionary, etc.) https://www.dssz.com/3685745.html
10.情感情感词典释义情感的意思,拼音汉语词典情感是什么意思?汉语词典解释:情感⒈ 心情感动。【例】情感于旧物。【英】move;touch;⒉ 人受外界刺激所产生的心理反应,如:喜、怒、哀、乐等。 情感的拼音、五笔、翻译,情感的近义词、反义词。https://www.hancibao.com/ci/t820A9G
11.情感词典构建方法及其应用研究目前大部分基于语料的情感词典构建方法都非常依赖于文档级别的情感标签,它们通常将文档中每个词的情感倾向通过求和的方式来表示整个文档的情感倾向,但在自然语言中,通常只有少数有情感倾向的词对文档的整体情感倾向有影响,即大部分情况下,文档中有情感倾向的词具有稀疏性,本文提出的SSANNSLC算法利用自注意力机制充分考虑https://wap.cnki.net/lunwen-1019253777.html
12.bosonnlp情感词典是什么情感词典构建方法情感分析大多是基于情感词典对文本数据进行分析,所以情感词典好坏、是否完备充足是文本分析的关键。 目前常用的词典都是基于形容词,有 知网HowNet 大连理工大学情感本体库 但是形容词类型的词典在某些情况下不适用,比如 华为手机外壳采用金属制作,更耐摔 由于句子中没有形容词,使用形容词情感词典计算得到的情感得分为0。https://blog.51cto.com/u_16213640/9580990
13.基于情感词典的语义分析='\n':#查找这个word是否在情感词典里面 word_n=word_n+1#print('匹配'+word)level_score=query_level(j,key)#查找定位到的word前面几个单词是否是程度性词语(英文语法是这样的) score=score+level_scoreifword_n!=0:rate=score/word_nelse:rate=0score_list.append(score)rate_list.append(rate)https://www.jianshu.com/p/a6e58b360f5b
14.词典下载情感分析词库汇总语义词典人工智能情感词库个人网站:https://www.zhangjunbk.com 网上购买最全的中文情感词典,包括以下内容: 1. 褒贬词及其近义词; 2. 汉语情感词极值表; 3. 清华大学李军中文褒贬义词典; 4. 情感词典及其分类; 5. 情感词汇本体; 6. 台湾大学NTUSD简体中文情感词典; 7. 知网Hownet情感词典。 https://www.iteye.com/resource/z360901061100-10016443
15.情感的意思拼音怎么读词典晋.陆云〈与陆典书书〉:「且念亲各尔分析,情感复结,悲叹而已」唐.白居易〈庭槐〉诗:「人生有情感,遇物牵所思」 来源:-- 词典修订版 【情感】的意思 (词典简编版) 感情。内心有所感触而产生的心理反应。【造句】:长期从事园艺工作,使得他对花草树木有着一份深厚的情感。 来源:-- 辞典简编版 https://m.zcdian.com/ci/lwypbe.html
16.情感分析:基于词典的分析的方法.doc情感分析:基于词典的分析方法好主意值得扩散,激发我们创造的动力所有的数据挖掘方法和思路基本上很久之前都已经形成了,只是现代计算机的普及让这些创新的想法拥有了看似可行的技术支撑,给了他们起死回生的机会,从历史的故纸堆里摇身一变,成了高大上的现代挖掘感念。情感分析的历史也可以追溯到 1950 年,没错你真的没https://max.book118.com/html/2020/1119/7042142021003021.shtm
17.知网情感词典(HOWNET)开发实例源码下载该词典主要分为中文和英文两部分,共包含如下数据:中文正面评价词语3730个、中文负面评价词语3116个、中文正面情感词语836个、中文负面情感词语1254个;英文正面评价词语3594个、英文正面评价词语3563个、英文正面情感词语769个、英文负面情感词语1011个。 情感分析资源大全:http://blog.csdn.net/qq280929090/article/detailshttps://www.haolizi.net/example/view_49422.html
18.“情感”日语翻译“情感”日语怎么说写中文“ 情感 ”的日语翻译 词典解释 ├─查询结果 1 └─查询结果 2 情感.感情.気持ち. ■诗里抒写 shūxiě 的情感真实动人/詩の中に盛られた感情は真実味があり,人を感動させる. ■富于 fùyú 情感/感情が豊かである. ■情感脆弱 cuìruò /情にもろい. https://tran.httpcn.com/Html/ChinesetoJapanese/27/RNAZAZILPWAZPWTBKOMEIL.html
19.BosonNLP数据下载的情感词典词典来源于BosonNLP数据下载的情感词典,来源于社交媒体文本,所以词典适用于处理社交媒体的情感分析。 词典把所有常用词都打上了唯一分数。 本软件ID:10397421 文件下载 资源详情 免责申明 【好快吧下载】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网https://csdn.hk8.net/detail/weixin_38665000/10397421.html
20.GitHub中文情感词典汇总(台湾大学NTUSD简体中文情感词典,清华大学李军中文褒贬义词典,知网Hownet情感词典等) - ppzhenghua/SentimentAnalysisDictionaryhttps://github.com/ppzhenghua/SentimentAnalysisDictionary
21.訴諸情感的解释和发音「欧路词典」英汉情感过盛,情感活泼 emotionlessadj. 不露情感的,没有情感的 affective disorder情感障碍 ameleia无情感 hypothymia情感减退 paramania情感倒错 parapathia情感倒错 affectivityn. 情感作用; adj. 情感性的 hyperaffective情感过强的 hyperthymergastic情感过盛的 hyperthymic情感增盛的 hypoaffective情感减弱的 hypothymichttp://dict.eudic.net/mdicts/en/%E8%A8%B4%E8%AB%B8%E6%83%85%E6%84%9F.html
22.NRC词语情绪词典和词语色彩词典Abstract 虽然情感分析近几年很热,但由于缺乏情感词典,还很少有人做关于中国古典诗歌的情感分析,本论文提出了一个基于(WPPR)的弱监督方法构建诗歌词典。 Introduction 在建立的网络中同时比较给定词语和积极和消极的情感代表词的相似度。 贡献: 提出一个基于图的构建情感词典的弱监督的不依赖于现有词典的方法。 评估https://www.pianshen.com/article/77231506983/
23.三个情感词典知网Hownet台湾大学NTUSD清华大学李军中文褒贬义目录0 2016-12-27 11:03 三个情感词典汇总\台湾大学NTUSD\ 文件89095 2013-02-08 15:32 三个情感词典汇总\台湾大学NTUSD\ntusd-negative.txt 文件29319 2013-02-08 15:32 三个情感词典汇总\台湾大学NTUSD\ntusd-positive.txt 文件81726 2006-02-10 16:31 三个情感词典汇总\台湾大学NTUSD\NTUSD_negative_simphttp://www.nz998.com/other/82048.html
24.情感意思情感解释情感 x没有作文库帐号? 作文库帐号直接登录 帐号 密码 作文库>词典> 情感 【意思解释】见“情绪”。https://www.zuowenku.net/cidian/179023.shtml