手把手教学构建农业知识图谱:农业领域的信息检索+智能问答,命名实体识别,关系抽取,实体关系查询腾讯云开发者社区

确保安装好python3和Neo4j(任意版本)

安装一系列pip依赖:cd至项目根目录,运行sudopip3install-rrequirement.txt

1.导入数据:

将hudong_pedia.csv导入neo4j:开启neo4j,进入neo4j控制台。将hudong_pedia.csv放入neo4j安装目录下的/import目录。在控制台依次输入:

//将hudong_pedia.csv导入LOADCSVWITHHEADERSFROM"file:///hudong_pedia.csv"ASlineCREATE(p:HudongItem{title:line.title,image:line.image,detail:line.detail,url:line.url,openTypeList:line.openTypeList,baseInfoKeyList:line.baseInfoKeyList,baseInfoValueList:line.baseInfoValueList})//新增了hudong_pedia2.csvLOADCSVWITHHEADERSFROM"file:///hudong_pedia2.csv"ASlineCREATE(p:HudongItem{title:line.title,image:line.image,detail:line.detail,url:line.url,openTypeList:line.openTypeList,baseInfoKeyList:line.baseInfoKeyList,baseInfoValueList:line.baseInfoValueList})代码语言:txt复制//创建索引CREATECONSTRAINTON(c:HudongItem)ASSERTc.titleISUNIQUE以上两步的意思是,将hudong_pedia.csv导入neo4j作为结点,然后对titile属性添加UNIQUE(唯一约束/索引)

(如果导入的时候出现neo4jjvm内存溢出,可以在导入前,先把neo4j下的conf/neo4j.conf中的dbms.memory.heap.initial_size和dbms.memory.heap.max_size调大点。导入完成后再把值改回去)

进入/wikidataSpider/wikidataProcessing中,将new_node.csv,wikidata_relation.csv,wikidata_relation2.csv三个文件放入neo4j的import文件夹中(运行relationDataProcessing.py可以得到这3个文件),然后分别运行

将attributes.csv放到neo4j的import目录下,然后执行

LOADCSVWITHHEADERSFROM"file:///attributes.csv"ASlineMATCH(entity1:HudongItem{title:line.Entity}),(entity2:HudongItem{title:line.Attribute})CREATE(entity1)-[:RELATION{type:line.AttributeName}]->(entity2);LOADCSVWITHHEADERSFROM"file:///attributes.csv"ASlineMATCH(entity1:HudongItem{title:line.Entity}),(entity2:NewNode{title:line.Attribute})CREATE(entity1)-[:RELATION{type:line.AttributeName}]->(entity2);LOADCSVWITHHEADERSFROM"file:///attributes.csv"ASlineMATCH(entity1:NewNode{title:line.Entity}),(entity2:NewNode{title:line.Attribute})CREATE(entity1)-[:RELATION{type:line.AttributeName}]->(entity2);LOADCSVWITHHEADERSFROM"file:///attributes.csv"ASlineMATCH(entity1:NewNode{title:line.Entity}),(entity2:HudongItem{title:line.Attribute})CREATE(entity1)-[:RELATION{type:line.AttributeName}]->(entity2)//我们建索引的时候带了label,因此只有使用label时才会使用索引,这里我们的实体有两个label,所以一共做2*2=4次。当然,可以建立全局索引,即对于不同的label使用同一个索引导入气候名称:

将wikidataSpider/weatherData/static_weather_list.csv放在指定的位置(import文件夹下)

//导入节点LOADCSVWITHHEADERSFROM"file:///static_weather_list.csv"ASlineMERGE(:Weather{title:line.title})//添加索引CREATECONSTRAINTON(c:Weather)ASSERTc.titleISUNIQUE导入气候与植物的关系

将wikidataSpider/weatherData/weather_plant.csv放在指定的位置(import文件夹下)//导入hudongItem和新加入节点之间的关系LOADCSVWITHHEADERSFROM"file:///weather_plant.csv"ASlineMATCH(entity1:Weather{title:line.Weather}),(entity2:HudongItem{title:line.Plant})CREATE(entity1)-[:Weather2Plant{type:line.relation}]->(entity2)导入城市的气候将city_weather.csv放在指定的位置(import文件夹下)(这步大约需要15分钟左右)//导入城市对应的气候LOADCSVWITHHEADERSFROM"file:///city_weather.csv"ASlineMATCH(city{title:line.city}),(weather{title:line.weather})CREATE(city)-[:CityWeather{type:line.relation}]->(weather)以上步骤是导入爬取到的关系

2.下载词向量模型:(如果只是为了运行项目,步骤2可以不做,预测结果已经离线处理好了)

3.修改Neo4j用户

进入demo/Model/neo_models.py,修改第9行的neo4j账号密码,改成你自己的

4.启动服务

进入demo目录,然后运行脚本:

sudoshdjango_server_start.sh这样就成功的启动了django。我们进入8000端口主页面,输入文本,即可看到以下命名实体和分词的结果(确保django和neo4j都处于开启状态)

点击实体的超链接,可以跳转到词条页面(词云采用了词向量技术):

关系查询即查询三元组关系entity1-relation->entity2,分为如下几种情况:

下图所示,是指定关系relation和第二个实体entity2的查询结果

农业知识概览部分,我们能够列出某一农业分类下的词条列表,这些概念以树形结构组织在一起:

农业分类的树形图:

(update2018.04.07)同样的,我们制作了标注关系提取训练集的工具,如下图所示

如果Statement的标签是对的,点击True按钮;否则选择一个关系,或者输入其它关系。若当前句子无法判断,则点击ChangeOne按钮换一条数据。

我们在MongoDB中使用两个Collections,一个是train_data,即未经人工标注的数据;另一个是test_data,即人工标注好的数据。

使用方法:启动neo4j,mongodb之后,进入demo目录,启动django服务,进入127.0.0.1:8000/tagging即可使用

使用thulac工具进行分词,词性标注,命名实体识别(仅人名,地名,机构名)

为了识别农业领域特定实体,我们需要:

-title之间的词向量的余弦相似度(利用fasttext计算的词向量能够避免outofvocabulary)-2组openType之间的词向量的余弦相似度的平均值-相同的baseInfoKey的IDF值之和(因为‘中文名’这种属性贡献应该比较小)-相同baseInfoKey下baseInfoValue相同的个数-预测一个页面时,由于KNN要将该页面和训练集中所有页面进行比较,因此每次预测的复杂度是O(n),n为训练集规模。在这个过程中,我们可以统计各个分相似度的IDF值,均值,方差,标准差,然后对4个相似度进行标准化:**(x-均值)/方差**-上面四个部分的相似度的加权和为最终的两个页面的相似度,权值由向量weight控制,通过10折叠交叉验证+网格搜索得到3.2Labels:(命名实体的分类)Label

NETags

Example

0

Invalid(不合法)

“色调”,“文化”,“景观”,“条件”,“A”,“234年”(不是具体的实体,或一些脏数据)

1

Person(人物,职位)

“袁隆平”,“副市长”

2

Location(地点,区域)

“福建省”,“三明市”,“大明湖”

3

Organization(机构,会议)

“华东师范大学”,“上海市农业委员会”

4

Politicaleconomy(政治经济名词)

“惠农补贴”,“基本建设投资”

5

Animal(动物学名词,包括畜牧类,爬行类,鸟类,鱼类,等)

“绵羊”,“淡水鱼”,“麻雀”

6

Plant(植物学名词,包括水果,蔬菜,谷物,草药,菌类,植物器官,其他植物)

“苹果”,“小麦”,“生菜”

7

Chemicals(化学名词,包括肥料,农药,杀菌剂,其它化学品,术语等)

“氮”,“氮肥”,“硝酸盐”,“吸湿剂”

8

Climate(气候,季节)

“夏天”,“干旱”

9

Fooditems(动植物产品)

“奶酪”,“牛奶”,“羊毛”,“面粉”

10

Diseases(动植物疾病)

“褐腐病”,“晚疫病”

11

NaturalDisaster(自然灾害)

“地震”,“洪水”,“饥荒”

12

Nutrients(营养素,包括脂肪,矿物质,维生素,碳水化合物等)

“维生素A”,"钙"

13

“染色体”,“血红蛋白”,“肾脏”,“大肠杆菌”

14

Agriculturalimplements(农机具,一般指机械或物理设施)

“收割机”,“渔网”

15

“延后栽培",“卫生防疫”,“扦插”

16

other(除上面类别之外的其它名词实体,可以与农业无关但必须是实体)

“加速度",“cpu”,“计算机”,“爱鸟周”,“人民币”,“《本草纲目》”,“花岗岩”

使用远程监督方法构建数据集,利用tensorflow训练PCNN模型

农业知识图谱关系抽取

处理数据集,得到关系抽取需要用到的json文件

步骤:

得到的rel2id.json,word2vec.json,entity2id.json,train_dataset.json和test_dataset.json为关系提取算法所需的数据,将其放在algorithm的data/agriculture目录下

THE END
1.乡村振兴项目创意名称绿色田园梦想工程生态农业乡村文化复兴宜居绿色田园梦想工程:生态农业的未来之路? 在当今这个快速发展的时代,环境保护和可持续发展已经成为全球性的议题。乡村振兴项目创意名称“绿色田园梦想工程”正是对这一趋势的响应,它旨在通过生态农业、乡村文化复兴以及宜居环境建设,推动农村地区向更加健康、美丽和富有活力的方向转型。 https://www.yyoud.cn/di-tan-huan-bao/578685.html
2.乡村振兴项目创意名称田园盛宴创新乡村振兴的美好未来在中国的广袤土地上,传统的乡村生活正逐渐焕发新的生机。为了促进农村经济发展、改善民生,政府推出了众多“乡村振兴项目创意名称”,这些项目不仅注重经济效益,也强调了文化和生态保护。 首先,我们来看看“智慧农业”这一名词,它是当下许多乡村振兴项目中不可或缺的一部分。通过科技手段,如大数据分析、物联网技术等,不仅https://www.39eec.com/di-tan-huan-bao/102456.html
3.新型农业项目有哪些我来告诉你这几个热门的随着科技的发展和环境保护意识的提升,传统农业模式正在逐渐向智能化、绿色、高效方向转变。现在市场上出现了很多新型农业项目,它们不仅能够提高农作物产量,还能减少对自然资源的依赖,更重要的是,对环境影响小。下面,我就为你列举一些这些新兴趋势。 智能种植系统:利用现代信息技术,如物联网、大数据分析等手段,实现精准种https://www.1lhyh3ij.cn/tu-pian-zi-xun/400475.html
4.绿色农田探索农村种植养殖业的多元化项目绿色农田:探索农村种植养殖业的多元化项目 多样化作物种植 在现代农业发展中,农村种植养殖业已经不再仅仅局限于传统的粮食作物,而是逐步向特色、有机、无公害等方向发展。例如,花卉和观赏植物的种植为乡村带来了新的经济增长点;同时,有机食品和organic蔬菜也成为市场上受欢迎的新选择。这些特色作物不仅增强了农产品的附加https://www.cjan6a6c.cn/ke-yan-cheng-guo/423231.html
5.乡村振兴项目创意名称绿色复苏让乡村之花绽放在中国,乡村振兴项目已成为推动农业现代化、促进农民收入增加的重要战略。为了激发人们对乡村发展的热情和创造力,政府鼓励各地创新项目名称,以此吸引更多投资和人才投身于这些地区。以下是几个成功案例,它们展示了“乡村振兴项目创意名称”的魅力。 首先,我们来看看河北省的一项名为“天籁之境”的项目。这一计划旨在通过https://www.khuwjrzo.cn/lv-se-sheng-huo/106647.html
6.农场最新叫法,探索农业领域的时尚变革与未来发展,农场新命名趋势摘要:当前,农场的新叫法反映了农业领域的时尚变革与未来发展。随着科技的进步和人们对农业的认知更新,农场不再仅仅是传统的耕作场所,而是成为探索绿色、可持续、智能化发展的前沿阵地。新的农场叫法体现了农业领域追求创新、注重https://www.huilongzn.com/post/5494.html
7.生态农业的商标名称1、高端大气农副产品商标名称如下:三斗米:此名来自俗语“不为三斗米折腰”生态农业的商标,用来比喻有骨气、清高的人生态农业的商标,在这里里突出这个牌子安全、健康,值得大家信赖,并且看到这个名字第一就会联想到农产品,其中“斗”读dǒu,十升为一斗,一般都是盛粮食的器具。 http://www.guabaoshu.cn/post/189881.html
8.如何为农旅/康养项目起一个成功的名字?5大策略助你脱颖而出好名字是成功的开始,好项目必须有好名字。 一个朗朗上口、易记、易传播的项目名称,对于提高农旅/康养项目的知名度和美誉度至关重要,甚至可以价值数千万的广告费! 如何给一个项目起一个好名字?原汁原味的农业旅游 ? 原汁原味的农业旅游总结了以下五个策略供大家学习,希望对您的项目命名有所启发。 http://www.hwtx918.com/h-nd-369524.html
9.Agricultural农业无人机该项目被称为农业技术,它将作为农民的助手https://www.coder100.com/index/index/content/id/2679992
10.校企合作定向班10篇(全文)(1)建立定向班,探索校企深度合作教学模式。探索工学交替、任务驱动、项目导向、顶岗实习等校企深度合作有利于增强学生能力的教学模式。 (2)制订校企深度合作人才培养方案。根据技术技能型人才成长规律和工作岗位的实际需要,研制人才培养方案、开发课程和教材、设计实施教学、组织考核评价、开展教学研究等。 https://www.99xueshu.com/w/ikeytf1u4zlk.html
11.第十八编教育科技1994年和1995年连续两年被评为市“科技兴市”先进集体,2000年被评为全国科技工作先进县,2001年被国家科协命名为“全国科普示范县”。1991—2003年全县实施各类科技计划项目111项,获国家、省、市级科技成果奖50项,申请专 利24项,实施专 利6项,累计实现新增产值28.35亿元,新增利税1.20亿元。2003年全县科技人员人由https://www.hrbswszyjs.org.cn/fznj_details/91.html
12.政府公报该项目规划建设总占地230亩、规模年出栏6.25万头的现代化养殖场,项目建成后可提供百余个就业岗位,实现劳动力就地转化增值,为当地经济发展注入活力,实现社会效益、经济效益、生态效益等多元综合效应,助推县域经济高质量实现发展。 【弗思特年产3000吨农业制剂项目竣工投产仪式在照镜镇举行】该项目由新乡市弗思特农化http://www.huojia.gov.cn/contents/1600/42732.html
13.现代农业旅游有限公司起名,资产投资管理公司命名20.精品农旅:寓意公司致力于提供高品质、个性化和定制化的农业旅游服务,为游客带来独一无二的旅游和度假体验。 资产投资管理公司命名: 1.聚富资产管理:寓意公司聚焦于资产管理领域,为客户提供全面、专业的投资方案,帮助客户实现财富增值。 2.祥和投资管理:寓意公司希望通过投资管理服务,为客户带来祥和、安定的投资收益,http://www.gongsiqiming.cn/htm/2147.htm
14.2024年智慧农业项目提案报告的范文.docx本智慧农业项目命名为“XXXX智慧农业项目”。 (二)智慧农业项目建设单位 智慧农业项目建设单位为XX公司。 (三)智慧农业项目选址 该智慧农业项目选址位于XX省,XX市,XX县,xx镇,XXX号。 (二)、智慧农业项目提出的理由 1.经济发展需求:该智慧农业项目满足了地区或国家经济发展的需求,有望为当地创造就业机会、促进产业https://max.book118.com/html/2024/1121/5333340100012001.shtm
15.农业商标起名大全(300个吉祥公司名字大全)最后,您需要命名商标,然后进行搜索。如果可以注册,则可以设计或选择一种字体来制作申请文件。向国家商标局报告。该费用是标准费用:人民币,如果您委托代理商处理,则还必须支付一部分代理商费用,通常约为人民币;大约一个月将发出接受通知;实质审查将在一年左右的时间内进行。公告,如果在公告的几个月内没有异议,您可以http://www.hkkaixin.com/content-57-186302-1.html