2、指数发布、产业走势分析提供决策支撑,服务海南自贸港建设,助力我省乡村振兴和经济发展。量化指标包括以下内容:(1)完成农产品基础库、主题库、分析库3个库的建设;(2)农产品月度数据采集量达100万条以上,年度达1500万条以上;(3)完成蔬菜、橡胶、槟榔3个农产品价格指数编制发布;(4)完成冬季瓜菜、热带水果、热带作物、海洋渔业、综合副食品、畜牧业6个产业运行分析报告。项目建设内容(1)农产品数据中心治理包含信息资源标准、数据资源梳理、数据资源采集汇聚、数据治理融合、数据资源管理、数据资源存储、信息资源目录、信息资源共享、数据分析设计。(2)农产品应用中心建设包含农产品多源智能化采集服
3、务、农产品价格预警调控系统、农产品价格指数分析系统、农产品产业运行分析报告、农产品价格公众服务。建设架构用户层:面向国家领导、省领导、主管单位、监测中心、市县领导、其他厅局、专业机构、企业、商户及公众提供各类农产品价格应用服务。展现层:大屏显示终端、智能采集终端、web终端、手机终端。服务层:通过大屏提供GIS一张图服务,显示各资源信息及实时数据状态等,提供可视化决策分析服务,提供预警调查指挥服务等;提供语音播报采价、图像文字采价、语义分析转化等服务;通过web终端提供业务操作、业务应用、信息数据公开等服务;通过手机提供预警短信通知、消息互动、音视频通话、数据查询等服务。应用层:
4、应用层包括农产品多源智能化采集应用、农产品价格预警调控系统、农产品价格指数系统、农产品产业运行分析报告、农产品价格公众服务。支撑层:主要实现对上层应用服务系统功能的支撑,主要有海南省政务大数据公共服务平台(数据中台)提供的数据汇聚能力、存储计算能力、清洗融合能力、资产管理能力、挖掘分析能力;以及省共享交换平台提供的GIS地理信息系统服务;开源的语音识别、图像识别、语义分析;本次项目购置的报表系统。数据层:建设基础库、主题库、分析库。利用省大数据管理局提供的数据中台能力,完成信息资源标准制定、数据资源梳理、数据资源采集汇聚、数据治理融合、数据资源管理、数据资源存储、信息资源目录、信息
7、现数据资产化,数据资产管理平台服务于数据的全生命周期,通过元数据管理、质量管理、标准管理、主数据管理、安全管理、模型管理等系统,对数据资源进行有效管理。介入汇聚、分析处理、应用服务等数据全生命周期过程的各个环节,通过元数据管理中的“血缘关系”追溯数据上下游的流转过程,做到完整化的质量管理、规范化的标准控制,系统化的模型管理,使所共享交换的数据资源规范化、标准化及资产化。4)、服务平台:根据应用的需要,将基础库中的基础数据、统计指标、标签、关系图谱数据、主题数据服务及专题数据服务进行服务封装,通过数据共享交换平台对外提供服务,实现数据的服务化。通过海南省政务大数据公共服务平台治理融
9、源、互联网数据资源以及一些辅助的信息。4.3数据资源釆集汇聚农产品的价格分析预测需要丰富的大数据资源,本次项目利用大数据公共服务平台(数据中台)的采集汇聚能力,实现应用系统关系数据库、开放接口、标准EXCEL文件等结构化数据源的多源采集。具体采集汇聚的源数据包括以下:成品粮出厂及零售价格数据、工业生产资料价格、农业生产资料价格、公路货物运输价格、粮油肉零售价格、批发市场蔬菜成品粮植物油猪肉价格、经济作物价格、进口商品价格、旅游餐饮价格、旅游购物价格、重要商品价格、副食品价格、天然橡胶收购价格、槟榔效果收购价格、冬季瓜菜收购价格、社会资源汇聚、其他数据。汇聚数量要求包括农产品月
10、度数据采集量达100万条以上,年度达1500万条以上。4数据治理融合通过价格数据标准体系、指标维度、元数据定义等要求,对数据的位置等进行一些前置处理操作(合并、去重、补全、校验),以提升数据质量,使得后续数据应用、分析、可视化过程更加容易、有效。5数据资源管理包括信息资源库建设、数据采集、数据接口。信息资源库建设包括基础库、主题库、分析库,主要是在信息资源标准规范基础上,将项目建设过程中部门内部整合的,外部其他政府部门共享的以及项目建成后形成的数据资源进行梳理和管理,并在此基础上形成相应的数据库。数据采集包括汇聚清洗采集、其他价格数据采集,针对非结构化数据(纸质材料、PDF文件、
11、多媒体数据等)的釆集,釆用人工收集、整理、录入与审核方式进行采集。数据接口包括与国家发改委价格监测预警系统接口对接、与其他省价格系统接口对接、与海南省农业农村厅接口对接、与海南省商务厅接口对接、与海南省统计局接口对接、与其他系统接口对接。4.6数据资源存储数据资源存储服务支撑数据融合分析、数据治理、数据服务、业务应用等,为其提供基础存储服务能力。利用海南省政务大数据公共服务平台的大数据存储计算能力,将经过清洗平台处理后在存储平台沉淀,并持续动态更新,以保证数据的鲜活性,同时为数据融合分析平台、数据治理平台、数据服务平台、数据门户、业务应用提供存储及数据服务支撑。数据存储服务主
12、要包括hive、MPP、Hbase、内存数据库、HDFS、Elasticsearcho4.7信息资源目录资源目录挂接,通过海南省政务大数据公共服务平台数据服务能力,通过目录管理系统配置挂接资源目录,并将相应的资源目录导航引流至省共享交换平台,用户可在平台中查找并申请已开放共享的表数据。建立政务信息资源目录体系,是实现对政务信息资源的编目、注册、发布、查询和维护,对政务信息资源实施高效的管理。开展信息资源目录平台建设,实现对信息资源目录信息编目、分类、注册、审核、发布、查询、更新维护和统计分析等管理。理清当前信息资源中心的数据结构和相互关系,建立农产品价格信息资源目录,便于全面掌
16、间地理系统提供的GIS服务打造海南省市场价格监测数据一张图,实现了一图感知、一图展示、一图研判,提升了海南省价格监测管理工作的信息化水平。1)监测点数据:包括监测点地图标注、监测点价格资源监测和监测点价格异常预警功能。2)釆集人员数据:包括采集人员实时定位、采集工作实时监测、采集轨迹预警处理和价格信息异常联动功能。3)重要农产品数据:包括区域价格展示和区域排名显示功能。5.1.2智能釆集APP开发智能采集APP程序,充分运用人工智能技术,为釆集员提供语音报价、图像拍照报价等多样化的采集手段,后端通过语音识别、图像识别、语义分析等技术手段完成农产品名称、价格数据的对应转化提取,丰富了
17、农产品价格采集的方式。1)价格釆集:包括任务管理、价格上报和上报历史功能。2)音频图像采集:包括语音采集、图像采集、语义分析转化、漏报提醒和数据确认及上报功能。3)价格审核:包括任务管理、价格审核、审核历史和审核配置功能。4)消息管理:包括我的消息、消息公告、发送消息和消息查询功能。5)查询分析:包括价格查询分析、冬季瓜菜报表、热带水果报表、热带作物报表、海洋渔业报表、综合副食品报表和畜牧业报表功能。6)应用设置:包括文件管理、通话管理、系统登陆、系统注销和密码修改功能。5.1.3互联网数据智能采集互联网数据智能采集采用智能爬虫采集技术,自动完成复杂网站的数据采集。提供信息全网采集和
18、信息定向采集,提供可视化模块向导。1)釆集内核:支持模拟浏览器采集、基于HttpRequest协议采集和基于扩展插件采集。2)模板任务:包括模板分类、模板定制、任务创建功能。3)自定义任务:包括任务信息、网页预览、自动识别、字段及数据管理和任务生成功能。4)数据配置管理:包括农产品分类、农产品代表品、监测点管理、用户管理和角色管理功能。5)釆集任务监控:包括任务配置、运行监控和异常处置功能。6)系统监控:包括性能监控、数据日志、SQL监控和日志管理功能。2农产品价格预警调控系统建设农产品价格预警调控系统,以瓜菜、热带水果、热带作物、海洋渔业、畜牧业等特色农产品产业为切入点,及时开展有
20、)通用固定阈值规则:支持选择对所有农产品设置固定阈值进行预警,预警可以开启和关闭。2)通用波动阈值规则:支持选择对所有农产品设置波动阈值进行预警,预警可以开启和关闭。3)多品种均价预警规则:支持创建多个预警规则,每个规则可以选择多个农产品品种,并规定达到预警条件的品种均价指标,当品种均价超出规定的均价指标,系统自动生成预警信息。4)多品种总量预警规则:支持创建多个预警规则,每个规则可以选择多个农产品品种,并规定达到预警条件的总品种数量指标,当预警品种总数量超出规定的数量指标,系统自动生成预警信息。2.2预测预警配置1)预警级别设置:可以设定预警的级别,不同级别匹配不同的处理应急处
24、础库中符合条件的监测点的代表品价格数据,形成价格指数的基础数据。指数基础数据经过指数模型定义的算法和权重等计算,实现农产品价格指数的生成和发布。3.1指数基础管理1)指数类别管理:对于价格指数所包括范围的不同进行分类。2)代表品管理:基于指数分类,选择小类指数具体代表的农产品。3)监测点管理:主要是自动获取农产品数据源的监测点,选择有代表性的监测点作为指数编制的监测点。4)原始数据管理:确定代表品和对应监测点后可以定时从数据中心获所有原始数据。5.3.2指数模型管理1)模型基础信息:用于模型基础信息的创建和维护,包括模型名称、价格类型的选择,模型的大、中、小分类选择及确认,模型代
32、菜成品粮植物油猪肉价格13经济作物价格14进口商品价格15旅游餐饮价格16旅游购物价格17重要商品价格18副食品价格19天然橡胶收购价格20槟榔效果收购价格21冬季瓜菜收购价格22社会资源汇聚23其他数据24数据治理融合25数据资源管理信息资源库建设基础库26主题库27分析库28数据釆集汇聚清洗采集29其他价格数据釆集30数据接口与国家发改委价格监测预警系统接口对接31与其他省价格系统接口对接32与海南省农业农村厅接口对接33与海南省商务厅接口对接34与海南省统计局接口对接35与其他系统接口对接36数据资源存储37信息资源目录38信息资源共享39瓜菜类价
33、格预测模型40肉禽类价格预测模型41分析模型设计水果类价格预测模型42水产品类价格预测模型43数据分析设计特色热带作物价格预测模型44领导驾驶舱45农产品价格全局统计46数据综合分农产品价格多维价格走势分析47析分析价格对比分析48农产品价格预测日价格预测49分析月价格预测50监测点地图标注51农产品应用中农产品多源智能化采集应用采集监控一张图监测点数据监测点价格资源监测52心监测点价格异常预警53采集人员数据采集人5455565758596061626364_智能采集APP66676869707172员实时定位采集工作实时监测采集轨迹预警处理价格信息异常联动重要农产品数据区域价格展示区域排名显示价格采集任务管理价格上报上报历史音频图像采集语音釆集图像釆集语义分析转化漏报提醒数据确认及上报价格审核任务管理价格审核审核历史审核配置消息管理我的消息消息公告发送消息消息查询查询分析价格查询分析冬季瓜菜报表热带水果报表热带作物报表海洋渔业报表综合副食品报表畜牧业报表应用设置文件管理通话管理系统登陆系统注销密码修改采集内核模拟浏览器采集基于HttpRequest协议采集基于扩展插件采集模板任务模板分类互联网数据智能采集73747576777879808182838