农产品多源数据采集融合服务平台建设方案

2、指数发布、产业走势分析提供决策支撑,服务海南自贸港建设,助力我省乡村振兴和经济发展。量化指标包括以下内容:(1)完成农产品基础库、主题库、分析库3个库的建设;(2)农产品月度数据采集量达100万条以上,年度达1500万条以上;(3)完成蔬菜、橡胶、槟榔3个农产品价格指数编制发布;(4)完成冬季瓜菜、热带水果、热带作物、海洋渔业、综合副食品、畜牧业6个产业运行分析报告。项目建设内容(1)农产品数据中心治理包含信息资源标准、数据资源梳理、数据资源采集汇聚、数据治理融合、数据资源管理、数据资源存储、信息资源目录、信息资源共享、数据分析设计。(2)农产品应用中心建设包含农产品多源智能化采集服

3、务、农产品价格预警调控系统、农产品价格指数分析系统、农产品产业运行分析报告、农产品价格公众服务。建设架构用户层:面向国家领导、省领导、主管单位、监测中心、市县领导、其他厅局、专业机构、企业、商户及公众提供各类农产品价格应用服务。展现层:大屏显示终端、智能采集终端、web终端、手机终端。服务层:通过大屏提供GIS一张图服务,显示各资源信息及实时数据状态等,提供可视化决策分析服务,提供预警调查指挥服务等;提供语音播报采价、图像文字采价、语义分析转化等服务;通过web终端提供业务操作、业务应用、信息数据公开等服务;通过手机提供预警短信通知、消息互动、音视频通话、数据查询等服务。应用层:

4、应用层包括农产品多源智能化采集应用、农产品价格预警调控系统、农产品价格指数系统、农产品产业运行分析报告、农产品价格公众服务。支撑层:主要实现对上层应用服务系统功能的支撑,主要有海南省政务大数据公共服务平台(数据中台)提供的数据汇聚能力、存储计算能力、清洗融合能力、资产管理能力、挖掘分析能力;以及省共享交换平台提供的GIS地理信息系统服务;开源的语音识别、图像识别、语义分析;本次项目购置的报表系统。数据层:建设基础库、主题库、分析库。利用省大数据管理局提供的数据中台能力,完成信息资源标准制定、数据资源梳理、数据资源采集汇聚、数据治理融合、数据资源管理、数据资源存储、信息资源目录、信息

7、现数据资产化,数据资产管理平台服务于数据的全生命周期,通过元数据管理、质量管理、标准管理、主数据管理、安全管理、模型管理等系统,对数据资源进行有效管理。介入汇聚、分析处理、应用服务等数据全生命周期过程的各个环节,通过元数据管理中的“血缘关系”追溯数据上下游的流转过程,做到完整化的质量管理、规范化的标准控制,系统化的模型管理,使所共享交换的数据资源规范化、标准化及资产化。4)、服务平台:根据应用的需要,将基础库中的基础数据、统计指标、标签、关系图谱数据、主题数据服务及专题数据服务进行服务封装,通过数据共享交换平台对外提供服务,实现数据的服务化。通过海南省政务大数据公共服务平台治理融

9、源、互联网数据资源以及一些辅助的信息。4.3数据资源釆集汇聚农产品的价格分析预测需要丰富的大数据资源,本次项目利用大数据公共服务平台(数据中台)的采集汇聚能力,实现应用系统关系数据库、开放接口、标准EXCEL文件等结构化数据源的多源采集。具体采集汇聚的源数据包括以下:成品粮出厂及零售价格数据、工业生产资料价格、农业生产资料价格、公路货物运输价格、粮油肉零售价格、批发市场蔬菜成品粮植物油猪肉价格、经济作物价格、进口商品价格、旅游餐饮价格、旅游购物价格、重要商品价格、副食品价格、天然橡胶收购价格、槟榔效果收购价格、冬季瓜菜收购价格、社会资源汇聚、其他数据。汇聚数量要求包括农产品月

10、度数据采集量达100万条以上,年度达1500万条以上。4数据治理融合通过价格数据标准体系、指标维度、元数据定义等要求,对数据的位置等进行一些前置处理操作(合并、去重、补全、校验),以提升数据质量,使得后续数据应用、分析、可视化过程更加容易、有效。5数据资源管理包括信息资源库建设、数据采集、数据接口。信息资源库建设包括基础库、主题库、分析库,主要是在信息资源标准规范基础上,将项目建设过程中部门内部整合的,外部其他政府部门共享的以及项目建成后形成的数据资源进行梳理和管理,并在此基础上形成相应的数据库。数据采集包括汇聚清洗采集、其他价格数据采集,针对非结构化数据(纸质材料、PDF文件、

11、多媒体数据等)的釆集,釆用人工收集、整理、录入与审核方式进行采集。数据接口包括与国家发改委价格监测预警系统接口对接、与其他省价格系统接口对接、与海南省农业农村厅接口对接、与海南省商务厅接口对接、与海南省统计局接口对接、与其他系统接口对接。4.6数据资源存储数据资源存储服务支撑数据融合分析、数据治理、数据服务、业务应用等,为其提供基础存储服务能力。利用海南省政务大数据公共服务平台的大数据存储计算能力,将经过清洗平台处理后在存储平台沉淀,并持续动态更新,以保证数据的鲜活性,同时为数据融合分析平台、数据治理平台、数据服务平台、数据门户、业务应用提供存储及数据服务支撑。数据存储服务主

12、要包括hive、MPP、Hbase、内存数据库、HDFS、Elasticsearcho4.7信息资源目录资源目录挂接,通过海南省政务大数据公共服务平台数据服务能力,通过目录管理系统配置挂接资源目录,并将相应的资源目录导航引流至省共享交换平台,用户可在平台中查找并申请已开放共享的表数据。建立政务信息资源目录体系,是实现对政务信息资源的编目、注册、发布、查询和维护,对政务信息资源实施高效的管理。开展信息资源目录平台建设,实现对信息资源目录信息编目、分类、注册、审核、发布、查询、更新维护和统计分析等管理。理清当前信息资源中心的数据结构和相互关系,建立农产品价格信息资源目录,便于全面掌

16、间地理系统提供的GIS服务打造海南省市场价格监测数据一张图,实现了一图感知、一图展示、一图研判,提升了海南省价格监测管理工作的信息化水平。1)监测点数据:包括监测点地图标注、监测点价格资源监测和监测点价格异常预警功能。2)釆集人员数据:包括采集人员实时定位、采集工作实时监测、采集轨迹预警处理和价格信息异常联动功能。3)重要农产品数据:包括区域价格展示和区域排名显示功能。5.1.2智能釆集APP开发智能采集APP程序,充分运用人工智能技术,为釆集员提供语音报价、图像拍照报价等多样化的采集手段,后端通过语音识别、图像识别、语义分析等技术手段完成农产品名称、价格数据的对应转化提取,丰富了

17、农产品价格采集的方式。1)价格釆集:包括任务管理、价格上报和上报历史功能。2)音频图像采集:包括语音采集、图像采集、语义分析转化、漏报提醒和数据确认及上报功能。3)价格审核:包括任务管理、价格审核、审核历史和审核配置功能。4)消息管理:包括我的消息、消息公告、发送消息和消息查询功能。5)查询分析:包括价格查询分析、冬季瓜菜报表、热带水果报表、热带作物报表、海洋渔业报表、综合副食品报表和畜牧业报表功能。6)应用设置:包括文件管理、通话管理、系统登陆、系统注销和密码修改功能。5.1.3互联网数据智能采集互联网数据智能采集采用智能爬虫采集技术,自动完成复杂网站的数据采集。提供信息全网采集和

18、信息定向采集,提供可视化模块向导。1)釆集内核:支持模拟浏览器采集、基于HttpRequest协议采集和基于扩展插件采集。2)模板任务:包括模板分类、模板定制、任务创建功能。3)自定义任务:包括任务信息、网页预览、自动识别、字段及数据管理和任务生成功能。4)数据配置管理:包括农产品分类、农产品代表品、监测点管理、用户管理和角色管理功能。5)釆集任务监控:包括任务配置、运行监控和异常处置功能。6)系统监控:包括性能监控、数据日志、SQL监控和日志管理功能。2农产品价格预警调控系统建设农产品价格预警调控系统,以瓜菜、热带水果、热带作物、海洋渔业、畜牧业等特色农产品产业为切入点,及时开展有

20、)通用固定阈值规则:支持选择对所有农产品设置固定阈值进行预警,预警可以开启和关闭。2)通用波动阈值规则:支持选择对所有农产品设置波动阈值进行预警,预警可以开启和关闭。3)多品种均价预警规则:支持创建多个预警规则,每个规则可以选择多个农产品品种,并规定达到预警条件的品种均价指标,当品种均价超出规定的均价指标,系统自动生成预警信息。4)多品种总量预警规则:支持创建多个预警规则,每个规则可以选择多个农产品品种,并规定达到预警条件的总品种数量指标,当预警品种总数量超出规定的数量指标,系统自动生成预警信息。2.2预测预警配置1)预警级别设置:可以设定预警的级别,不同级别匹配不同的处理应急处

24、础库中符合条件的监测点的代表品价格数据,形成价格指数的基础数据。指数基础数据经过指数模型定义的算法和权重等计算,实现农产品价格指数的生成和发布。3.1指数基础管理1)指数类别管理:对于价格指数所包括范围的不同进行分类。2)代表品管理:基于指数分类,选择小类指数具体代表的农产品。3)监测点管理:主要是自动获取农产品数据源的监测点,选择有代表性的监测点作为指数编制的监测点。4)原始数据管理:确定代表品和对应监测点后可以定时从数据中心获所有原始数据。5.3.2指数模型管理1)模型基础信息:用于模型基础信息的创建和维护,包括模型名称、价格类型的选择,模型的大、中、小分类选择及确认,模型代

32、菜成品粮植物油猪肉价格13经济作物价格14进口商品价格15旅游餐饮价格16旅游购物价格17重要商品价格18副食品价格19天然橡胶收购价格20槟榔效果收购价格21冬季瓜菜收购价格22社会资源汇聚23其他数据24数据治理融合25数据资源管理信息资源库建设基础库26主题库27分析库28数据釆集汇聚清洗采集29其他价格数据釆集30数据接口与国家发改委价格监测预警系统接口对接31与其他省价格系统接口对接32与海南省农业农村厅接口对接33与海南省商务厅接口对接34与海南省统计局接口对接35与其他系统接口对接36数据资源存储37信息资源目录38信息资源共享39瓜菜类价

33、格预测模型40肉禽类价格预测模型41分析模型设计水果类价格预测模型42水产品类价格预测模型43数据分析设计特色热带作物价格预测模型44领导驾驶舱45农产品价格全局统计46数据综合分农产品价格多维价格走势分析47析分析价格对比分析48农产品价格预测日价格预测49分析月价格预测50监测点地图标注51农产品应用中农产品多源智能化采集应用采集监控一张图监测点数据监测点价格资源监测52心监测点价格异常预警53采集人员数据采集人5455565758596061626364_智能采集APP66676869707172员实时定位采集工作实时监测采集轨迹预警处理价格信息异常联动重要农产品数据区域价格展示区域排名显示价格采集任务管理价格上报上报历史音频图像采集语音釆集图像釆集语义分析转化漏报提醒数据确认及上报价格审核任务管理价格审核审核历史审核配置消息管理我的消息消息公告发送消息消息查询查询分析价格查询分析冬季瓜菜报表热带水果报表热带作物报表海洋渔业报表综合副食品报表畜牧业报表应用设置文件管理通话管理系统登陆系统注销密码修改采集内核模拟浏览器采集基于HttpRequest协议采集基于扩展插件采集模板任务模板分类互联网数据智能采集73747576777879808182838

THE END
1.农产品供应农产品产地价格农产品网上交易平台惠农网供应大厅汇聚中国各产地农产品供应商,每日更新农产品产地报价,以及各地价格行情,产地报价更真实更实惠,是国内专业的农产品买卖交易平台。https://www.cnhnb.com/supply/index
2.农产品价格数据中心权威农产品价格数据中心,绿果网农产品价格数据中心整合产区农产品报价,提供便捷的农业价格信息查询服务。https://www.lvguo.net/baojia/area/4
3.蔬菜价格今日蔬菜批发价格工具钢价格 碳结钢价格 轴承钢价格 合结钢价格 弹簧钢价格 模具钢价格 金属 钇价格 钆价格 铕价格 钌价格 铑价格 锇价格 废金属 废铁价格 废铜价格 废铝价格 废锌价格 废铅价格 废钢价格 其他 民用行情 工业用品 纺织服装 化工 丙烯腈价格 天然橡胶价格 丙酮价格 丙烯价格 PP粒价格 PP粉价格 农产品 榴莲价格 https://jiage.cngold.org/shucai/list_3183_11.html
4.农业农村部数据频道11月第5周畜产品和饲料集贸市场价格情况 信息平台 农产品批发价格200指数解读 农业农村重要经济指标 GDP变化 固定资产投资完成额变化 商品零售价格分类指数变化 全国GDP季度变化情况(亿元,%) 频度 数据来源:国家统计局 数据查询 查询 连续文字表示“并且”关系 如:“北京小麦” 表示:“和北京以及小麦相关数据”。 http://www.moa.gov.cn/sjpre/
5.初级农产品行业初级农产品资讯初级农产品价格【卓创资讯初级农产品行业】提供最新的初级农产品价格,初级农产品行业资讯、初级农产品价格走势、初级农产品行业市场价格等,帮助您全面了解市场动态,洞悉市场变化,明确发展趋势,为您提供决策参考和依据。https://agri.sci99.com/
6.中国农业农村信息网水产品价格动态数据 品种批发市场最高价(元/公斤)最低价(元/公斤)大宗价(元/公斤)产地信息员 面粉 天津韩家墅海吉星农产品物流有限公司 6.4 3.6 5 河北、山东、天津 朱瑞雪 面粉 北京顺鑫石门国际农产品批发市场集团有限公司北京分公司 3.3 3.1 3.2 邢佳佳 面粉 天津何庄子农产品批发市场 4.6 4.4 4.4 陈宏超 面https://www.agri.cn/sj/
7.新疆主要农产品区内外价格监测分析系统据新疆区内外重点农产品价格系统监测,12月01日"农产品批发价格第256期指数"为227.8,比前一周下降12个点。11月25日-01日,新疆重点农产品批发市场监测的33个品种中, 与上周相比价格升幅前五名的是:黄瓜、石榴、土豆、芹菜和蛋, 幅度分别为45.65%、30.00%、7.14%、1.79%和0.96%; 价格降幅前五名的是:平菇、辣https://www.xjxnw.com/c/2024-12-02/1975199.shtml
8.农产品价格网在全球化的大背景下,农产品的国际贸易日益频繁。随着市场需求和供给关系的复杂变化,农产品价格也变得异常波动。作为农业生产者、加工企业、零售商以及消费者来说,都需要了解并跟踪最新的农产品价格走势。这便是“农产品价格网”所扮演的重要角色。 “农产品价格网”是一个集成了大量数据信息平台,它通过互联网技术,为https://www.uszlrttkj.com/te-zhong-yang-zhi-zi-xun/337931.html
9.数据统计数据零售消费经济数据权威行业数据平台本主题内的数据 农产品行业核心数据 2024年网民农货消费行为调研 2022年网民农货消费行为调研 2021年网民农货消费调查情况数据主题包图表报告形式呈现本主题所有数据 本数据主题包包括 中国化妆品行业 主题下的 33条 数据包含总体概述、化妆品核心数据、典型企业等数据。 3633 PPT、PDF下载 数据来源 价格: 899 立即https://data.iimedia.cn/data-classification/theme/44278903.html
10.[论文总结]深度学习在农业领域应用论文笔记351CTO博客(2)常见的农产品价格预测方法对应的数据类型包括价格时间序列和价格影响因素。可以看出,由于影响农产品价格的因素复杂且难以收集,以价格时间序列为输入数据的研究在近年来的应用实例中占绝大多数。但是,价格的影响因素是价格形成和波动的主要原因,它包含着许多重要的信息。因此,在未来的研究中,基于价格影响因素的预测模型https://blog.51cto.com/luohenyueji/5950344
11.香菜鸡蛋今日价购物资讯山东滨州市阳信县中叶铁杆青香菜特级3,新思农农产品价格数据中心今天提供每日全国农产品价格详情,农产品价格监测,价格其受温度影响较大。免责今日声明,比以前能少买半斤,香菜价格网。刚从领秀城附近的超市里购买了一袋鸡蛋的李先生告诉记者,油麦菜又名牛俐菜。https://www.lxshuo.com/news/90828.html
12.互联网的全面普及和农村网络化水平的提高,农产品电子商务平台的逐iiMedia Research(艾媒咨询)的数据显示,有56.38%网民表示选择农货消费平台时主要考虑价格是否实惠,其次是考虑货品质量、食品安全保障和正品保障,占比分别为54.6%、54.32%和50.34%;也有网民表示考虑货品的配送速度和丰富度,占比分别为49.25%和47.33%。此外,平台知名度也是网民选择农货消费平台的因素之一,占比为33.33%。https://xueqiu.com/4375159485/193836302
13.全国猪价查询大家好,今天来为您分享全国猪价查询(养猪数据中心价格走势)的一些知识,本文内容可能较长,请你耐心阅读,如果能碰巧解决您的问题,别忘了关注本站,您的支持是对我们的最大鼓励! 全国猪价查询(养猪数据中心价格走势) 猪肉价格一直备受关注,尤其是养猪行业的从业者和消费者对猪价走势更加关注。为了提供准确、实时的猪价http://www.ma-wang.com/article/6399.html
14.农业部明确10个学科领域的观测监测任务资讯中心导读:到2020年,建立由500个左右国家农业科学实验站、10个国家农业科技数据中心和1个国家农业科技数据总中心等构成的农业基础性长期性科技工作网络,按照统一规范的数据标准,构建土壤质量、农业环境等10个学科领域的基础数据库,研究提出一系列的专业性、综合性分析报告,为科技创新、政策制定等提供服务和支撑。 https://www.instrument.com.cn/news/20170330/215984.shtml
15.AKShare快速入门“get_czce_daily”, # 郑州商品交易所每日交易数据 “get_czce_rank_table”, # 获取郑州商品交易所前20会员持仓数据明细 “get_dce_daily”, # 获取大连商品交易所每日交易数据 “get_gfex_daily”, # 获取广州期货交易所每日交易数据 “get_ine_daily”, # 获取上海国际能源交易中心每日交易数据 https://blog.csdn.net/qq_34068440/article/details/136920346