消费品多源缺陷线索信息预处理方法研究

随着社会经济和科学技术的快速发展,消费品的种类以及功能越来越丰富,但是也带来了一系列安全隐患。缺陷产品召回是产品质量安全监管的国际通行做法,是后市场监管的重要手段。我国消费品召回工作从2004年开始,随着《消费品召回管理暂行规定》于2020年发布实施,我国消费品召回管理制度已日趋完善。由于消费品具有种类多、故障模式复杂等特性,导致多源缺陷线索中产品信息不统一、故障描述不准确、缺陷线索信息重复等系列问题。为快速从消费品多源缺陷线索信息中提取有价值、有效的线索信息,采取高效技术措施做好数据预处理工作显得尤为重要。在缺陷线索数据挖掘与发现有潜在缺陷的过程中,消费品多源缺陷线索信息预处理是核心环节之一。

2.消费品缺陷线索采集内容

3.消费品故障标签字典构建

产品故障现象识别是开展消费品缺陷线索综合分析,判定产品安全风险基础。多源缺陷线索中对于产品故障的描述不一、表述随意多样化、反映故障种类多,针对这些复杂的内容,只有通过数据标准化统一化处理,才可以有效提高数据分析效率。以现有信息为基础,首先对产品故障现象进行归类,整理出每一类产品故障问题关键词,然后根据实际需求,依据描述提炼提取出同义词,基于多个特征维度对近义词表进行过滤,形成同义描述集合,丰富故障描述特征,形成产品故障标签字典。

4.消费品缺陷线索预处理

4.1缺陷线索数据筛选

(1)有效性。产品信息的品牌、产品分类、类别信息完整,故障描述信息真实描述产品使用中出现的故障,排除消费纠纷、服务质量以及怀疑揣测等问题。如果有联系人信息,确认联系人手机号码有效。

(3)字体和词性转化。多源信息同一数据字段的信息字体和词性保持一致。

4.2数据清洗

消费品缺陷线索信息分析的数据预处理,根据现有需求以及经验的积累,其中的数据清洗主要包括忽略部分数据项、基础数据核实、故障标签标注、智能与人工结合,通过这些处理各自解决不同的问题,以达到缺陷线索信息分析的预处理的数据优化效果。

4.2.1忽略部分数据项

消费品多源缺陷线索信息各自具有其特殊属性和信息内容,而这些信息内容在综合判定安全风险的缺陷线索案例过程中并非分析项,且影响分析判定结果的准确性。在信息预处理过程中,不影响消费品多源缺陷线索信息各自数据的条件下,采取忽略元组的方式将这些信息数据进行暂时忽略。

4.2.2基础数据核实

4.2.3故障标签标注

根据已形成的产品故障标签字典,对采集和选择的消费品多源缺陷线索信息:消费品的消费者投诉信息、产品安全网络舆情、境外召回信息、电商平台评价信息、国内召回信息、其他信息中的故障描述、网络舆情故障描述、缺陷原因(危险描述)、评价内容、缺陷描述、主要不合格项目、问题描述的内容分别进行故障标签标注,最终将不规范的故障现象描述数据进行规范。

4.2.4产品故障标签字典修正

5.结语

随着消费品多源缺陷线索信息数量的不断增加,相信数据预处理一定会越来越重要,也能为数据分析挖掘提供更加干净、高质量的信息源。消费品多源缺陷线索信息分析预处理方式完善建议:与专业知识应用融合,且贯穿预处理各环节;严控预处理各环节质量,保证高效;应用计算机智能学习和语义识别技术,解放人工,提高效率和准确性。

参考文献:

[1]林建军.浅谈我国消费品召回的特点及其重要意义[J].质量与市场,2020,(20):46-48.

[3]胡远樟,程小恩,何黎,严小英,温川飙.一种基于糖尿病的中医数据挖掘预处理方法[J].CJCM中医临床研究,2021,(30):75-77.

[4]田桂丰,谌颃,尹帮治.信息熵和灰色关联分析在企业大数据分析中的应用[J].信息记录材料,2021,22(3):151-152.

[5]唐成龙,谌颃,唐海春,吴泽锋.大数据背景下数据预处理方法研究运用[J].信息记录材料,2021,22(9):199-200.

[6]郑杰昌,谢志利,王长林.消费品召回追溯体系研究[J].标准科学,2020,(5):32-52.

[7]许辉.数据挖掘中的数据预处理[J].电脑知识与技术,2022,(2):27-31.

[8]李颜平,吴刚.基于典型数据集的数据预处理方法对比分析[J].沈阳工业大学学报,2022,44(2):165-192.

[9]杨忠诚.数据挖掘工具WEKA及其应用研究[J].企业科技与发展,2018,(9):38-39.

[10]张治斌,刘威.浅析数据挖掘中的数据预处理技术[J].数字技术与应用,2017(10):216-217.

THE END
1.数据治理:如何实施数据清洗,提升数据质量?一、什么是数据清洗?在数据治理工作中,为了彻底解决企业的数据质量历史遗留问题(数据不一致、不完整、不合规、数据冗余等),必须对存量数据进行改造,实施“数据清洗”工作。“数据清洗(Data cleaning)”一词,是数据治理领域中的专业术语。从字面意义上理解,“数据清洗”就是将数据上“脏”的部分清洗干净,让https://baijiahao.baidu.com/s?id=1738201979157781117&wfr=spider&for=pc
2.Python电商数据清洗及分析数据清洗阶段主要处理不符合业务逻辑的异常值,还有缺失值和重复值。 3.2.1 清洗发货日期早于下单日期的异常值 # 根据业务需要提取数据,发货日期早于下单日期 # 1)转换时间类型 data["OrderDate"] = pd.to_datetime(data["OrderDate"]) data["ShipDate"] = pd.to_datetime(data["ShipDate"]) # 2)计算时https://www.jianshu.com/p/bcb61ad9ff71
3.3.3电商评论数据清洗plusavailable":0本文介绍了电商评论数据的清洗过程,强调了数据清洗的重要性,解析了Json格式的评论数据,提取关键字段,如评论内容、评分、昵称等,并展示了如何使用MapReduce进行数据清洗,最终输出结构化的文本文件。 摘要由CSDN通过智能技术生成 实验3.3电商评论数据清洗 字体: https://blog.csdn.net/weixin_41586605/article/details/79226386
4.电商项目之数据清洗详解学习笔记简介:快速学习电商项目之数据清洗详解 开发者学堂课程【新电商大数据平台2020最新课程:电商项目之数据清洗详解】学习笔记,与课程紧密联系,让用户快速学习知识。 课程地址:https://developer.aliyun.com/learning/course/640/detail/10520 电商项目之数据清洗详解 https://developer.aliyun.com/article/1081150
5.跨境电商数据清洗的概念和原理跨境百科连连国际官网跨境电商数据清洗是发现并纠正跨境电商数据文件中可识别的错误的最后一道程序,包括检查数据一致性、处理无效值和缺失值等。与问卷审核不同,数据清理一般由计算机而不是人工完成。 1.跨境电商数据清洗的概念 数据清洗( Data cleaning)对数据进行重新审查和校验,目的在于删除重复信息、纠正存在的错误,并保证数据一致性。 https://global.lianlianpay.com/article_wiki/32-86492.html
6.电商精准营销—数据清洗电商精准营销—数据清洗 中级 文海洋 湖南工程学院 学习人次82 某商城作为中国最大的自营式电商,在保持高速发展的同时,沉淀了数亿的忠实用户,积累了海量的真实数据。如何从历史数据中找出规律,去预测用户未来的购买需求,让最合适的商品遇见最需要的人,是大数据应用在精准营销中的关键问题,也是所有电商平台在做智能化升https://www.educoder.net/shixuns/fqtjbfak/challenges
7.如何进行电商的运营工作数据清洗和预处理是数据分析的前置工作,需要对数据进行去重、缺失值处理、异常值处理等操作,以保证数据的准确性和可靠性。 3.数据挖掘和分析 数据挖掘和分析是电商运营数据分析的核心环节。需要通过数据挖掘、统计分析、机器学习等技术手段,挖掘数据背后的规律和趋势,为电商平台提供决策支持和优化建议。 https://www.linkflowtech.com/news/1767
8.数据质量和数据清洗研究综述20240502094258.docx数据质量和数据清洗研究综述.docx 48页VIP内容提供方:智慧城市智能制造数字化 大小:36.95 KB 字数:约2.31万字 发布时间:2024-05-08发布于广东 浏览人气:19 下载次数:仅上传者可见 收藏次数:0 需要金币:*** 金币 (10金币=人民币1元)数据质量和数据清洗研究综述.docx 关闭预览 想预览更多内容,点击https://max.book118.com/html/2024/0502/5204342041011202.shtm
9.滴滴公开“数据清洗方法装置”专利5月11日消息,天眼查资料显示,滴滴关联公司北京嘀嘀无限科技发展有限公司5月11日公开一项“一种数据清洗方法、装置、电子设备及存储介质”专利,公开号为CN111651437B申请日期为2020年4月17日。 该专利摘要显示,本申请提供了一种数据清洗方法、装置、电子设备及存储介质,其中,该数据清洗方法包括:获取目标订单对应的行程轨https://www.dsb.cn/147912.html
10.跨境电商店铺数据分析该怎么做?BI分析全流程实操详解!FineBI能够通过电商平台原始数据快速进行数据清洗、分类、汇总,并生成直观的图表展示。它能够按周期、品类、店铺等维度展现数据情况,减少数据处理时间和错误率。报告基于公司在跨境电商平台一个店铺的2021年销售、财务和退货数据。分为销售、财务、退货三个模块,可通过国家、收入、退款等维度的图表实现联动。https://www.finebi.com/industry/da-kjdsfx
11.大数据大厂之数据清洗工具OpenRefine实战:清理与转换数据OpenRefine 是一款开源的数据清洗和转换工具。它可以帮助用户快速地清理和转换各种类型的数据,包括文本数据、数字数据、日期数据等。OpenRefine 提供了丰富的功能,如数据筛选、排序、合并、拆分、正则表达式匹配等,可以满足用户在数据清洗过程中的各种需求。例如,在一个电商数据分析项目中,我们可能需要清理用户的评论数据,https://www.dtstack.com/bbs/article/25298
12.什么是数据清洗?面对常见的数据清洗问题,有哪些解决方法?答案是——数据清洗。简单来说,数据清洗就是对数据进行审查和校验的过程,目的是删除重复信息、纠正存在的错误,并提供数据一致性。如何有效进行数据清洗,走好数字化转型的每一步,是企业要思考的重要命题。 一、数据清洗的意义. 众所周知,在数据分析报告中,未经清洗的数据很可能会导致错误的结论,降低报告的可信度。而https://www.fanruan.com/bw/doc/180930
13.“武陟县域就业岗位每周送”武陟县人社局2023年05月01日收集四、清洗车间操作工: 1.薪资:试用期工资4500元。 以上人员一经录用: 1.公司免费提供工作服和全天用餐。 2.试用期公司免费给本人加入一份商业“意外伤害保险”。 3.试用期结束经厂部录用,待遇是:月基本工资+满勤奖+绩效奖金。 4.试用期结束,经公司认可给本人入人社局的“三险”。 https://wzjob.jzggjy.com/news/detail/304033.html
14.关于举办兰州市2020年残疾人网络专场招聘会的公告甘肃兰迅清洗工程有限公司 资料员 业务员 司机库 管普工 技工 宾馆服务员 保洁员 站务人员 检票员 保安人员 物业管理员 兰州市七里河区江子为民居家养老综合石嘴山和君纵达数据科技有限公司 银行客服专员 甘肃大永中医健康管理咨询有限公司大永中医诊所 按摩师 甘肃烯旺中医有限责任公司 http://www.gscjrjy.org.cn/contents/762/183.html