基于机器学习对5G潜在客户分析与挖掘
洪晓晴，潘珈，栾瑶瑶，李敏*
青岛大学数学与统计学院，山东青岛
收稿日期：2023年3月14日；录用日期：2023年4月14日；发布日期：2023年4月25日
摘要
关键词
5G潜在客户识别，随机森林，Catboost模型，LightGBM模型
AnalysisandMiningof5GPotentialCustomersBasedonMachineLearning
XiaoqingHong,JiaPan,YaoyaoLuan,MinLi*
SchoolofMathematicsandStatistics,QingdaoUniversity,QingdaoShandong
Received:Mar.14th,2023;accepted:Apr.14th,2023;published:Apr.25th,2023
ABSTRACT
Keywords:5GPotentialCustomersIdentification,RandomForest,CatboostModel,LightGBMModel
ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).
1.引言
伴随着移动智能设备的大规模普及，移动通信技术在人们的工作和生活中饰演了不同寻常的角色，第五代移动通信技术——5G(5thGenerationWirelessSystems)是目前已投入使用的最为先进的通信技术[1]。近年来，社会转型加速，国家正在加强培育数据要素市场、推进治理体系现代化、推进新型基础设施建设，致力打造全新智慧城市。而5G网络的大规模连接能力、高速率传输能力正是智慧城市建设的有力支撑。
5G可高效将城市系统和服务打通、集成，提升资源运用效率，优化城市管理和服务，改善市民生活质量。加快5G用户增长与城市发展深度融合，通过信息化手段解决城镇化过程中带来的问题，既是城市可持续发展所需，也是产业新动能所在。而如何通过模型精准识别5G需求潜在用户，促进4G时代向5G时代转变，以实现基于5G深度应用的智慧城市建设至关重要。
近些年来，数据挖掘技术快速发展，帮助人们更高效地解决了一些实际问题，机器学习等方法被广泛应用于医学诊断、图像处理等各行各业。机器学习的诸多方法和手段，同样可以为竞争日益激烈的通信运营商领域挖掘潜在用户提供指导。本文选取行业代表性企业作为研究对象，选取了某市5万条数据进行二分类建模分析。针对其个人市场业务，基于它拥有大体量客户及海量客户信息的特点，探讨如何开展精准的客户分群营销，提前预警消费流失客户，做好挽留；同时充分挖掘有消费潜力的客户，拉升消费水平，对个人通信客户的消费能力进行深入挖掘，确保移动公司收入保持较高的增长速度。本论文构建5G潜在用户的识别模型，利用大数据优势建立模型，更精准地找到目标用户，可以有效地降低运营商营销成本，并且拓宽运行商行业发展，实现更多4G用户向5G的转型，提升我国的5G用户使用率和覆盖率。
2.国内外研究现状
国内对于通信行业的发展还是走在世界前列的，通信行业随着网络技术和社会的发展，用户对运营商在各时期有着不同的要求。
2016年，周意[2]利用大数据对江西移动4G营销情况做出分析，对4G终端客户的换机行为、用户画像、场景做出分析及营销策略。2020年，董喆人[3]在5G背景下，探究目前流量增收为先的情况下对公司的流量营销做了精准营销优化的研究，为各大运营商推广流量营销给出一定的借鉴和参考意义。同年，欧阳秀平[4]利用机器学习构建和用户信息构建终端品牌推广模型。在识别潜在用户方面，郭林雪[5]借助关联规则对用户的网上购车行为特征进行分析，并根据此类用户的特点，利用协同过滤算法寻找出与老用户有相似行为特征的潜在用户。2022年，周雅婷[6]首先采用KNN算法填补法等三种方法处理缺失值。在模型搭建前，对数据进行了描述性统计分析，可以系统地了解众多变量的分布特征。并搭建了Logistic回归模型、决策树分类模型、随机森林模型、XGBoost模型和LightGBM模型五种模型，并将各个模型在准确率、召回率、AUC这三个评估指标上的表现进行对比分析。
Figure1.Articlestructureflowchart
4.数据处理与分析
本文通过爬取某省移动大数据平台的信息得到原始数据50,000条，包括44个变量。由于变量较多，为了更好的做可视化处理，我们将44个变量建立10个维度，分别为用户标识、用户基础信息、消费行为信息、超套信息、宽带信息、签约信息、套餐信息、流量饱和度信息、其他信息、标签。
4.2.数据预处理
在数据挖掘过程中，海量的原始数据中往往存在大量的异常数据，这些数据的存在会使得建模的执行效率降低，造成结果的偏差。为了提高数据的质量，得到更好的建模效果，需对原始数据预处理。通过对本文中的数据集进行初步探索，本次操作对数据进行的操作包括数据清洗、去除唯一属性、数据变换等。
4.2.1.数据清洗
数据清理是一道能够发现并纠正数据中可辨别错误的程序，从而提高后续所研究数据集的质量，本研究过程中主要进行的操作包括对缺失和重复数据的处理、一致性检查等。
1)缺失值处理
Table1.Missingvariablesandquantity
2)重复值处理
重复值是指数据集中出现属性值完全相同的数据，即某一条或者多条用户数据重复出现。根据用户编码这一唯一标志对数据集中的数据进行检索，发现其中重复值较少，删除重复数据对整体数据影响不大，故对重复值做去除处理。
3)一致性检查
一致性检查将变量合理的取值范围作为依据，观察数据是否合乎实际要求，及时地发现超出合理范围的数据。如本研究对用户的性别、年龄等属性进行探索，性别为男女两种类型，年龄范围在18~60，均属于正常范围。
4.2.2.去除唯一属性
唯一属性是指唯一标识实体实例的属性，通常是指一些ID属性，这些属性并不能刻画样本本身的分布规律，一般不会用在建模之中，可直接予以删除。例如本研究中的user_id和product_no是随机生成的标志用户的属性，并不具有业务意义，故进行删除处理。
4.2.3.数据变换
Table2.Textdataconversion
5.变量筛选
Figure2.Correlationheatmap
6.模型预测
6.1.模型评价指标
Table3.Obfuscationmatrixexample
1)准确率(Accuracy)是所有类别用户预测正确的比率。
2)召回率(Recall)是真正样本用户中被预测结果为正样本用户的比例，通过该评价指标能够反映少数样本类别(开通5G)被正确预测的比例。本文目标变量的各类别数量相差较大，能否正确识别少数样本类别(开通5G)很重要，因此需要考虑该指标的值。
3)AUC值：ROC曲线下半部分的面积，其范围区间在[0,1]之间，面积越大则模型效果越好，此时曲线尽可能的处在左上角，这就能证明模型在预测正确的概率大于模型预测错误的概率。
6.2.随机森林
随机森林是一种由决策树构成的集成算法，属于集成学习中的Bagging方法。由于单一决策树可能会造成过拟合和较大的误差，该算法尝试将多个不同的决策树结合起来，从而减少单一决策树可能存在的缺陷和判断不准确的问题。本文的任务是对5G潜在用户的识别，属于分类问题。当输入新的样本时，森林中的每一个决策树对其进行判别与分类，对每一颗树的分类结果进行归类汇总，将分类结果最多的那一类作为随机森林的最终结果。
6.3.CatBoost
Catboost算法是一种带有分类特征的无偏增强算法，该算法引入处理分类特征的创新算法以及有序提升方法这两类方法，克服了在当前现有的梯度增强算法，普遍存在的后续梯度增强依赖训练集所产生的梯度偏差问题。
Table4.Optimalparametervaluesforrandomforest
Table5.Randomforestevaluationindexresults
1)分类特征目标统计
传统梯度提升算法，经常将离散变量类别转化为数值型处理，处理时按照特征高低分成两类进行处理，低维特征时可以利用One-hot，当遇到高纬度特征时One-hot转化会造成维度灾难的问题。为解决这个问题，提出分类特征目标统计方法，对统计的目标变量进行分组后，用一个新的变量代替分组有效减少分类维度方法。
2)有序提升方法
预测偏移是由梯度偏差影响造成的，具体表现为在梯度增加的迭代时，训练时梯度偏差误估，导致模型过拟合。有序提升一种增强算法，它不会受到预测偏移中梯度偏差的影响，具体方式表现为在梯度提升的每一步，独立地采样一个新的数据集，通过将当前模型应用于新的训练示例，获得未偏移的残差。
Table6.OptimalparametervaluesforCatboost
Table7.Catboostevaluationmetricsresults
6.4.LightGBM
LightGBM(LightGradientBoostingMachine)是梯度提升算法的一种，能够高效处理海量数据。该算法效率达到如此之快，是基于改进的减少样本角度和减少特征角度两类方法，单边梯度采样GOSS，通过保留较大梯度的样本，排除大量的小梯度样本，从而减少样本量；互斥特征绑定EFB，当样本特征较多时，将非零特征排序计算比率，使用合并特征获得最小比率。这两种方法克服了较流行的GBDT利用二阶导数进行梯度增强，在特征维数较大和数据量较大时，效率和可伸缩性稍差等缺点。
LightGBM算法同XGBoost类似，均属于Boosting集成算法中的一种，即在前一轮预测结果基础上进行改进，但是二者的优化方式不同，XGBoost是按层分裂，进行预排序分割，LightGBM算法则按叶子节点的分裂方式进行决策树分裂，并基于直方图算法将特征值分桶再分割，相比前者而言其运行速度得以提升，内存资源占用更低，能够更快速地处理海量数据。本文选取的样本数量较多，为50,000条用户信息，因此将LightGBM算法应用于潜在用户预测研究中，充分发挥该算法灵活可靠的特点。
Table8.OptimalparametervaluesforLightGBM
Table9.LightGBMevaluationmetricsresults
由上表结果可以看出，lightGBM模型预测效果良好，预测准确度达到了90%。也就是说，利用该模型进行预测，可以较准确的分析出5G潜在客户，可以更精准的定位顾客。
6.5.模型比较
Table10.Comparisonofdifferentmodelevaluationindicatorsfor5Gpotentialusers
Figure3.ROCcurvesforeachmodel
6.6.特征重要性分析
(a)(b)(c)
Figure4.Rankingtheimportanceofeachmodelfeature
7.总结
本文利用某省移动5G用户大数据，挖掘理解用户需求，根据现有5G用户的使用行为信息建立潜在用户数据预测模型，结合5G潜在用户数据的特点，以数据挖掘的流程为主线，在分类算法层面实现了对5G潜在用户的预测。
本文首先对原始数据进行了数据预处理，其中包括缺失值处理、重复值处理、去除唯一属性、数据变换等步骤，并对处理后的数据进行变量筛选，得到24个变量用于后续建模。针对现有的5G潜在用户建立分类预测模型，并考虑样本数据数量多的特点，本文选取的模型有常用机器学习算法：随机森林模型，集成学习算法：CatBoost模型、LightGBM模型，并利用网格搜索法进行模型调参以选取最优参数。结合准确率、召回率、AUC值等指标对各模型的预测效果进行比较发现，CatBoost模型以及lightGBM模型在各方面表现较好。
5G是新一轮科技和产业革命中的核心关键技术之一，截至2022年底，我国5G基站数超过231万个，但是5G的用户使用率仍然偏低，需尽快提升我国的5G用户率。本文通过统计方法与建模正确识别5G潜在用户，为运营商提供参考，对潜在的5G用户提供精准产品推销，实现更多用户从4G向5G的转型，推进我国智慧化城市和数字经济的发展。