聪明文档网

    聪明文档网

    最新最全的文档下载
    当前位置： 首页> 改进朴素贝叶斯算法在文本分类中的应用

    改进朴素贝叶斯算法在文本分类中的应用

    时间：2023-03-26 04:11:02    下载该word文档
    创新前沿TechnologyInnovationandApplication科技创新与应用2019年5期改进朴素贝叶斯算法在文本分类中的应用黄勇1，罗文辉1，张瑞舒2（1.武汉理工大学自动化学院，湖北武汉430063；2.武汉理工大学能动学院，湖北武汉430063）摘要：朴素贝叶斯算法是一种基于概率统计的分类算法，广泛应用于机器学习中分类问题的求解中。文本分类是自然语言处理和数据挖掘领域中的研究热点有着广泛的应用前景。朴素贝叶斯算法已经在文本分类中取得了较好的分类效果，但是由于文本词向量的特征向量维度高，很多分类算法的求解效率和准确率都不高。文章提出一种基于词向量间余弦相似度的改进朴素贝叶斯算法，有效的降低了特征向量的数据冗余和计算复杂性。特征向量；余弦相似度关键词：文本分类；朴素贝叶斯算法；中图分类号院TP391文献标志码院A文章编号院2095-2945渊2019冤05-0024-02datamining袁whichhasawiderangeofapplications.NaiveBayesalgorithmhasachievedgoodresultsintextclassification袁buttheefficiencyandaccuracyofmanyclassificationalgorithmsarenothighbecauseofthehighdimensionoftheEigenvectorofthetextKeywords：textclassification;NaiveBayesalgorithm;Eigenvector;cosinesimilarityclassificationproblemsinmachinelearning.TextclassificationisaresearchhotspotinthefieldofnaturallanguageprocessingandAbstract：NaiveBayesalgorithmisaclassificationalgorithmbasedonprobabilityandstatistics袁whichiswidelyusedtosolvewordvector.Inthispaper袁animprovedNaiveBayesalgorithmbasedoncosinesimilaritybetweenwordvectorsisproposed袁whichcaneffectivelyreducethedataredundancyandcomputationalcomplexityofEigenvectors.1概述在文本分类任务中，目前采用的主要方法是将文本分词，通过词向量技术进行特征提取文本被表示成一个高维度的文本向量集合。然后通过分类器进行文本类别的学习。目前很多主流的机器学习分类算法都取得了较好的分类效果。但是由于文本数据特征表示复杂，分类效率和精度还没有取得较大的提高，朴素贝叶斯算法是在传统贝叶斯算法上假定待分类特征的分量之间相互独立，这使得贝叶斯这种分类方法的工程化应用得以实现[1]。但是文本中的数据由于上下文的语义关系，各个词组的特征向量之间并不都是相互独立的，这给分类器增加了很大的计算和求解负担，参数学习效率低数据特征冗余度大，如果考虑到利用各个上下文词组之间的概率相关性，利用词向量[2]之间的相似度有选择的剔除一些语义近似的词向量将大大简化分类过程。余弦相似度就能够很好的度量特征词向量之间的相关性程度，很好的表征了上下文词组之间的相似程度，可以利用这一相似性指数简化文本特征表示集合的大小，简化分类器的学习过程，提高分类效率。2基于词向量余弦相似度的改进朴素贝叶斯算法传统贝叶斯算法可表示为：P（yi|x）=P（x|yi）P（yi）/P（x）（1）其中x为待分类特征项，y为分类类别。因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为假定各特征属性是相互条件独立的，所以有：P（x|yi）P（yi）=P（a1讦yi）P（a2讦yi）…P（am讦yi）P（yi）=P（yi）其中x=（a1a2a3……am）表示特征向量x的构成m为特征向量维度在改进模型中考虑到词向量的有序性对分类结果的影响因素在每个分量中设置一个影响因子，当相邻两项的余弦相似度为零时忽略前一项的影响，直接进入下一词向量的计算，这样以达到降低特征词向量的冗余和计算复杂性。基于词向量余弦相似度的改进模型可表示为：P（x|yi）P（yi）=P（a1讦yi）兹12P（a2讦yi）…兹ijP（am讦yi）P（yi）=其中兹ij沂[0，1]为特征向量的余弦相似度值，依次计算相邻两项特征向量的余弦相似度当兹ij为1时忽略前一个特征向量的影响，兹ij沂[0，1）时计算下两个的余弦相似度值直到所有词向量结束。軆軆cos（兹ij）=xixj|xi||xj|最终分类算法简化为：y=argmaxP（yi）兹ij仪j=1P（aj讦yi）m仪j=1P（aj讦yi）m（2）P（yi）兹ij仪j=1P（aj讦yi）m（3）（4）（5）3文本分类实验在此使用谷歌训练好的开源词向量模型，利用开源IMDB、文本数据集来对改进模型进行分类实验和效果评估。IMDB数据集包含来自互联网的50000条严重两极分渊下转27页冤（1989-）作者简介：黄勇，男，汉族，硕士研究生，研究方向为机器学习与数据挖掘。-24-
    2019年5期TechnologyInnovationandApplication科技创新与应用众创空间具有一定主流行、智能性和先进性，为文献保护技术实验项目教学的开展提供了基本保障。但现有仪器设备是不能满足文献保护实验项目整合与创新的，为此，一方面需要公共大数据分充分整合学校现有的信息管理综合实验室、析实验室等仪器设备，为文献保护实验项目适应数字时代另一方面，的设计和开发新的实验项目提供平台；需及时更新文献保护传统实验项目中已老化和落后的专业性较强的仪器设备。4.3推进产学研融合，为文献保护实验项目提供源动力实践性很强文献保护技术本身就是一门跨学科领域、生物、建筑和信息技的课程，学科领域涉及到物理、化学、术等，同时对实验操作和实践环境要求较高。因此，纯粹依托学校现有的实验仪器设备、实验师资是不能很好的满足文献保护学的实验教学需求。加强产学研融合，为文献保护实验教学提供支撑，不失为一种优化路径[8]。一方面，通校外档案局（馆）过文献保护学的理论课教师、及相关档案实践基地的实践导师、校内实验教学指导教师融合，构建另一方面，一支理论、实践与实验跨领域结合的教学队伍；联合档案馆文献修裱中心、图书馆和博物馆古籍修复室、信息技术公司数据恢复中心等相关实践部门，共建文献保护实训基地，扩大文献保护实验环境和平台，在实践中实渊上接24页冤化的评论[3]，该数据被分为用于训练分类模型的25000条评论文本和用于测试分类效果的25000条评论文本，训练实集和测试集都包含50%的正面评价和50%的负面评价。验利用开源的深度学习框架TensorFlow和Keras。实验过程为文本数据导入、文本预处理、文本特征转换、分类器实结果输出，现、参数初始化、参数迭代、利用Keras提供的朴素贝叶斯分类器[4]，在此基础上实现了改进的分类算法模型。同时也在传统朴素贝叶斯模型上进行实验过程，实验在测试集上得到分类效果如下表所示：表1朴素贝叶斯算法在IMDB测试数据集上的分类结果验、在实验中生产，为文献保护技术实验项目的创新、发展提供了内在驱动力。参考文献院[1]张美芳.我国档案保护技术学可持续发展的若干思考[J].档案学通讯，2008（1）：68-71.通讯，2016（3）：72-76.[2]赵淑梅.数字时代我国档案保护技术学学科发展走向[J].档案学[3]李泽锋《.档案保护技术学》教学内容体系的重构与优化———从78.[4]戴旸，方凌超.翻转课堂在档案保护技术实验教学中的应用研究磁性载体档案、光盘档案保护谈起[J].档案学通讯，2013（1）：75-（1）：40-43.—[6]任越，倪丽娟.对档案学专业本科教育课程体系改革的设想——以黑龙江大学档案学专业本科课程体系改革为例[J].档案学研究，2006（2）：38-41.张美芳.档案保护技术实验教程[M].北京：[7]唐跃进，中国人民大[J].档案学通讯，2018（4）：76-80.[5]吴晓红.档案保护实验教学改革探索[J].实验技术与管理，2013学出版社，2013.[8]马丽华.高校“产学研”合作项目实践中的档案管理[J].浙江档案，2013（11）：57.表2改进朴素贝叶斯算法在IMDB测试数据集上的分类结果迭代次数准确率（%）时间（s）3005002000300050000.610.70.820.90.9879173139迭代次数准确率（%）时间（s）3005002000300050000.60.650.790.850.94811203548，针对传统文本分类中存在的数据冗余度大、存在的问题特征表示复杂、分类效率低下的问题提出了基于上下文词向量之间余弦相似度的改进朴素贝叶斯算法，有效降低了文本特征向量的数据冗余度和模型计算复杂性通过实验验证了该改进算法的有效性，分类效果得到极大提升。参考文献院赵好好，等.朴素贝叶斯算法的改进与应用[J].[1]赵文涛，孟令军，测控技术，2016（02）.邹显春.基于Word2Vector的一种文档向量表示[J].[2]唐明，朱磊，计算机科学，2016，43（6）：14-217.陆玉吕.贝叶斯学习、[3]林士敏，田凤占，贝叶斯网络与数据采掘sisoffeaturepoolinginvisualrecognition.InProceedingsofthe[J].计算机科学，2005，27（10）：69-72.[4]Y.-L.Boureau，J.Ponce，andY.LeCun.Atheoreticalanaly原27thInternationalConferenceonMachineLearning（ICML-10），pages111-118，2010.传统朴素贝叶斯分类算法和改进朴素贝叶斯分比较类算法模型在实验中的结果可以发现，基于文本词向量余弦相似度的改进朴素贝叶斯文本分类算法有着更好的分类精度和更低的迭代时间，大大降低了文本高维度的特征带来的计算复杂度。4结束语本文分析了传统朴素贝叶斯算法在文本分类问题上-27-

    免费下载 Word文档免费下载： 改进朴素贝叶斯算法在文本分类中的应用

    TOP热门搜索

    相关推荐：

    挑战答题

    • ￥29.8

      ￥45 每天只需1.0元
      1个月 推荐

    • ￥9.9

      ￥15
      1天

    • ￥59.8

      ￥90
      3个月

    选择支付方式

    • 微信付款
    会员须知 联系在线客服 登录账号
    郑重提醒：支付后，系统自动为您完成注册

    请使用微信扫码支付(元)

    订单号：
    支付后，系统自动为您完成注册
    遇到问题请联系 在线客服

    常用手机号：
    用于找回密码
    图片验证码：
    看不清？点击更换
    短信验证码：
    新密码：
     
    绑定后可用手机号登录
    请不要关闭本页面，支付完成后请点击【支付完成】按钮
    遇到问题请联系 在线客服

    侵权投诉  © 2013-2019 http://www.tcm999.cn   站点地图 |  手机版

    本站文档均来自互联网及网友上传分享，本站只负责收集和整理，有任何问题可通过上访投诉通道进行反馈