毕业设计文本毕业设计论文基于半监督的文本分类算法.docx

会员专享推荐 · 你可能也用得上更多

开通会员，畅读全站文档

本篇文档已为你保留

本篇文档价值 ~~¥35.00~~会员免费解锁

全文不限次阅读，剩余内容即刻解锁
高速下载通道，免排队、无等待
专属客服 1 对 1 答疑，优先响应
每日赠送下载券，本篇文档免费送

有 86 篇商业计划书正在上传

下载原文档

毕业设计文本【毕业设计（论文）-基于半监督的文本分类算法】文本分类算法毕业论文学院：专业：电子信息科学与技术论文题目：基于半监督的文本分类算法摘要随着Internet的出现，大量的文字信息开始以计算机可读的形式存在，以传统的手工方式对这些信息进行组织整理既费时费力且效果不理想。文本分类作为处理和组织大量文本数据的关键技术，可以利用机器来对文本进行分析整理，使用户从繁琐的文档处理工作中解放出来，并能极大地提高了信息的利用率。文本分类是指分析文本内容并按一定的策略把文本归入一个或多个合适的类别的应用技术。而作为信息过滤、信息检索、搜索引擎、文本数据库、数字化图书馆等领域的技术基础，文本分类技术有着广泛的应用前景。本文首先介绍了文本分类的背景，文本分类所用的半监督算法及文本分类的几个关键技术。然后鉴于高分类精度需要大规模己标记训练集而已标记文档缺乏，利用未标识文档进行学习的半监督学习算法己成为文本分类的研究重点这一情况，着重研究了半监督分类算法。最后本文设计了一个文本分类原型系统，为保证分类的准确性，采用了不同的标准数据集进行测试，并评价了其分类的性能。通过以上实验表明，当有足够的己标识文档时，本算法与其它算法性能相当，但当已标识文档很少时，本算法优于现有的其它算法。关键词:文本分类；半监督学习；聚类；EM；KNNABSTRACTWiththeemergenceofInternet,alargenumberoftextmessagesbegantoexistintheformofcomputer-readable,tothetraditionalmanualwayfororganizationstocollatetheinformationistime-consumingeffortandtheresultisnotsatisfactory.Asthekeytechnologyinorganizingandprocessinglargemountofdocumentdata,Textclassificationcanusethemachinetocollatethetextanalysis,allowingusersfromthetediousworkofdocumentprocessingliberatedandcangreatlyimprovetheutilizationofinformation.Textclassificationisasupervisedleaningtaskofassigningnaturallanguagetextdocumentstooneormorepredefinedcategoriesorclassesaccordingtotheircontents.Moreover,textclassificationhasthebroadappliedfutureasthetechnicalbasisofinformationfiltering,informationretrieval,searchengine,textdatabase,anddigitallibraryandsoonThisthesisfirstlyintroducesthebackgroundofthetextclassification,textclassificationusingsemi-supervisedalgorithmandafewkeytechnologiesabouttextclassification.Secondlyconsideringthecontradictionofdeadlyneedforlargelabeledtrain-settoobtainhighclassificationaccuracyandthescarcityoflabeleddocuments，thisthesisemphasizesonimprovementofSemi-supervisedclassificationalgorithms，Finallywedesignadocumentclassificationsystem.Inordertoensuretheaccuracyofclassification,usingadatasetdifferentstandardsfortextingandevaluationoftheperformanceoftheirclassification.Theexperimentsaboveshowedthesuperiorperformanceofourmethodoverexistingmethodswhenlabeleddatasizeisextremelysmall.Whenthereissufficientlabeleddata，ourmethodiscomparabletootherexistingalgorithms.Keywords:textclassification;semi-supervisedleaning;clustering;EM;KNN目录1引言11.1课题背景11.2本文的内容组织22半监督学习32.1半监督学习的概念及意义32.2半监督学习的研究进展42.3半监督学习的方法52.3.1协同训练(Co-training)52.3.2自训练62.3.3半监督支持向量机（S3VMs）72.3.4基于图的方法（Graph-BasedMethods）82.4本章小结93文本分类103.1文本分类的概念及意义103.2文本分类的国内外研究情况103.3文本分类的关键技术113.3.1文本特征生成123.3.2特征选择与降维143.3.3权重计算163.3.4文本分类技术173.3.5文本分类技术性能评价223.4本章小结254基于EM和KNN的半监督文本分类274.1引言274.2相关工作274.2.1聚类分析274.2.2EM算法304.2.3KNN算法314.3基于EM和KNN的半监督文本分类算法314.3.1问题描述324.3.2算法思想324.3.3基于EM算法的聚类分析334.3.4基于Knn算法的分类354.3.5算法步骤364.4算法效率分析374.5本章小结385实验与分析395.1实现EM-KNN算法395.1.1实验平台395.1.2算法实现及流程图395.2实验结果与分析435.3小结43总结44参考文献45翻译部分48英文原文48中文译文54致谢61中国矿业大学2009届本科毕业设计（论文）第65页1引言1.1课题背景随着信息技术的发展，互联网数据及资源呈现海量特征，而且，越来越多的信息以电子文本的形式存在。统计表明，目前网页的数量呈指数型增长，平均每年增加一倍。截至2006年，全球每年制造、复制出的数字信息量共计1610亿GB，这大约是有史以来出版的图书信息总量的300万倍。为了有效地管理和利用这些分布式的海量信息，基于内容的信息检索和数据挖掘逐渐成为备受关注的领域。其中，文本分类(TextClassification)技术是信息检索和文本挖掘的重要基础。文本分类在自然语言处理、信息组织与管理、内容信息过滤等领域都有着广泛的应用。因为文本分类可以极大地增强人们对海量信息的处理能力，早在上世纪中叶，有关文本分类的研究就已经开展起来。早在1957年，美国IBM公司的H．P．Luhn在自动分类领域最先进行了开创性的研究，提出了词频统计。