聪明文档网
最新最全的文档下载
当前位置：
首页> Web文本层次分类方法研究
Web文本层次分类方法研究
时间： 下载该word文档
维普资讯http://www.cqvip.com
第８卷第３期 ２００８年９月
温州职业技术学院学报
Ｊｏｕｒｎａｌ ｏｆ Ｗｅｎｚｈｏｕ Ｖｏｃａｔｉｏｎａｌ＆ＴｅｃｈｎｉＣａｌ Ｃｏｌ１ｅｇｅ
、ｂ１．８ ＮＯ．３ Ｓｅｐ．２００８
Ｗｅ ｂ文本层次分类方法研究
王序臻
（温州职业技术学院计算机系，浙江温州 ３２５０３５）
［摘
要］Ｗｅｂ丈本分类是在给定分类体系下，根据Ｗｅｂ文本内容判定丈本所属类别的一种分类方法。当丈本
类别数量庞大或者类别复杂时，可采用基于向量空间模型的Ｗｅｂ丈本层次分类方法，但该分类方法仍存在若干不
足。本丈就此归纳多种改进方法，用作讨论，为文本在Ｗｅｂ中的分类及构建模型提供参考。
［关键词】Ｗｅｂ文本分类；向量空间模型；层次分类方法；层次结构
［中图分类号】ＴＰ３９１．１ ［文献标识码】Ａ ［文章编号】１ ６７１－４３２６（２００８）０３—００４４—０４
Ａ Ｓｔｕｄｙ ０ｎ ｔｈｅ Ｍｅｔｈｏｄ ０ｆ Ｗｅｂ Ｔｅｘｔ Ｌｅｖｅｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ
Ⅵ，ＡＮＧ Ｘｕｚｈｅｎ
（Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｄｅｐａｒｔｍｅｎｔ，Ｗｅｎｚｈｏｕ Ｖｏｃａｔｉｏｎａｌ＆Ｔｅｃｈｎｉｃａｌ Ｃｏｌｌｅｇｅ，Ｗｅｎｚｈｏｕ，３２５０３５，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｗｅｂ ｔｅｘｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｉｓ ａ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｅｔｈｏｄ ｔｈａｔ ｃａｔｅｇｏｒｉｚｅ ｔｅｘｔ ｉｎ ｔｅｒｍｓ ｏｆ ｔｈｅ ｃｏｎｔｅｘｔ ｏｆ ｗｅｂ
ｔｅｘｔ ｉｎ ｔｈｅ ｇｉｖｅｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍ．Ｗｈｅｎ ｔｈｅ ｃａｔｅｇｏｒｙ ｉｓ ｃｏｍｐｌｅｘ ｏｒ ｉｔｓ ｎｕｍｂｅｒ ｉｓ ｌａｒｇｅ，ａ ｗｅｂ ｔｅｘｔ ｖｅｃｔｏｒ—ｓｐａｃｅ， ｍｏｄｅｌ—ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｅｔｈｏｄ ｃａｎ ｂｅ ａｄｏｐｔｅｄ，ｔｈｅ ｍｅｔｈｏｄ，ｈｏｗｅｖｅｒ，ｉｓ ｎｏｔ ｐｅｒｆｅｃｔ．Ｔｈｕｓ ｓｏｍｅ ｉｍｐｒｏｖｅｍｅｎｔｓ ｈａｖｅ ｂｅｅｎ ｉｎｄｕｃｅｄ，ｐｒｏｖｉｄｉｎｇ ｔｈｅ ｗｅｂ ｔｅｘｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｉｔｓ ｍｏｄｅｌ ｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ ｒｅｆｅｒｅｎｃｅ．
Ｋｅｙ ｗｏｒｄｓ：Ｗｅｂ ｔｅｘｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ；Ｖｅｃｔｏｒ ｓｐａｃｅ ｍｏｄｅｌ；Ｈｉｅｒａｒｃｈｉｃａｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｅｔｈｏｄ；Ｈｉｅｒｒｃｈｉａｃａｌ ｓｔｒｕｃｔｕｒｅ
０ 引言
随着网络信息技术的高速发展和高速通信基础设 施的建设，Ｉ ｎｔ ｅ ｒｎ ｅｔ上的Ｗｅ ｂ页面数量呈指数增长，
分类把人的分类问题转化为小的子问题，能较好地降
低时间和空间的复杂度。本文介绍基于向量空间模型 的层次分类基本思想，并讨论各种改进方法。
如何有效地组织和处理这些海量信息，如何更好地搜 索、过滤和管理这些网络资源，Ｗ ｅ ｂ文本分类成ｒ父 键技术。Ｗ ｅ ｂ文本分类是基于文本内容将待定文本划 分为一个或多个预先定义的类的方法。最初的文本分 类采用专家手工进行，对领域知识要求高且花费人，
１ Ｗｅｂ文本表示方法
向量空间模型（ＷｅＣｔｏｒ Ｓｐａｃｅ Ｍｏｄｅ１，ＶＳＭ）…是 由Ｓａ １ ｔ Ｏ ｎ教授最 在ｌ ９ ６８年提出的，是近年来文本 表示应用较多且效果较好的方法之一。该模型涉及到 文档、项、项的权重三个基本概念：
不能满足大规模文档处理的要求。随着文本自动分类 技术的出现，如类中心向量分类、ＫＮＮ分类、ｓＶＭ分类 等方法，较好地解决了大量文档的归类『ⅡＪ题，并且被 应用到各个领域。
（１）文档（ＤＯ Ｃ ｕｍｅｎｔ）：泛指一般的文本或文本中
的片断， ・般指一篇文章。
（２）项（Ｔｅ ｒｍ）：文本中的内容特征常用切分后的词 表示，称为文本的项，即文本可用项集表示。
（３）项的权重（Ｔｅｉ＇ｍ Ｗｅｉｇｈｔ）：对ｆ含有 项的文 本，不同的项， 区分文本的能力不同，故ｔ 常被赋予不同 的权重Ｗ（ｆ ， ）以表示它们在文本中的重要程度。常用