业务发展可行性分析报告

和技术方案

2012年10月

第一章 项目总述

1.1系统背景

随着互联网的快速发展，网络媒体作为一种新的信息传播形式，已深入人们的日常生活。网友言论活跃已达到前所未有的程度，不论是国内还是国际重大事件，都能马上形成网上舆论，通过这种网络来表达观点、传播思想，进而产生巨大的舆论压力，达到任何部门、机构都无法忽视的地步。可以说，互联网已成为思想文化信息的集散地和社会舆论的放大器。

1.2舆情监控必要性

网络舆情是通过互联网传播的公众对现实生活中某些热点、焦点问题所持的有较强影响力、倾向性的言论和观点，主要通过BBS论坛、博客、新闻跟贴、转贴等实现并加以强化。当今，信息传播与意见交互空前迅捷，网络舆论的表达诉求也日益多元。如果引导不善，负面的网络舆情将对社会公共安全形成较大威胁。对我们说，如何加强对网络舆论的及时监测、有效引导，以及对网络舆论危机的积极化解，对维护社会稳定、促进国家发展具有重要的现实意义，也是创建和谐社会的应有内涵。

统计数据显示，我国正在跃升为全球领先的舆论媒体大国。

胡锦涛同志在视察人民日报社时强调指出，“互联网已成为思想文化信息的集散地和社会舆论的放大器，我们要充分认识以互联网为代表的新兴媒体的社会影响力，高度重视互联网的建设、运用、管理。”

习近平同志在中央党校开学典礼上也强调：“要提高同媒体打交道的能力，尊重新闻舆论的传播规律，正确引导社会舆论，自觉接受舆论监督。”

《中国政务微博研究报告》统计显示：截至2011年3月20日，中国已有2400余个政务微博。报告也称，“微博问政”已渐成政府信息公开的新趋势。现在，越来越多的地方官员养成了上网的习惯，高度重视互联网舆情。政府的执政艺术有了很大提高，社情民意渠道进一步拓宽。

在舆情媒体规模、媒体种类等发展迅猛的同时，舆情导向的监测预警显得愈发重要，特别是互联网这把“双刃剑”，既提供了大量进步、健康、有益的提倡性信息，也有不少反动、迷信、低级的误导性言论，这样就更需要有舆情专业网站的出现，防范误导性舆论的社会危害于未然，把握和保障正确舆论的前进导向，为构建和谐社会的舆情保驾护航。

1.3我国网络舆情现状

与国外相比，我国网络舆情还存在以下特殊情况：一是由于历史的原因，我国曾长期处于封闭状态，容易受到外来思想文化的冲击。二是目前我国正处于社会转型期，不可避免地存在诸多矛盾，容易使一些人出现情绪化冲动，以致不能明辨是非。三是少数社会管理者对于舆论习惯于回避或堵塞。

因此，网络这把锋利的“双刃剑”在提供了下情上达的便捷方式的同时，也对我国政治安全和文化安全构成了严重威胁，具体表现在以下三个方面：一是西方国家利用网络对我国进行“西化”、“分化”，网上思想舆论阵地的争夺战日趋激烈。二是传统的政治斗争手段，在网上将以更高效的方式实现，利用网络串联、造谣、煽动将比在现实中容易得多，也隐蔽得多。三是通过网络，西方的观念、生活方式可以便捷地渗透进来。

1.4网站设计方针和原则

网站利用互联网信息采集、智能信息处理技术（文本挖掘技术）和全文检索技术，对境内外网络中的新闻网页、论坛、博客、新闻评论，贴吧等网络资源进行精确采集、定向采集和智能分析，提供舆情信息检索、热点信息的发现、热点跟踪定位、敏感信息监控、辅助决策支持、舆情实时预警、舆情监管、统计分析等多层次、多维度的舆情信息的服务，实现的网络舆情监测和定向追踪等信息需求，形成简报、报告、图表等分析结果，从而帮助政府、企业等单位及时掌握舆情动向，准确捕捉预警信息，对有较大影响的重要事件快速发现、快速处理，从正面引导舆论和宣传，构建积极向上的主流舆论，并为政府、企业、个人决策提供信息依据。实现对舆情分析提出的目标。

对我们而言，舆情监控的需求既有通用性，也有个性化的特点存在，可以通过本网站进行量身打造，建立适合的专业舆情网站。

第二章 项目可行性分析

舆情网站实现具有可行性。一方面，舆情导向的预测不是一种抽象的可能性，而是现实的可能性，这种现实可能性并非凭空想象而是有其现实基础，是对舆情的历史信息和其他因素经过判断、分析而得出的结论。舆情也同其他事物一样，是一种客观存在，有其产生、发展、变化的规律。只要对其予以客观、全面、科学的考察，细致、认真、仔细地分析，我们通过相关手段对舆情导向的有无、好坏、大小，是可做出基本准确的评价和预测的。另一方面，我们通过专业舆情监控的搜索引擎、数据仓库和数据挖掘等技术，为实现这一需求提供了有力的技术保障，使舆情分析预警的实现具有了可能。

2.1价值分析

1、帮助有针对性的收集国家、地方和行业政策：帮助了解政策，有助于推动重大战略决策；

2、对网络危机事件形成快速反应机制：实时监控网民对各方面的关注意见，独特预警机制能早期发现危机事件，及时预警并后期追踪，有利于掌握危机事件的破坏力和传播趋势，为危机公关服务。

3、了解在或潜在中的地位：帮助洞悉其产品、品牌影响力，了解人们正反两方面的意见，客观评价其行业地位；

4、追踪上下游产品、新产品和新技术：帮助追踪上下游产品，有助于控制生产成本；追踪新产品新技术，有助于技术部门对产品线的技术革新；

5、服务于市场部门：快速对行情、促销、畅销区域、活动等做出反应，有助于市场部门做短期的运营规划；系统生成的统计报表，是对市场做出的一般性归纳，有利于市场部门做中长期的市场抉择。

2.2舆情网站主要功能

2.2.1舆情分析引擎

舆情分析引擎为系统的核心功能，其主要包括以下功能：热点识别能力、自动分类、聚类分析、倾向性分析与统计、主题跟踪、信息自动摘要功能、截取证据、趋势分析、突发事件分析、报警系统、统计报告。

2.2.2互联网信息采集

采用元搜索与信息雷达技术。智能信息抽取技术主要是针对特殊进行特定领域的信息采集。

2.2.3搜索引擎数据管理

搜索引擎数据管理功能主要包括以下功能：对收集到信息进行预处理；对搜索引擎数据集进行阶段性的数据维护；支持系统多分级管理系统，包括逐级进行审核功能；支持信息服务：最新报道、热点新闻、分类阅读、舆情简报、信息检索、RSS订阅等服务；信息文档转换技术：可以对信息进行传统文件格式转换。如：Doc、Excel、Access、Rss等文件生成。可生成报表、排行表等。

2.3舆情网站先进技术

2.3.1网络信息采集

1）强大的信息采集功能

全网全天候采集网络舆情，保障信息全面采集。

2）舆情源监控广泛

对网络舆情主要来源进行监控，包括：

（1）新闻类门户网站，如人民网、新浪网、雅虎……

（2）政府机构门户网站，如首都之窗、中国政府网……

（3）信息资讯网站，各地信息港、行业咨询网……

（4）交互性质网站，如论坛、BBS、百度贴吧

（5）个人式媒体，博客、微博、微信等

3）元数据搜索功能

元搜索引擎集成了不同性能和不同风格的搜索引擎，并发展了一些新的查询功能。查一个元搜索引擎就相当于查多个独立搜索引擎。进行网络信息检索与收集时，元搜索可指定搜索条件，既提高信息采集的针对性，又扩大采集范围的广度，收到事半功倍功效。

4）配置符合用户需求的监控源方案

系统为提供舆情源监控方案，对背景、行业特征及需求做深度调研，给出最适合的舆情源监控方案。

5）监控各种语言，各种编码的网站

无需配置自动识别语言和网站编码，挖掘舆情信息。

6）信息智能提取技术

有效提取网页中有效信息，区分标题、出处、作者、正文等信息项，并对具有连续性内容的多个网页内容进行自动合并，论坛帖子主题、回帖、点击量等自动提取。

7）结构化采集技术

对网页数据进行结构化的信息抽取和数据存储，以满足多维度的信息挖掘和统计需要。

8）全天候不间断监控

7*24全天候监控互联网信息，也可设定采集时间；实施中可以做到分钟级的采集更新。

9）采集信息预处理

对采集信息进行系列预处理操作：超链分析、编码识别、URL去重、锚文本处理、垃圾信息过滤、关键字抽取、关键信息提取、正文抽取、自动摘要，达到系统舆情智能分析前状态。

2.3.2实现舆情智能分析

1）自动分类技术

自动分类技术包括以下两中分类方式：

A基于内容的文本自动分类

B 基于规则的文本分类

2）自动聚类技术

基于相似性算法的自动聚类技术，自动对海量的无规则文档进行归类，把内容相近的文档归为一类，并自动为其生成主题词，为确定类目名称提供方便。

3）相似性检索和查重技术

基于文档“指纹”的文本查重技术，支持海量数据的信息查重。相似性检索是在文本集合中查找出与之内容相似的其他文本的技术。在实际应用中找出舆情信息内容雷同文章，对相似、雷同文章消重处理；还根据文章主题相似性，生成专题报道，背景分析等。

2.3.3自然语言智能处理

1）自动分词技术

以词典为基础，规则与统计相结合的分词技术，有效解决切分歧义。综合运用基于概率统计的语言模型方法，分词准确性达到99%。

2）自动关键词和自动摘要技术

对采集到的网络信息，自动摘取相关关键字，并生成摘要，并与快速浏览与检索。

2.3.4全文检索

全文检索将传统的全文检索技术与最新的WEB搜索技术相结合，大大提升检索引擎的性能指标。还融合多种技术，提供丰富的检索手段以及同义词等智能检索方式。

第三章 实施方案

3.1总体框架

从整体结构上看，实现舆情分析预警至少应包括：数据信息采集、统计挖掘预测、结果展示三个阶段。

3.2舆情网站主要特点

3.2.1自定义URL来源及采集频率

可以设定采集的栏目、URL、更新时间、扫描间隔等，网站系统的扫描间隔最小可以设置成1分钟，即每隔一分钟，将自动扫描目标信息源，以便及时发现目标信息源的最新变化，并以最快的速度采集到本地。

3.2.2支持多种网页格式

可以采集常见的静态网页（HTML/HTM/SHTML）和动态网页（ASP/PHP/JSP），还可以采集网页中包含的图片信息。

3.2.3支持多种字符集编码

能够自动识别多种字符集编码，包括中文、英文、中文简体、中文繁体等，并可以统一转换为GBK编码格式。

3.2.4支持整个互联网采集

以国内知名互联网搜索引擎的结果为基础并利用采集器直接面向互联网定制内容进行直接采集，只需要输入搜索关键词就可以了。

3.2.5支持内容抽取识别

对网页进行内容分析和过滤，自动去除广告、版权、栏目等无用信息，精确获取目标内容主体。

3.2.6基于内容相似性去重

通过内容相关识别技术自动判别分类中文章的关系，如果发现描述相同事件的文章自动去除重复部分。

3.2.7热点话题、敏感话题识别

可以根据新闻出处权威度、发言时间密集程度等参数，识别出给定时间段内的热门话题。利用内容主题词组和回贴数进行综合语义分析，识别敏感话题。

3.2.8舆情主题跟踪

分析新发表文章、贴子的话题是否与已有主题相同。

3.2.自动摘要

对各类主题，各类倾向能够形成自动摘要。

3.2.10舆情趋势分析

分析某个主题在不同的时间段内，人们所关注的程度。

3.2.11突发事件分析

对突发事件进行跨时间、跨空间综合分析，获知事件发生的全貌并预测事件发展的趋势。

3.2.12舆情报警

对突发事件、涉及内容安全的敏感话题及时发现并报警。

3.2.13舆情统计报告

根据舆情分析引擎处理后生成报告，可通过浏览器浏览，提供信息检索功能，根据指定条件对热点话题、倾向性进行查询，并浏览信息的具体内容，提供决策支持。

3.3价值实现

舆情网站实现以下价值目标：1）实现对海量网络信息之分类舆情采集；2）实现第一时间掌握网络舆情最新动态；3）智能化信息分析流程，流水线作业，提升信息加工效率；4）深度文字挖掘，实现对结构化、半结构化、非机构化数据文字挖掘需要；5）强大数理统计功能，丰富翔实统计数据，是健全决策机制不可或缺的准备；6）智能内容管理，高效管理网络舆情和内部文件；7）及时自主发现热点信息，健全的危机事件预警机制防范于未然。

第四章 技术方案

4.1网站策划思路

4.1.1网站的定位

舆情网站是武汉新时通信息技术有限公司建设并搭建的舆情研究、咨询、网络舆情信息通报、舆情控制平台，实现舆情信息工作的专业化、实践化和舆情信息研究的理论化、深度化，为社会主义现代化和建设和谐社会服务。

4.1.2风格和细节一定要标新立异

我们要体现网站的行业特征。大多同行网站页面平实、毫无新意，与其他行业网站无明显区分；本网站要在注重内容高质量的同时，讲究页面视觉的配合，站点的色彩、图片、文字要公正，大气的风格。通过良好的美术效果给访问者以全新的震撼效果。

4.1.3架构清晰

汲取国内政府和安防行业网站设计的精华，整合结构，加以创新。鉴于有不同的侧重点，栏目设置要合理，条理要清晰，尽量避免信息重复。页面内容要能为浏览者提供清晰的导航和指导，访问者在最短时间内找到自己需要的页面和内容。

4.1.4功能适用强大

交互式效果好，能及时的添加修改信息，方便维护，与访问者交流。针对访问者的不同目的，应将网站的功能概括为：信息即时发布及修改功能、信息查询功能、互动交流、信息发布功能等。

4.1.5网站采用相关技术

✧ 网页制作采用Dreamwearver (网页设计梦幻大师)

✧ 网页图片处理采用Photoshop及Coreldraw

✧ 网页动画制作采用Flash、Fireworks

✧ 网站数据库程序开发采用ASP+Java+ACCESS

4.1.6网站工作图示

4.1.7网络安全性设计

1. WEB页面的保护，防止“黑客”更改WEB页面的内容；

2. 具有一定的阻断攻击网络的能力，防止常规地攻击行为；

3. WEB服务器具有抗毁能力，防止系统被攻击后整体瘫痪；

4. 对数据库系统的保护能力，对其访问应具有鉴别和审计能力；

5. 增加对普通用户和VIP用户的访问授权控制；

4.1.8负载均衡功能

初期建设由于还未为用户所认识以及信息资源的量和内容还没达到规模，往往一类内容只配置单一的WWW服务器，随着网站的发展，信息资源不断的丰富和扩大，加大了网站的访问量。由于Internet上的应用都是三层结构，大量的费工费时的计算、查询、动态超文本生成都是靠WWW服务器来实现，WWW服务器的速度就是Internet网络速度的“瓶颈”。为提高WWW服务器服务能力，目前中大型ISP/ICP均采用负载均衡的先进技术来提高网站的访问性能。

网络负载均衡技术只需要一个IP资源就可以产生任意多个虚拟的IP服务器。并能使他们协调一致工作。不同的用户访问到不同的WWW服务器，从而使得多个WWW服务器并行地同时为Internet用户服务，在根本上改变了ISP商的Internet网络服务环境，大大地提高了速度。

4.1.9后台数据库管理系统设计

(一)目标

为了实现网站动态信息的实时更新，开发专门的后台数据库管理系统进行信息更新是非常必要，ASP技术正是公司经过长期摸索而发现的相当实用且功能强大的实用技术，针对于以前的网页改动必须将页面重新下载，上传，管理必须有专业知识，相当复杂，而用ASP技术开发则解决了这个问题，前台信息的改动只需进行简单的文字文本的输入即可，每天动态信息的及时更新，正是我们开发这种系统的目的

（二）管理步骤

1）进入待修改主页面；

2）通过指定路径名进入后台数据库管理系统主页面；

3）输入确定的用户名和密码，选择要管理的菜单栏；

4）选中所要进行修改或删除的内容，依文字解释说明进行相关改动；

5）在显示的文本框中填入相关信息，包括标题，内容，图片；

6）回到待修改主页面；点击菜单栏上刷新按钮即可。

（三）后台管理流程图

4.1.10网站的拓展性及安全性

网内诸如新闻数据库、内部文件数据库、内部资料数据库、信息交流数据库等，都可以通过此网站建立起来并为内部决策及外部大众服务。建立完整的数据库系统，对所有的数据资料进行分类存储，建立相关索引，方便查询及使用；对所有数据采用软件加密，使没有密钥的访问者数据库，即使黑客获取了数据也很难解码，保证了数据的安全性；建立数据库自动被分系统，可定期对数据进行备份，以免因病毒或者系统崩溃等不必要的原因造成损失

4.1.11网站应用系统建议

为了使网站系统安全稳定的运行，为了用户提供及时的服务，在网站系统开发时应遵循以下原则：

模块化：系统提供的应用模块，用户可以有选择地运用，每个软件之间相互独立，模块接口开放、明确，任何一个应用模块的损坏和更换部能影响其他软件模块的应用。

标准化与开放性：系统软件、应用软件的建设应遵循业界统一标准，具有开放性，应保证所选不同型号的硬件设备能相互兼容。

成熟先进性：技术的选型和设计要在体现先进性的同时，保证成熟性。

实用性：应依据舆情目前的职能内容、工作流程，设计系统的规模、软件功能和事务处理功能。

完全可靠性：要保证系统安全、可靠的运行，要有容灾、容错方案。

可扩展性：系统的设计和建设要充分考虑网络、硬件的扩展需要，应用系统二次开发的需要，以及支持未来可能出现的新栏目功能的需要。系统采用开放的可扩充模块结构，保证以后可以方便地升级和不断增加新内容、增加容量、以及在同一平台上扩充其他功能。

可维护性：系统的网络平台、设备平台、系统软件、应用软件都应提供方便、灵活的维护手段，方便应用人员的维护和管理。

经济性：系统的建设应考虑投资的经济性。

易用性：系统一方面方便网站访问者，另一方面方便系统管理员维护操作。