中国学术杂志网

高校网络舆情监控系统设计与实现

 论文栏目:网络舆情论文     更新时间:2018/10/8 10:53:50   

【摘要】互联网改变了人们传播舆论的方式,极易导致突发网络舆情事件,本文针对高校网络舆情的特点,设计并实现了基于网络论坛的高校网络舆情监控系统。下载高校论坛网页,抽取正文,统计分析后将数据可视化显示出来。高校管理者通过监控系统可以实时了解学生的思想动态,辅助学校管理决策。

【关键字】舆情监控;爬虫;正文提取;分词;统计

1.引言

互联网的发展势头一直不减,特别是近几年移动互联网的发展更是日新月异,显著提高了中国网络的普及。报告显示,截至2017年底,我国网民规模达到7.72亿,互联网普及率为55.8%,大学生网络普及率远超趋近100%。中国互联网的发展成就举世瞩目,每个人都通过各种渠道在获取着海量、高速、便捷的信息,虚拟的网络社会已经渗透到现实社会的各个角落。社会管理者必须重视对网络关注,及时发现网络社会暴露出来的各种问题,积极应对网络虚拟社会的新挑战。[1]政府部门对于网络舆情的监控非常重视,逐步健全网络舆情应急和引导工作。大学生网络舆情的监控与引导是网络舆情管理的重要内容。大学生网络舆情是由于各种事件的刺激而产生的通过互联网传播的人们对于该事件的所有认知、态度、情感和行为倾向的集合[2]。大学生也是网民重要的组成部分,价值取向多元,趋于稳定又有很大的不确定性,容易受到各种思想的煽动,具有强烈的表达欲望。[3]大学生舆情热点不断出现,如果不能及时处理,对社会和谐、大学生心理将康都会造成很大的伤害。高校目前对大学生网络舆情的重视不够,或者没有找到有效的手段监控大学生网络舆情。因此,大学生网络舆情监控系统的设计与实现就非常有必要,学校通过这个手段能够及时了解学生关注的热点和他们的思想动态,为学校决策提供有效的参考依据,为应对突发事件提供有效的保证手段。

2.相关研究

国内外成熟的舆情监控系统有很多,国际上有名的监控系统有:美国TDT系统、波拉情感倾向舆情分析软件、Newsblaster系统。[4]国内网络舆倩监按系统发展状况:中国舆情网palas网络舆情监控系统、麦资讯第H方网络舆情监控系统、Goonie网络舆情监控系统、鹰牵网络舆情监控系统、军犬网络舆情监控系统。但是,国内比较成熟的网络监测系统主要集中用于各政府部门对网络上各大公共事件的舆情信息监测与分析。比如军犬网络舆情监控系统通过对互联网舆情信息的自动获取、舆情分类、话题识别、话题聚焦等,实现了网络舆情数据采集、舆情数据分析、舆情事件应对、网络舆情预警和舆情分析报告生成等16个主要功能,主要用于军队和公安等相关安全部门。[5]面向高校切广泛应用的的舆情监控系统不多,大多限于某高校自己开发自己使用,但是近些年对于高校网络舆情监控的研究并不少,教育部门和高校越来越重视高校网络舆情监控体系的建设。陕西理工大学陈燕通过知网发现对于高校舆情的研究大概始于2006年,十年来跟高校舆情相关的研究文献约2000个。[6]北京师范大学鲁学亮通过对高校网络舆情和舆情监控系统的特点,提出人防与技防相结合来构建监控体系。[7]陕西师范大学徐琦以陕师大为例,研究学校舆情特点,提出针对自己学校的网络舆情特点,提出针对自己学校的舆情监控策略。[8]

3.系统功能架构

成熟的舆情监控系统对高校大学生的针对性较差,高校经费投入也具有较大的压力。经过分析和调研本校大学生群体行为发现,学生喜欢通过QQ空间表达一些个人情感和生活琐事,喜欢通过百度贴吧发表个人情绪、态度、意见和观点。特别是当他们对社会对学校带有强烈主观性不满的时候,经常通过贴吧等论坛网站表达个人情绪,容易造成群体性舆情事件。本文设计了基于网络论坛的大学生舆情监控系统,定时下载学校的贴吧页面,抽取正文,分词并统计排序后存入数据库,信息实时推送前端页面,对于舆情主动预警。系统的整体架构如图1所示。

4.功能模块

4.1网页采集模块

网页采集模块核心是网络爬虫,可以分析并下载网页。本文主要针对百度贴吧等网络论坛,分析贴吧的入口URL为”http://tieba.baidu.com/f?kw=**大学&pn=0”,第一个参数kw用来指定贴吧的名称,第二参数pn实现分页请求。爬虫程序运行过程中不断修改URL参数信息,一直将贴吧下全部网页下载下来,实时采集页面时,根据发帖时间只获取最新时间内的帖子。本文爬虫程序使用Java语言的工具包HttpClient。Http-Client是Apache的一个子项目,提供了高效的、功能丰富的HTTP协议支持功能。HTTP协议是Internet最重要的协议之一,中文名是超文本传输协议,下载的网页就是超文本标记语言文档。基于HTTP协议,网页在浏览器向服务器发起请求后,由服务器传向浏览器,HttpClient对HTTP协议具有强大的支持功能,可以模拟浏览器向服务器发起请求,方便了爬虫程序的编写。

4.2正文提取模块

HTML文档由一个个有层次结构的节点组成,DOM是页面上数据和结构的树形表示。DOM全称是DocumentObjectModel,即文档对象模型。获取网页正文就是将HTML文档转换成DOM树,分析网页结构,删除噪声标签,抽取网页正文。整个过程就是对网页的解析过程。常用的HTML文档解析器有HTMLParser、JSoup、JTiny等。本文使用的解析器是JSoup,可直接解析某个URL地址、HTML文本内容。Jsoup提供了方便的API,用户可以通过DOM,CSS以及类似于JQuery的操作方法来操作数据。以贴吧为例,页面以div标签进行布局,靠id属性来区分内容元素,在帖子内容div里,帖子排列在ul标签内。以div标签和id属性为参数,调用select方法定位帖子列表标签;然后以ul和li标签为参数,调用select方法逐条获取帖子标签元素;最后抽取出帖子题目、发帖者、发帖时间、发帖内容和评论信息等内容。

4.3数据处理模块

帖子内容提取出来后,需要对内容进行分词处理。分词是指将汉字字符序列切分成词语组合并识别词性,包括了新词识别,新词包括组织机构名、人名、地名等命名实体。论文使用的分词系统是NLP-ICTCLAS汉语分词系统,主要功能包括中文分词、英文分词、词性标注、命名实体识别、新词识别、关键词提取,支持多种操作系统和开发语言。比如“河南大学今年录取分数线多少”的分词结果是“河南大学/nt2018年/t理科/n分数线/n是/vshi多少/ry”。在分词的基础上,对关键词进行统计分析。去除副词、介词、连词等,对关键词进行词频统计,按照词频递减排序,有效获取实时的热点词汇。这些高频词主要分成两类:一类反映大学生比较稳定的状态;一类反映大学生传播的突发事件。另外建立倒排索引文件,可以快速对帖子进行检索。

4.4舆情显示模块

舆情显示模块将热点词汇、舆情事件以图表的形式展现给用户,信息显示主要结合HTML、CSS、JavaScript等前端技术将数据直观展示。学校管理者通过该系统了解学生动态,监控舆情及时作出决策,将突发事件不良影响降到最低。信息传输形式分成用户查询、定时刷新和实时推送三种。用户可以查询本周热点、月度排行、年度排行,系统定时刷新今日热点排行,对于检测到的敏感事件进行不定时推送。

5.小结

高校舆情以往不被重视,大多是出事后亡羊补牢。如果高校能够组建舆情监控部门,利用网络舆情监控系统及时发现端倪,防患于未然,是能够将很多舆情事件化解于萌芽阶段的。舆情监控系统作为教学信息化的重要组成部分,关系到和谐校园的构建,关系到教育教学,是科学有效的舆情监控机制里最重要的环节之一。本系统设计并实现了一个具有基本功能的舆情监控系统,对于高校舆情监控具有很大的帮助。系统功能有很多需要完善的地方,比如没有实现智能化,需要管理员一直监控系统,人为判断舆情事件,人为跟踪舆情变化。下一步希望能够将智能算法融入系统,智能检测舆情事件,精确推送给监控人员。

参考文献:

[1]李卫平.虚拟社会管理中大学生网络舆情的监控与引导[J].安徽商贸职业技术学院学报,2013,12(1):49-52.

[2]龚思兰.基于社会网络分析的网络舆情潜在主题发现研究[D].南京理工大学,2017.

[3]成敏.网络舆情对大学生价值观的影响与对策[J].思想理论教育导刊,2016(5):141-143.

[4]孙楠.网络内容与舆情监控系统的设计与实现[D].南京邮电大学,2016.

[5]邹妍.网络舆情监控与分析系统的设计与实现[D].吉林大学,2015.

[6]陈燕.近十年高校舆情及舆情引导研究综述[J].陕西理工学院学报(社会科学版),2017,35(4):85-90.

[7]鲁学亮,谢彤芳,张旭,等.高校网络舆情监控体系的构建研究[J].中国教育信息化,2016(16):86-88.

[8]徐琦.高校校园网络舆情监控与引导研究———以陕西师范大学为例[J].中国教育信息化,2013(19):36-39.

作者:胡万亭 冯慧蕊 单位:河南大学濮阳工学院

学术网收录7500余种,种类遍及
时政、文学、生活、娱乐、教育、学术等
诸多门类等进行了详细的介绍。

网络舆情论文
@2008-2012 学术网
出版物经营许可证 音像制品经营许可证
主机备案:200812150017
值班电话
0825-6697555
0825-6698000

夜间值班
400-888-7501

投诉中心
13378216660
咨询电话
唐老师:13982502101
涂老师:18782589406
文老师:15882538696
孙老师:15982560046
何老师:15828985996
江老师:15228695391
易老师:15228695316
其它老师...
咨询QQ
89937509
89937310
89903980
89937302
89937305
89937307
89937308
业务
综合介绍
在线投稿
支付方式
常见问题
会员评价
官网授权
经营许可
关于我们
网站简介
版权声明
友情链接
人员招聘
联系我们