中国学术杂志网

如何构建期刊评价指标体系

 论文栏目:期刊理论信息     更新时间:2018/3/6 11:28:14   

针对期刊评价指标的合理性以及指标间内在联系的研究,不少学者从不同的视角、不同的方法给出了研究思路。如林萍基于文献计量法,对我国医药卫生类核心期刊的评价指标进行了相关性分析和多元线性回归分析,从而挖掘出当前我国医学类期刊发展中存在的问题。虞玉华等人采用投影寻踪分类建模原理技术,以期刊评价决策者的偏好为约束条件,建立了与主观权重相结合的体育类学术期刊综合评价指标体系,发现在17项体育期刊评价指标中,只有10项指标对体育类期刊学术水平具有重要意义。俞立平、程慧平、陈小山、毛国敏等人借助结构方程模型的因子分析,从不同的视角对期刊评价指标体系结构进行了研究。通过结构方程模型的计算,发现在期刊评价指标中某些指标之间存在着结构关系,选取指标进行期刊评价时应注意指标之间的相似性以及结构关系。Sidiropoulos,A.等人尝试采用天际线算法,进行顶尖科学家的识别。并指出在众多评价指标中,没有一个指标可以完全反映科学家的科学业绩与学术影响力,采用天际线算法可以避免多维指标排序时武断设置权重的局限,结果显示使用天际线算法识别出的科学家在各方面都十分卓越,在科学界中处于领先地位,与实际情况相符合。

1期刊评价初始指标构建

指标数据来源及标准化处理

本研究选取国外图书情报学领域(INFORMATIONSCI⁃ENCE&LIBRARYSCIENCE)的期刊为研究对象,从期刊引用报告JCR(JournalCitationReports)数据库中获取最新的期刊数据(即2015年的期刊数据),包括TotalCites(总被引次数)、ImmediacyIndex(即年指数)、JournalImpactFactor(影响因子)、ImpactFactorwithoutJournalSelfCites(他引影响因子)、5YearImpactFactor(5年影响因子)、EigenfactorScore(特征因子得分)、CitedJournalData(被引期刊数据)。以及从SCI数据库中获取期刊2015年的HIndex(H指数)和SJR值。由于JCR中提供的影响因子指标采用的是2013年到2014年期刊的被引数据,因此在Altmetric数据库中,将期刊的被引时间设置为2013年到2016年,统计这段时间内各期刊在网络媒体平台Blogger、Tweeter、Google、Newsoutlet、CiteUlike、Facebook、Wikipedia、Mandalay上被提及的数据。同时基于JCR中提供的期刊被引数据,统计出各期刊2013年到2015年的被引情况,构建期刊之间的非标准化引用共现矩阵,导入UCINET软件中,计算出期刊的点入度(FreemanInDegree)、点出度(FreemanOutDegree)、中间中心性(Free⁃manBetweenessCentrality)、特征向量中心性(BonacichEigen⁃vectorCentralities)。经过删除数据缺失的期刊后,最终获得62家期刊的完整数据。通过数据统计发现,各指标之间的数量差异十分大。为了消除指标差异带来的影响,本研究采用Min-max标准化方法对所有指标数据进行了标准化处理,确保所有的值都在0-1之间。

指标的筛选

本研究从期刊的传统学术影响力,网络社媒影响力以及引文网络影响力三个方面进行期刊综合水平的测量。最初选择了20个二级指标,其中包括7个传统学术影响力指标、8个网络社媒影响力指标、5个引文网络影响力指标。删除部分不合理指标后,得到12个可靠指标,如表1所示。在期刊传统学术影响力的评价指标中,总被引频次、H指数、五年影响因子指标的标准误差较大,不适合用于此次研究,故删除了这类指标。他引影响因子、五年影响因子与影响因子本质上是一致的,因此选择了路径系数较为合理的影响因子。在网络社媒影响力指标中,各指标标准误差均较小,均可用于模型构建,但是考虑到结构方程模型的稳定性、指标路径系数的合理性、标准误差的大小以及使用的广泛性,选出了4个有效指标。

指标数据信度检验及指标最终确立

数据信度检验是指通过采用相同的方法重复对数据进行检测,判断数据的一致性程度。通常采用信度系数,如克朗吧哈系数,来衡量数据信度,只有当信度系数大于0.6时,数据才能进行因子分析。本研究中,利用SPSS软件对筛选的12个二级指标进行指标数据的信度检验,通过SPSS中的KMO系数来进行数据信度的衡量。结果显示该样本数据的KMO系数为0.705,大于0.6,该样本可以借助因子分析来计算指标的贡献能力,为指标的最终确定奠定了基础。将指标降维处理进行因子分析,发现这12个二级指标可合并提取出三个主成分。通过最大方差法,将指标矩阵正交化旋转,计算各个指标在3个主成分上的荷载量,抽取出荷载量较大的指标,得到表2的指标矩阵旋转结果,其中主成分1中符合筛选标准的指标有Blogger、Tweeter、Google、CiteUlike;主成分2中有点入度、点出度、中间中心性、特征向量中心性;主成分3中有即年指数、影响因子、特征因子、SJR。这与初步假设的指标分布略有出入,根据主成分分析结果,将SJR指标从引文网络影响力中调整到了传统学术影响力中。最终确立影响因子、特征因子、即年指数、SJR属于第一类指标,用来解释期刊的传统学术影响力;Blogger、Tweeter、Google、CiteUlike属于第二类指标,用来解释网络社媒影响力;点入度、点出度、中间中心性、特征向量中心性属于第三类指标,用来解释引文网络影响力。

2基于结构方程模型的指标体系优化

结构方程模型原理

早在20世纪80年代,结构方程模型作为一个十分有用的社会科学研究方法就已经在国内外成熟起来。一方面它能间接地测量一些在社会科学、经济、市场等研究领域中不可测量的变量(潜在变量),如工作强度、经济发展水平等。借助对直接测量因子的测量(观察变量),在考虑误差的前提下,通过一个测量模型,即潜在变量与观察变量之间的函数关系,得出潜在变量的测量结果。另一方面,结构方程模型能同时对多变量进行测量。即使模型中同时存在多个影响变量,但在测量每个变量的影响程度时,结构方程模型采用的仍是逐一变量独立测量,排除其他变量的影响。其原理是构建一个潜在变量与观察变量之间的结构模型,通过数据的导入,建立解释模型,采用路径分析,多元回归,因素分析等方法,判断数据与所设定模型的拟合程度。本研究中建立因素路径模型,通过验证性因素分析,判断因素之间的内在联系。

样本的正态分布检验

针对样本数量和样本正态分布拟合程度的不同,结构方程模型中提供了7种参数估计的方法,分别是:工具性变量法(IV法)、两阶段最小平方法(TSLS法)、未加权最小平方法(ULS法)、一般化最小平方法(GLS法)、一般加权最小平方法(GWLS法或WLS法)、极大似然法(ML法)、对角线加权平方法(DWLS法)。其中使用最广泛的模型估计方法是ML法,其次是GLS法。本研究中运用SPSS软件进行样本的正态分布检验,通过样本的偏差和峰值来判断样本是否符合正态分布,以选择合适的参数估计方法。经过SPSS的统计分析,得到表4,发现这12个指标中,大多数指标的偏差和峰值的数值都比较大,与正态分布曲线的拟合程度不是很高,仅少数指标符合正态分布,因此适宜采用结构方程模型中提供的GLS参数估计法。

3综合计量指标的评价结果解读

基于期刊传统学术影响力、网络社媒影响力、引文网络影响力的计算模型,以及三类指标相互独立的性质,本研究采用天际线算法进行顶尖期刊的识别。A.Sidiropoulos等人的原始天际线的做法是构建指标二维坐标图,对任意一个点,若无其他点在所有指标上均比该点的相应指标要高,则认为该点是这个领域内综合影响力最高的,如此做法得到一组优秀的点,连接这组优秀的点便形成了天际线。一方面,该算法可以综合使用一组指标,从多个维度全面揭示科学家的学术绩效,避免了单个指标评价的局限性;另一方面,该算法中不需要对各指标赋权重,去除了人工赋权的主观性、武断性。本研究将期刊的传统学术影响力、网络社媒影响力以及引文网络影响力作为单一独立指标,构建三个指标的三维空间坐标图,识别出三家图书情报领域内优秀期刊的天际线集合(见表7)。三家期刊在2015年JCR影响因子分区中均位于一区,整体学术影响力都较高,而且期刊的传统学术影响力排名与2015年JCR中提供的影响因子排名基本吻合。其中MISquarterly作为全世界权威的核心期刊之一,在2015年图书情报领域的影响因子排名位居第一。该期刊的传统学术影响力、引文网络影响力,以及网络社媒影响力均处于前列,符合顶尖期刊的要求。JournaloftheAmericanMedicalInformat⁃icsAssociation的传统学术影响力和网络影响力均较高,其引文影响力却较低,但是该期刊也被纳为优秀期刊。该期刊属于美国医疗信息期刊,由于医疗信息自身的专业性很强,机构之间信息传播局限性大,导致该期刊的引文网络影响力不高,这是由于期刊本身性质所决定的,属于自然因素。同时基于该期刊强大的网络社媒影响力,也反映出在网络媒体平台上医疗信息是一个十分热门的讨论话题。Scientomet⁃rics与JournaloftheAmericanMedicalInformaticsAssociation和MISQuarterly期刊相比,传统学术影响力略低,但是该期刊的引文网络影响力和网络社媒影响力均较高,而且该期刊是图书情报领域中引文网络影响力最大的期刊。在统计样本中,该期刊的点入度、点出度、中间中心性,以及特征向量中心性均处于最高水平,这与该期刊国际化的特点密切相关。从JCR中期刊的被引数据看,该期刊被JournalofInfor⁃metrics、ResearchPolicy等17家期刊频繁引用,其中一区期刊、二区期刊、三区期刊、四区期刊的比例分别是29.4%、29.4%、29.4%、11.8%。研究发现,该期刊虽然同时为一区期刊、二区期刊、三区期刊提供了引用参考,但是与一区期刊之间的引用关系强度更强。除此之外,通过结构方程模型的计算结果,可挖掘出部分重要期刊,如表8所列。这部分期刊的传统学术影响力不如其他优秀期刊,但是其引文网路影响力或网络社媒影响力却较高,这些期刊在整个期刊领域中也扮演着重要的角色。LibraryTrends、ElectronicLibrary、JournalofDocumenta⁃tion、SerialsReview、JournalofInformationScience等期刊虽然传统学术影响力较低,但是这类期刊的网络社媒影响力却较高,这类期刊大多属于信息情报学,通过期刊的网络社媒影响力的大小,发现除去医疗话题外,目前信息情报学也是社会媒体中的讨论热点。而InformationTechnologyandMan⁃agement期刊主要的特点在于该期刊的引文网络影响力较大,其引文网络影响力主要体现在该期刊的点入度较高,因为该期刊权威性较低,其点出度也较低,但是该期刊从其他优秀期刊中获得的信息很多,同样可以将这部分信息传递给其他期刊,提高自身的中心性价值。

学术网收录7500余种,种类遍及
时政、文学、生活、娱乐、教育、学术等
诸多门类等进行了详细的介绍。

期刊理论信息
@2008-2012 学术网
出版物经营许可证 音像制品经营许可证
主机备案:200812150017
值班电话
0825-6697555
0825-6698000

夜间值班
400-888-7501

投诉中心
13378216660
咨询电话
唐老师:13982502101
涂老师:18782589406
文老师:15882538696
孙老师:15982560046
何老师:15828985996
江老师:15228695391
易老师:15228695316
其它老师...
咨询QQ
89937509
89937310
89903980
89937302
89937305
89937307
89937308
业务
综合介绍
在线投稿
支付方式
常见问题
会员评价
官网授权
经营许可
关于我们
网站简介
版权声明
友情链接
人员招聘
联系我们