论文部分内容阅读
摘 要：采用Pearson相关系数方法，探讨了常用期刊评价指标之间的相关性及其对评价机制和效果的影响。结果显示：指标之间普遍存在正相关性，但不同指标之间的相关度有差异。篇均得分指标、被引半衰期、他引总引比、互引指数、基金论文比5个指标，与其他指标的相关度显著弱于其他指标之间的相关度;统计规则相似的影响因子、文摘转载和网络下载三类指标之间呈强正相关;总体上文摘转载指标与引文计量指标之间存在中度或较强的正相关。
关键词：学术评价 文摘转载 引文计量 相关性
中图分类号： G250.25 文献标识码： A 文章编号： 1003-6938（2014）05-0089-06
Research on the Correlation among Evaluation Indicators for Humanities & Social Sciences Journals
——Comparison between Digest-reprinting Indicators and Citation-metric Indicators
Abstract With Pearson correlation coefficientas instrument， correlations between different journal-evaluation indicators and its influences on evaluation machinisms and outcomes are explored. It is found that： correlations between indicators are all positive， but the degree of correlation is not the same. The correlations between the five indicators， ie the Average Score Per Article， the Cited Half-life， the Ratio of Other-cited，the Mutual Cited Index， and the Ratio of Funded Papers， and the other indicators is significantly weaker than that between any other two indicators; strong positive correlations exist among similar statistic indicators of three types， which are impact-factor indicators， digest-reprinting indicators， and WEB downloading indicators; medium or strong positive correlations exist between digest-reprinting indicators and citation-metric indicators.
Key Words academic evaluation; digest and reprinting; citation-metrics; correlation
1 引言
当前我国人文社科期刊评价中占据主导地位的是南京大学、北京大学、中国社科院等单位基于引文计量方法研制的核心期刊体系，同时，基于文摘分析法的人文社科期刊评价也具有一定影响，比如“复印报刊资料”转载学术论文指数排名。然而，同一期刊在不同期刊评价体系中的评价结果或排名位次却不尽相同，有的甚至大相径庭。这种状况为管理部门和人文社科工作者提供了多元化的选择，但也给评价结果的应用带来了不便。通常认为，指标选取、权重分配、数据来源等方面的差异，是造成评价结果差异的主要原因，但指标之间的相关性却往往容易被忽略。事实上，深入认识指标之间的相关性不仅有助于提高评价指标体系的科学性和可信度，也有助于科研和管理部门科学选择和使用评价结果，还为改进人文社科学术成果评价机制提供了依据。本文旨在通过定量方法分析我国常用人文社科期刊评价指标之间的相关性，为人文社会科学工作者提供参考。
一般来讲，不同的期刊评价指标从不同角度反映期刊质量或影响力的多个特征。可将评价指标之间的相关性简要分为三类：正相关、负相关、弱相关或无相关。在评价指标能够有效反映评价对象特征的前提下，若两指标之间存在较强的正相关，说明它们的评价对象特征存在较多重叠、评价结果一致性也较强，因而在同一指标体系中要慎重同时选用并适当控制此类指标的总权重，以免过度放大期刊的某些特征;若两个评价指标之间存在较强的负相关，说明它们所反映的评价对象特征之间存在矛盾，评价结果也往往出现矛盾，在选择指标和分配权重时，要确定更偏重于哪类指标所反映的特征;若两指标之间相关性较弱或不相关，则说明它们反映的评价对象特征之间差异较大、重叠较少，为了保证评价结果的全面性，有必要同时保留两指标，并应充分关注与多数指标差异较大的指标所占权重。以上分类是本文探讨期刊评价指标相关性的逻辑前提。
2 国内外研究现状
国外相关研究主要包括以下三个方面：第一，对比同行评议与引文计量指标评价结果的异同，如Mryglod等[1]通过对若干学科引文指标评价结果和同行评议分数的对比发现，对于“软科学”学科来讲，引文和同行评议评价结果之间的相关度很低;Waltman[2]的检验则得出了相反的结论，认为引文分析和同行评议的结果存在较强的正相关性。第二，对比不同评价体系的异同，如Delgado等[3]对比了Google Scholar Metrics， Web of Science 和Scopus三个工具中通信领域期刊的排名结果和H指数，发现前者的评价结果具有更高的可信度。第三，探讨个别期刊评价指标之间的相关性，如Gamez[4]以心理学期刊为例，探讨了影响因子和H指数、Latindex之间的相关性，发现三者的评价结果并非截然不同;Finardi[5]选取了1999～2010年间的一些自科科学和社会科学期刊进行对比跟踪，发现影响因子与逐年引用增长两指标间无显著相关。 国内研究从不同的角度探讨了与本文相关的问题：第一，对比不同评价体系的异同，如陈茹[6]从评价目的、评价方法、评价结果三个维度探讨了我国四种期刊评价体系的特点和存在问题;金淑兰[7]对我国三种核心期刊评价体系进行了比较研究，并指出对科研管理机构、科研人员以及图书情报人员的启示。第二，探讨具体评价指标之间的关系，比如金贞燕等[8]的研究指出世界著名大学及学科h指数与传统引文计量指标之间存在很强的相关性;俞立平等[9]基于面板数据探讨了特征因子与其他引文计量指标关系。第三，探讨评价指标的权重分配问题，如李华等[10]利用因子分析法研究了引文计量指标在科技期刊学术影响力评价中权重问题，指出载文量和基金论文比这两个指标也是影响学报学术影响力的主要因子;何荣利[11]依据文献分布规律提出将“核心效应”作为指标权重分配的理论依据。
以往研究为本文奠定了基础，但仍缺乏系统探讨我国期刊评价指标相关性的微观研究;对期刊的文摘转载指标与引文计量指标关系的研究尚属空白。基于这种状况，本文进一步将研究问题界定为：常用人文社科期刊评价指标之间的相关性如何？影响因子、网络下载等不同类型引文计量指标，以及文摘转载指标之间的相关性是否存在差异？指标之间的相关性对改进人文社科期刊评价机制和效果有哪些启示？
3 数据样本及研究方法
3.1 数据样本及特征
本文选取2011年度“复印报刊资料”转载排名（以下简称“转载排名”）[12]和《中国学术期刊影响因子年报（人文社会科学）》（2012年第10卷）（以下简称《影响因子年报》）[13]两个评价体系同时收录的173种“人文社科综合期刊”作为分析样本，探讨期刊评价指标之间的相关性，数据时间跨度均为2011年。
“复印报刊资料”每年广泛收集中国约4000种报刊发表的人文社科论文，并通过同行评议从中精选出约1.5万篇优质论文转载到93种二次期刊上进行专题化出版;“转载排名”根据期刊论文的转载量、转载率、篇均得分和综合指数共4个指标研制而成，并按期刊属性和学科分类排名;其中，“转载量”指期刊在当年度被“复印报刊资料”全文转载的论文篇数;“转载率”指期刊当年度被“复印报刊资料”全文转载的篇数/该刊当年总发文数;“篇均得分”指期刊当年度被“复印报刊资料”转载论文的平均同行评议得分;“综合指数”是对转载量、转载率、篇均分三项指标的加权求和[12]。本文对这4个指标进行全面分析。
《影响因子年报》以《中国学术期刊网络出版总库》的引文数据为基础，统计各类人文社科期刊的引文计量指标得分，为学术评价提供参考数据;所用指标包括可被引文献量、可被引文献比、引用半衰期、引用期刊数、被引期刊数、基金论文比、被引半衰期、他引总引比、互引指数、WEB即年下载率、总下载量、复合总被引、复合JIF（JIF即期刊影响因子，下同）、复合他引JIF、复合即年指标、期刊总被引、期刊JIF、期刊他引JIF、期刊即年、人文JIF、人文他引JIF、人文即年指标等22个，本文选取其中后17个指标进行分析[13]。其中，“他引总引比”是某期刊在统计年被该期刊之外的综合统计源期刊引用的总次数与总被引频次之比;“互引指数”是某期刊的被引集中度与该期刊所属学科的平均被引集中度之比;《影响因子年报》根据统计源的不同，共设置了11个影响因子类指标，且分为复合（包含期刊、硕博论文和会议论文）、期刊综合（仅包含所有期刊）、人文社科（仅包含特定的人文社科期刊）三大类，每类指标又分为总被引（创刊以来的累积数据）、JIF（含自引和他引的影响因子，统计年之前的两年），他引JIF（仅含他引的影响因子，统计年之前的两年）和即年指标（统计当年的引用情况）四种[13]。本文不再赘述上述常用核心期刊评价指标的含义，但需要指出，WEB即年下载率、总下载量和基金论文比虽然不直接基于引用数据统计，但可把网络下载和基金认可理解为广义的引用行为，因而也列为引用计量指标。
所选样本的评价数据有如下特征：第一，数据量较大、覆盖学科较全：“转载排名”覆盖21个人文社会科学一级学科，样本所选的173种人文社科综合期刊人文社科综合期刊共被转载2903篇论文;《影响因子年报》共覆盖18个人文社会科学一级学科，样本中平均每种期刊约被210种其他期刊引用、可被引论文数为599篇。第二，期刊质量普遍较高，影响力普遍较大：样本所选的173种期刊为“转载排名”和《影响因子年报》的交集，意味着至少被两个评价体系所关注和认可。第三，样本中文摘转载指标数据是当前人文社科领域迫切需要且较为难得的同行评议数据，有利于弥补现有研究的不足。
3.2 统计分析方法
在研究时，本文通过Pearson相关系数检验不同期刊评价指标评价结果之间的相关性;同时还对相关度进行差异显著性检验。最后根据检验结果总结分析出指标相关性对改进我国人文社科成果评价的启示。
为了便于对各期刊、指标的评价数据进行横向对比，首先对样本期刊每个指标的评价结果进行了归一，将所有指标得分的值域映射到[0，1]区间：设某一期刊集合中的第i种期刊的某一指标值为Ni，归一后的值为Ui，则：
Ui=■
其中，Max{Ni，| i=1，2……}是指这一指标系列中最大的一个评分数值。
Pearson相关系数考量的是定距变量间的线性关系，用来衡量两个数据集合是否在一条线上。设显著性检验P值的双侧检验值大于0.05时表示检验结果不显著（用#标注）;同时设相关系数越接近于1或-1，相关度越强;相关系数越接近于0，相关度越弱。本文按照以下取值范围判断变量的相关强度：相关系数为0.8～1.0表示极强相关（用****标注），0.6～0.8表示较强相关（用***标注），0.4～0.6表示中度相关（用**标注），0.2～0.4表示较弱相关（用*标注），0.0～0.2表示极弱相关或无相关（无标注）。本文只给出SPSS统计的双侧检验和相关系数的结果，并借助Ucinet软件生成可视化图示。 4 期刊评价指标的相关性分析
将21个指标相关性数据录入Ucinet软件绘制出评价指标可视化相关度（如图1所示）。
下面将从文摘转载指标、引文计量指标以及两类指标之间的对比三个方面详解图1所示的指标相关性、相关度及其差异（见表1、表2、表3）。
4.1 文摘转载指标的相关性分析
表1展示了“转载排名”4个指标之间进行两两对比的Pearson相关系数。从相关性显著性检验来看，表1中所有P值的双侧检验值均为.000，表示相关系数的检验值显著。换句话说，这4个指标之间的相关性都是显著的，可在此基础上进一步探讨相关度。
从相关度来看，根据表1数据，转载量和转载率两个指标之间存在较强的正相关性;篇均得分和转载量、篇均得分和转载率两对指标之间，分别存在较弱的正相关性。这说明转载量和转载率两个指标所反映的期刊特征存在较多重叠、评价结果的一致性较强，因而，若同时采用这两个指标评价期刊，这两个指标的总权重不宜过高;同时，篇均得分指标所反映的期刊特征与转载量、转载率两个指标存在较大差异，在评价期刊时难以被其他两个指标替代。从这三个指标的定义也可以看出，转载量和转载率侧重通过转载的数量反映期刊的影响力，因而两者正相关性较强;篇均得分则侧重反映期刊被转载论文的质量水平，因而与其他两个指标的正相关性较弱。
同时，转载量和转载率两个指标与综合指数之间，分别存在极强的正相关性;篇均得分与综合指数之间存在中度的正相关性。这说明转载量和转载率两个指标，对于期刊的综合评价指数有很强的指示作用;相比之下，篇均得分对于评价期刊的指示程度相对较低。由于“复印报刊资料”在评文选文时，坚持“优中选优”的原则，因而被转载论文普遍质量较高，同行评议得分差异不大[9]，是可以解释的。
4.2 引文计量指标的相关性分析
表2展示了17个指标中10个指标之间两两对比的Pearson相关系数。经检验发现，复合、期刊综合和人文社科三大类指标中统计方法相似的指标，如复合JIF、期刊综合JIF和人文社科JIF三个指标之间，复合他引JIF、期刊综合他引JIF和人文社科他引JIF三个指标之间，其正相关系数均超过0.9，且检验结果为显著;同时正相关性极强的两个指标与其他引文计量指标的关系十分相似，因此表2只列出了复合类影响因子指标的相关系数作为代表，未列出其他两类影响因子指标的相关系数。
从相关性显著检验来看，如表2所示，基金论文比分别与被引半衰期、他引总引比、互引指数、WEB即年下载率、总下载量、复合总被引6个指标之间，被引半衰期分别与互引指数、总下载量、复合即年指标3个指标之间，他引总引比分别与总下载量、复合即年指标2个指标之间，相关性检验均为不显著，因而不再继续探讨这些指标组合的相关度。此外，其他任意两指标之间的相关性检验均为显著，因而可以在此基础上进一步探讨相关度。
相关性检验为显著的引文计量指标之间普遍为正相关，如表2所示，按照其相关度分为五类：（1）正相关性极强的指标组合共有7组，分为三类：第一，复合JIF、复合他引JIF和复合即年指标这3个统计方法相似的被引相对量指标相互之间;第二，WEB即年下载率这一网络下载相对量指标，分别与复合JIF、复合他引JIF、复合即年指标3个引用相对量指标之间;第三，总下载量与复合总被引2个绝对总量指标之间。（2）正相关性较强的指标组合共有5组，分为两类：第一，互引指数这一期刊被引相对量指标，分别与总下载量、复合总被引2个绝对量指标之间;第二，复合总被引这一期刊被引绝对量指标，分别与WEB即年下载率、复合JIF、复合他引3个期刊被下载或被引相对量指标之间。（3）正相关性为中度的指标组合共有3组：他引总引比与互引指数，互引指数与复合他引JIF，复合总被引和复合即年指标。这3组指标的共同特征是，均基于期刊引用数据计算，但所反映的期刊特征存在明显差异。（4）正相关性较弱的指标组合共有12组，分为三类：第一，基金论文比分别与复合JIF、复合他引JIF，被引半衰期与复合总被引，互引指数分别与复合JIF、复合即年指标之间;第二，WEB即年下载率这一网络下载相对量指标分别与被引半衰期、他引总引比、互引指数3个引用相对量指标之间;第三，总下载量这一网络下载绝对量指标分别与复合JIF、复合他引JIF、复合即年指标3个影响因子类指标之间;第四，总下载量与WEB即年下载率之间。（5）正相关性极弱的指标组合共有5组：基金论文比与复合即年指标之间，被引半衰期分别与他引总引比、复合JIF、复合他引JIF之间，他引总引比与复合总被引、复合JIF之间。
由上可知：第一，统计方法越相似的指标之间相关度越强，比如各类影响因子类指标虽然统计范围和时间不同，但相互之间相关性明显强于其他引文计量指标;第二，绝对量指标之间或相对量指标之间的正相关度，强于绝对量指标与相对量指标之间的正相关度;第三，指标所反映期刊特征差异越大，正相关度越弱，如基金论文比、被引半衰期、他引总引比和互引指数这四个指标，与其他引文计量指标的正相关性普遍较弱或极弱，或者相关性检验不显著，说明他们所反映期刊特征具有相对独立性和特殊性，难以被其他指标替代;第四，网络下载指标与总被引、影响因子类指标的正相关度普遍较强或极强。
4.3 文摘转载指标与引文计量指标的相关性分析
将文摘转载指标和引文计量指标分别作为一组独立数据，对两类指标之间的相关性进行两两对比。表3列出了这两类指标之间的Pearson相关系数。仍以复合类影响因子指标作为影响因子指标的代表。
从相关性显著检验来看，如表3所示，基金论文比分别与转载量、转载率和综合指数之间，他引总引比与篇均得分之间，相关性检验均为不显著，因而不再继续探讨这些指标组合的相关度。此外，其他任意两指标之间的相关性检验均为显著，因而可以在此基础上进一步探讨相关度。 从相关度来看，表3中相关性检验为显著的指标之间普遍为正相关，但没有任何两个指标的相关系数超过0.8，即无极强的正相关。具体来讲：（1）转载量是文摘转载绝对量指标，与被引半衰期的正相关性极弱;分别与他引总引比、复合即年指标呈较弱正相关;分别与互引指数、WEB即年下载率、复合JIF、复合他引JIF 4个指标呈中度正相关;与复合总被引的正相关性较强。（2）转载率是文摘转载相对量指标，分别与他引总引比、互引指数、总下载量3个指标呈较弱正相关性;分别与被引半衰期、复合总被引2个指标呈中度正相关;分别与WEB即年下载率、复合JIF、复合他引JIF、复合即年指标4个指标呈较强的正相关。（3）篇均得分是反映期刊被转载论文质量的指标，与基金论文比的正相关性极弱，与其他所有引文计量指标均存在较弱正相关性。（4）综合指数是反映期刊被转载总体水平的指标，分别与被引半衰期、他引总引比2个指标呈较弱正相关;分别与互引指数、总下载量、复合即年指标3个指标呈中度正相关;分别与复合总被引、WEB即年下载率、复合JIF、复合他引JIF、4个指标呈较强正相关。
由上可知：第一，总体上，转载量、转载率和综合指数3个文摘转载指标与引文计量指标之间的所反映的期刊特征既有重叠又有互补，以致评价结果的耦合度和差异度参半，也说明核心期刊体系与文摘转载评价体系可相互印证和补充;第二，代表期刊被转载论文的质量水平，而不是期刊所有刊载论文的质量水平篇均得分指标，与大部分引文计量指标评价的正相关性较弱或极弱，显示出该指标所反映的期刊特征的特殊性，同时也说明该指标不宜单独使用，以免得到以偏概全的评价结果;第三，转载量与引文计量绝对量指标之间的正相关性更强，转载率与引文计量相对量指标之间的正相关性更强;第四，在引文计量指标中，基金论文比、被引半衰期和他引总引比3个指标与各文摘转载指标的正相关性，比其他指标与文摘转载指标的相关性更弱，再次显示出他们所反映期刊特征的相对独立性;第五，文摘转载指标与基于2年数据的复合JIF等指标的正相关度，强于与基于1年数据的复合即年指标的正相关度，说明文摘转载评价结果与2年期的引文计量结果更为一致;第六，文摘转载指标与网络下载指标、影响因子类指标的正相关度不相上下。
5 基本结论及启示
综上所述，我国人文社科期刊常用评价指标之间普遍存在正相关性，但不同类型指标之间的相关度有差异。在转载量、转载率、篇均得分和综合指数4个文摘转载指标中，篇均得分指标与其他指标的正相关度呈较弱或中度，其他指标之间的正相关性较强或极强。在17个引文计量指标中，被引半衰期、他引总引比、互引指数、基金论文比4个指标，与其他引文计量指标的正相关度普遍弱于其他指标之间的正相关度;影响因子类指标之间，及其与统计规则相似的网络下载类指标之间正相关较强或极强。总体上，文摘转载指标与引文计量指标之间存在中度或较强的正相关，三个文摘转载指标与引文计量指标之间的正相关性度从强至弱依次为转载率、转载量和篇均得分。
上述分析给人文社科期刊评价带来如下启示：第一，对于正相关度较强或极强的指标，其评价结果差异不大甚至较为相似，因此不宜同时使用或适当控制其总权重，以免放大其评价效果，如各类影响因子类指标之间，均反映绝对量的总被引、总下载等指标之间，均反映相对量的WEB下载率、影响因子等指标之间等;第二，在即年评价时，网络下载类指标可代替需要至少两年才能形成的影响因子指标，因而两类指标之间的正相关性较强或极强;第三，由于文摘转载指标与引文计量指标存在明显相互补充，因此在人文社科学术评价日益呼唤创新和质量导向以及加强同行评议地位的背景下，有必要进一步加强文摘转载指标的研制;第四，篇均得分、被引半衰期、他引总引比、互引指数、基金论文比等指标所反映的期刊特征难以被其他指标替代，应进一步优化其内涵和统计规则，使之在期刊评价中发挥更合理的作用。
本文只选取了2011年度“转载排名”和《影响因子年报》中重叠的人文社科综合期刊作为分析样本，但事实上我国还存在多个有影响力的人文社科期刊评价体系，以及大量的学科专业期刊，由于不同评价体系的指标定义和统计源不同，专业期刊与综合期刊的评价也存在差异，因此后续研究有必要从其他体系和学科角度开展，并深入探讨指标相关度差异的原因。
参考文献：
[1]Mryglod， O. ; Kenna， R. ; Holovatch， Yu. ; Berche， B. Comparison of a citation-based indicator and peer review for absolute and specific measures of research-group excellence[J]. Scientometrics，2013，（3）：767.
[2]Waltman， Ludo. On the correlation between bibliometric indicators and peer review： reply to Opthof and Leydesdorff[J].Scientometrics，2011，（3）：1017-1022.
[3]Delgado， E ; Repiso， R. The Impact of Scientific Journals of Communication： Comparing Google Scholar Metrics， Web of Science and Scopus[J].COMUNICAR， 2013，（41）：45-52.
[4]Gamez， AM. Assessment of psychology journals： correlation of impact factor and h-index vs. Latindex criteria[J].INVESTIGACION BIBLIOTECOLOGICA，2013，27 （61）：15-27. [5]Finardi， U. Correlation between Journal Impact Factor and Citation Performance： An experimental study[J]. JOURNAL OF INFORMETRICS，2013，（72）：357-370.
[6]陈茹.国内四种人文社科期刊评价体系的分析比较[J].图书馆工作与研究，2013，（4）：66-70.
[7]金淑兰.三种核心期刊评价体系比较研究[J].湖北民族学院学报（自然科学版），2012，（12）：473-476.
[8]金贞燕，金文姬，赵丹群.世界著名大学及学科h指数与传统引文计量指标的比较[J].图书情报工作网刊，2012，56（7）：21-29.
[9]俞立平，隆新文，武夷山.特征因子与其他引文计量指标关系研究——基于面板数据的估计[J].科研管理，2012，（8）：41-47.
[10]李华，李政，顾才东，等.引文计量指标在科技期刊学术影响力评价中权重分析[J].中国科技期刊研究，2010，
21（6）：817-819.
[11]何荣利.中文核心期刊评价指标权重的分析与思考[J].中国科技期刊研究，2007，18（l）：46-48.
[12]中国人民大学人文社会科学学术成果评价研究中心.“复印报刊资料”2011年度转载学术论文指数排名[EB/OL].[2013-10- 02]. http：//www.zlzx.org/rssi2011
/index.htm.
[13]中国科学文献计量评价研究中心，清华大学图书馆.中国学术期刊影响因子年报（人文社会科学）（第10卷）[R]，北京：《中国学术期刊（光盘版）》电子杂志社出版，2012：II-VI.
[14]杨红艳.基金资助对我国人文社会科学论文质量的影响——基于《复印报刊资料》转载论文评分数据[J].情报理论与实践，2012，（8）：101-106.
作者简介：杨红艳（1981-），女，博士，中国人民大学人文社会科学学术成果评价研究中心、中国人民大学书报资料中心副编审，研究方向：学术评价和信息资源管理。
关键词：学术评价 文摘转载 引文计量 相关性
中图分类号： G250.25 文献标识码： A 文章编号： 1003-6938（2014）05-0089-06
Research on the Correlation among Evaluation Indicators for Humanities & Social Sciences Journals
——Comparison between Digest-reprinting Indicators and Citation-metric Indicators
Abstract With Pearson correlation coefficientas instrument， correlations between different journal-evaluation indicators and its influences on evaluation machinisms and outcomes are explored. It is found that： correlations between indicators are all positive， but the degree of correlation is not the same. The correlations between the five indicators， ie the Average Score Per Article， the Cited Half-life， the Ratio of Other-cited，the Mutual Cited Index， and the Ratio of Funded Papers， and the other indicators is significantly weaker than that between any other two indicators; strong positive correlations exist among similar statistic indicators of three types， which are impact-factor indicators， digest-reprinting indicators， and WEB downloading indicators; medium or strong positive correlations exist between digest-reprinting indicators and citation-metric indicators.
Key Words academic evaluation; digest and reprinting; citation-metrics; correlation
1 引言
当前我国人文社科期刊评价中占据主导地位的是南京大学、北京大学、中国社科院等单位基于引文计量方法研制的核心期刊体系，同时，基于文摘分析法的人文社科期刊评价也具有一定影响，比如“复印报刊资料”转载学术论文指数排名。然而，同一期刊在不同期刊评价体系中的评价结果或排名位次却不尽相同，有的甚至大相径庭。这种状况为管理部门和人文社科工作者提供了多元化的选择，但也给评价结果的应用带来了不便。通常认为，指标选取、权重分配、数据来源等方面的差异，是造成评价结果差异的主要原因，但指标之间的相关性却往往容易被忽略。事实上，深入认识指标之间的相关性不仅有助于提高评价指标体系的科学性和可信度，也有助于科研和管理部门科学选择和使用评价结果，还为改进人文社科学术成果评价机制提供了依据。本文旨在通过定量方法分析我国常用人文社科期刊评价指标之间的相关性，为人文社会科学工作者提供参考。
一般来讲，不同的期刊评价指标从不同角度反映期刊质量或影响力的多个特征。可将评价指标之间的相关性简要分为三类：正相关、负相关、弱相关或无相关。在评价指标能够有效反映评价对象特征的前提下，若两指标之间存在较强的正相关，说明它们的评价对象特征存在较多重叠、评价结果一致性也较强，因而在同一指标体系中要慎重同时选用并适当控制此类指标的总权重，以免过度放大期刊的某些特征;若两个评价指标之间存在较强的负相关，说明它们所反映的评价对象特征之间存在矛盾，评价结果也往往出现矛盾，在选择指标和分配权重时，要确定更偏重于哪类指标所反映的特征;若两指标之间相关性较弱或不相关，则说明它们反映的评价对象特征之间差异较大、重叠较少，为了保证评价结果的全面性，有必要同时保留两指标，并应充分关注与多数指标差异较大的指标所占权重。以上分类是本文探讨期刊评价指标相关性的逻辑前提。
2 国内外研究现状
国外相关研究主要包括以下三个方面：第一，对比同行评议与引文计量指标评价结果的异同，如Mryglod等[1]通过对若干学科引文指标评价结果和同行评议分数的对比发现，对于“软科学”学科来讲，引文和同行评议评价结果之间的相关度很低;Waltman[2]的检验则得出了相反的结论，认为引文分析和同行评议的结果存在较强的正相关性。第二，对比不同评价体系的异同，如Delgado等[3]对比了Google Scholar Metrics， Web of Science 和Scopus三个工具中通信领域期刊的排名结果和H指数，发现前者的评价结果具有更高的可信度。第三，探讨个别期刊评价指标之间的相关性，如Gamez[4]以心理学期刊为例，探讨了影响因子和H指数、Latindex之间的相关性，发现三者的评价结果并非截然不同;Finardi[5]选取了1999～2010年间的一些自科科学和社会科学期刊进行对比跟踪，发现影响因子与逐年引用增长两指标间无显著相关。 国内研究从不同的角度探讨了与本文相关的问题：第一，对比不同评价体系的异同，如陈茹[6]从评价目的、评价方法、评价结果三个维度探讨了我国四种期刊评价体系的特点和存在问题;金淑兰[7]对我国三种核心期刊评价体系进行了比较研究，并指出对科研管理机构、科研人员以及图书情报人员的启示。第二，探讨具体评价指标之间的关系，比如金贞燕等[8]的研究指出世界著名大学及学科h指数与传统引文计量指标之间存在很强的相关性;俞立平等[9]基于面板数据探讨了特征因子与其他引文计量指标关系。第三，探讨评价指标的权重分配问题，如李华等[10]利用因子分析法研究了引文计量指标在科技期刊学术影响力评价中权重问题，指出载文量和基金论文比这两个指标也是影响学报学术影响力的主要因子;何荣利[11]依据文献分布规律提出将“核心效应”作为指标权重分配的理论依据。
以往研究为本文奠定了基础，但仍缺乏系统探讨我国期刊评价指标相关性的微观研究;对期刊的文摘转载指标与引文计量指标关系的研究尚属空白。基于这种状况，本文进一步将研究问题界定为：常用人文社科期刊评价指标之间的相关性如何？影响因子、网络下载等不同类型引文计量指标，以及文摘转载指标之间的相关性是否存在差异？指标之间的相关性对改进人文社科期刊评价机制和效果有哪些启示？
3 数据样本及研究方法
3.1 数据样本及特征
本文选取2011年度“复印报刊资料”转载排名（以下简称“转载排名”）[12]和《中国学术期刊影响因子年报（人文社会科学）》（2012年第10卷）（以下简称《影响因子年报》）[13]两个评价体系同时收录的173种“人文社科综合期刊”作为分析样本，探讨期刊评价指标之间的相关性，数据时间跨度均为2011年。
“复印报刊资料”每年广泛收集中国约4000种报刊发表的人文社科论文，并通过同行评议从中精选出约1.5万篇优质论文转载到93种二次期刊上进行专题化出版;“转载排名”根据期刊论文的转载量、转载率、篇均得分和综合指数共4个指标研制而成，并按期刊属性和学科分类排名;其中，“转载量”指期刊在当年度被“复印报刊资料”全文转载的论文篇数;“转载率”指期刊当年度被“复印报刊资料”全文转载的篇数/该刊当年总发文数;“篇均得分”指期刊当年度被“复印报刊资料”转载论文的平均同行评议得分;“综合指数”是对转载量、转载率、篇均分三项指标的加权求和[12]。本文对这4个指标进行全面分析。
《影响因子年报》以《中国学术期刊网络出版总库》的引文数据为基础，统计各类人文社科期刊的引文计量指标得分，为学术评价提供参考数据;所用指标包括可被引文献量、可被引文献比、引用半衰期、引用期刊数、被引期刊数、基金论文比、被引半衰期、他引总引比、互引指数、WEB即年下载率、总下载量、复合总被引、复合JIF（JIF即期刊影响因子，下同）、复合他引JIF、复合即年指标、期刊总被引、期刊JIF、期刊他引JIF、期刊即年、人文JIF、人文他引JIF、人文即年指标等22个，本文选取其中后17个指标进行分析[13]。其中，“他引总引比”是某期刊在统计年被该期刊之外的综合统计源期刊引用的总次数与总被引频次之比;“互引指数”是某期刊的被引集中度与该期刊所属学科的平均被引集中度之比;《影响因子年报》根据统计源的不同，共设置了11个影响因子类指标，且分为复合（包含期刊、硕博论文和会议论文）、期刊综合（仅包含所有期刊）、人文社科（仅包含特定的人文社科期刊）三大类，每类指标又分为总被引（创刊以来的累积数据）、JIF（含自引和他引的影响因子，统计年之前的两年），他引JIF（仅含他引的影响因子，统计年之前的两年）和即年指标（统计当年的引用情况）四种[13]。本文不再赘述上述常用核心期刊评价指标的含义，但需要指出，WEB即年下载率、总下载量和基金论文比虽然不直接基于引用数据统计，但可把网络下载和基金认可理解为广义的引用行为，因而也列为引用计量指标。
所选样本的评价数据有如下特征：第一，数据量较大、覆盖学科较全：“转载排名”覆盖21个人文社会科学一级学科，样本所选的173种人文社科综合期刊人文社科综合期刊共被转载2903篇论文;《影响因子年报》共覆盖18个人文社会科学一级学科，样本中平均每种期刊约被210种其他期刊引用、可被引论文数为599篇。第二，期刊质量普遍较高，影响力普遍较大：样本所选的173种期刊为“转载排名”和《影响因子年报》的交集，意味着至少被两个评价体系所关注和认可。第三，样本中文摘转载指标数据是当前人文社科领域迫切需要且较为难得的同行评议数据，有利于弥补现有研究的不足。
3.2 统计分析方法
在研究时，本文通过Pearson相关系数检验不同期刊评价指标评价结果之间的相关性;同时还对相关度进行差异显著性检验。最后根据检验结果总结分析出指标相关性对改进我国人文社科成果评价的启示。
为了便于对各期刊、指标的评价数据进行横向对比，首先对样本期刊每个指标的评价结果进行了归一，将所有指标得分的值域映射到[0，1]区间：设某一期刊集合中的第i种期刊的某一指标值为Ni，归一后的值为Ui，则：
Ui=■
其中，Max{Ni，| i=1，2……}是指这一指标系列中最大的一个评分数值。
Pearson相关系数考量的是定距变量间的线性关系，用来衡量两个数据集合是否在一条线上。设显著性检验P值的双侧检验值大于0.05时表示检验结果不显著（用#标注）;同时设相关系数越接近于1或-1，相关度越强;相关系数越接近于0，相关度越弱。本文按照以下取值范围判断变量的相关强度：相关系数为0.8～1.0表示极强相关（用****标注），0.6～0.8表示较强相关（用***标注），0.4～0.6表示中度相关（用**标注），0.2～0.4表示较弱相关（用*标注），0.0～0.2表示极弱相关或无相关（无标注）。本文只给出SPSS统计的双侧检验和相关系数的结果，并借助Ucinet软件生成可视化图示。 4 期刊评价指标的相关性分析
将21个指标相关性数据录入Ucinet软件绘制出评价指标可视化相关度（如图1所示）。
下面将从文摘转载指标、引文计量指标以及两类指标之间的对比三个方面详解图1所示的指标相关性、相关度及其差异（见表1、表2、表3）。
4.1 文摘转载指标的相关性分析
表1展示了“转载排名”4个指标之间进行两两对比的Pearson相关系数。从相关性显著性检验来看，表1中所有P值的双侧检验值均为.000，表示相关系数的检验值显著。换句话说，这4个指标之间的相关性都是显著的，可在此基础上进一步探讨相关度。
从相关度来看，根据表1数据，转载量和转载率两个指标之间存在较强的正相关性;篇均得分和转载量、篇均得分和转载率两对指标之间，分别存在较弱的正相关性。这说明转载量和转载率两个指标所反映的期刊特征存在较多重叠、评价结果的一致性较强，因而，若同时采用这两个指标评价期刊，这两个指标的总权重不宜过高;同时，篇均得分指标所反映的期刊特征与转载量、转载率两个指标存在较大差异，在评价期刊时难以被其他两个指标替代。从这三个指标的定义也可以看出，转载量和转载率侧重通过转载的数量反映期刊的影响力，因而两者正相关性较强;篇均得分则侧重反映期刊被转载论文的质量水平，因而与其他两个指标的正相关性较弱。
同时，转载量和转载率两个指标与综合指数之间，分别存在极强的正相关性;篇均得分与综合指数之间存在中度的正相关性。这说明转载量和转载率两个指标，对于期刊的综合评价指数有很强的指示作用;相比之下，篇均得分对于评价期刊的指示程度相对较低。由于“复印报刊资料”在评文选文时，坚持“优中选优”的原则，因而被转载论文普遍质量较高，同行评议得分差异不大[9]，是可以解释的。
4.2 引文计量指标的相关性分析
表2展示了17个指标中10个指标之间两两对比的Pearson相关系数。经检验发现，复合、期刊综合和人文社科三大类指标中统计方法相似的指标，如复合JIF、期刊综合JIF和人文社科JIF三个指标之间，复合他引JIF、期刊综合他引JIF和人文社科他引JIF三个指标之间，其正相关系数均超过0.9，且检验结果为显著;同时正相关性极强的两个指标与其他引文计量指标的关系十分相似，因此表2只列出了复合类影响因子指标的相关系数作为代表，未列出其他两类影响因子指标的相关系数。
从相关性显著检验来看，如表2所示，基金论文比分别与被引半衰期、他引总引比、互引指数、WEB即年下载率、总下载量、复合总被引6个指标之间，被引半衰期分别与互引指数、总下载量、复合即年指标3个指标之间，他引总引比分别与总下载量、复合即年指标2个指标之间，相关性检验均为不显著，因而不再继续探讨这些指标组合的相关度。此外，其他任意两指标之间的相关性检验均为显著，因而可以在此基础上进一步探讨相关度。
相关性检验为显著的引文计量指标之间普遍为正相关，如表2所示，按照其相关度分为五类：（1）正相关性极强的指标组合共有7组，分为三类：第一，复合JIF、复合他引JIF和复合即年指标这3个统计方法相似的被引相对量指标相互之间;第二，WEB即年下载率这一网络下载相对量指标，分别与复合JIF、复合他引JIF、复合即年指标3个引用相对量指标之间;第三，总下载量与复合总被引2个绝对总量指标之间。（2）正相关性较强的指标组合共有5组，分为两类：第一，互引指数这一期刊被引相对量指标，分别与总下载量、复合总被引2个绝对量指标之间;第二，复合总被引这一期刊被引绝对量指标，分别与WEB即年下载率、复合JIF、复合他引3个期刊被下载或被引相对量指标之间。（3）正相关性为中度的指标组合共有3组：他引总引比与互引指数，互引指数与复合他引JIF，复合总被引和复合即年指标。这3组指标的共同特征是，均基于期刊引用数据计算，但所反映的期刊特征存在明显差异。（4）正相关性较弱的指标组合共有12组，分为三类：第一，基金论文比分别与复合JIF、复合他引JIF，被引半衰期与复合总被引，互引指数分别与复合JIF、复合即年指标之间;第二，WEB即年下载率这一网络下载相对量指标分别与被引半衰期、他引总引比、互引指数3个引用相对量指标之间;第三，总下载量这一网络下载绝对量指标分别与复合JIF、复合他引JIF、复合即年指标3个影响因子类指标之间;第四，总下载量与WEB即年下载率之间。（5）正相关性极弱的指标组合共有5组：基金论文比与复合即年指标之间，被引半衰期分别与他引总引比、复合JIF、复合他引JIF之间，他引总引比与复合总被引、复合JIF之间。
由上可知：第一，统计方法越相似的指标之间相关度越强，比如各类影响因子类指标虽然统计范围和时间不同，但相互之间相关性明显强于其他引文计量指标;第二，绝对量指标之间或相对量指标之间的正相关度，强于绝对量指标与相对量指标之间的正相关度;第三，指标所反映期刊特征差异越大，正相关度越弱，如基金论文比、被引半衰期、他引总引比和互引指数这四个指标，与其他引文计量指标的正相关性普遍较弱或极弱，或者相关性检验不显著，说明他们所反映期刊特征具有相对独立性和特殊性，难以被其他指标替代;第四，网络下载指标与总被引、影响因子类指标的正相关度普遍较强或极强。
4.3 文摘转载指标与引文计量指标的相关性分析
将文摘转载指标和引文计量指标分别作为一组独立数据，对两类指标之间的相关性进行两两对比。表3列出了这两类指标之间的Pearson相关系数。仍以复合类影响因子指标作为影响因子指标的代表。
从相关性显著检验来看，如表3所示，基金论文比分别与转载量、转载率和综合指数之间，他引总引比与篇均得分之间，相关性检验均为不显著，因而不再继续探讨这些指标组合的相关度。此外，其他任意两指标之间的相关性检验均为显著，因而可以在此基础上进一步探讨相关度。 从相关度来看，表3中相关性检验为显著的指标之间普遍为正相关，但没有任何两个指标的相关系数超过0.8，即无极强的正相关。具体来讲：（1）转载量是文摘转载绝对量指标，与被引半衰期的正相关性极弱;分别与他引总引比、复合即年指标呈较弱正相关;分别与互引指数、WEB即年下载率、复合JIF、复合他引JIF 4个指标呈中度正相关;与复合总被引的正相关性较强。（2）转载率是文摘转载相对量指标，分别与他引总引比、互引指数、总下载量3个指标呈较弱正相关性;分别与被引半衰期、复合总被引2个指标呈中度正相关;分别与WEB即年下载率、复合JIF、复合他引JIF、复合即年指标4个指标呈较强的正相关。（3）篇均得分是反映期刊被转载论文质量的指标，与基金论文比的正相关性极弱，与其他所有引文计量指标均存在较弱正相关性。（4）综合指数是反映期刊被转载总体水平的指标，分别与被引半衰期、他引总引比2个指标呈较弱正相关;分别与互引指数、总下载量、复合即年指标3个指标呈中度正相关;分别与复合总被引、WEB即年下载率、复合JIF、复合他引JIF、4个指标呈较强正相关。
由上可知：第一，总体上，转载量、转载率和综合指数3个文摘转载指标与引文计量指标之间的所反映的期刊特征既有重叠又有互补，以致评价结果的耦合度和差异度参半，也说明核心期刊体系与文摘转载评价体系可相互印证和补充;第二，代表期刊被转载论文的质量水平，而不是期刊所有刊载论文的质量水平篇均得分指标，与大部分引文计量指标评价的正相关性较弱或极弱，显示出该指标所反映的期刊特征的特殊性，同时也说明该指标不宜单独使用，以免得到以偏概全的评价结果;第三，转载量与引文计量绝对量指标之间的正相关性更强，转载率与引文计量相对量指标之间的正相关性更强;第四，在引文计量指标中，基金论文比、被引半衰期和他引总引比3个指标与各文摘转载指标的正相关性，比其他指标与文摘转载指标的相关性更弱，再次显示出他们所反映期刊特征的相对独立性;第五，文摘转载指标与基于2年数据的复合JIF等指标的正相关度，强于与基于1年数据的复合即年指标的正相关度，说明文摘转载评价结果与2年期的引文计量结果更为一致;第六，文摘转载指标与网络下载指标、影响因子类指标的正相关度不相上下。
5 基本结论及启示
综上所述，我国人文社科期刊常用评价指标之间普遍存在正相关性，但不同类型指标之间的相关度有差异。在转载量、转载率、篇均得分和综合指数4个文摘转载指标中，篇均得分指标与其他指标的正相关度呈较弱或中度，其他指标之间的正相关性较强或极强。在17个引文计量指标中，被引半衰期、他引总引比、互引指数、基金论文比4个指标，与其他引文计量指标的正相关度普遍弱于其他指标之间的正相关度;影响因子类指标之间，及其与统计规则相似的网络下载类指标之间正相关较强或极强。总体上，文摘转载指标与引文计量指标之间存在中度或较强的正相关，三个文摘转载指标与引文计量指标之间的正相关性度从强至弱依次为转载率、转载量和篇均得分。
上述分析给人文社科期刊评价带来如下启示：第一，对于正相关度较强或极强的指标，其评价结果差异不大甚至较为相似，因此不宜同时使用或适当控制其总权重，以免放大其评价效果，如各类影响因子类指标之间，均反映绝对量的总被引、总下载等指标之间，均反映相对量的WEB下载率、影响因子等指标之间等;第二，在即年评价时，网络下载类指标可代替需要至少两年才能形成的影响因子指标，因而两类指标之间的正相关性较强或极强;第三，由于文摘转载指标与引文计量指标存在明显相互补充，因此在人文社科学术评价日益呼唤创新和质量导向以及加强同行评议地位的背景下，有必要进一步加强文摘转载指标的研制;第四，篇均得分、被引半衰期、他引总引比、互引指数、基金论文比等指标所反映的期刊特征难以被其他指标替代，应进一步优化其内涵和统计规则，使之在期刊评价中发挥更合理的作用。
本文只选取了2011年度“转载排名”和《影响因子年报》中重叠的人文社科综合期刊作为分析样本，但事实上我国还存在多个有影响力的人文社科期刊评价体系，以及大量的学科专业期刊，由于不同评价体系的指标定义和统计源不同，专业期刊与综合期刊的评价也存在差异，因此后续研究有必要从其他体系和学科角度开展，并深入探讨指标相关度差异的原因。
参考文献：
[1]Mryglod， O. ; Kenna， R. ; Holovatch， Yu. ; Berche， B. Comparison of a citation-based indicator and peer review for absolute and specific measures of research-group excellence[J]. Scientometrics，2013，（3）：767.
[2]Waltman， Ludo. On the correlation between bibliometric indicators and peer review： reply to Opthof and Leydesdorff[J].Scientometrics，2011，（3）：1017-1022.
[3]Delgado， E ; Repiso， R. The Impact of Scientific Journals of Communication： Comparing Google Scholar Metrics， Web of Science and Scopus[J].COMUNICAR， 2013，（41）：45-52.
[4]Gamez， AM. Assessment of psychology journals： correlation of impact factor and h-index vs. Latindex criteria[J].INVESTIGACION BIBLIOTECOLOGICA，2013，27 （61）：15-27. [5]Finardi， U. Correlation between Journal Impact Factor and Citation Performance： An experimental study[J]. JOURNAL OF INFORMETRICS，2013，（72）：357-370.
[6]陈茹.国内四种人文社科期刊评价体系的分析比较[J].图书馆工作与研究，2013，（4）：66-70.
[7]金淑兰.三种核心期刊评价体系比较研究[J].湖北民族学院学报（自然科学版），2012，（12）：473-476.
[8]金贞燕，金文姬，赵丹群.世界著名大学及学科h指数与传统引文计量指标的比较[J].图书情报工作网刊，2012，56（7）：21-29.
[9]俞立平，隆新文，武夷山.特征因子与其他引文计量指标关系研究——基于面板数据的估计[J].科研管理，2012，（8）：41-47.
[10]李华，李政，顾才东，等.引文计量指标在科技期刊学术影响力评价中权重分析[J].中国科技期刊研究，2010，
21（6）：817-819.
[11]何荣利.中文核心期刊评价指标权重的分析与思考[J].中国科技期刊研究，2007，18（l）：46-48.
[12]中国人民大学人文社会科学学术成果评价研究中心.“复印报刊资料”2011年度转载学术论文指数排名[EB/OL].[2013-10- 02]. http：//www.zlzx.org/rssi2011
/index.htm.
[13]中国科学文献计量评价研究中心，清华大学图书馆.中国学术期刊影响因子年报（人文社会科学）（第10卷）[R]，北京：《中国学术期刊（光盘版）》电子杂志社出版，2012：II-VI.
[14]杨红艳.基金资助对我国人文社会科学论文质量的影响——基于《复印报刊资料》转载论文评分数据[J].情报理论与实践，2012，（8）：101-106.
作者简介：杨红艳（1981-），女，博士，中国人民大学人文社会科学学术成果评价研究中心、中国人民大学书报资料中心副编审，研究方向：学术评价和信息资源管理。