论文部分内容阅读
摘要：教学管理信息化建设是高校数字化校园建设的重要组成部分，作为建设对象的教学管理信息系统是师生使用最频繁、登录人数最多、涉及面最广的教学管理业务平台，体现了高校教学管理信息化水平。在教学管理信息化建设的立项招标、实施管理、结项验收、升级维护等各个环节，如何控制风险，提高效率，实现建设项目综合绩效最大化，是用户最关切的问题。运用层次分析法，从用户视角构建了教学管理信息化建设绩效评价指标体系，建立了综合绩效评价模型，分析了教学管理信息化建设绩效评价结果。通过对教学管理信息系统立项招标阶段的绩效评价案例应用分析，表明该指标体系和评价模型在教学管理信息化建设绩效评价过程中简单易行，可靠有效。该评价指标体系和模型为高校在教学管理信息化建设过程中实现风险控制、进行综合绩效评价和科学决策提供了理论依据。
关键词：教学管理信息化；绩效评价；教学管理信息系统；层次分析法
中图分类号：CJ434
文献标识码：A
2018年4月教育部发布的《教育信息化2.0行动计划》中指出， “完善教育管理信息化顶层设计” “提高教育管理信息化水平” “优化教育业务管理信息系统，深化教育大数据应用，全面提升教育管理信息化支撑教育业务管理、政务服务、教学管理等工作的能力”。中国电化教育事业奠基人南国农先生早在2002年就指出，教育管理信息化建设是我国教育信息化建设的三大领域之一，主要任务是建立和完善学校教育管理信息系统，实现各级教育管理目标[1]。在《教育信息化2.0行动计划》中，将教育管理信息化作为“教育治理能力优化行动”的主要内容，体现了新时代教育管理信息化对提升高校教育管理水平、提高综合治理能力、促进教育现代化的重要作用。
众所周知，教学管理是高校教育管理的重要部分，是进行人才培养的主要管理职能。教学管理工作具有专业性强、数据量大、关联度高和重复劳动多等特点，早期的教学管理事务全部或部分依赖人工操作，随着高校办学规模的扩大，教学管理要求的提高和教育教学改革的推进，面对成倍增加的教学管理数据和信息，传统的人工操作或低水平信息化管理模式，已无法实现教学管理大数据对教育教学改革的保障和决策作用。因此，从上世紀八十年代开始，信息技术（Information Technology）与教育教学开始融合，由最初的工具和手段，逐渐融入到人才培养和教育教学的全过程[2]。
教学管理信息化将高校教学管理人员从大量繁琐、复杂的数据处理和报表展示等工作中解放出来，同时，通过教学管理数据挖掘为决策层制订政策提供参考和依据。相对其他业务管理，高校教学管理信息化建设具有周期长、环节多、与校内其他业务系统对接和数据共享频繁等特点，建设过程中容易出现业务功能无法实现，系统安全系数偏低，建设经费超预算等风险源[3]，因风险失控极易导致教学管理信息化项目建设任务无法按期完成、建设目标无法全部实现、结项验收无限延期、售后服务没有保障等问题。因此，科学有效的教学管理信息化建设绩效评价，是管控建设风险、保障教学管理信息化可持续发展的基础和前提。
国内外大量的机构和专家、学者对教育信息化评价的框架、方法和指标进行了研究，如世界银行信息项目促进发展项目组（infoDev）、联合国教科文组织（UNESCO）、英国的学校信息化自我评估组织（The Self-review Framework.SRF）和美国的高校信息化项目组（Campus Computing Project，CCP），以及R.L.Nolan（1993）[4]、W.R.Synnott（1987）[5]、Mische（1999）[6]等，主要针对教育信息化项目中的硬件设备、信息资源和发展阶段模型等提出了评估办法，其中美国高校信息化项目（CCP）的评价框架根据学校信息化建设的重点不同而适时调整。近年来，随着国内信息技术的发展，以及信息技术与教育教学的深度融合，教育信息化绩效评价已成为当前教育技术研究领域的前沿和热点。国内的教育信息化评价模型主要有“六要素模型”[7]、CIPO模型[8]和平衡记分卡模型[9]等。在评价指标方面，联合国教科文组织（UNESCO）应用绩效评价指标，从定性和定量两个方面、三个层次对世界各国教育信息化应用情况的评价指标进行了分析，美国的STaR评估量表[10]、英国的SRF[11]分别从四个维度、六个要素对学校信息化进行评价。国内学者魏理豪（2014）[12]、谢幼如（2015）[13]、田生湖（2018）[14]、岳洪江（2016）[15]等分别从不同视角、多种维度，采用各种方法构建了教育信息化建设和应用绩效评价的指标体系。
根据信息化发展阶段理论模型[16]，教学管理信息化是一个动态的过程，一般可分为系统建设和系统应用两个阶段。综合文献整理和调研情况发现，信息化绩效评价是当前信息化领域的研究热点，但大部分研究成果都集中在信息系统的应用绩效评价上，对建设绩效评价不多，专门针对教学管理信息化建设的绩效评价研究极少。在评价指标方面，大而全、宏观层面的指标体系居多，小而精、中（微）观层面、针对性强的教学管理信息化建设绩效评价指标体系和模型缺乏。通常情况下，教学管理信息化建设常见的有三种模式：高校自主开发建设模式（简称“自主模式”）、软件供应商提供标准版教学管理信息系统模式（简称“标准模式”）和高校和软件供应商联合建设模式（简称“共建模式”）。为找出影响教学管理信息化建设绩效的主要因素和一般规律，通过对三种模式的利弊分析，选择大部分高校采用的“共建模式”开展绩效评价研究。
通过构建教学管理信息化建设绩效评价指标体系和综合评价模型，为用户在教学管理信息化建设过程中实现风险控制、开展绩效综合评价和科学决策提供理论依据。
一、教学管理信息化建设绩效评价的内涵及特点
（一）绩效评价与教学管理信息化绩效评价
绩效评价（Performance Measurement.PM）的概念最早源自西方工业社会，指基于目标对过程、结果的评判与衡量。在管理学中，绩效评价的过程为：根据评价指标体系，综合运用数理方法，开展定性定量分析，对过程和效果作出综合评判[17]。新时代教育信息化的内涵是，将信息技术作为教育系统性变革的内生力量，促进信息技术与教育深度融合，推动教育现代化发展。教学管理信息化建设是教育信息化建设的组成部分，与教学管理信息化应用共同组成教学管理教育信息化的主要内容。教学管理信息化建设绩效评价是指，信息技术与教学管理深度融合过程中，借助于教学管理信息化建设绩效评价指标体系，对建设实施过程中所产生的效益进行客观、公正和准确的综合评判。 （二）教学管理信息化建设绩效评价的目的和内容
开展教学管理信息化建设绩效评价的目的，一是综合测度教学管理信息化建设的质量和水平，找出被评系统和与其他系统之间的差距，分析和研究产生差距的原因，帮助建设单位提高教学管理信息化建设管理水平。二是“共建模式”下帮助用户预先筛选出符合用户需求的教学管理信息化软件供应商，控制项目建设风险，提高用户在教学管理信息化建设中的决策水平。三是促进教学管理信息化与高校教学管理深度融合，进一步提高教学管理信息化水平。
从用户的角度来看，教学管理信息化建设绩效评价的主要内容包括：建设前期教学管理信息化软件供应商的建设能力评价，为用户选择合适的教学管理信息化软件供应商提供参考；建设中后期教学管理信息化建设质量和效果评价，为用户改进系统功能，开展结项验收提供依据。评价的主要内容包括系统性能、服务质量和经济因素，具体包括系统架构、系统安全、系统价格、数据并发量等一些定性和定量因素。
（三）教学管理信息化建设绩效评价的特点
1.评价因素的复杂性
影响教学管理信息化评价的因素较多，来源复杂，涉及教学管理信息化建设的各个环节，有的因素可定量测度，有的因素只能定性描述。评价因素的复杂性给评价指标体系构建带来了困难。
2.评价过程的长期性
教学管理信息化建设从调研、可行性分析，到立项、招标、研发建设、上线试运行、结项验收、后期建设等过程，建设周期长达1—2年，算上后期建设和增值功能研发，有可能要3—4年时间。在整个建设周期内，影响信息化建设质量的风险源较多，因此，建设过程中绩效评价可分阶段进行。
3.评价手段的多样性
针对教学管理信息化评价因素的复杂性，必须对评价数据处理、指标合成、结果分析等采用科学有效的评价方法和手段。本文在指标构建和数据处理过程中采用的是模拟人思维决策过程的层次分析法。
4.评价结果的时效性
受信息技术发展速度、高校教学改革力度等因素影响，通过评价指标和评价模型对教学管理信息化建设开展绩效评价的结果一般具有时效性，主要原因来自两方面：一方面是评价主体对教学管理信息化建设内容关注的重点随教学改革的推进有所变化，另一方面，信息技术的飞速发展带来的评价指标体系变化，包括指标内容和权重的变化，都决定了评价结果的时效性特点。
二、教学管理信息化建设绩效评价指标体系构建
（一）构建过程
因构建评价指标需要找出影响教学管理信息化建设绩效的主要原因和核心因素，课题组分别于2016年8月、2017年7月两次选取了全国有代表性的50多所高校的教学管理信息化管理部门的领导、专家和系统管理员，以及高校教师和学生代表进行了问卷调查、案例访谈和专家论证工作。发放调查问卷110份，回收有效问卷105份，回收率为95.5%。调研和访谈内容涉及教学管理信息系统架构、安全性、用户体验、数据共享、用户培训、建设经费、订制功能开发、售后服务和各功能模块使用频率等12个类别、77项指标。课题组通过分析调研结果，并结合河海大学教学管理信息化建设实践和文献查阅情况[18-20]，并经过专家咨询打分后构建了教学管理信息化建设绩效评价指标体系。
在选择评价方法时，针对指标体系中既有定性又有定量、评价目标多元、评价准则无结构特性、各指标间相互关联、相互制约等特点，选择简洁实用的层次分析法确定指标体系的权重[21]，并利用AHP数剧处理与分析软件建立了教学管理信息化建设绩效评价模型。
（二）指标选取
评价指标体系的科学性和有效性是开展教学管理信息化建设绩效评价的关键。影响教学管理信息化建设绩效评价的因素很多，涉及到技术、经济、组织、管理以及服务等多方面。本研究在指标选取过程中，遵循两点原则：一是从用户视角，即教学管理信息化项目的建设方——高校教学管理信息化项目的管理部门的视角，审视影响教学管理信息化建设的主要因素。二是通过理论假设（设计调查问卷）、数理分析（层次分析法确定权重）、专家评分（专家访谈、咨询和案例分析）和实践验证（结合河海大学教学管理信息化建设一期项目实践）四者互证的方式，对指标体系进行调整和优化，最终确定将“系统性能”“服务质量”和“经济因素”三个指标作为一级指标（层次分析法中的中间层），将“系统架构”“响应时间”和“报价总额”等16个指标作为二级指（层丢次分析法中的方案层），共同构成的高校教学管理信息化建设绩效评价指标体系（女口图1所示）。
指标体系中一级指标集合为B={B1，B2，B3}，二级指标集合为C={Ci1/sub>，Ci2/sub>，…，Cij/sub>}（i=1，2，3）。在二级指标中，有的可以定量测度，有的只能定性描述。通过建立科学的教学管理信息化建设绩效评价体系，利用层次分析法将定性指标定量化、规范化，提高绩效评价的精确性和科学性，有助于用户降低项目建设风险，提高建设效率。
（三）指标内涵
方案层16个二级指标，其中定性指标5个，定量指标11个。各指标具体含义及测度要求如表1所示。
（四）权重确定
根据层次分析法步骤，建立教学管理信息化绩效评价指标体系后，将依次进行构造判断矩阵、对判断矩阵进行一致性检验、层次单排序和层次总排序等步骤。
首先，进行构造判断矩阵。在本研究中，判断矩阵（见公式1）由问卷调查、案例访谈和专家论证的结果统计分析得出。
公式1中判断矩阵C具有Cij中>0；Cij=l/Cji（i≠j）；Cii=l（i，j=l，2，…，n）等特点。
其次，对判断矩阵进行一致性检验。由于影响教学管理信息化建设绩效的因素非常复杂，尤其是有些因素是定性因素，专家在重要性多阶判断时，受专家和参评对象的专业素养、主观意识等因素的影响，极易出现判断思维不一致的情况，根据层次分析法原理，还需对判断矩阵进行一致性检验。为度量“满意一致性”的指标，一般用CI与平均随机一致性指标RI比较（1-10阶判断矩阵平均随机一致性指标RI的标准值可查表），得出CR的值来确定判断矩阵满意一致性的程度（见公式2），若CRj 元素的重要性进行调整，直至CR 再次，进行层次单排序。在本评价指标体系中，即为计算3个一级指标Bl，B2，B3对总目标A重要性次序的权值，以及7个二级指标Bll，B12，…，B17对一级指标Bl，5个二级指标级B21，B22，…，B25对一级指标B2，4个二级指标级B31，B32，…，B34对一级指标B3重要性次序的权值。
最后，进行层次总排序。通过上述从上到下的逐层计算，已得出相邻两层中下层对上层的相对重要性排序值，通过公式3构建的综合绩效评价模型，可计算出二级指标Bij二级对于总目标A的相对重要性总排序（如表3所示）。
公式3中，Wi为Bi对应的相对权重，Wij为Bi中第j个评价指标Cij对应的相对权重。
（五）结果分析
从教学管理信息化建设绩效评价的指标体系二级指标对总目标的合成权重及排序结果可以看出：
通过层次总排序可看出，在一级指标中， “系统性能B1”和“服务质量B2”所占权重远超“经济因素B3”，说明随着高校对信息化工作的重视，愿意加大信息化建设投入。同时，各信息化建设单位，对教学管理信息系统的性能、软件供应商的服务质量提出了更高要求，要求软件供应商提供性能更优越、服务质量更高的教学管理信息化产品。
排序前50%的二级指标依次为“系统架构Cll” “固定技服C25” “响应时间C21” “数据并发C12”“报价总额C31”“开发方式C22”“系统安全C13”和“用户体验C14”，权重之和达总权重的84%，说明在教学管理信息化建设中，这些因素是影响教学管理信息化建设效果的核心因素，用户应重点关注，并采取必要的措施降低建设风险，提高建设效率。
排序后50%的指标为影响教学管理信息化建设效果的主要因素，是经过调研、案例实践和专家论证筛选出的，针对不同教学管理信息化建设项目或随着技术进步，有的指标重要性将进一步加强。如排序第11的“订制功能C15”指标，随国家“双一流”建设的实施，许多学校都相继推出了“一流本科行动计划”或“一流人才培养计划”，吹响了新一轮教育教学改革的号角，对高校教学管理信息化提出了新要求。为满足这些新要求，标准版的教学管理信息系统功能必须进行改进、优化甚至订制开发，因此， “订制功能C15”指标重要性提升也是教学管理信息化发展的必然趋势。
三、案例应用与分析
H高校因信息化建设需要，需进行新综合教学管理信息系统立项建设，经用户前期市场调研、项目可行性分析等流程，现进入软件供应商招标采购环节，经初步审核，共有3家软件公司（A、B、C）符合应标条件。3家公司都是国内知名的教育信息化软件供应商，在国内市场占有较大份额，其中A公司是近几年来发展迅猛的综合性的教育信息化软件供应商，除教学管理信息系统外，业务范围覆盖数字化校园多个业务领域，B公司和C公司以教学管理信息软件为主，有多年的教学管理信息系统研发经验。招投标之前，3家公司业务人员均向用户介绍了各自研发的教学管理信息系统产品。招标过程中，由用户代表、信息化专家组成的招标专家考评组，根据投标文件及现场质询，对3家公司进行了综合测评。对每个指标的评价分为5个等级，用“5分” “4分”“3分” “2分”“1分”分别对应“好”“较好”“中等”“较差” “差”。由多名专家对每家公司的每个指标进行评分后取平均值。综合评价得分为：
公式4中，F为该公司综合得分，Wi为每个评价指标对应的权重，为专家对该评价指标打分的平均值，n为评价指标的数量。通过综合评价可以看出，B公司的综合绩效评价得分高，建议B公司承担该校的教学管理信息管理信息化建设（如表4所示）。
除了上述的立项招标环节，在教学管理信息化建设实施、运行管理、升级维护的各个环节，都可以参考此流程进行绩效综合评价。在建设实施过程中，可以通过对照建设目标和实施实况，进行绩效评估后控制项目的建设风险，改变项目尾款的支付方式和结项验收时间，提高项目建设效率。在运行管理过程中，通过分析绩效评价指标体系中各指标的权重值，明确项目运行管理的重点，制订有针对性的教学管理信息系统运行管理方案。在教学管理信息系统升级维护等后续建设管理过程中，能参考教学管理信息化建设项目实际建设的绩效评价情况，确定教学管理信息化升级维保单位。
四、结语
教学管理信息化建设伴随着高校教育教学改革的不断推进，系统的架构将越来越复杂，功能越来越繁多，与其他业务系统进行数据共享和系统对接将是未来教学管理信息化发展的主流趋势。从用户视角对教学管理信息化建设阶段的综合绩效评价构建科学指标体系和模型，可以实现建设过程中的风险控制和科学决策，对提高高校教学管理水平、保障教学改革顺利进行奠定了基础。
参考文献：
[1]南国农.教育信息化建设的几个理论和实际问题（上）[J]电化教育研究，2002，（11）：3-6.
[2]王正青.唐晓玲.信息技术与教学深度融合的动力逻辑与推进路径研究[J]电化教育研究，2017，（12）：59-65.
[3]饯冬明，罗安妮等.教育信息化项目风险评估指标体系的构建[J]中国电化教育，2017，（1）：94-100.
[4] Nolan R L_croson D C，Seger K N.The Stages Theory：A Frame work forIT Adoption and OrganizationaILearning[M].Bos[on：Harvard.BusinessSchool Puhling，1993.
[5] Synnott William R. The Information Weapon： Winningcuslomers andMarket With Technology[M].New York：Wiley，1987. [6] Mische Michael A. Reengineering：System Integration Success[M].JohnWyzalek，1999.
[7]吕新奎中国教育信息化[M].北京：电子工业出版社，2002.
[8]张进宝.从“六要素模型”到“CIPO”模型：教育信息化研究思路的再審视[J].中国电化教育，2008，（10）：5-9.
[9]顾小清，林阳等.区域教育信息化效益评估模型构建[J]中国电化教育，2007，（5）：23-27.
[10] TheCEO forum school technology and technology report[DB/OL].http：//www2.uca.es /lace/documentos/99report.pdf，2018-03-20.
[11]王炜，黄黎凶.国内外基础教育信息化评估述评[J]中国信息技术教育，2008，（12）：13-15
[12]魏理豪，王甜等基于层次分析法的信息系统实用化评价研究[J]科技通报，2014，30（2）：143-146.
[13]谢幼如，常亚洁.绩效导向的教育信息化评价模型的构建[J]中国电化教育，2015，（1）：56-60.
[14]田生湖，姚建峰等.高校教育信息化治理绩效评价研究[J]电化教育研究，2018，（3）：29-34.
[15]岳洪江，徐欢基于期望一满意测评的高校信息系统绩效评价研究[J]现代情报，2016，36（7）：51-57.
[16]张聪.高校教育信息化评估的成熟度模型建构及其应用研究——以河南省高校为例[D]上海：上海外围语大学，2017.
[17]杨杰，方俐洛等.关丁绩效评价若干基本问题的思考[J].自然辨证法通讯，2001，23（2）：40-50
[18]徐建，吴砥等区域教育信息化发展水平评估系统设计与实现[J]现代教育技术，2018，28（2）：120-126.
[19]谢幼如，郑云翔.引领与推动：教育信息化绩效评价[M]北京：高等教育出版社，2016：5.
[20] Saaly T L Analytic Hierarc，hy Process[M].New York：John Wiley
关键词：教学管理信息化；绩效评价；教学管理信息系统；层次分析法
中图分类号：CJ434
文献标识码：A
2018年4月教育部发布的《教育信息化2.0行动计划》中指出， “完善教育管理信息化顶层设计” “提高教育管理信息化水平” “优化教育业务管理信息系统，深化教育大数据应用，全面提升教育管理信息化支撑教育业务管理、政务服务、教学管理等工作的能力”。中国电化教育事业奠基人南国农先生早在2002年就指出，教育管理信息化建设是我国教育信息化建设的三大领域之一，主要任务是建立和完善学校教育管理信息系统，实现各级教育管理目标[1]。在《教育信息化2.0行动计划》中，将教育管理信息化作为“教育治理能力优化行动”的主要内容，体现了新时代教育管理信息化对提升高校教育管理水平、提高综合治理能力、促进教育现代化的重要作用。
众所周知，教学管理是高校教育管理的重要部分，是进行人才培养的主要管理职能。教学管理工作具有专业性强、数据量大、关联度高和重复劳动多等特点，早期的教学管理事务全部或部分依赖人工操作，随着高校办学规模的扩大，教学管理要求的提高和教育教学改革的推进，面对成倍增加的教学管理数据和信息，传统的人工操作或低水平信息化管理模式，已无法实现教学管理大数据对教育教学改革的保障和决策作用。因此，从上世紀八十年代开始，信息技术（Information Technology）与教育教学开始融合，由最初的工具和手段，逐渐融入到人才培养和教育教学的全过程[2]。
教学管理信息化将高校教学管理人员从大量繁琐、复杂的数据处理和报表展示等工作中解放出来，同时，通过教学管理数据挖掘为决策层制订政策提供参考和依据。相对其他业务管理，高校教学管理信息化建设具有周期长、环节多、与校内其他业务系统对接和数据共享频繁等特点，建设过程中容易出现业务功能无法实现，系统安全系数偏低，建设经费超预算等风险源[3]，因风险失控极易导致教学管理信息化项目建设任务无法按期完成、建设目标无法全部实现、结项验收无限延期、售后服务没有保障等问题。因此，科学有效的教学管理信息化建设绩效评价，是管控建设风险、保障教学管理信息化可持续发展的基础和前提。
国内外大量的机构和专家、学者对教育信息化评价的框架、方法和指标进行了研究，如世界银行信息项目促进发展项目组（infoDev）、联合国教科文组织（UNESCO）、英国的学校信息化自我评估组织（The Self-review Framework.SRF）和美国的高校信息化项目组（Campus Computing Project，CCP），以及R.L.Nolan（1993）[4]、W.R.Synnott（1987）[5]、Mische（1999）[6]等，主要针对教育信息化项目中的硬件设备、信息资源和发展阶段模型等提出了评估办法，其中美国高校信息化项目（CCP）的评价框架根据学校信息化建设的重点不同而适时调整。近年来，随着国内信息技术的发展，以及信息技术与教育教学的深度融合，教育信息化绩效评价已成为当前教育技术研究领域的前沿和热点。国内的教育信息化评价模型主要有“六要素模型”[7]、CIPO模型[8]和平衡记分卡模型[9]等。在评价指标方面，联合国教科文组织（UNESCO）应用绩效评价指标，从定性和定量两个方面、三个层次对世界各国教育信息化应用情况的评价指标进行了分析，美国的STaR评估量表[10]、英国的SRF[11]分别从四个维度、六个要素对学校信息化进行评价。国内学者魏理豪（2014）[12]、谢幼如（2015）[13]、田生湖（2018）[14]、岳洪江（2016）[15]等分别从不同视角、多种维度，采用各种方法构建了教育信息化建设和应用绩效评价的指标体系。
根据信息化发展阶段理论模型[16]，教学管理信息化是一个动态的过程，一般可分为系统建设和系统应用两个阶段。综合文献整理和调研情况发现，信息化绩效评价是当前信息化领域的研究热点，但大部分研究成果都集中在信息系统的应用绩效评价上，对建设绩效评价不多，专门针对教学管理信息化建设的绩效评价研究极少。在评价指标方面，大而全、宏观层面的指标体系居多，小而精、中（微）观层面、针对性强的教学管理信息化建设绩效评价指标体系和模型缺乏。通常情况下，教学管理信息化建设常见的有三种模式：高校自主开发建设模式（简称“自主模式”）、软件供应商提供标准版教学管理信息系统模式（简称“标准模式”）和高校和软件供应商联合建设模式（简称“共建模式”）。为找出影响教学管理信息化建设绩效的主要因素和一般规律，通过对三种模式的利弊分析，选择大部分高校采用的“共建模式”开展绩效评价研究。
通过构建教学管理信息化建设绩效评价指标体系和综合评价模型，为用户在教学管理信息化建设过程中实现风险控制、开展绩效综合评价和科学决策提供理论依据。
一、教学管理信息化建设绩效评价的内涵及特点
（一）绩效评价与教学管理信息化绩效评价
绩效评价（Performance Measurement.PM）的概念最早源自西方工业社会，指基于目标对过程、结果的评判与衡量。在管理学中，绩效评价的过程为：根据评价指标体系，综合运用数理方法，开展定性定量分析，对过程和效果作出综合评判[17]。新时代教育信息化的内涵是，将信息技术作为教育系统性变革的内生力量，促进信息技术与教育深度融合，推动教育现代化发展。教学管理信息化建设是教育信息化建设的组成部分，与教学管理信息化应用共同组成教学管理教育信息化的主要内容。教学管理信息化建设绩效评价是指，信息技术与教学管理深度融合过程中，借助于教学管理信息化建设绩效评价指标体系，对建设实施过程中所产生的效益进行客观、公正和准确的综合评判。 （二）教学管理信息化建设绩效评价的目的和内容
开展教学管理信息化建设绩效评价的目的，一是综合测度教学管理信息化建设的质量和水平，找出被评系统和与其他系统之间的差距，分析和研究产生差距的原因，帮助建设单位提高教学管理信息化建设管理水平。二是“共建模式”下帮助用户预先筛选出符合用户需求的教学管理信息化软件供应商，控制项目建设风险，提高用户在教学管理信息化建设中的决策水平。三是促进教学管理信息化与高校教学管理深度融合，进一步提高教学管理信息化水平。
从用户的角度来看，教学管理信息化建设绩效评价的主要内容包括：建设前期教学管理信息化软件供应商的建设能力评价，为用户选择合适的教学管理信息化软件供应商提供参考；建设中后期教学管理信息化建设质量和效果评价，为用户改进系统功能，开展结项验收提供依据。评价的主要内容包括系统性能、服务质量和经济因素，具体包括系统架构、系统安全、系统价格、数据并发量等一些定性和定量因素。
（三）教学管理信息化建设绩效评价的特点
1.评价因素的复杂性
影响教学管理信息化评价的因素较多，来源复杂，涉及教学管理信息化建设的各个环节，有的因素可定量测度，有的因素只能定性描述。评价因素的复杂性给评价指标体系构建带来了困难。
2.评价过程的长期性
教学管理信息化建设从调研、可行性分析，到立项、招标、研发建设、上线试运行、结项验收、后期建设等过程，建设周期长达1—2年，算上后期建设和增值功能研发，有可能要3—4年时间。在整个建设周期内，影响信息化建设质量的风险源较多，因此，建设过程中绩效评价可分阶段进行。
3.评价手段的多样性
针对教学管理信息化评价因素的复杂性，必须对评价数据处理、指标合成、结果分析等采用科学有效的评价方法和手段。本文在指标构建和数据处理过程中采用的是模拟人思维决策过程的层次分析法。
4.评价结果的时效性
受信息技术发展速度、高校教学改革力度等因素影响，通过评价指标和评价模型对教学管理信息化建设开展绩效评价的结果一般具有时效性，主要原因来自两方面：一方面是评价主体对教学管理信息化建设内容关注的重点随教学改革的推进有所变化，另一方面，信息技术的飞速发展带来的评价指标体系变化，包括指标内容和权重的变化，都决定了评价结果的时效性特点。
二、教学管理信息化建设绩效评价指标体系构建
（一）构建过程
因构建评价指标需要找出影响教学管理信息化建设绩效的主要原因和核心因素，课题组分别于2016年8月、2017年7月两次选取了全国有代表性的50多所高校的教学管理信息化管理部门的领导、专家和系统管理员，以及高校教师和学生代表进行了问卷调查、案例访谈和专家论证工作。发放调查问卷110份，回收有效问卷105份，回收率为95.5%。调研和访谈内容涉及教学管理信息系统架构、安全性、用户体验、数据共享、用户培训、建设经费、订制功能开发、售后服务和各功能模块使用频率等12个类别、77项指标。课题组通过分析调研结果，并结合河海大学教学管理信息化建设实践和文献查阅情况[18-20]，并经过专家咨询打分后构建了教学管理信息化建设绩效评价指标体系。
在选择评价方法时，针对指标体系中既有定性又有定量、评价目标多元、评价准则无结构特性、各指标间相互关联、相互制约等特点，选择简洁实用的层次分析法确定指标体系的权重[21]，并利用AHP数剧处理与分析软件建立了教学管理信息化建设绩效评价模型。
（二）指标选取
评价指标体系的科学性和有效性是开展教学管理信息化建设绩效评价的关键。影响教学管理信息化建设绩效评价的因素很多，涉及到技术、经济、组织、管理以及服务等多方面。本研究在指标选取过程中，遵循两点原则：一是从用户视角，即教学管理信息化项目的建设方——高校教学管理信息化项目的管理部门的视角，审视影响教学管理信息化建设的主要因素。二是通过理论假设（设计调查问卷）、数理分析（层次分析法确定权重）、专家评分（专家访谈、咨询和案例分析）和实践验证（结合河海大学教学管理信息化建设一期项目实践）四者互证的方式，对指标体系进行调整和优化，最终确定将“系统性能”“服务质量”和“经济因素”三个指标作为一级指标（层次分析法中的中间层），将“系统架构”“响应时间”和“报价总额”等16个指标作为二级指（层丢次分析法中的方案层），共同构成的高校教学管理信息化建设绩效评价指标体系（女口图1所示）。
指标体系中一级指标集合为B={B1，B2，B3}，二级指标集合为C={Ci1/sub>，Ci2/sub>，…，Cij/sub>}（i=1，2，3）。在二级指标中，有的可以定量测度，有的只能定性描述。通过建立科学的教学管理信息化建设绩效评价体系，利用层次分析法将定性指标定量化、规范化，提高绩效评价的精确性和科学性，有助于用户降低项目建设风险，提高建设效率。
（三）指标内涵
方案层16个二级指标，其中定性指标5个，定量指标11个。各指标具体含义及测度要求如表1所示。
（四）权重确定
根据层次分析法步骤，建立教学管理信息化绩效评价指标体系后，将依次进行构造判断矩阵、对判断矩阵进行一致性检验、层次单排序和层次总排序等步骤。
首先，进行构造判断矩阵。在本研究中，判断矩阵（见公式1）由问卷调查、案例访谈和专家论证的结果统计分析得出。
公式1中判断矩阵C具有Cij中>0；Cij=l/Cji（i≠j）；Cii=l（i，j=l，2，…，n）等特点。
其次，对判断矩阵进行一致性检验。由于影响教学管理信息化建设绩效的因素非常复杂，尤其是有些因素是定性因素，专家在重要性多阶判断时，受专家和参评对象的专业素养、主观意识等因素的影响，极易出现判断思维不一致的情况，根据层次分析法原理，还需对判断矩阵进行一致性检验。为度量“满意一致性”的指标，一般用CI与平均随机一致性指标RI比较（1-10阶判断矩阵平均随机一致性指标RI的标准值可查表），得出CR的值来确定判断矩阵满意一致性的程度（见公式2），若CR
最后，进行层次总排序。通过上述从上到下的逐层计算，已得出相邻两层中下层对上层的相对重要性排序值，通过公式3构建的综合绩效评价模型，可计算出二级指标Bij二级对于总目标A的相对重要性总排序（如表3所示）。
公式3中，Wi为Bi对应的相对权重，Wij为Bi中第j个评价指标Cij对应的相对权重。
（五）结果分析
从教学管理信息化建设绩效评价的指标体系二级指标对总目标的合成权重及排序结果可以看出：
通过层次总排序可看出，在一级指标中， “系统性能B1”和“服务质量B2”所占权重远超“经济因素B3”，说明随着高校对信息化工作的重视，愿意加大信息化建设投入。同时，各信息化建设单位，对教学管理信息系统的性能、软件供应商的服务质量提出了更高要求，要求软件供应商提供性能更优越、服务质量更高的教学管理信息化产品。
排序前50%的二级指标依次为“系统架构Cll” “固定技服C25” “响应时间C21” “数据并发C12”“报价总额C31”“开发方式C22”“系统安全C13”和“用户体验C14”，权重之和达总权重的84%，说明在教学管理信息化建设中，这些因素是影响教学管理信息化建设效果的核心因素，用户应重点关注，并采取必要的措施降低建设风险，提高建设效率。
排序后50%的指标为影响教学管理信息化建设效果的主要因素，是经过调研、案例实践和专家论证筛选出的，针对不同教学管理信息化建设项目或随着技术进步，有的指标重要性将进一步加强。如排序第11的“订制功能C15”指标，随国家“双一流”建设的实施，许多学校都相继推出了“一流本科行动计划”或“一流人才培养计划”，吹响了新一轮教育教学改革的号角，对高校教学管理信息化提出了新要求。为满足这些新要求，标准版的教学管理信息系统功能必须进行改进、优化甚至订制开发，因此， “订制功能C15”指标重要性提升也是教学管理信息化发展的必然趋势。
三、案例应用与分析
H高校因信息化建设需要，需进行新综合教学管理信息系统立项建设，经用户前期市场调研、项目可行性分析等流程，现进入软件供应商招标采购环节，经初步审核，共有3家软件公司（A、B、C）符合应标条件。3家公司都是国内知名的教育信息化软件供应商，在国内市场占有较大份额，其中A公司是近几年来发展迅猛的综合性的教育信息化软件供应商，除教学管理信息系统外，业务范围覆盖数字化校园多个业务领域，B公司和C公司以教学管理信息软件为主，有多年的教学管理信息系统研发经验。招投标之前，3家公司业务人员均向用户介绍了各自研发的教学管理信息系统产品。招标过程中，由用户代表、信息化专家组成的招标专家考评组，根据投标文件及现场质询，对3家公司进行了综合测评。对每个指标的评价分为5个等级，用“5分” “4分”“3分” “2分”“1分”分别对应“好”“较好”“中等”“较差” “差”。由多名专家对每家公司的每个指标进行评分后取平均值。综合评价得分为：
公式4中，F为该公司综合得分，Wi为每个评价指标对应的权重，为专家对该评价指标打分的平均值，n为评价指标的数量。通过综合评价可以看出，B公司的综合绩效评价得分高，建议B公司承担该校的教学管理信息管理信息化建设（如表4所示）。
除了上述的立项招标环节，在教学管理信息化建设实施、运行管理、升级维护的各个环节，都可以参考此流程进行绩效综合评价。在建设实施过程中，可以通过对照建设目标和实施实况，进行绩效评估后控制项目的建设风险，改变项目尾款的支付方式和结项验收时间，提高项目建设效率。在运行管理过程中，通过分析绩效评价指标体系中各指标的权重值，明确项目运行管理的重点，制订有针对性的教学管理信息系统运行管理方案。在教学管理信息系统升级维护等后续建设管理过程中，能参考教学管理信息化建设项目实际建设的绩效评价情况，确定教学管理信息化升级维保单位。
四、结语
教学管理信息化建设伴随着高校教育教学改革的不断推进，系统的架构将越来越复杂，功能越来越繁多，与其他业务系统进行数据共享和系统对接将是未来教学管理信息化发展的主流趋势。从用户视角对教学管理信息化建设阶段的综合绩效评价构建科学指标体系和模型，可以实现建设过程中的风险控制和科学决策，对提高高校教学管理水平、保障教学改革顺利进行奠定了基础。
参考文献：
[1]南国农.教育信息化建设的几个理论和实际问题（上）[J]电化教育研究，2002，（11）：3-6.
[2]王正青.唐晓玲.信息技术与教学深度融合的动力逻辑与推进路径研究[J]电化教育研究，2017，（12）：59-65.
[3]饯冬明，罗安妮等.教育信息化项目风险评估指标体系的构建[J]中国电化教育，2017，（1）：94-100.
[4] Nolan R L_croson D C，Seger K N.The Stages Theory：A Frame work forIT Adoption and OrganizationaILearning[M].Bos[on：Harvard.BusinessSchool Puhling，1993.
[5] Synnott William R. The Information Weapon： Winningcuslomers andMarket With Technology[M].New York：Wiley，1987. [6] Mische Michael A. Reengineering：System Integration Success[M].JohnWyzalek，1999.
[7]吕新奎中国教育信息化[M].北京：电子工业出版社，2002.
[8]张进宝.从“六要素模型”到“CIPO”模型：教育信息化研究思路的再審视[J].中国电化教育，2008，（10）：5-9.
[9]顾小清，林阳等.区域教育信息化效益评估模型构建[J]中国电化教育，2007，（5）：23-27.
[10] TheCEO forum school technology and technology report[DB/OL].http：//www2.uca.es /lace/documentos/99report.pdf，2018-03-20.
[11]王炜，黄黎凶.国内外基础教育信息化评估述评[J]中国信息技术教育，2008，（12）：13-15
[12]魏理豪，王甜等基于层次分析法的信息系统实用化评价研究[J]科技通报，2014，30（2）：143-146.
[13]谢幼如，常亚洁.绩效导向的教育信息化评价模型的构建[J]中国电化教育，2015，（1）：56-60.
[14]田生湖，姚建峰等.高校教育信息化治理绩效评价研究[J]电化教育研究，2018，（3）：29-34.
[15]岳洪江，徐欢基于期望一满意测评的高校信息系统绩效评价研究[J]现代情报，2016，36（7）：51-57.
[16]张聪.高校教育信息化评估的成熟度模型建构及其应用研究——以河南省高校为例[D]上海：上海外围语大学，2017.
[17]杨杰，方俐洛等.关丁绩效评价若干基本问题的思考[J].自然辨证法通讯，2001，23（2）：40-50
[18]徐建，吴砥等区域教育信息化发展水平评估系统设计与实现[J]现代教育技术，2018，28（2）：120-126.
[19]谢幼如，郑云翔.引领与推动：教育信息化绩效评价[M]北京：高等教育出版社，2016：5.
[20] Saaly T L Analytic Hierarc，hy Process[M].New York：John Wiley