论文部分内容阅读
公文筐测验由于具有考察范围广、表面效度高的特点，自诞生以来，几十年间风靡了西方企业界，使用频率居各种情境模拟测验之首。20世纪80年代以后，我国对这套技术也有了研究和应用。近年来，公文筐测验在国内得到了越来越多的认可，但对它的研究却屈指可数。由于公文筐测验的成本高、耗时长，常用于责任重大、关键性的职位，如果操作不当，得不偿失，因此如何让其操作更加规范化、正规化、更适合中国的国情，是当前的研究重点。从国内外的研究来看，对于评价中心工具的理论和实践研究主要有两个关键点:开发与评价。本文主要关注于公文筐测验的评价，试图通过实证的方法对公文筐测验的信度和效度进行一定的分析研究。 首先，回顾了国外关于公文筐测验一致性信度的研究成果，发现主要有两大方面的因素可能会影响公文筐测验的评分者一致性:一是评分标准之间的差异，主要是答案的客观化程度、计分的复杂程度差异等;二是评分者之间的差异，如评分者是否经过了培训、评分者之间是否经过了讨论、评分者的身份是否存在差异（心理学家还是企业管理人员）、评分者是否提前知道评分维度等。 接着，总结了国外关于公文筐测验的预测效度的研究成果，研究表明，公文筐测验对管理能力具有较好的预测效度，但选取不同的效标对公文筐测验的预测效度会有影响;同时，关于公文筐测验究竟在哪些方面具有较好的预测效度还没有一个统一的结论。 而从对国内相关文献的总结中，发现国内关于公文筐测验乃至评价中心的研究还处于起步阶段，大多数的文章都是把评价中心作为一个总体来介绍和研究的，关于评价中心里的各个测验项目的单独研究并不多，有关公文筐测验的研究更少，基于此，本文的研究目的主要有两个: 1、把公文筐测验从评价中心独立出来进行单独的分析和探讨，对影响其评分一致性和有效性的因素进行一定的分析，本文将着重探讨三个可能的因素，即评分标准是客观的还是主观的、评分者是否经过系统培训以及不同的效标是否会导致不同的预测效度。 2、以计划能力、决策能力、认知能力、协调能力、授权、书面表达能力作为六个评分维度，探讨公文筐测验在哪些能力上具有较好的预测效度。 本文的研究意义在于: 1.理论意义:首先，从测验的信度来说，公文筐测验的计分是一个不断探索、发展和完善的过程，今后公文筐测验计分研究需要解决的主要问题是如何减少公文筐测验的计分时间和提高计分的内部一致性（徐晓锋、车宏生，2002），本文试图在提高计分的内部一致性方面做一些研究。其次，从测验的效度来说，公文筐测验能够预测哪些能力？公文筐测验本身有多大的预测效度？等问题都还没有定论，本文也试图在这些方面做一些探索。从这个意义来说，笔者想要做的就是探讨怎样才能进一步完善公文筐测验的评分，以期对公文筐测验这项情景模拟技术在中国的标准化、正规化做一些有益参考。 2.实践意义:尽管评价中心技术在国内的发展时间不长，但其发展更新的速度一点也不慢。作为西方评价中心技术中使用频率最高的公文筐测验，我们可以预见它的发展前景是广阔的。从另一个角度来说，公文筐测验由于本身比较复杂，无论是开发还是评价不仅费用高，而且耗时耗力，对专家的依赖程度较高，因此，加强对这一工具的研究，对影响其信度和效度的因素进行分析和探讨，有利于提高公文筐测验的使用效果和应用范围，促使公文筐测验在人才测评中发挥越来越重要的作用。 本次研究共进行了两次公文筐测验，参加测验的人员分别来自两个不同单位的中层管理人员，其中一部分来自转制过程中的事业单位，另一部分则来自完全市场化经营的企业。测验所采用的试题来自孙健敏、付亚和和许玉林三位教授所编写的《管理技能评价与开发》（企业管理出版社）一书。考虑到被评价者虽然来自转制过程中的事业单位以及完全市场化经营的企业单位，但他们平时所从事的都是企业的实际经营管理工作，因此笔者最后选定了书中的“杰达百货商场”这套试题，该套试题涵盖了企业经营管理过程中管理者常遇到的一些问题，比如对顾客投诉的处理、工作日程的安排、内部矛盾的协调等等，能够较好地对管理者们的经营管理能力进行预测。本次研究选取的评分者为四名在校本科生;所选用的效标主要有两类:第一类效标为被评价者的直接上级按照公文筐测验的六个考察维度给被评价者打的分，作为被评价者在每个维度上的实际能力高低的指标;另一类效标为被评价者的直接上级对其在现实工作中的总体工作绩效进行的总体评价，以此来验证公文筐测验对实际工作绩效的预测效度。 研究结果表明，设定详细客观的评分标准有利于提高公文筐测验的评分者一致性信度，但和提高公文筐测验的预测效度相关度不明显;系统培训有利于提高公文筐测验的评分者一致性和预测效度;采用被试现实工作表现为效标比采用被试上级按照公文筐测验各维度进行实际工作评价为效标的预测效度更好。 另外，在所选定的6个考察要素中，发现:被评价者在公文筐测验中所获得的计划能力的得分能够比较好地预测其实际工作绩效。同时，在第一次测验中，公文筐测验所测得的组织协调能力、计划能力能够较好地预测被评价者在实际工作中的组织协调能力、计划能力;在第二次测验中，公文筐测验所测得的书面表达能力能够比较好地预测被评价者在实际工作中的书面表达能力。遗憾的是，两次测验中，三个能力之间没有形成交集。因此，公文筐测验是否能够恒定地预测被评价者在实际工作中的组织协调能力、计划能力、书面表达能力，还需要更多的实证数据予以支持。 当然，本研究也存在很多问题和不足，笔者仅仅探讨了有限的几个因素，更多的影响因素有待今后的研究进一步证明。此外，如何减少评分的时间，开发更为科学客观的评分标准以及进一步验证公文筐测验究竟对哪些能力具有较好的预测效度都是今后可以研究的方向。