论文部分内容阅读
摘 要：文章从档案安全风险评估元评估涵义入手，对元评估开展的必要性、主体与模式、内容、方法及程序进行探讨。在此基础上提出搞好档案安全风险评估元评估的相关建议：积极推动档案安全风险评估和元评估的研究与实践；加强对档案安全风险评估指标体系的再评估；重视评估专家队伍建设，充分发挥专家的作用。
关键词：元评估；档案安全；风险评估；评估指标
档案安全风险评估，是对档案实体和档案信息资源所面临的威胁及其可能造成的影响的可能性的评估。[1]档案安全风险评估的目的就是通过科学的方法、程序查找档案安全隐患和漏洞、薄弱环节，及时采取必要的措施，最大可能地规避和降低风险，确保档案的安全。因此，评估的科学与否、评估质量的高低直接决定着评估效果的好与坏。因而，判断档案安全风险评估本身的科学性就成了档案安全保障体系建设不可缺少的一个重要环节。而元评估就是评估的评估，是判定原评估科学性的方法。美国学者丹尼尔·L·斯塔弗尔比姆（Daniel L. Stufflebeam）非常形象地指出：“元评估对评估领域的重要性，就如审计制度对于会计领域的重要性一样。”[2]鉴于此，本文将从元评估的角度来解析档案安全风险评估科学性的问题。
1 档案安全风险评估元评估的涵义及其开展的必要性
1.1 档案安全风险评估元评估的涵义。元评估的产生与发展得益于元科学（科学的科学，Meta-science）[3]发展的推动，是元科学研究方法和研究成果应用于评估学领域的结果。元评估（Meta-evaluation）即对评估本身进行评估。[4]20世纪以来，随着评估学发展成为社会科学研究的重要领域，元评估研究亦逐渐成为推进评估学发展的重要途径。1940年皮多·奥若塔（Pedro Orata）提出“评估的评估”（evaluation of evaluation），是元评估概念的雏形。1969年迈克尔·斯克里文（Michael Scriven）首次提出“元评估”概念。[5]
元评估又称为“元评价”[6]“再评价”[7]“再评估”[8]“后设评估”[9]等。美国学者丹尼尔·L·斯塔弗尔比姆（Daniel L. Stufflebeam）将其定义为“经由记述、获取及运用关于评估的效用性、可行性、适当性及精确性等描述性信息和判断性信息的过程，据以引导评估，并公开报导其优点和缺点。” [10]国内学者张道民认为“元评估亦称为评估的评估。它是以已有的评估（原评估，primary-evaluation）活动及结果为对象，从整体上多视角地进行反思认识，进而对其可信度（可靠性）和有效度（功效性）作出客观、科学、全面的评估结论。”[11]
元评估，同样适用于档案安全风险评估领域。在档案安全风险评估领域，元评估是指按照一定的理论框架，运用可行的科学方法和价值标准，对档案安全风险评估标准、评估方案、评估过程、评估方法和评估结果的科学性和有效性进行分析，从而对档案安全风险评估做出价值判断的过程。从我国在天津[12]、河南[13]等地开展的档案安全风险评估实践来看，在评估结束后开始注重对档案安全风险评估活动本身的经验总结，从评估的组织领导、评估标准、评估方案、评估方法、程序、结论等方面提出意见和建议。整个过程虽然缺乏严格的元评估程序与标准，但从某种程度来说，这实际上已经迈出了元评估探索的步伐，对档案安全风险评估技术方法的改进、评估质量的提高，起到了重要的作用。
1.2 档案安全风险评估元评估开展的必要性。档案安全风险评估元评估开展的必要性主要体现在以下两个方面：
第一，档案安全风险评估误差的客观存在，需要元评估对原来的评估进行偏差控制，使偏差控制在合理的范围，提高评估的信度和效度，从而提高评估的整体质量。档案安全风险评估过程中，一些客观因素的影响，使得评估不可避免存在误差，影响评估的质量。这些因素主要有：由于评估指标体系本身（包括评估指标及评估内容的选择、评估权重的确定等方面）设计不科学产生的误差；由于评估专家组成员结构不合理、不良心理因素产生的误差；由于风险本身的动态性、复杂性而产生的误差。
偏差控制是元评估的一项重要功能，元评估首先检测与识别档案安全风险评估偏差。元评估通过方差法、肯德尔和谐系数法等分析原评估数据和流程，识别原来评估的偏差环节。在偏差识别的基础上运用统计方法和其他各种方法，对原来评估的偏差原因进行分析，对偏差值进行计算，从而对评估偏差予以纠正，保证档案安全风险评估的质量。
第二，元评估是档案安全风险评估科学理论形成和完善的推进器。由于风险的复杂性，它处在一个动态的不断变化的过程中：未知的、新的风险随时有可能发生，已识别出来的风险其发生的可能性和产生的后果严重性也不是一成不变的。因此，在风险控制的过程中，需要定期或不定期的对已经识别的风险发生的可能性和产生的后果进行重新评估。风险的复杂性、风险评估的周期性决定了档案安全风险评估科学理论的形成是一个及其复杂的过程。马克思主义认识论科学地揭示了认识的规律，档案安全风险评估科学理论的形成与完善也需要经历一个由实践到认识、由认识到实践的多次反复的过程，需要在实践中不断的检验、修正与完善。元评估则是连接实践与认识的链条，元评估通过对风险评估方案、评估指标、评估方法、评估过程的检验来验证风险评估理论的正确性，在不断修正与完善基础上形成科学的评估理论。
2 档案安全风险评估元评估主体及模式
2.1 元评估主体。元评估主体是指元评估行为的实施者，主要回答由谁来进行元评估的问题。可以有几种选择：一是原评估者，二是原评估组织者，三是外部专业评估者。第一种可信度不高，第二种受理论与技术的限制，第三种理论上科学高效、客观公正，需要较高的花费，但即便如此很大程度上也受该行业发展成熟度的影响。理想化的选择是元评估主体要比原评估主体素质更高，不但能胜任原评估还能对原评估进行优劣评价。因此，档案安全风险评估元评估主体的选择，需要考虑各方面的因素，选择最适当的元评估主体，可以采取内部评估专家与外部评估专家相结合的方式。 2.2 元评估模式。关于元评估的模式，不管是Cook和Gruder（1978）的七种元评估模式，还是stufflebeam（1974）的元评估模式，或是Gowin的QUEMAC模式，所依据的分类标准共同的地方是元评估与原评估是同时实施，还是在原评估完成后实施，即形成性元评估（pro-active meta-evaluation）和总结性元评估（retro-active meta-evaluation）。形成性元评估强调在评估的不同阶段，尤其是各个阶段的衔接处，应及时进行元评估，以便及时修正评估的方案、技术或操作中可能出现的问题；若等到评估结束，某种无效甚至有害的评估已产生不良影响，此时进行元评估为时已晚。总结性元评估强调元评估作为经验总结性质的总结性评估的作用，即在评估结束后，对此次评估的方案设计、技术方法、实施程序、结论质量及其产生的作用和影响做出全面的分析、评估和估价，为最终的决策提供咨询建议或施加影响，也为改进评估活动提出意见和建议。在档案安全风险评估的元评估中可以将元评估两种模式各自的优势结合起来，加强原评估的过程管理，通过对原评估过程的评估，发挥内部监控的作用，做好对评估过程的评价与监控，做到结果监控与过程监控相结合，外部监控与内部监控相结合。
3 档案安全风险元评估的内容、方法及程序
3.1 元评估内容。档案安全风险元评估的内容主要包括对档案安全风险评估标准、评估方案、评估过程、评估方法和评估结果的可信度和有效度进行整体、综合的评估。具体主要包括：（1）评估目的是否明确；（2）评估标准是否合理；（3）评估指标体系是否完整，指标权重系数是否准确；（4）评估实施方案是否合理；（5）评估方法是否科学；（6）评估结果是否真实、合理、有效；（7）评估功效能否发挥等。
3.2 元评估方法。档案安全风险评估元评估除了采用内容分析法、经验总结法等常用的定性评估的方法之外，还可以采用效度检验和信度检验等定量的方法来判断。效度（Validity）即有效性，它是指测量工具或手段能够准确测出所需测量的事物的程度。如果一项评估的效度很低，则其实际效果肯定不佳。信度（Reliability）即可靠性，它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。如果评估的信度很低，则其结果就缺乏可靠性。在档案安
全风险评估的元评估中，可以运用肯德（M.Kendall）和谐系数法对专家的评分差异进行检验。肯德尔和谐系数法计算公式[14]如下：
W=S/[（1/12）n2（m3-m）]，
式中，n为评估者人数；m为被评项目（指标）的个数；s为各种被评因素秩和的离差平方和：S=∑（Rj-Rj）2=∑Rj2-（1/m）（∑Rj）2。W值越接近1，则表示专家的评分越一致，差异性越小。
3.3 元评估程序。根据丹尼尔·L·斯塔弗尔比姆（Daniel L. Stufflebeam）后设评估的十个步骤[15]，结合档案安全风险元评估的实际情况，元评估可以按照以下程序开展：（1）建立一个合格的元评估小组；（2）决议元评估的判断标准；（3）收集和检视适当可用的信息；（4）必要时收集新信息，包括实地访谈、观察及问卷调查等；（5）分析定性和定量信息，并判断评估符合所选定评估标准的程度；（6）形成元评估报告；（7）解释及应用元评估结果。
4 搞好档案安全风险评估元评估的几点建议
我国档案安全风险评估元评估理论与实践的发展都还处于起步和探索阶段，有待于今后进一步深入探究和挖掘。对于档案安全风险评估元评估的发展完善，本文提出以下几点建议：第一，积极推动档案安全风险评估和元评估的研究与实践。档案安全风险评估和元评估相辅相成，互为促进。一是加强风险管理理论的学习，切实掌握风险评估的科学工具；二是借鉴其他领域风险管理、风险评估应用的实践经验；三是加强档案安全风险评估试点的经验总结，特别是对评估试点的元评估，形成可以推广的制度成果，推进元评估与档案安全风险评估的发展。第二，加强对档案安全风险评估关键环节评估指标体系的再评估。风险评估指标的科学性、可行性直接影响着档案安全风险评估的质量。对指标体系的再评估，主要检验评估指标体系的完整性，评估指标的准确性、独立性，评估指标权重系数的准确性，并进一步对评估指标体系进行修正与完善，从而提高元评估和档案安全风险评估的质量。第三，重视评估专家队伍建设，充分发挥专家的作用。不管是元评估还是档案安全风险（下转7页）评估都离不开评估专家的智力支持，评估专家成为元评估主体不可或缺的组成部分。一方面要大力发挥评估专家的作用，使他们积极的参与到元评估和档案安全风险评估中来，为档案安全风险评估和元评估理论和实践的发展贡献力量；另一方面为专家专业素质提升提供发展平台。通过提供必要的考察、交流、培训的机会，促进档案安全风险评估专家的培养和发展，从而使他们更好的为元评估和档案安全风险评估服务。
*本文系广西民族大学科研基金资助课题项目“档案安全风险评估专家咨询制度设计”（项目编号：2016MDYB015）阶段性成果。
关键词：元评估；档案安全；风险评估；评估指标
档案安全风险评估，是对档案实体和档案信息资源所面临的威胁及其可能造成的影响的可能性的评估。[1]档案安全风险评估的目的就是通过科学的方法、程序查找档案安全隐患和漏洞、薄弱环节，及时采取必要的措施，最大可能地规避和降低风险，确保档案的安全。因此，评估的科学与否、评估质量的高低直接决定着评估效果的好与坏。因而，判断档案安全风险评估本身的科学性就成了档案安全保障体系建设不可缺少的一个重要环节。而元评估就是评估的评估，是判定原评估科学性的方法。美国学者丹尼尔·L·斯塔弗尔比姆（Daniel L. Stufflebeam）非常形象地指出：“元评估对评估领域的重要性，就如审计制度对于会计领域的重要性一样。”[2]鉴于此，本文将从元评估的角度来解析档案安全风险评估科学性的问题。
1 档案安全风险评估元评估的涵义及其开展的必要性
1.1 档案安全风险评估元评估的涵义。元评估的产生与发展得益于元科学（科学的科学，Meta-science）[3]发展的推动，是元科学研究方法和研究成果应用于评估学领域的结果。元评估（Meta-evaluation）即对评估本身进行评估。[4]20世纪以来，随着评估学发展成为社会科学研究的重要领域，元评估研究亦逐渐成为推进评估学发展的重要途径。1940年皮多·奥若塔（Pedro Orata）提出“评估的评估”（evaluation of evaluation），是元评估概念的雏形。1969年迈克尔·斯克里文（Michael Scriven）首次提出“元评估”概念。[5]
元评估又称为“元评价”[6]“再评价”[7]“再评估”[8]“后设评估”[9]等。美国学者丹尼尔·L·斯塔弗尔比姆（Daniel L. Stufflebeam）将其定义为“经由记述、获取及运用关于评估的效用性、可行性、适当性及精确性等描述性信息和判断性信息的过程，据以引导评估，并公开报导其优点和缺点。” [10]国内学者张道民认为“元评估亦称为评估的评估。它是以已有的评估（原评估，primary-evaluation）活动及结果为对象，从整体上多视角地进行反思认识，进而对其可信度（可靠性）和有效度（功效性）作出客观、科学、全面的评估结论。”[11]
元评估，同样适用于档案安全风险评估领域。在档案安全风险评估领域，元评估是指按照一定的理论框架，运用可行的科学方法和价值标准，对档案安全风险评估标准、评估方案、评估过程、评估方法和评估结果的科学性和有效性进行分析，从而对档案安全风险评估做出价值判断的过程。从我国在天津[12]、河南[13]等地开展的档案安全风险评估实践来看，在评估结束后开始注重对档案安全风险评估活动本身的经验总结，从评估的组织领导、评估标准、评估方案、评估方法、程序、结论等方面提出意见和建议。整个过程虽然缺乏严格的元评估程序与标准，但从某种程度来说，这实际上已经迈出了元评估探索的步伐，对档案安全风险评估技术方法的改进、评估质量的提高，起到了重要的作用。
1.2 档案安全风险评估元评估开展的必要性。档案安全风险评估元评估开展的必要性主要体现在以下两个方面：
第一，档案安全风险评估误差的客观存在，需要元评估对原来的评估进行偏差控制，使偏差控制在合理的范围，提高评估的信度和效度，从而提高评估的整体质量。档案安全风险评估过程中，一些客观因素的影响，使得评估不可避免存在误差，影响评估的质量。这些因素主要有：由于评估指标体系本身（包括评估指标及评估内容的选择、评估权重的确定等方面）设计不科学产生的误差；由于评估专家组成员结构不合理、不良心理因素产生的误差；由于风险本身的动态性、复杂性而产生的误差。
偏差控制是元评估的一项重要功能，元评估首先检测与识别档案安全风险评估偏差。元评估通过方差法、肯德尔和谐系数法等分析原评估数据和流程，识别原来评估的偏差环节。在偏差识别的基础上运用统计方法和其他各种方法，对原来评估的偏差原因进行分析，对偏差值进行计算，从而对评估偏差予以纠正，保证档案安全风险评估的质量。
第二，元评估是档案安全风险评估科学理论形成和完善的推进器。由于风险的复杂性，它处在一个动态的不断变化的过程中：未知的、新的风险随时有可能发生，已识别出来的风险其发生的可能性和产生的后果严重性也不是一成不变的。因此，在风险控制的过程中，需要定期或不定期的对已经识别的风险发生的可能性和产生的后果进行重新评估。风险的复杂性、风险评估的周期性决定了档案安全风险评估科学理论的形成是一个及其复杂的过程。马克思主义认识论科学地揭示了认识的规律，档案安全风险评估科学理论的形成与完善也需要经历一个由实践到认识、由认识到实践的多次反复的过程，需要在实践中不断的检验、修正与完善。元评估则是连接实践与认识的链条，元评估通过对风险评估方案、评估指标、评估方法、评估过程的检验来验证风险评估理论的正确性，在不断修正与完善基础上形成科学的评估理论。
2 档案安全风险评估元评估主体及模式
2.1 元评估主体。元评估主体是指元评估行为的实施者，主要回答由谁来进行元评估的问题。可以有几种选择：一是原评估者，二是原评估组织者，三是外部专业评估者。第一种可信度不高，第二种受理论与技术的限制，第三种理论上科学高效、客观公正，需要较高的花费，但即便如此很大程度上也受该行业发展成熟度的影响。理想化的选择是元评估主体要比原评估主体素质更高，不但能胜任原评估还能对原评估进行优劣评价。因此，档案安全风险评估元评估主体的选择，需要考虑各方面的因素，选择最适当的元评估主体，可以采取内部评估专家与外部评估专家相结合的方式。 2.2 元评估模式。关于元评估的模式，不管是Cook和Gruder（1978）的七种元评估模式，还是stufflebeam（1974）的元评估模式，或是Gowin的QUEMAC模式，所依据的分类标准共同的地方是元评估与原评估是同时实施，还是在原评估完成后实施，即形成性元评估（pro-active meta-evaluation）和总结性元评估（retro-active meta-evaluation）。形成性元评估强调在评估的不同阶段，尤其是各个阶段的衔接处，应及时进行元评估，以便及时修正评估的方案、技术或操作中可能出现的问题；若等到评估结束，某种无效甚至有害的评估已产生不良影响，此时进行元评估为时已晚。总结性元评估强调元评估作为经验总结性质的总结性评估的作用，即在评估结束后，对此次评估的方案设计、技术方法、实施程序、结论质量及其产生的作用和影响做出全面的分析、评估和估价，为最终的决策提供咨询建议或施加影响，也为改进评估活动提出意见和建议。在档案安全风险评估的元评估中可以将元评估两种模式各自的优势结合起来，加强原评估的过程管理，通过对原评估过程的评估，发挥内部监控的作用，做好对评估过程的评价与监控，做到结果监控与过程监控相结合，外部监控与内部监控相结合。
3 档案安全风险元评估的内容、方法及程序
3.1 元评估内容。档案安全风险元评估的内容主要包括对档案安全风险评估标准、评估方案、评估过程、评估方法和评估结果的可信度和有效度进行整体、综合的评估。具体主要包括：（1）评估目的是否明确；（2）评估标准是否合理；（3）评估指标体系是否完整，指标权重系数是否准确；（4）评估实施方案是否合理；（5）评估方法是否科学；（6）评估结果是否真实、合理、有效；（7）评估功效能否发挥等。
3.2 元评估方法。档案安全风险评估元评估除了采用内容分析法、经验总结法等常用的定性评估的方法之外，还可以采用效度检验和信度检验等定量的方法来判断。效度（Validity）即有效性，它是指测量工具或手段能够准确测出所需测量的事物的程度。如果一项评估的效度很低，则其实际效果肯定不佳。信度（Reliability）即可靠性，它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。如果评估的信度很低，则其结果就缺乏可靠性。在档案安
全风险评估的元评估中，可以运用肯德（M.Kendall）和谐系数法对专家的评分差异进行检验。肯德尔和谐系数法计算公式[14]如下：
W=S/[（1/12）n2（m3-m）]，
式中，n为评估者人数；m为被评项目（指标）的个数；s为各种被评因素秩和的离差平方和：S=∑（Rj-Rj）2=∑Rj2-（1/m）（∑Rj）2。W值越接近1，则表示专家的评分越一致，差异性越小。
3.3 元评估程序。根据丹尼尔·L·斯塔弗尔比姆（Daniel L. Stufflebeam）后设评估的十个步骤[15]，结合档案安全风险元评估的实际情况，元评估可以按照以下程序开展：（1）建立一个合格的元评估小组；（2）决议元评估的判断标准；（3）收集和检视适当可用的信息；（4）必要时收集新信息，包括实地访谈、观察及问卷调查等；（5）分析定性和定量信息，并判断评估符合所选定评估标准的程度；（6）形成元评估报告；（7）解释及应用元评估结果。
4 搞好档案安全风险评估元评估的几点建议
我国档案安全风险评估元评估理论与实践的发展都还处于起步和探索阶段，有待于今后进一步深入探究和挖掘。对于档案安全风险评估元评估的发展完善，本文提出以下几点建议：第一，积极推动档案安全风险评估和元评估的研究与实践。档案安全风险评估和元评估相辅相成，互为促进。一是加强风险管理理论的学习，切实掌握风险评估的科学工具；二是借鉴其他领域风险管理、风险评估应用的实践经验；三是加强档案安全风险评估试点的经验总结，特别是对评估试点的元评估，形成可以推广的制度成果，推进元评估与档案安全风险评估的发展。第二，加强对档案安全风险评估关键环节评估指标体系的再评估。风险评估指标的科学性、可行性直接影响着档案安全风险评估的质量。对指标体系的再评估，主要检验评估指标体系的完整性，评估指标的准确性、独立性，评估指标权重系数的准确性，并进一步对评估指标体系进行修正与完善，从而提高元评估和档案安全风险评估的质量。第三，重视评估专家队伍建设，充分发挥专家的作用。不管是元评估还是档案安全风险（下转7页）评估都离不开评估专家的智力支持，评估专家成为元评估主体不可或缺的组成部分。一方面要大力发挥评估专家的作用，使他们积极的参与到元评估和档案安全风险评估中来，为档案安全风险评估和元评估理论和实践的发展贡献力量；另一方面为专家专业素质提升提供发展平台。通过提供必要的考察、交流、培训的机会，促进档案安全风险评估专家的培养和发展，从而使他们更好的为元评估和档案安全风险评估服务。
*本文系广西民族大学科研基金资助课题项目“档案安全风险评估专家咨询制度设计”（项目编号：2016MDYB015）阶段性成果。