大学之道(九十六)审核评估:关注内部质量保障的院校评审

16.01.2015  13:41

      摘要: 教育部第二轮本科教学评估将采用的审核评估模式,其所参照的是国外院校质量评审,其概念构,念和理念值得我们在实施审核评估时充分借鉴 。本文结教育部本科教学评估新方案和国外的院校质量评审,对审核评估作一剖析 。
   
      《教育部关于普通高等学校本科教学评估工作的意见》(以下简称“新方案”)颁布以来,随着相关工作的逐步开启,作为新方案中一大亮点的审核评估,开始越来越受到广大高校和学界的关注。这项最能体现新方案核心理念和设计灵魂、最终将面向所有学校的院校评估项目,到底是一个怎样的评估呢?它的概念、构念和理念有哪些?本文结合教育部本科教学评估新方案和拟议中的审核评估实施办法及其所参照的国外院校质量评审模式,作一剖析。
      一、院校质量评审的概念
      伦敦大学副校长Stewart Sutherland教授在上世纪90年代初最早建议使用“评审”(Audit)一词,以区别于其他同行复核活动。我国内地曾译为“审计”,2011年教育部颁布的新方案正式采用“审核”的提法。为了区别于财务审计和行政审批前的审核,特别是强调专业性并更好地对应于院校质量(Institutional Quality)这一评估对象,使用“院校质量评审”提法来具体说明它的实际工作性质,也是恰当的。很显然,在高教学术领域使用Audit一词,它的工作内容及方式,与财务审计和行政性审批活动都是大相径庭的。
      国外的相关概念包括“评审”、“质量评审”和“院校质量评审”,基本上说的都是一回事,只有个别学者和组织对质量评审是内部机制还是外部机制,涉及项目、机构及准机构哪个层面以及评审重点是质量保障系统还是质量管理系统或者是投入产出还是核查投入产出关系的过程等进行了区分。总体而言,学者和相关组织对评审的定义,相同点大于不同点,对评审的管理幅度、工作对象和评估内容有高度的一致。国外院校质量评审概念的定义如表1所示。

      二、审核评估项目的构念
      新方案是教育部第一次在多元评估理念基础上建立的关于高校评估工作的整体性顶层设计方案;它第一次真正将学校的自我评估作为评估制度的基础性、前提性的主体工作内容;在教育部出台的评估类重要文件中,它头一回没有将“以评促建”作为评估原则;其中的审核评估也是第一个评估结果不分优良中差和通过不通过但直取质量内核的评估项目。
      评估新方案的特点主要包括:自我评估的基础性、质量保障体系的低重心、状态数据的常态化、评估形式的多样性、评估主体的多元化和评估结论的低利害等。学校的办学主体地位得到更好的落实,真正从“要我评”向“我要评”跨进了一大步。变成“我要评”后,督促的责任减少了,对外部专业评估服务的要求却提高了。学校不需要、政府也不允许你再去干扰学校的日常教育教学活动,而学校自评过程中所需要你提供的大量专业性服务则需要去落实。因此,院校评估工作应尽快实现从“以评促建”到“以评助建”的哥白尼式的中心转移,加快提高评估的专业服务水准,更好地为学校的自我评估和自主发展服务、为政府的决策咨询和宏观管理服务。
      无论是教学基本状态数据的常态监测,还是学校自评后的年度教学质量报告的审核,都需要技术的支撑和专业的介入,而通过审核评估形成写实性报告的过程更是一个专业服务的过程。当然,评估者希望学校的教学基本状态数据的提供和年度教学质量报告的起草达到专业水准,评估者起草的写实性报告首先要做到是专业的。同时,过去学校的自评报告和外部的评估报告大多以官样文章居多,而现在需要的是真正专业的评估报告。要起草这样的专业报告,学校和评估者都有很长的路要走。但作为评估者,理当率先垂范,责无旁贷。评估者必须肩负起协助学校开展好自我评估、参与好外部评估的专业责任。
      回顾我国高校院校评估改革理论的十年探索,分类评估到审核评估是从“一元多类”向“一类多元”的理性回归。总体而言,新方案实现了这样一种回归。一个时期以来因反对用同一标准评估不同类型学校而提出的“一个项目、多个方案”甚至“一类学校一个标准”(体现一元化管理体制下分门别类地建立多种方案和多种标准的思路)的压倒性的分类评估的强力主张,最终得以冷静下来,实际回归到或者说让位于更为科学、与国际更加接轨的“一整套评估制度体系包含多个评估事项”和“一个评估项目同时允许支持各类学校多元发展”的多元评估的理性主张。一方面,一套整体的制度设计包含了学校自我评估、常态数据监测、合格评估、审核评估、专业认证和国际评估等多个事项,形成了一个完整的顶层设计框架。另一方面,因为合格评估从本质上来讲是针对批准建设不久的学校的再次合格性审核,还不是完整意义上的专业性院校认证活动,所以新方案确立的院校层面的专业评估活动其实只有审核评估一项。最终,所有获得批准注册并经历了再次合格审核的院校都必须归并到统一的审核评估系统中来。
      我们可以看到,新方案实际将分类评估狭义地理解为最终均需进入主流院校评审系统的所有高校按是否已经历上轮评估或本轮准人性合格评估而予以参加审核评估的时序上的分别对待。可以说,这样的制度安排为近十年来围绕分类评估的理论探索暂时画上了一个比较圆满的句号。它背后的深刻意涵是,最终体现评估必须允许支持各类学校各安其位地自主、多元、创新、特色发展的理念,将通过强调学校自评、常态数据监测、学校自我目标参照的审核评估得以落实,而不是简单地为不同类别的学校建立不同的指标体系甚至是不同的评估项目。更深层次的意涵是,在制订评估方案和标准时更加细分学校的类别并不会自动支持高校多元质量观的视角,甚至更加容易产生“种瓜得豆”的风险,多元质量的目标在评估中必须通过一套与高校自主发展目标不相冲突的支持性的外部保障措施来落实。新方案中的制度安排对这一意涵的体认,其理论意义和实践影响将是重大而又深远的。
      从与国际先进的院校质量评审模式接轨的理想层面和结合我国实际适度调适的角度来看,审核评估的实施办法需要首先解决好以下几个问题:
      第一,弄清“五式”差异,确立审核评估的模式定位。要了解审核评估是怎样的一种评估,首先就要弄清楚它是一种什么评估模式。目前可以确定其为院校质量审核模式。那么,院校质量审核又是一种什么模式?我们不妨对五种常见的教育评估模式(监测、评估、认证、评审、评价)作一对比分析。其中,监测(Monitoring)、评估(Evaulation)和认证(Accreditation)的比较,如表2所示;认证(Accreditation)、评审(Audit)和评价(Assessment)的比较,如表3所示。

       

      第二,明确“五度”机制,建立审核评估的基本框架。建立审核评估系统必须明确构成其基本框架的机制。要建立“五度”机制,包括:人校频度、周期长度、内容宽度、调查深度和报告厚度。机制的主要构念内容,如表4所示。

       

      第三,坚持“五性”原则,把握审核评估的正确方向。为了保证审核评估沿着正确的方向顺利、健康、有效进行,要坚持主体性、实用性、发展性、专业性和服务性等“五性”原则。
      (1)主体性主要包含了自主参与、多元发展和特色创新的成分,目的是帮助院校实现从外生性发展到内生性发展的转变。
      (2)实用性主要包含了目标的适切性、可评估性和达成度以及主体性和引导性相结合、校本性与外部参照性相结合以及学术性和管理性相结合等成分。
      (3)发展性主要包含了背景应答性、变革针对性、系统动态性和组织性学习的成分,在院校质量评审中也包含了共性与个性相结合、整体性与专题性相结合的要求。
      (4)专业性主要包含了实证研究、专业规范和常态制度的成分以及独立性、权威性、保密性和透明性的要求,特别是强调与被评双方连续的同行交流与互动过程,不搞暴风骤雨式的突击检查,强调过程中的和风细雨以及水到渠成,强调找因果关系、重数据说话,有多少数据说多少话。
      (5)服务性主要包含了支撑性、平等性、协商性、人文性等成分,一方面以评助建,实现从以外部压力促进其重视到以内部支持协助其发展的转变,同时通过评审过程中的多元价值主体的充分支持和平等协商,特别是强调评审员以有判断力的朋友的身份为院校提供建设性意见,使院校变得更强、更自信、更知道如何改进。
      第四,吃透“五维”定位,保证审核评估的项目质量。为了保证审核评估的质量,明晰项目的整体定位、保持构成项目基本定位的各维度之间的整合一致尤为重要。
      审核评估项目的定位概括起来可以包括自主参与、目标导向、背景参照、同行交流和结果共商等维度。这些定位项目的维度分别与主体性、实用性、发展性、专业性和服务性评审原则相对应。
      在这“五维”项目定位下,所涉及的主要评审程序依次分别是自评与申报、预访程序及其协商环节、实地访问、报告撰写和后续安排等;所涉及的核心报告内容分别是自评过程描述、证实及断言、称赞及推荐、建议及劝告和进展报告;基本上相对应的元评估标准分别是适恰性、有用性、可行性、准确性和问责性;最可能产生的项目质量风险分别是院校把表面文章做给人看,院校与评审员搞暗度陈仓、其实另有动机,评审员走马观花、不求深入,院校借口推托、评审员逃避责任和评审报告文过饰非、隐瞒问题。评审的结论可以用若干信心水平来表达。“五维”项目定位与构成评审质量保证要素的概念框架,如表5所示。
      第五,落实“五公”要求,构筑审核评估的信誉防线。为了做好审核评估,避免项目信誉受损,要做到五个“公”,它们构成维护审核评估信誉的五道防线(见图1)。第一道防线是“公共服务定位”。作为官方背景机构代表公权力提供的公共服务,评估工作必须代表公众的最大利益,并接受公民广泛而又充分的监督。
      第二道防线是“公众利益趋向”。院校评审是公益服务事业也是专业服务产品,必须在道德上代表最严格的专业规范,在业务上体现社会上的最高专业水准,以使公众的利益达到最大化。同时,要坚守公共知识分子的良心良知和道德底线,不能让形式主义引起公愤,不能让弄虚作假成为公害。

       

      第三道防线是“信息公开制度”。通过评前公告、法定数据的合理公开和评审结论以学校认可方式公布,确保评审过程的公开透明。如果公开性不够,那么即便是毫无隐瞒必要的正大光明的事,也会被误认为是暗箱操作。
      第四道防线是“评审公平公正”。一方面遵循统一的评审方案和评估准则,力求做到评审的真实客观,同时针对各不相同的具体的学校,坚持因校制宜,维护其自主性和办学个性。
      第五道防线是“鼓励公民参与”。如果说教育圈内外对于上一轮评估依据统一指标、分出优良中差和带来形式主义等弊端有意见,那么在评估新方案没有统一指标、不分优良中差和强调主体参与后,是不是又会出现评审标准不明确、判断准则不具体和主体参与不深人等问题呢?无论是什么评估模式,终究都要有公民的参与和公众的评价,老百姓心中自有公断,所以要争取社会各方的理解、认可和支持,局限在教育行业内甚至是评估小圈子内的自娱自乐行为,不可能得到大众的公允和在社会上博得好口碑。
      三、院校质量评审的理念
      综上可见,院校质量评审模式与其他评估模式很是不同,在管理幅度、角色定位、价值取向和评估方法上有其独到之处。院校质量评审内容、价值与策略的概念框架如表6所示。

       

      院校质量评审关注的重点是院校内部质量保障机制的有效性,它不直接评审质量,但它调查计划的质量程序与所陈述目标的适恰性、实际质量活动与计划的符合度以及活动对于实现所陈述目标的有效性。因此,要围绕活动及相关结果是否与计划安排一致、安排是否有效落实以及是否有益于目标达成,收集足够的证据。
      作为外部对于院校内部质量保障机制的一种系统的、独立的考查,它必须保持一个平衡:既要满足公众对于院校的独立权威的、真实可信的、科学严谨的详究细查的需要,又要承认院校本身才最有资格来给利害相关方提供有效、可靠的实时信息。因此,评审员既要保持中立性和超然地位,又要坚持发展性和服务性,与被评审院校真诚合作,为院校强化质量管理和质量标准提供支撑。
      院校质量评审的最重要价值包括学校的自我发现、对于质量保障的最佳实践的识别与传播、相关风险的专业鉴定以及对于质量改进的支撑。因此,除了内外部质量标准和准则的参照,要因校而异地确定聚焦主题并进行深入的评审,并选定相近类型和层次的伙伴院校作为开展相关分析时的同行参照基准。
      鉴于评审对象是质量这一相对模糊的、动态的概念,对于它的评估需要注重一定的方法、策略和技巧。除了一些分析手段的使用,要善于从多种信息来源收集证据,以交叉印证质量的实际状况。同时,对于评估发现的可靠性、质量保障系统的信心水平与评估结论的内容及性质之问的对应关系,要始终保持高度的敏感,切实保证质量评审本身的质量,把院校质量评审工作真正做好。
      四、更新评估工作的观念
      为了保证审核评估的顺利实施,避免在未来若干年内产生新的问题,把好制度、好项目、好方案真正落实好,应从根本上更新我们传统的评估工作观念,以切实保证质量评审质量。一些我们曾经忽视甚至还没有真正去做的工作需要切实重视起来,在审核评估中予以强化。鉴于过去工作中的经验教训,我们需要特别注意以下几个方面的问题。
      第一,克服盲目的本土化和方案的随意性,重视项目的先进性和方案的科学性。要充分吸收国际先进的评估理念,真正抓住院校质量评审的完整精髓,科学制订好评估项目方案,尤其关注审核范围、评审主题、自评与预访程序、自评报告基本结构、进展报告、结论协商和评审报告陈述规范等的设定。特别注意方案的完整性和有效性,避免出现不伦不类的四不像的情况。
      第二,避免无谓的高压力和工作的高风险,坚持定位的正当性和运作的适恰性。除了坚持专业服务定位和合理性、适切性以外,在具体运作方式上要充分考虑被评对象的需要、可能和特点,充分尊重被评对象对进校时机、评审主题和后续安排等的看法,做到科学性和人文性相统一,在自主性和透明度之问保持平衡,既尽量降低迎评负担,又吸引更多师生广泛参与,切实提高学校对评估工作的满意度。
      第三,杜绝环节的不当性和证据的虚假性,关注程序的可行性和结果的准确性。在保证评估对象的可评估性的基础上,要关注各评审环节是否切实可行。同时,重视评估证据的可回溯性和评估发现的有效性,真正做到基于事实和证据作出准确的价值判断。确定证据收集范围和证据来源的指导框架,如表7所示。写实性评审报告要准确提交评估发现、准确呈现相关证据、准确定义信心水平、准确给予赞扬意见,准确作出相关肯定和准确提供改进建议。

       

      第四,消除细节的粗线条和形式的繁琐性,确保结论的有用性和项目的美誉度。评定“优”“良”“中”“差”改为撰写写实性评审报告以后,更要强调评估工作的实效性。要努力避免出现形式主义,严格禁止做官样文章,通过结论共商、多元参与、信息公开和元评估等,实现评估者与各利害相关方的良性互动,确保评审结论的有用性,同时不断改善评估项目在同行和公众中的口碑,从根本上改变社会对教育评估工作的观感。
      第五,提防项目的行政化和功能的扩大化,落实工作的服务性和目标的有限性。审核评估要明确自己的业务边界,把它作为一项专业的、服务性的工作,对其演变为过度行政化、事务化工作和随意扩大项目功能和裁量权等风险,持续保持足够的警惕。Audit一词最早起源于拉丁文,意思是to hear (听证),在现代美国英语中仍有“旁听”的意思。在审核评估服务学校内部质量保障的过程中,外部评审员只是旁听生,他们所要做的一切是围绕质量证据开展一场听证,主要任务是协助院校进行事实性核查,他们所提的核心问题是“什么”和“如何”而非“为什么”。审核评估给院校留下的是有限的、分析性的、反思性的和有判断力的意见,更应该是院校的自主、自信和自强。(来源:《高教发展与评估》2013年05月第29卷 第3期)