- A+
(图片来自网络)
荷兰拥有欧洲乃至世界名列前茅的高水平大学和科研院所,其13所研究型大学几乎全部排在世界大学排行榜前200的位置,此外,荷兰国家科学研究组织(NWO)和荷兰皇家艺术与科学院(KNAW)下设不同学科领域的研究院所,其科研水平和综合实力同样具有较强的世界竞争力。这与荷兰高效的科研管理制度和独特的科研评估模式密不可分。
荷兰国家科学研究组织(Netherlands Organization for Scientific Research,简称NWO)是荷兰的国家科研委员会和科研经费划拨单位,主要职能是资助有利于经济和社会发展的科研活动,其资金主要来自于荷兰教育和文化与科技部,用于资助荷兰13所大学的科研项目和科研人员,涵盖几乎所有科研领域。同时NWO还直接管理8家跨学科研究所,每个研究所都与荷兰的大学有着紧密的合作关系,三分之一以上的固定研究员是大学的教授。
荷兰从20世纪80年代开始探索科学研究的合理评估,并于20世纪90年代建立了国家层面的科研评估制度。1985年,荷兰发布了《高等教育:质量与自治》政策白皮书,为科研评估奠定了自主参与、内外结合的总基调。1993年,荷兰大学协会(VSNU)设计并发布了《标准评估协议(Standard Evaluation Protocol,简称SEP)》,成为高校和科研机构定期开展评估的纲领性指南。从此,所有公共资金资助的高校和科研机构每3年进行一次内部评估,每6年接受一次外部评估,从而形成了内外部双循环的动态评估模式。
SEP协议明确了评估目的是改进科研质量和公共责任,评估的对象除了科研项目和科研人员之外还包括领导的管理水平、机构的战略规划和政策、科研工作的组织情况。除了评估科研本身,还涉及科研对社会经济的影响,并对多学科和跨学科的科研项目加以关注。评估既是总结性回顾,也是前瞻性分析,强调在了解过去的技术上规划未来。
SEP协议还对评估等级、指标体系、评估流程、工作方法进行了详细的规定,为开展科研评估提供标准参照。该协议每4-6年即修订一次,在评估的理念、目标、维度和方法上进行持续改进,迄今为止最新的一版是2015年发布的第五版,由荷兰大学协会、荷兰国家科学研究组织和荷兰皇家艺术与科学院联合制定,将全面指导2015年-2021年这六年间开展的新一轮外部评估,其评估结果将对荷兰国家层面的科研投入、战略选择和机构层面的学科发展、科技创新产生重大影响。
一、 评估模式与流程
在荷兰的科研评估体系中,科研机构负责其内部评估并自主选择外部评估机构,外部评估机构通常是经过认证的第三方独立评估中介,负责组织外部评审委员会进行同行评审,例如主要致力于高校科研评估的荷兰大学质量保障协会(Quality Assurance Netherlands Universities,简称QANU),它成立于2004年,主要接替荷兰大学协会开展质量保障方面的工作。政府(主要是政府下属的官方机构高等教育视导团)负责指导评估,对整个评估体系和环节进行引导和监督,而不直接参与评估过程。
在内部评估阶段,科研机构需要就过去6年取得的成果以及未来6年的行动计划开展自我评估,撰写简明的自评报告并准备相关文件,自评报告的内容包括:(1)介绍基本概况,描述过去和未来的发展战略;(2)选取能够体现自身优势的指标,提供相应数据并说明选取原因和意义;(3)提交叙事报告,选取一个最具代表性的案例,说明其社会影响;(4)开展SWOT分析,审视自身优势和不足,分析外部机会和威胁,进而判断战略规划的可行性。
外部评估阶段主要由事先准备、实地考察、确定结果、公布结果几个程序组成:(1)科研机构的董事会全权负责确定评估计划、安排评估日程、任命评估委员会并确定其职能,在组建评估委员会时,董事会通常会就成员人选咨询QANU这样的第三方机构以确保委员会的公正性、独立性和专业性。(2)评估委员会制定细化的评估方案,在收到自评报告1-2个月后开展实地考察,通过访谈等方式核实自评报告中的要点信息。(3)评估委员会在实地考察后8周内通过集体评议做出初步评估决议,就三个一级指标给出量化评价等级和定性的评价与建议,评估等级共分为“卓越”、“优秀”、“良好”、“欠佳”4个级别,评估委员会需要在实地考察后12周内向科研机构董事会提交最终的评估报告。(4)科研机构董事会需要在外部评估结束后的16-20周内表明立场并于6个月内在官网上公布最终的评估报告,还需要不定期发布持续改进情况并接受公众问责。此外,NWO、KNAW 、VSNU也会定期监测科研机构的后续改进行动。
二、 评估指标体系
最新一版评估协议构建了由两大维度、六项一级指标、若干二级指标组成的指标体系(如表1所示)。该指标体系不仅可以面向科研机构进行整体评估,也可以针对机构内部某一科研单元(Research Unit)如科研团队或专业进行评估。指标的呈现方式可以是定量的数据,也可以是定性的案例叙事和SWOT分析,还可以采取定量定性相结合的方式,例如,在评估研究成果质量时主要考查成果数量、引用量等数据;在评估社会相关性时除了考查服务社会大众的科研产品数量以及这些成果被特定目标群体使用的情况外,还需要以叙事的方式呈现一个最具代表性的科研成果的社会影响力的案例;在进行战略可行性的SWOT分析时既可以提供定量数据也可以通过访谈、座谈等形式搜集定性评价,或把二者结合起来。另外,该指标体系具有参考性而非强制性,即科研机构或单元在撰写自评报告时可以从框架内选取最能体现自身优势和绩效表现的指标提供数据,以展现其在提升科研综合实力、辐射社会影响以及推动自身和整个荷兰科研系统可持续发展方面做出的成绩与贡献。
表1 SEP2015-2021评估指标体系
评估维度 | 一级指标 | 二级指标 | 评价内容 | 自评报告呈现方式 |
科研综合实力 | 研究成果质量 | 面向同行的标志性科研成果 | 研究论文;著作;博士论文;其他成果如仪器、设备、数据库、软件工具、设计产品等 | 指标数据 |
标志性成果利用率 | 成果引用率;数据库、软件工具的同行使用情况;研究设施的同行利用情况;科学或学术期刊上的同行评价情况 | |||
标志性成果认可度 | 科学或学术奖励;个人获得的科学资助;受邀进行学术演讲情况;受邀成为科学委员会或编委会成员情况 | |||
社会相关性 | 面向社会大众的标志性科研成果 | 政策咨询报告;面向非学术群体的专业论文;为大众提供的讲座或展览等成果推广活动 | 指标数据+案例叙事 | |
标志性成果利用率 | 专利和许可证书;与社会各界合作的项目、横向课题等 | |||
标志性成果认可度 | 公共奖项;社会投资;在社会公共咨询机构任职的人数等 | |||
战略可行性 | 组织内部的优势、劣势 | 员工的背景和经历;组织治理模式;组织管理水平;基础设施建设情况;财政状况 | SWOT分析 | |
外部环境的机会、威胁 | 技术进步的方向;新的政策或立法;政府的支持;社会文化模式;竞争对手等 | |||
可持续发展能力 | 博士培养 | 博士项目的相关制度与政策文本;博士研究者的选拔和录取流程;博士项目的培养方向和结构;评估单元对博士项目的监管和质量保障机制;导师对博士研究者开展科研的指导以及未来就业的指导;博士研究者的学习年限、获得学位比例、未来就业的去向等 | 指标数据 | |
科研诚信 | 评估单元内主导的研究氛围;学者间交流、互动的方式;对强化科研诚信、道德、自我反思的关注程度以及采取的措施;数据处理、数据存储及数据管理的相关制度;当研究结果严重偏离主流科学语境时所采取的应急措施;评估单元自身面临的难题以及解决策略等 | 指标数据 | ||
组织多样性 | 评估单元自身多样性及其组织文化多样性的特点;对于保持组织多样性的关注度;提升组织多样性的目标以及采取的行动措施;确保选举委员会和评估委员会中人员多样性的相关制度和措施 | 指标数据 |
三、 评估特点
1. 重视科研质量的同时也强调社会影响
荷兰科教部门认为,科研成果在保证学术影响的同时还应该通过知识创造更大的社会价值,因此尝试将社会相关性纳入评估体系,通过尽量清晰的对社会影响力的组成要素进行界定,促进研究者和应用者之间的互动,把握研究的社会影响力发生路径,促进研究者更加有意识的为经济社会发展创造更多高质量研究成果。
2. 以未来的可持续发展为评价导向
评估的目的不仅仅是问责,更重要的是提升,为科研机构的发展提供意见和建议。“战略可行性”这一指标的设置和SWOT分析工具的应用可以帮助机构反思目前状况、预测未来前景并制定相应的战略规划。同时,对科研诚信政策与整体研究环境的考查也促进评估重心从“量”到“质”的移动,有利于构建更加健康可持续的科研生态。
3. 评估兼顾标准化与个性化
评估协议作为开展评估活动的标准参照,对评估流程和操作方法进行了详细的规定,保证评估活动有条不紊的进行,提高评估的效率与质量。同时,在评估内容方面充分尊重评估对象多样化特点,强调个性化评估,避免了将基础研究和应用研究混为一谈,一刀切式的评估,有利于在不同维度上定义优秀,让科研机构更好的发挥自身特色。
参考文献:
[1] 王楠, 罗珺文, 王红燕. 荷兰科研评估的模式与特点——以《标准化评估指南(2015-2021)》为分析对象[J]. 高教探索, 2018(10):50-55.
[2] 刘凡丰, 余诗诗. 荷兰科研机构的评价模式[J]. 中国高等教育评估, 2017(02):68-74.
[3] 刘蓉洁, 赵彩霞. 荷兰高校科研评估的特点及启示[J]. 世界教育信息, 2009(11):67-70.