网站首页|部门概况|文科院系|研究平台|研究成果|科研项目|管理文件|学风建设|下载专区
学风建设
 政策文件 
 组织机构 
 学风动态 
 学术评价 
学术评价
您的位置: 网站首页>>学风建设>>学术评价>>正文
智库评价须体现差别化原则
高国力 李刚 牟岱  《光明日报》( 2017年02月09日 11版)

编者按

凡是过去,皆为序章。随着2017年来临,对过去一年智库发展的总结、反思与评价又成热点。1月25日,美国宾夕法尼亚大学团队编写的《全球智库报告2016》在全球范围内推出;不久之后,上海社会科学院《2016中国智库报告》等评价报告也将发布。与智库建设同频共振,智库评价工作也在不断进步,评价体系推陈出新,越来越多的智库研究者、智库工作者和智库关注者投入智库评价体系的建立、完善和建言中。为促进智库评价工作进一步提升,本版特约请三位专家,就此主题与读者共同交流、激发思考。

与智库发展的进程相伴随,国内外关于智库的评价研究也逐渐兴起。近年来,研创推出、影响较大的几类评价报告,主要包括美国宾夕法尼亚大学每年发布的《全球智库报告》、上海社会科学院每年发布的《中国智库报告》、中国社会科学院中国社会科学评价中心自2015年开始发布的《全球智库评价报告》等。评价火热,还需科学严谨。如何合理引导我国智库评价工作?笔者认为,必须尽快建立差别化智库评价体系,促进我国智库理性健康发展,此举对实现中国特色新型智库建设目标具有重要意义。

当前我国智库评价存在三大突出问题

智库评价机构水平参差不齐,权威性、严肃性、引导性尚嫌不足。中国智库还处在成长期,许多工作刚刚起步。在智库建设尚未形成完备局面、取得成熟经验的情况下,各类机构竞相开展智库评价排名,如果不以专业性、权威性为前提,极易造成智库评价体系混乱,助长智库一味关注排名而忽视自身竞争力和影响力的不良风气,给各级各类智库的培育和国家高端智库建设工作带来不利影响。

智库评价缺乏科学规范的方法,随意性大、透明度低、主观因素过多等缺点普遍存在。很多智库评价基于从公开渠道搜索到的论文、成果和活动等情况而展开,很难覆盖智库内部没有公开的重要成果。还有一些评价是通过问卷调查、公众访谈等形式完成的,调查问卷的设计是否合理、反馈是否积极,公众访谈对象的身份结构、认真程度等因素都会直接影响评价结果,换一种评价方法可能得到大相径庭的评价结果,难以准确呈现智库的客观实际和真实水平。

智库评价中,“一刀切”式的评价体系仍然存在,未能有效区分不同类型和性质的智库,在一定程度上影响了评价的可信度、可比性。我国智库在规模结构、功能定位、体制机制等方面类型多样、差别较大,一些智库还存在智库功能与非智库功能混杂的状况,很难用一套单一的评价体系进行评价,迫切需要根据不同智库的特性差异建立差别化智库评价体系。

实施智库差别化评价需具备四项前提条件

从评价要素来看,要做到核心要素和保障要素兼顾。智库能否持续推出和完成一批具有重要影响力的、多种形式的成果,是否拥有一批国内外本学科、本领域的专业领军人才,是衡量智库水平高低的核心要素。智库的人员规模、专业结构、课题数量、经费多少等,是智库发展的保障要素,两者都对智库评价具有重要影响,都应在智库评价中给予充分考虑。

从评价角度来看,要做到总量评价和人均评价兼顾。智库评价自然要重视各类指标的总量和规模大小,包括论文、研究报告发表数量、专家队伍层次、研究经费总额等,这是评价智库整体实力和竞争力的重要方面。同时,更要重视人均指标的评价,包括人均发表论文数量、人均经费额、人均承担项目数量等,这往往更能体现智库的功能、质量、效率和效益,也增加了不同智库之间的可比性。

从评价重点来看,要做到短期对策性研究成果和长效战略性研究成果兼顾。智库评价的重点内容是智库提供的智库成果及其影响力。一方面,要重视智库提供的短期性、应急性和咨询性成果,这是智库的重要职能和特色优势,应以成果的数量、质量、及时性和有效性等为评价标准。另一方面,要重视智库提出的战略性、思想性和学术性观点,这是决定智库战略影响力的重要因素,应以成果的影响范围、时间和深度为评价标准。

从评价方法来看,要做到间接评价与直接评价兼顾。目前的智库评价大多采用文献检索、资料查询、数据收集等间接的评价方法,由于资料来源、统计口径等存在不全面、不统一、不准确的问题,影响了智库评价结果的权威性和可信度。今后应在继续优化完善上述间接评价方法的基础上,积极推广问卷调查、专家访谈、实地调研等直接评价方法,争取获得更多第一手的完整资料和可比数据,提高智库评价的规范性和精确性。

加快完善我国智库评价的四点建议

针对不同类型智库确立不同的主体功能定位。比如,对于党政类智库,其主体功能定位于发挥政府部门的政策和信息优势,及时提供应急性可行方案和建议,有效解决和防范经济社会发展中出现的问题和风险。对于科研院所类智库,其主体功能定位是依托坚实的学科基础和专业实力,提出重大战略性观点和思想体系,为国家政府决策提供前瞻性理论支撑和政策储备。对于高校类智库,其功能定位应侧重于依托雄厚的教育资源和师生梯队,鼓励开展创新型和前瞻性研究,为政府决策提供支撑性理论体系和多元化方案选择。对于社会类智库,其功能定位主要在于发挥贴近形势变化、体制机制灵活的优势,注重从微观层面和专业领域提出针对性方案和建议,充当独立性更强的“第三方”智库角色。

加强不同类型智库主体功能的可比性评价。我国不同类型智库的人员构成、专业结构、管理体制等差别很大,有的智库虽然人员规模很大,提供的学术成果很多,实际上真正与智库功能相符合的主体人员和成果有限,但是评价时却将智库所有的人员、成果和功能纳入其中,得出了不合理的评价结果。建议严格界定明确智库的主体人员和核心功能,剥离其他辅助人员和功能,将智库的评价主要聚焦于这些主体人员完成的科研任务、学术成果、课题经费、学术活动等重要事项,提高智库评价的精准性和可比性。

明确不同类型智库的差别化评价重点。对于党政类智库,由于承担大量不宜公开的内部科研项目,应重点评价体现决策影响力的文件、报告、规划等智库成果。对于科研院所类智库,理论和学术研究方面具有丰富的积累,重点评价体现学术影响力的科研论文、学术报告、学术专著等智库成果。对于研究国际、外交等问题的专业化智库,应重点评价智库的国际影响力,包括产生重大国际影响的理论、思想、方案等智库成果。对于专业性较强、行业特征明显的专业类智库,应重点评价智库的行业影响力,包括本领域前沿的研究进展、行业预测、专业政策等智库成果。对于社会类智库,因其机制灵活和独立第三方地位,应重点评价体现社会影响力的报告、论坛、评估等智库产品和活动。

为不同类型智库选取差别化评价指标。针对不同类型智库的评价,既要建立一般的共性评价指标体系,包括学术论文、出版专著、研究报告、学历层次、职称结构、科研项目、科研经费等,增加可比性;也要根据不同智库的特点和功能,选择设立一些个性化指标。对于党政类智库,应增加重要文件起草、重大规划编制、内刊内参供稿等方面指标,突出决策参考方面的评价。对于高校、科研院所等综合类智库,应侧重原创性、战略性、思想性指标的评价,包括重要理论体系、重要思想观点、重要模式方法等方面指标,强调学术影响和理论创新。对于国防、外交、能源等专业类智库,应选择体现专业特点和水平的指标并赋予更高权重,重点评价专业方面的引领性和权威性,突出智库在专业领域的决策影响力。

(作者:高国力,系中国宏观经济研究院科研管理部主任、研究员)

建立智库全层次全要素评价体系

作者:李刚

现有的智库评价体系大都聚焦影响力评价,这是对智库的效用、效果进行评价,属于外部评价。应建立包括纵向影响力评价、治理评价和管理评价“三位一体”评价,横向智库人才评价、产出评价、项目评价、财务评价、研究咨询评价、传播沟通评价“六要素联动”评价在内的、纵横结合的智库全层次全要素评价体系。

影响力评价的内在困境

评价是现代公共管理的重要手段,公共机构和公共产品是评价的主要对象。由于公共产品具有外部性和公共属性,它们的绩效并不能完全由市场衡量。因此,评价就成为衡量公共机构及其产出的一种重要方法。

就机构而言,评价工作有外部评价和内部评价之分。外部评价又有被动参与评价和主动参与评价两类。内部评价一般有两种目的,一是回应外部的问责,二是改善机构营运质量。智库作为提供战略研究和公共政策分析产品与服务的机构,既是评价工作的主体,也是各种社会评价的客体。

智库外部被动参与评价体系,比较著名的有美国宾夕法尼亚大学的《全球智库报告》(GGTTI),上海社科院的《中国智库报告》和中国社会科学院的《全球智库评价报告》,南京大学中国智库研究与评价中心和光明日报智库研究与发布中心联合课题组研发的《CTTI来源智库MAPA测评报告》。在这4个评价体系中,大部分智库是被动参与的,评价主体并不需要事先得到智库授权或者同意。这种评价的常见形式是智库评价报告,各种排行榜是此类评价报告的最大看点。评价体系、指标、权重等是智库评价关注的热点。这种“外部被动参与评价”是有价值的。尽管中国智库界对美国宾夕法尼亚大学的《全球智库报告》存在不同看法,有的明确指出其“不科学、不严谨、不规范”之处,但也有学者认为,其最大价值不仅在于提供了排名,更在于较早催生了中国新型智库的行业自觉。

然而,如果把智库评价仅限于“第三方的外部被动参与评价”,一味编制各种名目的排行榜,那么实际上就是把智库评价工作狭隘化、单一化。如果把一种智库排行榜绝对化,那么这种排行榜就有可能变成某种“话语暴力”,影响中国特色新型智库的健康多元发展。

发挥体制优势,建构具有中国特色的智库评价体系

实践证明,中国特色治理体制的优势是全国一盘棋,上下信息沟通顺畅、协调便利。由中央层面的机构或第三方社会组织出面组织智库认证、评估和评价,操作比较容易,也相对具有权威性。在德国,设有中立的第三方机构专门负责对全国智库进行评价,其中以莱布尼茨协会的评价最为权威。莱布尼茨协会是德国各专业领域研究机构(智库)的联合协会,拥有法律所赋予的对全国研究机构和智库,尤其是国家级和州级研究机构进行评价的权力。作为德国著名的科研评价机构,莱布尼茨协会制定了完善的评估标准和体系以及科学的评估流程和原则,组织专业力量对智库进行评价。此外,莱布尼茨协会内的智库是依法主动申请被评价的。

我国可以学习德国莱布尼茨智库评价体系和美国智库管理的经验,建立自己的智库治理评估体系。中国智库发展至今,仍然缺乏对整体情况的全面了解和相关数据统计。因此,学习德国莱布尼茨协会体制,通过构建以行业指导和评价为主要任务的智库研究和评价组织来摸清中国智库的数量和质量,改变信息不对称的现状,是一种值得借鉴的思路。

为此,建议成立“中国智库研究会”,规划、协调全国的智库学研究,逐渐建立我国智库学的学科体系、学术体系、话语体系和知识体系。同时,依法赋予研究会部分行业管理的职能。比如规定所有境内智库以机构会员的形式加入,对申请加入的智库按照一定标准进行评估,编制动态的有淘汰机制的“中国智库索引”,收录评鉴合格的智库。这样不仅可以摸清中国智库的“家底”,还能使入选智库凭借此资质获得更多参与决策咨询项目的机会,同时接受社会监督。

建立“六要素联动”的内部评价体系

智库是典型的资源依赖性组织,其经费主要来自拨款、捐助和有限营收,因此具有较强的外部依赖性。这就导致外部(例如政党和政府)对智库的信任极为重要,失去外部信任就意味着无法获得经费和其他支持。而定期提供内部评价报告是维持和强化外部信任的重要手段,也是回应外部问责的主要途径。另外,智库同样存在治理问题,需要不断提升自身管理水平,这也使得内部评价变得极为重要。内部评价的本质是对话和学习,而不应是评判,因此应采取谦逊态度,互相学习。

根据不完全调查,在我国,已经建立了完善的内部评价体系的智库还很少,大部分智库内部的评价活动尚属于偶发和随机行为,智库内部评价制度化水平较低。习近平总书记指出,“有的智库研究存在重数量、轻质量问题,有的存在重形式传播、轻内容创新问题,还有的流于搭台子、请名人、办论坛等形式主义的做法”。之所以产生这种现象,根本原因之一就在于我国智库内部评价体系和制度没有建立起来,或建立了也没能有效地运行。

智库内部评价包括智库人才评价、产出评价、项目管理评价、财务评价、研究咨询评价、传播沟通评价,这六种评价之间相互联系、相互影响,孤立地评价任何一项要素,并不能得出智库建设水平的高低,因此需要建构“六要素联动”的内部评价体系。

人才是智库生存的根本。但是孤立考察智库专家的标签性特征,比如学历、学位、职称、职务等,并不能评价专家的优劣。应该把智库专家放在六要素的语境中评价,不仅看其资质,还要考察其价值观、国际视野、思维品质、研究咨询、项目管理、沟通协调,才能作出客观可靠的评价结论。人才评价也是一种智库内部沟通。智库每年度都会要求专家和行政人员提交年度工作总结(即自我评价),智库管理层应从智库管理视角对这些专家和行政人员作出年度评价,给予员工人力资本提升的指导和奖励,使优秀的专家和员工能够“留得住”。

智库产品质量高低决定了智库声誉大小。智库产品包括研究报告、会议讲稿、PPT、学术论文、著作、大众刊物、新闻发布会内容、会议文件等。一般而言,智库并不对以上所有产品进行评价,给客户和媒体发布的研究报告是评价的主要对象。产品质量评价是智库内部评价中备受重视的一种评价。同样也不能孤立地评价智库产品的优劣和智库产品影响力的大小。高质量的智库产品并不意味着一定能够产生一流的传播效应,高水准的智库产品和高水准的智库传播联动才能产生1+1>2的效应。

总之,评价本质上是评价主体和评价客体之间沟通对话的持续性互动过程,其目的是促进智库共同体内部的会话与沟通,从而促进共同体内部的思想创新、知识创新、话语创新、政策创新、管理创新。智库评价应深刻把握智库共同体运行的内在规律,把纵向“三位一体”评价和横向“六要素联动”评价相结合,把基于数据、证据的定量评价和专家经验判断定性评价相结合,形成智库的全层次全要素评价体系,推动中国特色新型智库迈向内涵式发展新范式。

(作者:李刚,系南京大学中国智库研究与评价中心副主任、首席专家)

多维度考量并实施智库评价

 

 

作者:牟岱

智库评价是对智库自身建设水平、运行能力、咨政效果等因素的综合考量,对智库建设与发展有较大影响。当前,我国智库数量在全世界居于领先地位,但在智库评价方面却尚未取得较大话语权。如何以科学的评价标准来规范、指导中国特色新型智库建设,是当前面临的紧要任务。应多维度考虑,细化评价指标,完善评价办法,加快构建科学的中国特色新型智库评价体系,以中国标准评价中国智库。

对照两办《意见》,确定基本标准

中办国办《关于加强中国特色新型智库建设的意见》(以下简称《意见》)中明确提出了中国特色新型智库建设的八条基本标准,应当说,这八条标准涵盖全面、精准到位,涉及智库机构健康发展所必须具备的诸多要素:必须依法稳定规范运作,且是实体性研究机构;要坚持走专业化发展道路,有特色鲜明的研究领域和代表性成果;必须具备专业领军人物和专业研究队伍,有人才支撑和队伍保障;要有可靠的资金来源,为持续发展提供经费保障;要有成果转化渠道、学术交流平台,实现智库成果提供者与使用者之间的紧密对接;建立专业化数据库,迅捷准确地采集一手信息,为研究提供坚实基础;要健全治理结构、拟定组织章程,使智库内部管理有规可依;要有国际交流的良好条件,为智库“面向世界”畅通路径。智库界应高度重视上述八条标准,并将其作为智库评价的重要依据。

立足中国特色,细化具体指标

加强中国特色新型智库建设,“中国特色”和“新型”是关键表达。为此,对中国智库进行评价,应重点考核其在“特”和“新”方面的具体表现。智库在开展研究、咨询、舆论引导、国际交流等各项工作时,能否高举中国特色社会主义伟大旗帜,较好地树“中国形象”、发“中国声音”、推“中国文化”、传“中国价值观”、增强中国“国际影响力和国际话语权”等,是“特”的外在表现;智库是否较好地履行了“咨政建言、理论创新、舆论引导、社会服务、公共外交”的新型功能,进行了自身体制机制、内部治理方面的创新改革,开展了研究模式、运营模式、传播模式等方面的全新探索,是“新”的主要特征。因此,“特”和“新”这两个鲜明特点必须在中国特色社会主义新型智库评价标准体系中得以充分体现,并据此设计细化、切实、可比较的具体指标,以使那些与时俱进、致力于研究和解决中国发展中所面临新问题的智库得以凸显。

参照国际惯例,完善评价体系

构建中国特色新型智库评价指标体系,既不能简单照搬西方评价标准,也不能闭关自守、闭门造车。以开放心态适当参照国际惯例,对智库评价十分重要。一个智库机构是否具备国际视野、国际思维,能否吸纳国际人才、应用国际数据库,有没有采用国际前沿的科学研究方法和工具,能否发挥人文外交的独特作用,等等,都应纳入中国特色新型智库评价指标体系。同时,西方智库评价中注重同行评议、用户评议、社会评议,又注重客观数据考察的主客观相结合的评价方法等,都是值得借鉴的。

紧扣发展需求,以评价促进功能发挥

实践是检验真理的唯一标准,这一原则在智库评价中同样适用。加强智库建设的直接目的在于服务发展、解决问题,因此,对智库机构实用性的评价应成为评价体系中的重要考量。智库自身建设再完备,若不能发挥辅助决策、服务发展的实际作用,也很难体现其真正的存在价值。所以,评价智库的关键指标,在于智库产品是否能满足决策及发展需求,其研究报告等思想产出是否被纳入政策之中,其活动有无正确引导舆论、产生积极的世界影响。这是各级各类智库的立身之本,也是智库研究者胸怀大局、善谋大事、服务社会的必然体现。

(作者:牟岱,系辽宁社科院党组成员、副院长)

关闭窗口

Copyright © 2013燕山大学社会科学处 All Rights Reserved   开发与技术支持: 燕山大学信息技术中心