在当前世界经济持续低迷,复苏缓慢的形势下,世界主要国际组织和主要援助国家都对援外项目评价提出了新的要求,而我国的农业援外项目评价尚处于起步和探索阶段,与国际上较为成熟的评价体系相比还有许多值得完善之处。为此,本文将以开展对外援助历史最久、体制完备而成熟的英国国际发展部为例,结合其他有关国际组织的优秀评价办法,总结出一些先进的国际经验供我借鉴。
自2007年的金融危机以来,世界经济持续低迷,在此背景下,各主要援助国和国际组织对外援助资金的使用效率问题越来越受到关注。如何节约成本,更有效的利用有限的资金开展农业对外援助工作成为考验主要援助机构领导能力的难题。各主要援助机构领导人都在不同层面表达了提高援外资金使用效率和优化项目评价的要求。
2011年5月6日,时任美国国务卿希拉里克林顿应联合国粮农组织总干事Jacques Diouf邀请来到粮农组织总部与联合国的主要粮食机构(FAO, WFP, IFAD, etc.)的领导人会面并作关于全球粮食安全的主旨报告。在报告中,她提出希望联合国的机构关注节约成本和物有所值(VfM, value for money),尤其是在全球经济仍然十分困难的环境下。美国坚定的支持粮农组织的改革,特别是引入以结果为导向的管理体制和更有效的项目评价体系。
联合国粮农组织新任总干事José Graziano da Silva自2012年1月就职以来便尤其重视精简机构、降低成本、提高效率。截止2013年4月,在其履职的16个月来,累计节省成本2580万美元,其中大部分为FAO总部的行政费用。
英国同样重视节约成本和物有所值(VfM)并于2011年发布了其最新的援外项目评价体系。该评价体系完全是以结果为导向的项目绩效评价体系,根据项目目标的不同分为4个层级。
近年来,随着我国综合国力的增强和在国际事务中承担越来越多的责任,农业对外援助的力度不断加大,建立了一批境外农业技术示范中心并与FAO合作开发出了南南合作这样有国际影响力的合作品牌,如此,对援外人员、资金和项目总体的绩效评价工作自然而然的提上了日程。2012年12月,商务部和农业部联合印发了《援非农业技术示范中心项目监测评价办法(试行)》稿,而南南合作也正在酝酿出台相应的绩效评价办法。
以2012年12月商务部和农业部共同制定的《援非农业技术示范中心项目监测评价办法(试行)》为例,其项目监测评价体系主要分为四个部分:
一是配合实现国家外交战略目标情况,包括是否得到受援国政府的肯定;是否受到受援国农业生产者的欢迎;是否促进受援国与我农业交流与合作;是否受到受援国公众、媒体、国际机构等的关注和积极评价。
二是提升受援方农业发展能力和粮食安全水平情况,包括是否按照项目实施方案开展前期各项工作,保质保量完成项目设施建设;是否按项目实施方案开展实验研究,研发适合当地的品种和配套技术;是否按项目实施方案开展人员培训;是否按项目实施方案开展示范推广,在当地推广农业技术并辐射带动周边地区;是否带动受援国农业农村经济发展。
三是我国农业“走出去”和“引进来”促进情况,包括带动企业走出去情况,带动农资设备等出口情况,带动农业技术输出情况,引入农业资源情况。
四是实现可持续发展情况,包括可持续发展筹备是否充分;可持续发展措施是否落实;可持续发展措施是否取得初步成效;是否能够实现公益功能可持续;是否能够实现经济功能可持续。
英国国际发展部(Department for International Development, DFID)是英国专门负责国际发展援助工作的部级政府机构,成立于1997年,在全球28个国家均设有代表机构,雇员达2700多人。英国国际发展部在长期领导国际发展工作中,经过不断改革,建立了一套新的评价体系。
如何监测、报告援外项目的进展,保证项目执行的公开透明和准确评价农业援外项目的效果,并据此选出经济又有效的援外项目,整合资源进行重点支持;同时,在当前经济复苏乏力的大背景下还逐年增加援外资金,如何向英国纳税人证明花在援外项目上的每一分钱都是物有所值的;如何评估某一国家接受援助取得的成果(援助不限于英国的援助,包括一切国际社会的援助)。为解决上述难题,英国国际发展部于2011年发布了新的援外项目评价体系。
英国先前的评价体系设计指导理念严重依赖于全球发展目标特别是联合国的千年发展目标。这些目标依然是整个国际社会的努力方向,但是此类目标难以准确衡量英国国际发展部一方或是其他援助方在一个国家层面上做出的具体贡献。为弥补上述不足,新的评价体系一方面设计一套英国国际发展部计划在今后一段时期内要取得的核心成果,另一方面设计了一系列与之相匹配的关键绩效指标以实时监测项目执行的效度和组织机构的效率。新的评价体系设计在指导理念上还大量借鉴了多边援助组织的经验,例如亚洲开发银行和非洲开发银行(AsDB, AfDB),以及国际开发协会(IDA)。
英国国际发展部设计的新援外项目评价体系分为四个层级,如下表1所示:
表1:英国国际发展部项目四级评价体系
千年发展目标1:消灭极端贫穷和饥饿 千年发展目标2:普及小学教育 千年发展目标3:促进两性平等并赋予妇女权力 千年发展目标4:降低儿童死亡率 千年发展目标5:改善产妇保健 千年发展目标6:对抗艾滋病病毒、疟疾以及其他疾病 千年发展目标7:确保环境的可持续能力 |
第二级:英国国际发展部成果 l 双边项目成果 l 多边项目成果 |
第三级:执行效率 l 项目质量 l 项目储备 l 监测评估 l 结构改革 |
第四级:组织效率 l 人力资源 l 员工投入 l 雇员结构 l 财务 l 采购 l 不动产 |
表1中第一级列出的是英国国际发展部期望在受援国达成的发展目标,这些目标不是英国国际发展部一家所能达成的,而需要各方的共同努力。第二级指标用来监测与英国国际发展部的介入直接相关的成果。第三级指标主要监测项目执行的效率,确保取得更好的成果和物有所值。第四级指标监测英国国际发展部内部的效率,以更好的支持援外项目取得实效。
如下表2所示,第一级指标主要来自于联合国制定的千年发展目标。此外,英国国际发展部还借鉴了世界银行集团的“全球治理指标”(Worldwide Governance Indicators)及其他关键经济指标作为项目评价的参考。
表2:英国国际发展部项目评价第一级指标
千年发展目标 |
具体指标 |
消灭极端贫穷和饥饿 |
靠每日不到1美元维生的人口比例 |
5岁以下儿童体重偏轻状况 |
|
就业人口人均GDP增长率 |
|
人口就业率 |
|
普及小学教育 |
小学净入学率 |
完成小学1-6年级的学生比例 |
|
15-24岁人口的识字率 |
|
低年级学生识字比率 |
|
促进两性平等并赋予妇女权力 |
接受小学、中等和高等教育的男女比例 |
非农领域中妇女的就业比例 |
|
妇女在国民议会中所占的席位 |
|
降低儿童死亡率 |
五岁以下儿童的死亡率 |
改善产妇保健 |
产妇死亡率 |
熟练医护人员接生的婴儿数量 |
|
计划生育的需求 |
|
对抗艾滋病病毒、疟疾以及其他疾病 |
疟疾发病率和死亡率 |
15-49岁人口的艾滋病发病率 |
|
晚期HIV病人服用抗病毒药物的比例 |
|
确保环境的可持续能力 |
饮水质量得到改善的人口比例 |
卫生设施得到改善的人口比例 |
|
森林覆盖率 |
|
二氧化碳总排放、人均排放和每1美元的排放量 |
第二级指标用来监测与英国国际发展部的项目直接相关的成果,分为双边指标和多边指标两部分,从双边和多边两个层面全面反应英国国际发展部的成果。
双边指标主要是根据英国国际发展部的国别援助计划的预期成果分析得出的。英国国际发展部为每一项双边指标都制定了一套指导方法以确保不同国家间测量标准的一致性。我们将农业相关领域的双边指标摘选列举如下:
表3:英国国际发展部项目评价第二级指标(双边)
领域 |
指标 |
公开承诺的资金投入 (英镑) |
贫困、营养、饥饿 |
英国国际发展部营养相关项目惠及的5岁以下儿童和孕妇数量 |
2千万 |
英国国际发展部现金援助项目惠及的人口数 |
6百万 |
|
在英国国际发展部项目支持下实现粮食安全目标的人口数 |
4百万 |
|
财富增长 |
由于英国国际发展部的支持而获得金融服务的人口数 |
5千万 |
在英国国际发展部的支持下土地和财产权利得到改善的人口数 |
6百万 |
多边指标反映的是多边合作伙伴取得的总体成果,区别于双边指标下主要反映使用英国国际发展部资金取得的成果。根据英国国际发展部在多边合作伙伴中的出资比例可以测算出其贡献的份额大小,该方法既能在评价体系中最大限度的突出多边项目成果,同时又避免与双边项目成果混淆。我们将农业相关领域的多边指标摘选列举如下:
表4:英国国际发展部项目评价第二级指标(多边)
领域 |
指标 |
多边合作伙伴 |
贫困、营养、饥饿 |
农业服务和投资得到改善的农民数量 |
泛美开发银行 |
国际农业发展基金项目惠及的人口数 |
国际农业发展基金 |
|
参加作物生产技术培训的人口数 |
国际农业发展基金 |
|
接受特别营养帮助的营养不良儿童数 |
世界粮食计划署 |
|
接受粮食救济的人口数 |
世界粮食计划署 |
|
领取学生餐和带回家口粮的在校学生数 |
世界粮食计划署 |
|
接受粮食和营养援助的妇女与儿童数量 |
世界粮食计划署 |
|
财富增长 |
接受小额贷款的人口数 |
亚洲开发银行 |
接受金融支持的微小中型生产型企业数量 |
泛美开发银行 |
|
小额贷款服务里活跃的借款人数量 |
国际农业发展基金 |
|
小额贷款项目里志愿储蓄者数量 |
国际农业发展基金 |
|
房贷数量 |
||
小额贷款数量 |
国际金融公司 |
|
中小企业贷款数量 |
国际金融公司 |
|
就业岗位增加数量 |
基础设施私营开发集团(PIDG) |
第三级指标反映英国国际发展部如何在有效完成发展目标的同时做到物有所值。自2012年起,英国国际发展部开始公布其执行效率方面的信息,主要采用了如下4个方面的指标:
项目质量。项目质量指标用于监测项目在多大程度上是在按照既定轨道实施的,以保证实现预期的成果。自2012年起,英国国际发展部改变了项目评审和评分的方式,将先前根据成功几率打分改为依据实际完成的节点性目标打分。
项目储备。项目储备指标根据英国国际发展部已经批准和正在设计的项目数据来评估是否有充足的项目储备以保障实现其承诺的目标。该指标近年来颇受英国国际发展部的重视。为每一项援助项目制定清晰的计划是确保实现预期成果的必要条件。英国国际发展部要求每个援助项目都要写商业企划书,重点阐述援助计划是否物有所值并证明所提出的目标切实可行。2011年起,英国国际发展部制定了新的商业企划书模板,并要求所有援助项目不论金额大小都要先完成该商业企划书。为了保证援助项目的公开透明,英国国际发展部将这些商业企划书在其官网上公布。项目储备指标可以反映出商业企划书的开发情况及其对于制定工作计划与实现英国国际发展部重点战略的贡献。
监测评估。英国国际发展部同样重视监测评估对于提高执行效率的重要性。在项目执行期与结束时分别进行审查是英国国际发展部监测评估战略的关键内容。审查人员将评估项目是否还满足物有所值的要求。所有的项目年度审查和终期审查报告都在英国国际发展部的官方网站上公布。英国国际发展部会跟踪审查报告完成的数量,作为监测项目执行效果的一种手段。
结构改革。英国国际发展部的结构改革计划列出了今后4年发展的6项关键战略目标。每项战略目标下包含了若干关键活动以保证各项目与英国国际发展部的总体目标保持一致,这种一致性是提高执行效率的一项关键措施。作为评价体系的一部分,英国国际发展部将持续跟踪结构改革计划下的各项关键活动的进展情况,同时还监测某些行业指标作为补充。
在援外项目不断增加的同时努力降低行政成本是英国国际发展部面临的一个重大挑战。第四级指标重点监测组织效率,以保证英国国际发展部内部运行的高效。
英国国际发展部通过对比兄弟单位的组织效率作为评价本机构效率的重要参考。英国国际发展部的商业企划书规定了一系列英国其他政府部门通用的效率评价指标。英国国际发展部每季度都公布人力资源、员工投入、雇员结构、财务、采购、不动产和环境方面的信息。
员工的积极性和忠诚度是评价机构效率的最重要的指标之一。英国国际发展部用员工调查的方法跟踪员工的敬业情况并通过监测中央系统降低员工的缺勤率。此外,英国国际发展部还通过对人力资源需求进行战略性监测以保障英国本部和海外机构的人员结构的合理配备。
自2008年引入现行的财务管理系统以来,英国国际发展部一直在监测整体预算的使用效率,并将继续跟踪财务状况的各项关键指标。英国国际发展部还将进一步丰富其监测手段,一个重要的目标就是改善对于支出的预报。
完善采购办法是英国国际发展部实现物有所值的重要手段,为此英国国际发展部正在研发各种方法来跟踪完善的进度,其中一个关键指标就是整体商业成本节省目标。
为响应国际社会应对气候变化问题,英国国际发展部正在采取措施减少自身的能源消耗和碳排放,包括监控英国国际发展部不动产的成本与规模,继续降低差旅费用和飞行里程。
国际农业发展基金(IFAD)于2003年在原评估办(OE)的基础上设立了项目评估独立办公室(IOE),直接对农发基金的董事会负责。经过十多年的积累和探索,IOE在借鉴多边银行的经验的同时根据国际农业发展基金项目的情况有针对性的修改完善,形成了一套农业发展援助领域权威的项目评价办法与政策。IOE提出的六项评价准则:相关性、有效性、效率、可持续性、创新性、可复制性与推广性,成为国际机构广泛认可的项目评价准则。前三个准则(相关性、有效性和效率)被称为“核心绩效准则”,下面本文将从这些准则入手来比较英中项目评价体系的特点。
目标是否符合受益人的需求、国家的需要、机构的优先事项、合作伙伴和捐赠者的相关政策。从受益人的需求角度看,英中的援助项目评价体系都设计了相关指标,而且权重较大。英国的项目评价体系中最宏观的第一层级目标——关键发展目标,借用了有全球影响力的联合国千年发展目标来评价援外项目的相关性。我国的示范中心项目评价以是否得到受援国政府的肯定;是否受到受援国农业生产者的欢迎;是否受到受援国公众、媒体、国际机构等的关注和积极评价为标准来定义相关性。比较而言,英国的援外项目评价角度更为宏观全面,采用的指标更加国际化,这方面值得我们学习借鉴;我们的指标更多关注受援国和舆论的反馈。
发展干预目标在多大程度上可以实现,或者可以预期实现。英国援外项目评价体系的第三层级目标——执行效率,通过项目质量(监测项目在多大程度上是在按照既定轨道实施的,以保证实现预期的成果)、项目储备(根据英国国际发展部已经批准和正在设计的项目数据来评估是否有充足的项目储备以保障实现其承诺的目标)、监测评价和结构改革(结构改革计划列出了今后4年发展的6项关键战略目标,每项战略目标下包含了若干关键活动以保证各项目与英国国际发展部的总体目标保持一致)四项指标较好的保证了项目目标的预期实现。我国的示范中心项目评价主要通过监测项目实施方案的落实情况来保证有效性,相比较英国的评价办法,缺少了项目储备与总体目标管理方面的考核。
经济资源/投入(资金、专业知识、时间等)如何转化为结果,成本如何才算合理。英国援外项目评价体系的第四层级目标——组织效率,从人、财、物三方面设置了5项指标以评价效率。人力资源方面,通过对比平行单位的组织效率,调查跟踪员工的积极性和忠诚度两项措施保证人力投入的效率。财务管理方面,通过监测整体预算的使用效率,持续跟踪财务状况的各项关键指标,改善支出预报以及完善采购办法保证资金投入的效率。资源配置方面,结合气候变化这一国际热点问题,英国国际发展部在降低能源消耗和碳排放方面下功夫。以上提升效率的角度与方法有一定新意,值得学习。
综前所述,笔者认为英国的项目评价体系有如下几个方面的经验和启示可以借鉴。
体现在:英国国际发展部的评价体系设计在指导理念上大量借鉴了多边援助组织的经验,例如亚洲开发银行和非洲开发银行(AsDB, AfDB),以及国际开发协会(IDA);在具体评价指标设计上吸收借鉴了联合国千年发展目标和世界银行集团的“全球治理指标”;在评估服务采购方面也是实行全球招标,提供相关技术服务的都是国际知名会计师事务所和咨询公司。
从英国国际发展部的项目评价体系可以看出,其评价指标是有层级的,在实际操作层面具体分为三个层级。最高一级系影响(Impact)类指标,例如联合国的千年发展目标,这一级指标是项目要达到的终极目标,但仅凭项目一己之力难以实现,往往要与其他项目或活动一起共同作用,产生所期望的影响;第二级系成果(Outcome)类指标,是项目本身预期能够取得的成果;第三级属于产出(Output)类指标,是项目必须要完成的具体任务指标,是可以量化的和明确的。
结构改革和项目储备是英国国际发展部项目评价体系里的两项重要指标,这两项指标分别从目标管理和项目储备分析两方面考核了项目的连贯性和可持续发展。结构改革计划列出了今后一定时期的关键发展战略目标,每项战略目标下又包含了若干关键活动以保证各项目与英国国际发展部的总体目标保持一致。项目储备则根据已经批准和正在设计的项目数据和资料来评估是否有充足的项目储备以保证实现其提出的目标。
援助影响独立评估委员会(Independent Commission for Aid Impact, ICAI)是英国国际发展部于2011年5月资助成立的非政府公共咨询机构,其主要使命是对英国援助资金使用展开独立评估,代表纳税人监督一切官方发展援助资金的使用,以实现物有所值和援助效果的最大化。具体职责包括:针对英国发展援助的物有所值和援助效果提交独立的、高质量的评估报告;配合国会对政府实施的发展援助项目进行问责,并向公众提供项目信息;提供适当且有针对性的政策建议,供政府部门执行和跟踪。
该委员会由4名委员组成,下设一个4-5人的秘书处。委员们独立于政府之外,直接向国会负责。为委员会提供技术服务的都是国际知名会计师事务所和咨询公司,包括KPMG(毕马威)、Agulhas Applied Knowledge, Centre for Effective Global Action (CEGA) 和 SIPU International.
ICAI委员会的独立性、服务采购的国际化、非政府的身份和直接向国会负责的权利充分保证了其开展评估的客观性、有效性和权威性。
吴瑞成、耿建忠 发表于《世界农业》2014年第11期