项目实践之监测评估

本专题内容得益于中国资助者圆桌论坛发布的资助指南1.0版,转载请注明。

监测评估一般简称为M&E。

为什么

  • 问责:了解服务对象的变化,检验自身工作是否有效 ,并向出资人/理事会汇报
  • 改进:作为“构想——执行——监测/评估——优化 ”的一环,改进优化需要监测与评估。
  • 关注成效,关心服务对象。M&E需要各利益相关方进行参与。

四种应用场景

  1. 跟进项目进展
  2. 严谨回答干预是否有效
  3. 帮助被资助方建立内部评估机制
  4. 资助机构自身评估

项目进展

常见内容:

  • 服务递送的种类和数量

  • 抵达人群的数量和特征

  • 对服务对象变化的观察

  • 被资助方的学习与成长

  • 项目有哪些重大风险

输出为:

  • 收集进展报告

  • 每年走访项目点1-2次,与团队成员、服务对象等对话

  • 实际参与被资助的项目的关键环节

在项目设计时,就应该有具体的可量化、可收集的指标,并且确定了收集方式、收集者、收集频率等

影响力评估

在这里,影响力评估借鉴社会实验方法,设置干预组、对照组来进行基线、末线对比并得出项目成效结论来。

常见的影响力评估报告下载地址包括:

被资助方内部评估

主要特点:

  • 它是机构工作流程的一部分

  • 可以由非学术人士操作

  • 成本低、反馈快

  • 可以为机构战略以及业务产品的优化提供针对性建议

主要内容

  • 记录服务对象的特征,帮助界定用户定位

  • 记录用户参与活动的状况

  • 记录发生在用户身上的变化

  • 满意度调查

  • 记录用户建议与反馈

建议侧重:

  • 了解被资助机构/项目的发展状况;

  • 机构对被资助机构的承诺是否兑现,兑现程度;

  • 收集被资助方对资助战略与实践的反馈与建议。

格莱珉内部评估

其内部评估指标叫 PPI, Progress out Poverty Index.

  • 会员及其家庭成员居住在有马口铁皮屋顶或价值超过25000塔卡的房子里,家庭成员睡在床上而非地上。

  • 会员饮用自管道井中抽上来的干净水、开水或者用明矾、净水药片或罐壶过滤器净化过的无砷水。

  • 会员家庭超过6岁的孩子都在上小学或者小学毕业。

  • 所有家庭成员都是用清洁卫生的厕所。

  • 家庭成员有足够的衣服满足日常需要。

  • 家庭有其他收入来源,例如蔬菜园子或果树,以满足额外之需。

  • 借款人在储蓄账户中维持在年均5000塔卡的余额。

WHY

  • 小额信贷在操作中很容易发生两种偏移:一是服务对象上移,即偏向于服务贫困地区相对不贫困的人口,二是慢慢局限于经济扶贫,忽略了对社会因素的关注。PPI指标体系,清晰地说明格莱珉银行想要服务真正的穷人,同时关注用户的教育、健康等社会状况。

  • 信贷员可以方便地在贷款前入户调查时,使用PPI识别真正的穷人,还款时用PPI记录贷款户家庭变化。格莱珉银行长期在年报中使用PPI对外披露机构扶贫进展。

  • 格莱珉银行后来成立了专门的机构对外推广PPI,并且根据不同国家不同地区的国情,推出了60多个国家或地区的PPI当地版本的指标。

“伙伴反馈”

美国前50强资助机构中的绝大多数,每年都会聘请美国有效慈善中心 (The Center for Effective Philanthropy Inc.,CEP)开展“伙伴反馈报告”,邀请被资助方(也包括被拒绝的申请方)对资助机构以下方面做出评价与反馈:

  • 资助机构战略及政策的清晰度

  • 对被资助方所在领域的理解力和影响力

  • 对被资助方服务对象的理解力和影响力

  • 对被资助方机构的理解力和影响力

  • 资助筛选、监测、互动等流程

  • 非资金支持

原则与注意

  • 资助机构首先自己做评估,如果我们不做评估而力推评估,于理有亏,而且我们也很难体会评估在真实操作中的细节与困难。

  • 以被资助方为中心,只有被资助方认同评估的价值,评估才会成为有用的工具。

  • 不管何种类型的评估,都要一定的资源和技术,如果我们要求被资助方开展评估或提供评估数据,最好同时匹配资金和技术支持。

  • 评估要求客观性,因此不宜成为筹资或者说服理事会的工具,它对筹资或说服有用,但如果仅定位于此,评估则容易变成双方合谋寻找证据的工具。

  • 评估也是沟通工具,开展评估提供了一个利益相关者共同研讨和提升工作成效的机会。