公益项目常用的评估方法及运用

公益项目评估的书籍习惯于从各个层面定义,将项目评估方法分为若干种类。这种做法看似全面,但却将简单的事情弄复杂,让读者看过之后一片茫然、无所适从,失去了对公益项目评估的实际指导作用。项目评估方法要服务于评估的目的,而日常项目评估的目的不外乎于从项目影响的角度展示项目成果、从项目管理的角度审视项目实施效率和效果以及从项目参与各方学习的角度进行自我反思和总结等几种情况。因此,日常运用最多的公益项目评估方法主要是效果评估、过程评估以及学习性评估三种。

这三种评估方法对于评估过程的选择、内容或指标的确定以及评估参与者的角色定位等都是不一样的。而单纯的学习型评估并不多见,在很多情况下是贯穿于各种评估当中的。与此同时,虽然效果评估根据拟评估效果的远近可分为近期结果评估和远期影响评估,但由于后者通常要在项目实施完毕几年后才进行,因此在公益项目评估实践中并不常见。因此公益项目评估最常用的只有两种评估方法,即结果(近期效果)评估与过程评估。本文拟就这两种评估方法的实践运用进行交流和分享,希望能够抛砖引玉,促进公益项目评估的探讨和质量提升。

结果型项目评估

在一个项目结束时,特别是规模较大、时间较长的项目结束时,资助方或是项目执行机构的上级单位通常会要求进行项目终期评估,这种评估要么由项目机构内部(特别是设有项目评估团队的大型公益组织)完成,要么是聘请外部专家完成。这种项目评估就是本文所说的结果型项目评估。

结果型项目评估的主要目的是检查项目设定的(近期)目标是否实现。因此对过程的客观性和结果的质量要求较高。具体如下:

1、评估过程
    1)制定评估方案:

在开展评估前需要制定评估方案,对评估的目的、评估需要回答的问题,或评估的主要内容及相关指标、接受评估人群及其参与方式、评估的方法、评估小组的组成及其分工、时间安排等进行规划。为确保评估方案的可行性,在制定评估方案时需要项目管理相关各方参与讨论和形成共识。相关各方,特别是基层项目实施者的参与程度会受到评估目的和评估方法的影响。

2)实地评估:

实地评估直接影响评估结果,因此对评估者提出了较高的要求。首先,基层项目实施单位需要根据项目评估方案协调基层参与各方按照要求的时间、地点和人数接受评估。为保证参与访谈人群按要求积极参与,协调者需要非常清晰地向对方表达计划安排和相关要求。其次,在实地评估时,往往会由于各种原因,导致部分接受访谈者不能按要求参与访谈等情况。因此,评估人员需要具备灵活性并准备有替代方案。 再次,评估人员需要具备很好的沟通能力,能够让被访谈者敞开心怀地表达自己的想法。与此同时,评估者需要具备较强的观察能力和探究能力。在评估访谈中善于发现迹象,并能够突破计划进一步深入探究。这种探究往往能够发现意想不到的情况。还有,评估者需要较强的时间和场面把控能力,确保在不确定的场面背景下顺利完成评估计划。最后,评估小组需要有较好的分工和配合,做到在评估过程中各方面情况都有人关注和处理。

3)编制评估报告:

评估报告的编制可分为起草、反馈和完稿等环节。各个环节的时间安排和负责人员在评估方案中应有所体现。首先,在报告起草阶段需要确定报告的框架,之后再将评估中收集到的信息整理到框架中的相关部分。正式评估报告的内容框架主要包括摘要、评估背景、评估目标、评估需要回答的问题、评估过程及方法与不足、评估发现、评估结论、后续建议等部分。其次,报告起草完毕后需要分享到基层项目实施单位并收集其反馈。反馈的目的除了收集遗漏的信息和纠正一些偏差内容外,还有帮助基层参与评估各方反思与学习的作用。在此过程中,评估者保持一种既客观又开放的心态很重要。开放有利于对报告内容进行充分的反馈和分享,纠报告中的偏差或不足;而客观能够保证报告内容真实可靠,不受一些势力的影响。 

2、评估内容及指标

评估内容(有的地方也称为评估要回答的问题)是整个评估的核心,由评估的目的决定。当方向性内容确定后,就要根据原项目建议书中(或项目计划书)的相关内容确定具体评估点或评估问题,并根据这些点或问题设定衡量的指标。

较为规范的项目在正式实施前都会开展基线调查、针对项目建议书中衡量产出和目标的主要指标收集基线数据。因此评估指标的确定不仅要看项目建议书中的相关内容,还要参考基线调研中的指标。这样,基线调查数据才能成为衡量项目成果的比较基础。需要说明的是,有的人将基线调研和需求调查混为一谈。其实,两者之间的区别很简单。需求评估发生在项目设计之前,是确定项目目标和活动的基础;而基线调研发生在项目计划批准后,项目正式实施前。其目的是收集项目所设计的相关指标的基础数据。当然,如果能在需求评估中就收集到了这些数据,基线调查就不需要了。

3、评估信息提供者及其角色

在结果评估中,信息的主要提供者是项目目标群体。除只针对某个单一群体(如儿童、妇女、残疾人等)的项目外,在挑选评估参与者时要考虑年龄、性别、民族、经济状况、社会状况等因素,确保参与项目群体中的不同小群体都有代表参与。在操作中最理想的接受评估者挑选办法是随机抽样。具体做法是在接受访谈总人数确定后,从参与项目人群总名单中按每隔几个选一个(具体数字可以用项目直接目标人群总数除以接受访谈人数得出)的办法选出目标访谈人。如碰到所选的人不在的情况就访谈紧接着下一个。如果不能随机抽样,也可以与相关各方一道共同将项目目标人群按年龄、性别、民族、经济和社会状况等分为不同群体,然后讨论出挑选标准和人数百分比,并按这些标准从每个小群体中选出一定数量的人员参与访谈。

对于目标群体的访谈,除单独访谈外,还应从年龄、性别、民族,以及参与项目的程度等角度组成不同的小组进行小组讨论。小组讨论的好处是可以和个别访谈形成互补。比如个别访谈可以更深入地了解个体信息,而小组访谈则可以帮助获得具有共识的信息,小组访谈还可以帮助一些成员矫正自己的认识。且两种访谈还可以相互印证的信息的真伪。

除开项目目标群体外,还需要对基层项目实施者和管理者,当地参与项目的政府机构等分别进行访谈,以保证信息来源的丰满和完整。在条件许可的情况下,收集当地相关的统计数据也有利于数据的相互印证和补充。

最后,在被评估项目结束后仍计划安排后期持续项目的情况下,结果型评估的结论往往成为后期项目设计的依据,同时扮演了后期项目需求评估的角色。

过程型项目评估

最常见的过程评估是年度项目回顾与总结。这种评估通常是内部的和学习性的,对评估的过程、指标及其报告质量要求比较随便; 得出的结论主要是为来年的项目计划制定提供参考与支持。因此不是本文讨论的重点。然而,对于一些规模较大、项目周期较长的项目,在项目实施2-3年后通常要进行中期评估,检查项目的阶段性实施情况和效果,并审视项目计划中的活动和目标经过一段时间后是否还合理。这种评估对于过程、内容和结论的要求也较高。是本文讨论的重点。

过程型评估的过程与结果型评估的大同小异,主要区别体现在评估内容及其指标以及参与评估者及其角色等方面。在评估内容方面,尽管阶段性项目成效也会列入考察范围,但项目实施进展情况以及项目管理协调情况是重点; 在参与评估人群方面,除了项目的目标群体外,基层项目实施机构也是被评估的对象。

学习型项目评估

正如之前所述,单纯的学习型评估并不多见。但有的项目、特别是由发展机构资助的项目,从参与和可持续的理念出发,往往会将项目目标群体和基层项目实施机构执行项目的能力也列入项目目标。这时的评估就要将学习型评估的要素贯彻其中。

学习型评估主要体现在项目目标群体和基层项目实施机构在评估过程中的参与程度和角色变化上。在学习型评估中,项目目标群体和基层项目实施机构处于主体地位和中心角色,他们既是评估信息提供者也是评估活动的参与者。具体说来,他们深度参与项目评估方案的制定,各个评估环节的协调和评估结论的讨论和确定。外部评估专家起到的是引导与支持的角色。这种方法往往会让外部评估专家对于评估中各个环节的掌控和结论的得出缺乏信心。因此,如何保持好平衡,既要让目标群体和基层项目实施机构大力参与并在评估过程中得到能力提升,又要让评估的各个环节客观有序地进行,并得出客观可靠的结论,是考验评估者的一大挑战。

 

来源:中国发展简报