9.3 项目评估的主要方法
在项目评估中,可以用一系列定性和定量的方法来进行评估。各种类别的项目评估方法是不一样的,本节主要介绍在对项目的社会影响评估时常用的评估方法。
9.3.1 定性方法
1.常用方法
项目社会影响评估中常用的定性方法包括个人深入访谈、小组集中讨论、非参与式观察与参与式观察等。通过访谈、观察等活动收集的资料主要为文字叙述形式的,而不仅仅是数字。
2.定性方法的适用条件
(1)收集目标人群的意见,产生假设,提供评估依据。
(2)理解目标人群的复杂行为。
(3)设计定量评估的一个步骤,探索行为分类、确定目标人群、辅助问卷设计等。
(4)辅助理解定量评估的结果,解释原因。
3.定性资料的整理、分析和报告的撰写
用定性方法评估项目的影响收集到的资料常常是一大堆的笔记、磁带、照片、图片、录影带等,如何才能从这些原始记录中发现隐含的问题呢?这就需要评估者对这些资料进行整理、归纳、分类后,做进一步分析。
(1)审查补充。看资料是否完整、明确,这一步需要在调查完成后及时进行,以免时间久了以后有遗漏、错误。
(2)熟悉并理解原始资料。反复阅读原始记录、听录音、看录影带、照片、图片等。
(3)为了让资料条理化和系统化,需要对资料进行分类。因为目标人群往往具有各种属性,如性别、年龄、民族、社会地位、职业、收入、文化程度等,评估的问题也有多个层面。
9.3.2 定量方法
开展项目工作时常用的收集定量资料的方法包括量表法和问卷法,收集的资料主要为数量化、以便进行计算及统计分析。开展定量研究主要是为了了解某“现象/事物”存在的程度及一事物与另一事物之间量化的关系。
1.常用方法
(1)问卷法。问卷法分为访问问卷和自填问卷。访问问卷法即问卷调查法,一般包括问卷首页、开场白、问题、填表说明四部分。
(2)量表法(测验法)。量表法是问卷法的一种,但又有一些不同,可以看做问卷法的特例。量表是一种测量工具,通过调查对象对量表中一系列问题的回答,而测量他们的某种状态、能力或某些知识的掌握程度。
2.定量方法的适用条件
(1)变量是数量或可以数量化的指标。
(2)评估者能估计出问题和答案的范围,而问题是目标人群所熟悉、能够回答的。
(3)评估者预获得某现象的精确测量。
(4)预获得评估事物之间量化的关系。
3.收集资料中应该注意的问题
(1)涉及的调查问卷一定要在经过试调查之后再用于正式调查。
(2)调查员要经过培训,不管他们是专业人员还是非专业人员。
(3)调查中要有专人作为调查指导员,及时检查完成问卷的质量,发现问题(如回答不完整、不合逻辑等)以及时重新访问。
(4)一般需要对3%~5%的调查对象进行重新调查,计算一致率,从而确定调查资料的可靠性。
在对具体项目的评估过程中,可根据项目的目的、目标、评估问题的类型及目标人群的实际情况等选择适宜的评估方法,可以把定性方法和定量方法结合运用。
9.3.3 德尔菲法
德尔菲原是一处古希腊遗址,是传说中神谕灵验、可预卜未来的阿波罗神殿的所在地。在20世纪40年代,美国兰德公司与道格拉斯公司协作,研究如何通过有控制的反馈更为可靠地收集专家意见的方法时,以“德尔菲”为代号,德尔菲法因此得名。
德尔菲法是一种集体的预测性调查方法,它是在专家调查法的基础上发展产生的,其核心是通过匿名信的方式进行多轮函询,征求专家的意见,然后将这些意见综合、整理、归纳后再反馈给每个专家,供他们分析判断,提出新的论证。如此经过多轮的分析和专家论证,意见逐渐趋于一致,从而得出结论。因此,德尔菲法又被称为函询调查法。
美国兰德公司首先采用德尔菲法就科学的突破、人口的增长、自动化技术等六个方面的问题进行了预测,此方法很快就被广泛地应用于技术预测、决策分析和编制规划等诸多领域。一般而言,德尔菲法的整个工作过程包括组成预测评审小组、编制征询调查表、选择专家、轮回预测、结果整理与分析五个基本步骤。应用德尔菲法进行项目评估具有以下的优点与局限性:
(1)匿名性。在进行德尔菲法的过程中,预测评审小组与专家之间,专家与专家之间均是以书面形式联系,应答可以不公开地改变自己的意见,从而可以充分的发表不同的论点和自由地改变自己的意见。
(2)信息反复地反馈与沟通。参加应答的专家们从反馈回来的上一轮的征询调查表的分析结果中,可以得到集体的意见和目前状况,以及同意或反对各个观点的理由,并据此做出各自新的判断。同时这种信息沟通反馈不是一次,而是多次。
(3)预测(应答)结果定量性。对预测(应答)结果做定量处理是德尔菲法的一个重要特点。对结果进行定量统计的方法,可较精确地反映全部专家的意见。例如,根据专家们的回答可统计出评分的中位数上下四分位数,中位数代表全体专家的评价意见,而上下四分位数间距则表示专家意见的偏差。
(4)集体性。通过德尔菲法获得的结果不是个别专家的看法,而是若干专家集体智慧的结晶。
由于具有以上特点,德尔菲法在项目评估中具有以下主要优势:
(1)被咨询的专家在整个研究过程中不直接见面,这样可以使个人意见得到充分的发表,避免了集体小组座谈和专题小组讨论时常发生的一些弊端,如迷信权威或以权威自居、劝说倾向等。因此,使调查结论能更准确地反映被调查专家集体的共同意见。
(2)通过反复地反馈、沟通各方面专家的意见,可以深化思想,相互启迪,充分发挥集体智慧的作用。而且,通过多次反馈,各种意见日趋集中、明朗,正确意见更加突出。
(3)可以得到定量化的结果,结论更加科学、可靠、有说服力。
执行项目往往涉及多学科、多视角,而利用德尔菲法可以确保多学科不同学术背景的专家就项目充分地发表意见,发挥集体智慧的作用,可见德尔菲法在项目评估领域具有相当的应用价值和广泛的应用前景。
同时,德尔菲法本身也存在着许多缺点与局限性,如许多专家不熟悉此种方法,或不了解有关预测问题的背景材料,因而难以做出正确的预测;专家们的应答通常是建立在直观的基础上,缺乏理论上的严格论证,因而专家预测的方案结论有时是不稳定的;有的专家在获得前一次预测结果的反馈资料后,再次预测时往往会出现简单地向中位数靠拢的趋势等。