通过

我们如何判断“全球捐助”是否产生了影响?

我们的团队想要评估我们的影响,所以我们应用了一个新的框架来寻找答案。


我们测试了什么

每个社会组织,包括GlobalGiving,都需要知道它是否对所服务的社区产生了影响。对我们来说,这意味着理解我们正在(或没有!)帮助我们在世界各地的非营利合作伙伴提高他们自己的效率和创造改变的能力,不管他们做的是什么类型的工作。

为什么这么重要

如果没有这些知识,社会组织就无法就提供服务的策略做出明智的决定。不幸的是,这种严格的影响评估通常相当昂贵,可能需要数年时间才能完成。因此,大多数组织都难以评估它们的影响。

我们知道我们自己进行影响研究的挑战将是巨大的,但它太重要了,我们不能不去尝试。

大问题

使用GlobalGiving服务的组织是否比没有使用的组织提高了绩效?是否有特别关注的领域是全球捐助比其他领域更有影响力的?

我们的方法

理想情况下,我们会随机分配某些组织接受作为GlobalGiving一部分的“待遇”,然后将他们的表现与另一个随机分配的对照组进行比较。但是,我们不能随便告诉某个组织,他们不被允许成为我们社区的一部分。因此,我们比较了一个治疗组——完成了GlobalGiving的审核过程并成为网站的正式合作伙伴——与成功通过审查过程但尚未加入网络社区的组织组成的控制组。由于我们不能随机选择这些组,我们必须确保每组中的组织尽可能相似,这样我们的结果才不会因为对照组和治疗组之间的潜在差异而产生偏差。

为此,我们只与印度的组织合作。我们选择印度是因为我们与那里的组织有很多关系,我们需要尽可能大的样本量,以增加我们的结论是可靠的信心。印度也很适合进行这项研究,因为它要求组织获得特别许可才能从海外获得资金《外国捐助管理法》(FCRA)。组织必须具备强大的操作才能获得此权限。事实上,所有的参与组织都有足够的实力获得FCRA认证,并通过GlobalGiving自己的高审查标准,这意味着我们结果的任何差异都不太可能是由地理位置或质量差异引起的。

我们还需要一种具体的方式来衡量非营利组织的表现。为此,我们使用“组织绩效指数(OPI)框架创建协议.OPI提供了一种结构化的方式来了解非营利组织在八个不同类别上的能力,包括执行项目的能力、资金来源的多样性以及对社区反馈的使用。OPI根据1(最低)到4(最高)给组织打分。在印度一个出色的志愿者团队的帮助下,我们从治疗组和对照组收集了两年的OPI数据,然后比较了他们的分数随时间的变化,从而得到了GlobalGiving影响的初步指标。

结果

我们发现最值得注意的结果是,与对照组组织相比,GlobalGiving的组织表现出了明显更多的参与性规划和决策过程(我们称之为“社区领导”),并更好地利用利益相关者的反馈来指导其工作。在OPI跟踪的其他7个类别中,我们没有看到类似的显著结果。看到这一结果最简单的方法是可视化组织的分数如何随时间变化。下面的图表显示了目标人群得分的差异——公约关于“社区领导和反馈”的措辞。

目标人群得分变化的差异

目标人群得分差异

例如,看看左侧控制组中开始得分为2分的组织。大约三分之一的人把分数提高到3分,三分之一保持不变,三分之一的人把分数降到了1分。相比之下,在右侧的实验组中,近一半的组织提高了分数,大约一半保持不变,只有一小部分下降了。无论两组人的起始分数如何,你都可以看到相似的模式。

相比之下,这是另一个OPI类别的相同图表我们在两组之间没有看到统计学上的显著差异。目前还没有明确的模式——治疗组织和控制组织的分数变化幅度差不多。

交付评分变化的差异

GlobalGiving Impact研究交付分数的变化

有关我们研究设计过程的更多技术细节,我们的统计方法,以及我们得出的结论,请查看这项工作的完整文章,它可以在社会科学研究网

最终结果

全球捐助花大量的时间专注于帮助组织使用反馈更多地由社区主导,因为我们相信这样才能产生更大的影响。

我们最初的发现——我们对反馈的重视正在产生可衡量的影响——是一个令人鼓舞的迹象。

另一方面,我们并没有看到GlobalGiving在OPI的其他七个类别中有显著的改变。其中一些类别,如遵守国家或国际标准,并不是GlobalGiving关注的重点领域。其他的,比如一个组织随着时间的推移学习得如何,与我们所做的密切相关(倾听,行动,学习。重复。是其中之一我们的核心价值观).我们需要继续探索为什么我们在这些领域没有看到成效,如果有必要,对我们的项目进行相应的调整。

让它成为你的

汇总影响研究,即使是像这样的小研究,对任何组织来说都是一项重大任务。许多组织都在谈论用更科学的方法来衡量他们的影响,但很少有非营利组织或资助机构愿意承担开展所需研究的挑战。卡塔尔世界杯预测这项研究表明,即使没有10年的工作和8位数的预算,组织也可以在严格衡量影响方面取得有意义的进展。

如果你的公司正在考虑类似的事情,下面是我们从这个项目中学到的一些建议,请记住:

    1.如果你不能随机化,确保你考虑了可能的偏差。物流、流程和伦理都是一个组织不能随机分配处理组的原因。如果是这种情况,请仔细考虑余下的设计,以及如何减少由于其他原因导致的结果。

    2.选择一个与您的变化理论一致并且尽可能精确的度量框架。我们使用OPI是因为它易于理解、可靠,并且在开发部门中很容易被接受。但是,OPI的四个级别的标准很难对组织进行精确的区分,其中有些类别在“全球捐助”的运作背景下是没有意义的。这些都是我们希望在未来版本中改进的地方。

    3.记录在案。在公司内外建立一个清晰的学习记录,对于避免“范围蔓延”至关重要。我们使用Git来跟踪我们的数据、代码和书面分析中的所有更改,并在2017年美国评估协会会议上分享了我们的初始研究设计。

    4.寻求外界帮助。如果没有大量额外的帮助,这项研究是不可能完成的,从我们在印度的志愿者团队,到我们在Pact的朋友,到检验我们的数学的经济学家和数据科学家,特别是加州大学伯克利分校的亚历克斯·休斯和博思艾伦公司的泰德·邓米尔。

我们很高兴从GlobalGiving的影响中了解到我们可以改进的地方,以及我们如何在这一初步工作的基础上继续发展,我们已经迫不及待地在这一进展的基础上继续前进,为我们全球的非营利合作伙伴提供更好的结果。

阅读研究全文

卡塔尔世界杯完整赛程特色图片:给他们一个未来:印度的部落教育通过Agragamee
在收件箱中获取免费提示+工具
每月订阅一次,从您的收件箱中获取学习库的最佳内容。2022卡塔尔世界杯决赛时间
认识你的新筹款团队
加入GlobalGiving,为您量身定制培训和支持。

你在找什么特别的东西吗?

通过搜索与您的内容相关的特定单词或短语,可以在我们的学习库中找到您正在寻找的确切内容2022卡塔尔世界杯决赛时间所需要的。

警告:Javascript目前被禁用或在您的浏览器中不可用。GlobalGiving大量使用Javascript,禁用Javascript将无法正常工作。请启用Javascript并刷新此页面。
Baidu
map