Measurement Wisdom for Nonprofits from Bill Gates | Beth’s Blog

Measurement Wisdom for Nonprofits from Bill Gates

Measurement

Last week, Bill Gates’ 2013 Annual Letter highlighted the power of data and measurement to help lift the world’s most needy up from poverty.     I heard about it from several tweets asking me if he had read “Measuring the Networked Nonprofit” and colleague, Marion Conway, wrote a great summary of the letter which was also available in an interactive format on the web.

There are many takeaways from his letter, but I wanted to identify a few inspiring quotes here.

1.   Define A Clear Goal for Success and Pick the Right KPI

“In the past year I have been struck again and again by how important measurement is to improving the human condition. You can achieve amazing progress if you set a clear goal and find a measure that will drive progress toward that goal—in a feedback loop. This may seem pretty basic, but it is amazing tome how often it is not done and how hard it is to get right. Given a goal, you decide on what key variable you need to change to achieve it—the same way a business picks objectives for inside the company like customer satisfaction—and develop a plan for change and a way of measuring the change. You use the measurement as feedback to make adjustments. I think a lot of efforts fail because they don’t focus on the right measure or they don’t invest enough in doing it accurately.”

2.    Use Measurement To Improve Results

“Yet while measurement is critical to making progress in global health, it’s very hard to do well. You have to measure accurately, as well as create an environment where problems can be discussed openly so you can effectively evaluate what’s working and what’s not.”

This is a very important point:  You have the apply the data to decision-making to improve your program’s results.    Gates is talking about how an NGO’s internal culture needs to be open to learning what isn’t working as well well as what is working.    This gets at one of the areas of measurement that interests me the most – the intersection between measurement discipline and organizational culture.

The Open the Echo Chamber blog points how difficult this in practice:

But none of this matters if all of the institutional pressures run against hearing bad news. Right now, donors simply cannot tolerate bad news, even in the name of learning. Certainly, there are lots of people within the donor agencies that are working hard on finding ways to better evaluate and learn from existing and past programs, but these folks are going to be limited in their impact as long as agencies such as USAID answer to legislators that seem ready to declare any misstep a waste of taxpayer money, and therefore a reason to cut the aid budget…so how can they talk about failure?

The blog goes on to make a proposal to Gates about how to change the culture:

Please round up a bunch of venture capitalists.  Not the nice socially-responsible ones (who could be dismissed as bleeding-heart lefties or something of the sort), the real red-in-tooth-and-claw types.  Bring them over to DC, and parade out these enormously wealthy, successful (by economic standards, at least) people, and have them explain to Congress how they make their money. Have them explain how they got rich failing on eight investments out of ten, because the last two investments more than paid for the cost of the eight failures. Have them explain how failure is a key part of learning, of success, and how sometimes failure isn’t the fault of the investor or donor – sometimes it is just bad luck. Finally, see if anyone is interested in taking a back-of-the-envelope shot at calculating how much impact is lost due to risk-averse programming at USAID (or any other donor, really).

 

3.    It’s About Sense-Making, Not Tools

 

Gates shares many examples from their work.  Like Marion Conway,  I was struck by this photo of him pointing to data handwritten on the walls = tracking immunization records from a rural health clinic in Ethiopia.

Stories of progress like this underscore the importance of setting goals and measuring progress toward them.  A decade ago, there was no official record of a child’s birth or death in rural Ethiopia. At the Germana Gale Health Post, I saw charts of immunizations, malaria cases, and other health data plastered to walls. Each indicator had an annual target and a quarterly target. All this information goes into a government information system to generate regular reports. Government officials meet every two months to go over the reports to see where things are working and to take action in places where they aren’t.

Ethiopia’s recent effort to monitor the progress of its immunization program is a good example of learning from data and—the hardest part—using data to improve delivery of the right solutions. A recent national survey of Ethiopia’s vaccination coverage reported vastly different results fromthe government’s own estimates. Ethiopia could have ignored this conflict and reported the most favorable data. Instead, it brought in independent experts to understand why the measurements were so different. They commissioned a detailed independent survey that pinpointed geographic pockets of very high coverage—and very low coverage. The government is now working to develop better plans for the poorer performing regions.

It illustrates that an idea that Katie Paine and I emphasize in our book, “Measuring the Networked Nonprofit.”   It isn’t about the tools.  It is isn’t about collecting hundreds or thousands of data points.  It is about defining the success, collecting the right data points, and making sense of it to improve outcomes.   Simple, but hard to accomplish.

Is your nonprofit effective at using measurement?  Does your organization have a culture where it discusses and embraces failure for learning?     Are more focused on applying the data than the tools to collect it?

4 Responses

  1. Stephanie Rudat says:

    Love this blog post & Chris Menzel’s tweet!

  2. thank you for this beth.

  3. [...] 『NPOブロガーが世界最大のチャリティー財団から学んだ“事業をドライブさせる効果測定”の知恵』 【1.成功につながる明確な目標値を設定し、正しいKPIを選択する】 「世界中の人々が直面している問題の改善に、“効果測定”がいかに重要か考え続けてきました。明確な目標値を設定し、目標への進捗状況を効果測定によるフィードバックで繰り返し確認することで、驚くほど前進させることができるはずなのです。 かなり基本的に思えるかもしれませんが、一方で信じられないほど実行されておらず、正しい方法で行うことも難しい状況であることが多いようです。目標を決めたら、改善する必要のある値はどのようなものなのかを考えます。その上で、どうやってその変化を起こすのか、またその変化を測るものさしを決めるのです。その効果測定をフィードバックとして活用し、必要に応じて計画に修正を加えていきます。 この過程において多くの努力が失敗に終わるのは、正しい効果測定に注力できていないか、正確に行うための時間を十分に投資できていないからだと私は考えます。」 【2.よりよい結果のために効果測定を活用する】 「例えば、効果測定は世界のヘルスケア分野の進展には非常に重要ですが、一方で実施するのが非常に難しいのが実情です。正確に効果測定をする必要があるだけでなく、何がうまくいっていて、何がうまくいっていないかを効果的に評価できるよう、オープンに議論できる環境をつくる必要があります。」 これはとても重要なポイントです。あなたは事業の結果を改善するための意思決定に、データをふまえる必要があるということなのです。NGOは組織文化において、うまくいっていることを話すのと同様に、うまくいっていないことから学ぶ姿勢をもつ必要があると、ビル・ゲイツも話しています。効果測定の基準と組織文化の間で交わる部分、その点こそ私が一番興味のある効果測定の領域の一つなのです。 しかしながら、問題は、Open the Echo Chamberのブログにもある通り、これがいかに実行することが難しいか、ということなのです。 「“うまくいっていない報告”を聞くことに対して、外部組織が及ぼす圧力が“効果測定”の考え方を全て消し去ってしまいます。今現在、寄付者は悪いニュース(学びという名のもとでさえ)を受け入れることはできないようなのです。確かに支援者組織はより良い評価をするための方法を模索し、既存および過去のプログラムから学ぼうとしていますが、米国国際開発庁のような機関が税金の無駄使いについての過失を認める回答をし、そのために援助予算が削られるような事態の前ではそんな彼らの努力も吹き飛んでしまうでしょう。この状況下では彼らに失敗の話ができる訳がありません。 」 その上でこのブログでは、どのように文化を変えていくかについてゲイツに提案するかのような内容が続きます。 「どうか、ベンチャー投資家をかき集めてください。社会的責任を重んじるタイプの投資家ではなく、弱肉強食タイプの投資家です。彼らをワシントンに集め、資本主義社会において成功を手にした彼らがどのように成功してきたか、その軌跡をアメリカ連邦議会にて説明させてください。彼らはきっと10回のうち8回の投資に失敗しつつも、残りの2回の成功が、8回の失敗コストをカバーしてきた、と話してくれるでしょう。ここで、失敗がいかに学びと成功の鍵であるか、そして失敗は時として投資家や支援者に起因するものではなく、単に運がなかったという場合もあることを知ることができるはずです。そして、米国国際開発庁のリスクを嫌う文化によってどれだけの機会が損失されたのか、概算してみてください。」 【3.測定ツールでななく、データをどう理解するかが大切】 ビル・ゲイツは財団の仕事から沢山の例を共有してくれています。ビル・ゲイツが壁に書かれた手書きの「エチオピアの田舎の診療所より予防接種の追尾調査記録」の表データを指差している写真に心うたれました。 「このような物語は、目標を設定し、それに向けての進んでいくための進捗状況を測定することの重要性を強調しています。一昔前、エチオピアの農村では、子どもの出生や死亡の公式記録はありませんでした。エチオピアのゲルマナ・ゲール保険所で、私は漆喰の壁に貼られたマラリアやその他の予防接種の表を見たのです。各指標は年間目標や四半期目標をもち、これらの情報は、定期報告書を作成するために全て政府の情報システムに集約されていました。政府当局者は2カ月に一度訪問し、うまく行っていることうまく機能せず対応が必要なことについて、報告書とともに確認していました。エチオピアの予防接種の普及プログラムにおける進捗状況を把握、モニターする試みは、データから学ぶことの例であるだけでなく、データを使って最良の解決策を導き出す方法を示している絶好のサンプルです。 さらに、最近発表されたエチオピアの予防接種の普及状況に関する全国調査の結果は、政府が発表した見通しとは大きく異なっていました。政府はこのようなデータの不一致を無視して有利な情報を発表することもできましたが、そうはせず、NPOや独立した専門家が広範囲に調査をこない、なぜ調査結果が異なるのか探り、理解する努力を払いました。その独立した調査により普及率の高い地域と低い地域が理知的に明らかになり、政府はより貧しい地域に置けるより良い計画を作り出しています。」 さいごに、“効果測定”はツールの活用ではないのです。それは、数百、数千のデータを集めることでもありません。大切なのは、データにより成功を定義づけることであり、正しいデータ集積のポイントを集めることであり、そしてよりよい結果を生むためにそれらのデータを理解することなのです。シンプルではありますが、達成するのは難しいものです。 あなたのNPOでは、効果的に効果測定を使っていますか?議論や学びのための失敗を許容する組織文化を持っているでしょうか?そして何より、データを集める測定ツール選びよりも、データ活用に注力していますか? Measurement Wisdom for Nonprofits from Bill Gates | Beth’s Bloghttp://www.bethkanter.org/bill-gates/ FEB 4, 2013 より抄訳  [...]

  4. [...] 『NPOブロガーが世界最大のチャリティー財団から学んだ“事業をドライブさせる効果測定”の知恵』 【1.成功につながる明確な目標値を設定し、正しいKPIを選択する】 「世界中の人々が直面している問題の改善に、“効果測定”がいかに重要か考え続けてきました。明確な目標値を設定し、目標への進捗状況を効果測定によるフィードバックで繰り返し確認することで、驚くほど前進させることができるはずなのです。 かなり基本的に思えるかもしれませんが、一方で信じられないほど実行されておらず、正しい方法で行うことも難しい状況であることが多いようです。目標を決めたら、改善する必要のある値はどのようなものなのかを考えます。その上で、どうやってその変化を起こすのか、またその変化を測るものさしを決めるのです。その効果測定をフィードバックとして活用し、必要に応じて計画に修正を加えていきます。 この過程において多くの努力が失敗に終わるのは、正しい効果測定に注力できていないか、正確に行うための時間を十分に投資できていないからだと私は考えます。」 【2.よりよい結果のために効果測定を活用する】 「例えば、効果測定は世界のヘルスケア分野の進展には非常に重要ですが、一方で実施するのが非常に難しいのが実情です。正確に効果測定をする必要があるだけでなく、何がうまくいっていて、何がうまくいっていないかを効果的に評価できるよう、オープンに議論できる環境をつくる必要があります。」 これはとても重要なポイントです。あなたは事業の結果を改善するための意思決定に、データをふまえる必要があるということなのです。NGOは組織文化において、うまくいっていることを話すのと同様に、うまくいっていないことから学ぶ姿勢をもつ必要があると、ビル・ゲイツも話しています。効果測定の基準と組織文化の間で交わる部分、その点こそ私が一番興味のある効果測定の領域の一つなのです。 しかしながら、問題は、Open the Echo Chamberのブログにもある通り、これがいかに実行することが難しいか、ということなのです。 「“うまくいっていない報告”を聞くことに対して、外部組織が及ぼす圧力が“効果測定”の考え方を全て消し去ってしまいます。今現在、寄付者は悪いニュース(学びという名のもとでさえ)を受け入れることはできないようなのです。確かに支援者組織はより良い評価をするための方法を模索し、既存および過去のプログラムから学ぼうとしていますが、米国国際開発庁のような機関が税金の無駄使いについての過失を認める回答をし、そのために援助予算が削られるような事態の前ではそんな彼らの努力も吹き飛んでしまうでしょう。この状況下では彼らに失敗の話ができる訳がありません。 」 その上でこのブログでは、どのように文化を変えていくかについてゲイツに提案するかのような内容が続きます。 「どうか、ベンチャー投資家をかき集めてください。社会的責任を重んじるタイプの投資家ではなく、弱肉強食タイプの投資家です。彼らをワシントンに集め、資本主義社会において成功を手にした彼らがどのように成功してきたか、その軌跡をアメリカ連邦議会にて説明させてください。彼らはきっと10回のうち8回の投資に失敗しつつも、残りの2回の成功が、8回の失敗コストをカバーしてきた、と話してくれるでしょう。ここで、失敗がいかに学びと成功の鍵であるか、そして失敗は時として投資家や支援者に起因するものではなく、単に運がなかったという場合もあることを知ることができるはずです。そして、米国国際開発庁のリスクを嫌う文化によってどれだけの機会が損失されたのか、概算してみてください。」 【3.測定ツールでななく、データをどう理解するかが大切】 ビル・ゲイツは財団の仕事から沢山の例を共有してくれています。ビル・ゲイツが壁に書かれた手書きの「エチオピアの田舎の診療所より予防接種の追尾調査記録」の表データを指差している写真に心うたれました。 「このような物語は、目標を設定し、それに向けての進んでいくための進捗状況を測定することの重要性を強調しています。一昔前、エチオピアの農村では、子どもの出生や死亡の公式記録はありませんでした。エチオピアのゲルマナ・ゲール保険所で、私は漆喰の壁に貼られたマラリアやその他の予防接種の表を見たのです。各指標は年間目標や四半期目標をもち、これらの情報は、定期報告書を作成するために全て政府の情報システムに集約されていました。政府当局者は2カ月に一度訪問し、うまく行っていることうまく機能せず対応が必要なことについて、報告書とともに確認していました。エチオピアの予防接種の普及プログラムにおける進捗状況を把握、モニターする試みは、データから学ぶことの例であるだけでなく、データを使って最良の解決策を導き出す方法を示している絶好のサンプルです。 さらに、最近発表されたエチオピアの予防接種の普及状況に関する全国調査の結果は、政府が発表した見通しとは大きく異なっていました。政府はこのようなデータの不一致を無視して有利な情報を発表することもできましたが、そうはせず、NPOや独立した専門家が広範囲に調査をこない、なぜ調査結果が異なるのか探り、理解する努力を払いました。その独立した調査により普及率の高い地域と低い地域が理知的に明らかになり、政府はより貧しい地域に置けるより良い計画を作り出しています。」 さいごに、“効果測定”はツールの活用ではないのです。それは、数百、数千のデータを集めることでもありません。大切なのは、データにより成功を定義づけることであり、正しいデータ集積のポイントを集めることであり、そしてよりよい結果を生むためにそれらのデータを理解することなのです。シンプルではありますが、達成するのは難しいものです。 あなたのNPOでは、効果的に効果測定を使っていますか?議論や学びのための失敗を許容する組織文化を持っているでしょうか?そして何より、データを集める測定ツール選びよりも、データ活用に注力していますか? Measurement Wisdom for Nonprofits from Bill Gates | Beth’s Bloghttp://www.bethkanter.org/bill-gates/ FEB 4, 2013 より抄訳  [...]

Leave a Reply