10년 장기 프로젝트의 임팩트 측정 여정

트리플라잇은 지금까지 ‘5년, 10년, 20년’과 같이 긴 호흡으로 진행된 사업이나, 역사가 오래된 기관 전체의 임팩트를 측정하는 기회가 많았습니다. 방대한 양의 데이터를 분류하고, 각 기관 및 사업에 꼭 맞는 프레임워크를 개발하는 시작 단계부터 계획보다 오랜 시간이 걸리곤 했습니다. 그 이유는 해당 사업 또는 기관 전체가 꿈꾸는 변화상(임팩트)이 정의돼있지 않거나, ‘핵심 임팩트 지표(Core Impact KPI)’가 제대로 설정되지 않은채로 이미 많은 시간이 지났기 때문이었죠. 🔎'임팩트 측정에 문제 정의가 중요한 이유'

무엇보다 10년 이상 진행된 장기 프로젝트를 만나면, 어떠한 사회문제를 얼마큼 해결했는지, 그 변화를 입체적으로 측정하고 싶은 욕심이 생기곤 합니다. 사업별로 본래 추구하는 목적과 지표 특성에 따라, 측정 방법론의 설계는 달라지게 되는데요. 장기 프로젝트일수록 다양한 측정 방법론이 유기적· 통합적으로 이뤄져야하는 이유죠.

최근 트리플라잇은 좋은 기회를 만났습니다. 아프리카 8개국 11개 사업장에서 진행된 기아(KIA)의 ‘그린라이트 프로젝트(Green Light Project·이하 GLP)’의 10년 성과를 진단하고 임팩트를 측정하게 됐습니다. 다년도 지표 추적 분석(Multi-year indicator tracking analysis), 린데이터 측정, 화폐가치 측정 등 다양한 방법론을 통합한 임팩트 진단 및 측정이 이뤄졌습니다. 이번 블로그 글에서는 2022년 9월부터 2023년 5월까지, 약 8개월에 걸쳐 진행된 기아 GLP 10년 임팩트 측정 과정의 내러티브를 공유하고자 합니다.

‍

통합 임팩트 측정의 조건

10년 이상 장기 프로젝트를 측정하기 위해서는, 크게 3가지 요소를 짚어봐야 합니다. 첫째, 연속성과 연계성을 고려해야 합니다. 장기 프로젝트의 특성상 담당자 변동으로 인해, 데이터가 유실되거나 히스토리가 분절화되는 경우가 발생합니다. 이 경우 실무 담당자들의 교차 인터뷰를 통해 데이터를 취합하고, 데이터의 연속성과 정합성을 점검해야 합니다. 둘째, 구체적인 목표를 설정하고, 측정 가능한 범위와 방법을 전략적으로 선정해야 합니다. 셋째, 차별성과 통합성을 고려해야 합니다. 해당 사업의 강점이 반영된 핵심 지표를 설정하고, 가치와 변화를 통합적으로 확인할 수 있는 상상력과 설명력의 결합이 필요합니다.

기아 GLP 아프리카 10년 임팩트를 측정하는 과정에서는 고려해야 하는 요소가 한 가지 더 있었습니다. GLP가 아프리카 8개국 11개 사업장에서 광범위하게 진행된 만큼, 파트너로 함께한 비영리기관이 7곳에 달했습니다. 임팩트 프레임워크 및 핵심 지표를 설정하는 과정에서, 현장의 전문성을 반영하는 ‘이해관계자 커뮤니케이션’이 필수적이었습니다.

‍

이에 11개 사업장별로 실무자 인터뷰를 통해 국가·지역별 현장의 특성과 활동별 강점을 진단하고, 변화이론(Theory of Change·이하 TOC) 기반의 GLP 임팩트 측정 프레임워크와 1차 측정 지표 389개를 도출했습니다. 이렇게 도출한 변화이론 및 1차 지표를 기반으로 파트너 6곳(기아대책, 월드비전, 굿네이버스, 열매나눔인터내셔널, 밀알복지재단, 초록우산 어린이재단)과의 ‘GLP 이니셔티브 워크숍’을 진행했습니다. 아프리카 현장에서 실제 측정 가능한 범위를 설정하고, GLP 테마별 특성을 반영한 지표를 고민하는 공감과 합의의 과정이었습니다. 이를 통해 최종 132개 지표가 도출됐고, 트리플라잇은 각 지표별 측정 방법론을 확정하고, 측정 산식과 문항을 셋팅하는데 공을 들였습니다.

GLP 10년 임팩트는 총 3가지 측정 방법론을 기반으로 진행됐습니다. 우선 다년도 지표 추적 분석(Multi-year indicator tracking analysis)을 통해, 132개 최종 지표별 정량 데이터(Output)의 시계열 분석을 진행했습니다. 장기 프로젝트의 특성을 반영하여, 연도별로 달라진 변화를 추적하고 변곡점 속 함의를 담은 수치를 도출했습니다. 또한 보다 중장기적인 성과(Outcome) 측정을 위해 GLP를 만난 아프리카 주민들에게 직접 변화의 깊이를 묻는 린데이터(Lean data) 측정과 변화의 크기를 확인하는 화폐화 측정(Monetization)을 진행했습니다.

‍

아프리카 현장에 나타난 ‘변화의 깊이’ 측정하기

아프리카 현장에서 나타난 변화의 깊이(depth)를 파악하기 위해, 총 2,800명의 주민들에게 GLP를 통해 나타난 변화를 직접 물어봤습니다. 사업 종료 후 경과기간, 현지 정부의 협조 가능성, 충분한 모수 확보의 신뢰성 등을 고려하여, 아프리카 현장 설문조사가 가능한 GLP 테마별 대표 사업장 5곳(우간다 마유게, 말라위 릴롱궤, 에티오피아 관과, 에티오피아 리데타, 르완다 가헹게리)을 선정하고, 변화이론(ToC)에 기반해 GLP가 의도한 변화를 측정할 수 있는 핵심 임팩트 문항(Impact Question)을 설계했습니다.

‍

파트너 기관 6곳의 현지 사업장 실무자분들 그리고 INGO와의 협업을 통해 심층 인터뷰부터, 온·오프라인 설문조사 등 지역별 특성을 반영한 린데이터 측정이 이뤄졌습니다. 특히 말라위 릴롱궤에 설립된 GLP희망 중·고등학교에서는 전교생 전수조사가 이뤄졌고, 학부모와 졸업생까지 설문에 참여하기도 했습니다. 그 결과 GLP가 본인·가족·이웃 그리고 지역사회 전반에 미친 긍정적인 영향력을 입체적으로 확인할 수 있었습니다.  🔎'린데이터, 임팩트의 핵심을 측정하는 방법'  

측정 결과의 일부를 공유하자면, GLP헬스센터(병원 및 보건소) 건립 및 운영을 통해 “우리 지역에서 아프거나 사망하는 이웃이 줄었다”는 주민이 97%에 달했고, GLP스쿨을 다닌 아이들은 “꿈을 발견(83%)”하고 “성적이 올라 상급학교에 갈 수 있게 됐다(92%)”고 합니다. 직업훈련을 통해 71%의 수료생들이 ‘소득을 올릴 수 있는 전문 기술을 가지게 됐고”, 농업훈련을 받은 수료생들은 “예전보다 작물 생산량이 늘었고, 가정 형편이 나아졌으며(100%)”, “우리 지역 농가의 소득이 늘었다(94%)”고 했습니다.

본래 GLP의 목적인 ‘도전, 성장, 자립’에 대한 변화가 나타난 점도 고무적이었습니다. 아프리카 주민들은 “나를 가로막았던 장벽을 넘어 가능성을 발견했다(88%)”고 했고, “나의 역량과 힘을 키워 앞으로 나아갈 수 있게 됐으며(93%)”, “삶의 질이 개선돼 예전보다 살기 좋아졌다고 하는 이웃이 많아졌다(77%)”고 했습니다.

‍

‘화폐적 가치’로 10년의 사회적 성과 측정하기

10년간 GLP 사업에 투입된 인적·물적(시간·금전적) 자원을 고려하여, 사회적 성과를 화폐적 가치로도 측정했습니다. 이를 위해 아프리카 각 국가 및 지역별 이해관계자 범위를 설정하고, 측정 산식(Q 양적 정보 x P 가격정보 x Quality Factor 질적 요소)을 도출했습니다. GLP 사업 이전(baseline)과 비교해 주민들의 편익이 증가하거나 사회적 비용이 감소하는 정도(긍정적 성과)를 측정했고, proxy값은 시장가격 혹은 유사 대체재 가격을 기준으로 하되, 신뢰성 있는 시장 가격을 확보하기 어려울 경우 공급 가격(투입가격)을 기준으로 측정했습니다. 🔎'사회적 가치를 돈으로 환산한다는 것'

측정 결과, 기아 GLP 아프리카의 임팩트 창출 금액은 371.6억원으로 나타났습니다. 각 테마별 5개 대표 사업장을 기준으로 측정된 임팩트 창출 배수는 3.3배로, 이는 GLP 사업비(간접비 제외) 1억원 당 3.3억원 만큼의 사회적 성과가 창출되었음을 의미합니다. 이번 측정에서는 개인, 주민, 지역사회에 발생한 직접적인 변화 뿐만 아니라, 장기적·간접적인 변화까지 측정한 점이 큰 특징입니다. 아프리카 국제개발협력 사업의 특성을 고려하여, 빈곤 감소·양성평등 등 지역 또는 성별에 따른 가중치와 수혜자 인식 및 역량 변화 수준을 질적요소(Quality Factor)로 반영했습니다.

또한 모바일스쿨 및 도서관, 이동 클리닉 등 GLP 모빌리티 프로그램을 통해서 76만 3,321명이 이동의 한계를 뛰어넘고 더 나은 삶을 경험했습니다. 주민들이 학교와 병원에 가는 시간이 76만 5,255시간(약 091년) 줄었고, 약 6억 324만원(9,265명의 아프리카 아이들의 1년 학교 급식 비용)의 통학 및 통원 비용이 절감됐습니다. 그 외에도 GLP중등학교 졸업생의 기대소득은 57.1억원(말라위 1,430년치 식비) 증가했고, 직업훈련센터 수료생이 기대하는 5년 후 소득은 3.72배 증가했습니다.

트리플라잇 IM.Lab이 코로나19 전후로 국내 30대 기업의 3개년 ESG 성과를 분석한 결과, ‘지역사회 참여 및 영향 평가 항목’이 눈에 띄게 악화됐습니다(트리플라잇 IM.Lab, ESG워싱 리포트, 2021). 사회문제를 해결하기 위한 수많은 기업 및 기관의 사업이 진행되고 있지만, 이를 통해 나타난 변화를 단계별로 측정 및 관리하는 곳은 찾아보기 어렵습니다. 특히 10년 이상의 장기 임팩트는 이처럼 긴 호흡으로 핵심 임팩트 지표를 설정하고, 통합적인 접근이 필수적입니다. 트리플라잇은 앞으로도 사회문제를 해결하는 기관들이 만들어낸 변화를 함께 측정하며, 지속가능한 미래를 위한 파트너로 동행하겠습니다. 🔎 기아GLP 아프리카 10년 임팩트 리포트 읽어보기