قياس الأثر: الواقع المضاد والطرق والإسهام

1المشكلة الأساسية: ماذا كان سيحدث دون البرنامج؟

أثر البرنامج هو الفرق بين ما حدث مع البرنامج وما كان سيحدث دونه: الواقع المضاد. ولا يمكن أبدًا أن نلاحظ مباشرةً الأسرة نفسها مع البرنامج ودونه؛ وجميع طرق تقييم الأثر هي طرق لبناء تقدير موثوق لهذا الواقع المضاد.

مقارنتان ساذجتان مضلِّلتان:

• القبلية-البعدية لدى المستفيدين: يخلط التغيّر الملاحَظ بين أثر البرنامج وكل ما تغيّر في الوقت نفسه (المحصول، الأسعار، الأمن، مساعدات أخرى). فإذا كان المحصول جيدًا، يتحسّن الأمن الغذائي حتى دون البرنامج؛ وإذا كان سيئًا، قد يبدو برنامج فعّال بلا أثر.
• المستفيدون مقابل غير المستفيدين بعد البرنامج: كانت المجموعتان مختلفتين منذ البداية، تحديدًا لأن الاستهداف اختار الأشد هشاشة. فتقلّل المقارنة حينئذ من تقدير الأثر، أو تبالغ فيه إذا كان الأكثر حماسًا هم من سجّلوا (تحيّز الانتقاء).

السؤال الواجب طرحه أمام أي ادعاء بالأثر: «مقارنةً بماذا؟». فإذا كان الجواب «مقارنةً بما قبل»، فليس هذا قياسًا للأثر.

2التجربة العشوائية المضبوطة واستخدامها في العمل الإنساني

في التجربة العشوائية المضبوطة (RCT)، نسحب بالقرعة، من بين الأشخاص المؤهلين، من يتلقون البرنامج (مجموعة المعالجة) ومن لا يتلقونه أو يتلقونه لاحقًا (المجموعة الضابطة). وتجعل القرعة المجموعتين متماثلتين في المتوسط في جميع الخصائص، الملاحَظة وغير الملاحَظة. والأثر هو ببساطة الفرق بين متوسط النتائج في النهاية.

في العمل الإنساني، يُعدّ حرمان أشخاص مؤهلين من مساعدة منقذة للحياة لتشكيل مجموعة ضابطة منافيًا للأخلاق. لكن التجارب العشوائية تبقى ممكنة، وقد أنتجت معارف كبرى (حول النقد، والتغذية، والصحة النفسية) في حالات محددة:

• موارد غير كافية للجميع على أي حال: تكون القرعة حينئذ طريقة منصفة للتوزيع، وتؤدي المجموعة غير المخدومة دور المجموعة الضابطة.
• التنفيذ التدريجي: سيتلقى الجميع البرنامج، لكن الترتيب يُسحب بالقرعة (التصميم المتدرّج، «stepped wedge»).
• مقارنة نسختين من برنامج، تُعدّ كلتاهما مقبولة: نقد شهري أو دفعة واحدة، مع مواكبة أو دونها.

التجارب العشوائية مكلفة، وتستغرق وقتًا، وتجيب عن أسئلة محددة؛ وهي مبرَّرة حين تخدم الإجابة برامج عديدة. أما لمعظم المشاريع، فتكفي الطرق شبه التجريبية.

3الفرق في الفروق

يقارن الفرق في الفروق تطوّر مجموعة مستفيدة بتطوّر مجموعة مقارنة غير مستفيدة: الأثر = (بعد − قبل) في المجموعة المستفيدة − (بعد − قبل) في مجموعة المقارنة. وهو يلغي الفروق الأولية الثابتة بين المجموعتين والاتجاهات المشتركة (المحصول، الأسعار).

مثال. نسبة الأسر ذات الاستهلاك المقبول. المجموعة المستفيدة: 28 % قبل، 52 % بعد (+24 نقطة). مجموعة المقارنة: 35 % قبل، 44 % بعد (+9 نقاط). الأثر المقدَّر: 24 − 9 = 15 نقطة. كانت المقارنة القبلية-البعدية ستنسب 24 نقطة إلى البرنامج؛ ومقارنة النتائج النهائية وحدها كانت ستنسب إليه 8.

شرط الصحة: فرضية الاتجاهات المتوازية. دون البرنامج، كانت المجموعتان ستتطوران بالطريقة نفسها. ويُتحقق منها إن أمكن بعدة قياسات قبل البرنامج، ويُتأكد من أن مجموعة المقارنة لا تتلقى مساعدة أخرى مهمة خلال الفترة (التلوّث) ولا تتعرض لصدمة خاصة بها.

في العمل الإنساني، تكون مجموعة المقارنة غالبًا منطقة مجاورة غير مغطاة لنقص التمويل، أو أسرًا مؤهلة مسجّلة على قائمة انتظار. ولا تُنشأ أبدًا مجموعة مقارنة برفض المساعدة لأغراض الدراسة.

4المطابقة وانحدار الانقطاع

تبني المطابقة مجموعة مقارنة بأن تقرن بكل أسرة مستفيدة أسرة أو أكثر غير مستفيدة تشبهها في الخصائص المقيسة قبل البرنامج (الحجم، الممتلكات، المداخيل، الوضع، المنطقة). وتلخّص طريقة درجة الميل هذه الخصائص في احتمال الاستفادة، وتُقارَن أسر ذات درجات متقاربة. وحدّها: أنها لا تصحّح إلا الفروق الملاحَظة. فإذا أثّر الحماس أو الشبكات الاجتماعية في التسجيل ولم تُقَس، يبقى التحيّز.

يُطبَّق انحدار الانقطاع حين تتوقف الأهلية على عتبة في درجة ما: مثلًا، تستفيد الأسر ذات درجة هشاشة 60 فأكثر، ولا تستفيد ما دونها. فالأسر التي فوق العتبة مباشرة وتحتها مباشرة (57-59 و60-62) متطابقة تقريبًا؛ والفرق في النتائج بينها يقدّر أثر البرنامج حول العتبة. الشروط: أن تُطبَّق العتبة بصرامة، وألا تستطيع الأسر التلاعب بدرجتها لتتجاوزها.

مثال. الأسر ذات الدرجة 57-59: 38 % ذات استهلاك مقبول. الأسر ذات الدرجة 60-62 (مستفيدة): 51 %. الأثر المقدَّر حول العتبة: نحو 13 نقطة. وتصحّ هذه النتيجة للأسر القريبة من العتبة، لا بالضرورة للأشد هشاشة.

تقارن السلسلة الزمنية المتقطعة اتجاه مؤشر ما قبل بدء البرنامج وبعده، على نقاط قياس عديدة (مثلًا حالات القبول الأسبوعية في التغذية). وهي مفيدة حين لا توجد أي مجموعة مقارنة، شريطة توفّر نقاط كافية قبل التدخل.

5مقاربات الإسهام: حين يتعذّر الإسناد

كثير من النواتج المهمة لا تصلح لها الطرق الإحصائية: مناصرة تغيّر قانونًا، أو تعزيز قدرات منظمات محلية، أو تنسيق محسَّن. فلا يمكن مقارنتها بواقع مضاد رقمي. فنسعى حينئذ إلى إثبات موثوق بأن البرنامج أسهم في التغيير.

• تحليل الإسهام (Mayne): نعرض نظرية التغيير، ونجمع الأدلة لكل حلقة، ونفحص التفسيرات البديلة، ونبني «سردية إسهام» نعرضها على الأطراف المعنية لنقدها.
• تتبّع العمليات (process tracing): نختبر فرضيات سببية بالبحث عن أدلة يتيح وجودها أو غيابها تأكيد تفسير ما أو استبعاده (مثلًا، ورود مذكرة مناصرة حرفيًا في مرسوم).
• حصاد النواتج (outcome harvesting): نحدّد أولًا التغيّرات الملاحَظة لدى الفاعلين، ثم نتتبّع رجوعًا هل أسهم البرنامج فيها وكيف.
• التغيير الأكثر أهمية: نجمع سرديات تغيير من الناس، وتختار لجان أكثرها أهمية مع شرح السبب. مفيد لاكتشاف نواتج غير متوقعة.

الصرامة لا تعني الكمّي. فتحليل الإسهام المُنجَز جيدًا، الذي يفحص التفسيرات البديلة بجدية، أكثر مصداقية من مقارنة قبلية-بعدية مرقَّمة.

6اختيار الطريقة وتحديد ما يجب إثباته

يتوقف اختيار الطريقة على أربعة أسئلة:

• أي قرار؟ توسيع نموذج تجريبي إلى المستوى الوطني يبرّر دليلًا قويًا؛ وتعديل برنامج جارٍ يكتفي بدليل كافٍ.
• هل الأدلة موجودة أصلًا؟ أثر النقد على الاستهلاك الغذائي موثَّق جيدًا: لا جدوى من إعادة إثباته بتجربة عشوائية في كل مشروع. ويكفي غالبًا التحقق من أن البرنامج وفيّ للنموذج وأن النواتج الوسيطة حاضرة.
• ما الممكن والأخلاقي؟ هل توجد مجموعة مقارنة دون رفض المساعدة؟ عتبة أهلية واضحة؟ تنفيذ تدريجي؟
• أي ميزانية وأي مهلة؟ يتطلب تقييم الأثر الجادّ خط أساس قبل البدء: فهو يُصمَّم مع البرنامج، لا في نهايته.

بالنسبة إلى حجم العينة، يجب أن تكون لتقييم الأثر قوة كافية لكشف الأثر المتوقع. وكشف أثر قدره 15 نقطة يتطلب أسرًا أقل بكثير من أثر قدره 5 نقاط. وإذا كان الأثر المتوقع ضعيفًا والعينة صغيرة، فستخلص الدراسة على الأرجح إلى «لا أثر دالّ»، وهو ما سيُفسَّر خطأً بأنه «لا أثر».

نقطة أخيرة: عرض مستوى الدليل بصدق. فعبارة «حسّنت الأسر المستفيدة استهلاكها بـ24 نقطة؛ ومقارنةً بمنطقة مقارنة، يُقدَّر الأثر القابل للإسناد بـ15 نقطة، في ظل فرضية الاتجاهات المتوازية التي تدعمها بيانات حملتين سابقتين» عبارة تبعث على الثقة.