إدارة تقييم نهائي: الاختصاصات، وتحليل الأثر، وردّ الإدارة

نقاط الضعف: (1) الهدف «إثبات الأثر الإيجابي» يحكم مسبقًا على النتيجة: فالتقييم يهدف إلى التعلّم والمساءلة، لا إلى الإثبات؛ (2) الأسئلة كثيرة جدًا، ومغلقة، ولا صلة لها بالمعايير؛ (3) المسح المقتصر على المستفيدين لا يتيح أي إسناد للأثر، في حين تتوفر بيانات مقارنة؛ (4) يوليو يقع في ذروة فترة الفجوة الغذائية وموسم الأمطار: فلن تكون النتائج قابلة للمقارنة مع مسوح نوفمبر وسيكون الوصول صعبًا؛ (5) تضارب مصالح كبير: فالرئيس السابق للمشروع سيقيِّم عمله بنفسه؛ (6) تقرير بالإنجليزية، في حين أن السلطات والشركاء والمجتمعات تقرأ الفرنسية أو العربية؛ (7) لا أي ترتيب أخلاقي (الموافقة، السرية، حماية البيانات، الإجراء الواجب اتباعه عند الإبلاغ عن انتهاك)؛ (8) لا إعادة عرض للنتائج على المجتمعات ولا ردّ إدارة مُخطَّط له.

الميزانية الواقعية: الأتعاب 25 × 450 = 11,250 دولارًا أمريكيًا؛ جمع البيانات 800 / 8 = 100 يوم-عدّاد × 20 = 2,000 دولار أمريكي؛ التدريب 12 عدّادًا × 3 أيام × 20 = 720 دولارًا أمريكيًا؛ المركبات 2 × 12 يومًا × 120 = 2,880 دولارًا أمريكيًا. المجموع نحو 16,850 دولارًا أمريكيًا قبل إدخال البيانات والإشراف وعرض النتائج، أي قرابة ضعف الـ 9,000 دولار أمريكي المتوقعة. فإما أن تُزاد الميزانية (إذ يمثل التقييم النهائي عادةً بضعة في المئة من ميزانية المشروع)، وإما أن تُخفَّض العينة مع تبرير ذلك بحساب القوة الإحصائية، مع الإبقاء على مجموعة المقارنة.

الهدف المعاد صياغته: «تقدير مدى ملاءمة المشروع وفعاليته وكفاءته وأثره واستدامته بصورة مستقلة، ولا سيما بالنسبة إلى الأسر التي تعيلها امرأة، من أجل استخلاص الدروس للمرحلة 2 والمساءلة أمام المجتمعات والسلطات والجهة المانحة.»

الأسئلة: (الملاءمة) إلى أي مدى استجابت سلاسل القيمة المختارة لأولويات الأسر اللاجئة والمضيفة وقيودها، بما في ذلك النساء؟ (الاتساق) هل كان المشروع متسقًا مع تدخلات سبل العيش الأخرى في المنطقة؟ (الفعالية) إلى أي مدى تحققت النتائج المتوقعة في الدخل والتنوع الغذائي، ولأي فئات، ولماذا؟ (الكفاءة) ما التكلفة لكل أسرة ارتفع دخلها، مقارنةً بطرائق أخرى؟ (الأثر) ما الجزء من التغيرات الملاحظة الذي يمكن إسناده إلى المشروع، وما الآثار غير المتوقعة؟ (الاستدامة) ما الأنشطة التي تستمر دون دعم، وبأي شروط؟

الفروق المزدوجة = (النهائي − الأساس) للتدخُّل − (النهائي − الأساس) للمقارنة.

القراءة: إن مقارنة قبل-بعد ستنسب إلى المشروع ضعف الأثر الحقيقي على التنوع الغذائي (+1.8 بدلًا من +0.9) وأكثر من الضعف على الدخل (+13,000 بدلًا من +5,500). والأثر على النساء المعيلات للأسر شبه معدوم: فالمشروع لم يصل إلى هذه الفئة، وهو ما يدعم التوصية R1.

الصلاحية: (1) لا يمكن التحقق من فرضية الاتجاهات المتوازية بنقطتي قياس فقط؛ ومستويات خط الأساس متقاربة (3.8 و4.1؛ 28,000 و30,000)، وهذا مطمئن لكنه ليس دليلًا قاطعًا؛ (2) من المرجح أن توزيع البذور في 5 من أصل 9 قرى مقارنة قد حسَّن نتائجها: فأثر المشروع على الأرجح مقدَّر بأقل من حقيقته؛ وسيكون من المفيد إجراء تحليل يفصل القرى الأربع غير الملوَّثة، مع الحذر بشأن حجم العينة؛ (3) إجراء المسحين كليهما في نوفمبر بعد الحصاد يجعل القياسات قابلة للمقارنة فيما بينها، لكنه لا يقول شيئًا عن فترة الفجوة الغذائية؛ (4) ينبغي التحقق من الدلالة الإحصائية (فترات الثقة، انحدار مع مراعاة أثر العنقود) قبل أي تأكيد قوي، والتحقق من أن تسرُّب العينة ضعيف.

الصياغة: «يرتبط المشروع بتحسُّن في درجة التنوع الغذائي بنحو 0.9 نقطة وفي الدخل بنحو 5,500 فرنك XAF شهريًا زيادةً على تطور قرى المقارنة؛ ومن المرجح أن يكون هذا التقدير حذِرًا بسبب مساعدة تلقاها جزء من تلك القرى. ولا يُلاحَظ أي أثر بالنسبة إلى الأسر التي تعيلها امرأة.»

تعليقات الفريق: هي دفاعية وخاطئة جزئيًا. فمشاركة النساء بنسبة 60% لا تثبت الشمول: إذ يُظهر الفرق المزدوج أثرًا شبه معدوم بالنسبة إلى الأسر التي تعيلها امرأة. وانخفاض الأسعار ليس خاضعًا للسيطرة، لكن الخطر كان متوقعًا وقابلًا للإدارة. والتفضيل المفترض للجهة المانحة لا يبرر تشتتًا يُضعف الفعالية.

يُنشر ردّ الإدارة مع التقرير وتُراجَع متابعته كل ثلاثة أشهر.

أذكِّر بأن المقيِّم مستقل: فلا رئيس المشروع ولا أنا نستطيع أن نطلب منه سحب نتيجة. لكن يمكن لرئيس المشروع في المقابل إبداء تعليقات وقائعية على التقرير المؤقت؛ ويقرر المقيِّم إدراجها أو عدمه ويوثِّق خياراته. وإذا كان حجم العينة قيدًا حقيقيًا، فالرد الصحيح هو الإشارة إليه (فترة الثقة، تنويه بالحذر)، لا حذف النتيجة. وأرفض حجب التقرير: فالجهة المانحة تنتظره، وإخفاؤه قبل طلب تمويل سيكون تضليلًا. وأقترح بدلًا من ذلك إرسال التقرير مع ردّ الإدارة، الذي يبيِّن كيف تعالج المرحلة 2 نقطة الضعف: وهذه حجة لصالح المقترح. وأُعلم المدير القُطري بالطلب، وإذا استمر، أصعِّده وفقًا لسياسة التقييم في المنظمة.

«(1) كان للمشروع أثر إيجابي قابل للقياس، زيادةً على تطور قرى المقارنة: +0.9 نقطة في التنوع الغذائي، و+5,500 فرنك XAF في الدخل الشهري (نحو +20%)، وانخفاض بـ 9 نقاط في نسبة الأسر التي تلجأ إلى استراتيجيات الأزمة. (2) من المرجح أن يكون هذا التقدير حذِرًا، لأن جزءًا من قرى المقارنة تلقى مساعدة أخرى. (3) لم تستفد الأسر التي تعيلها امرأة تقريبًا: وستكيِّف المرحلة 2 الحزمة مع قيودها. (4) أدى التشتت على 8 سلاسل قيمة وغياب رصد الأسعار إلى إضعاف الأثر (انخفاض سعر الفول السوداني بنسبة 30%). (5) ستركز المرحلة 2 الدعم على 4 أو 5 سلاسل قيمة، مع تحليل للسوق واستهداف تشاركي.»