استفاده از تجزیه‌وتحلیل بهره‌بخشی (Contribution Analysis) در ارزیابی

تحلیل بهره‌بخشی چیست؟

تحلیل بهره‌بخشی (Contribution Analysis) رویکردی برای ارزیابی مداخله‌هاست که به‌جای تلاش برای اثبات قطعی رابطهٔ علت و معلولی، می‌کوشد نشان دهد آیا شواهد موجود این ادعا را پشتیبانی می‌کنند که مداخله در نتیجهٔ مشاهده‌شده سهم داشته است. این روش به‌ویژه زمانی به کار می‌آید که ایجاد یک طرح آزمایشی یا شبه‌آزمایشی ممکن نیست و ارزیاب نمی‌تواند از طریق مقایسهٔ گروه مداخله و کنترل، اثر خالص مداخله را اندازه بگیرد.

هدف اصلی تحلیل بهره‌بخشی این است که به ارزیاب کمک کند یک ادعای علّیِ معقول و مبتنی بر شواهد دربارهٔ سهم مداخله در نتایج ارائه کند. این ادعا نه از نوع «مداخله تنها عامل نتیجه بود» بلکه از نوع «شواهد نشان می‌دهد مداخله در کنار سایر عوامل، سهم قابل‌قبولی در ایجاد نتیجه داشته است». خروجی تحلیل بهره‌بخشی معمولاً یک روایت ارزیابانهٔ مستدل است که در آن زنجیرهٔ اثرگذاری مداخله، شواهد پشتیبان هر حلقه از زنجیره و ارزیابی نقش عوامل رقیب به‌صورت شفاف توضیح داده می‌شود.

این روش در دستهٔ روش‌های ارزیابی مبتنی بر نظریه قرار می‌گیرد و بر پایهٔ نظریه تغییر یا مدل منطقی مداخله بنا می‌شود. تحلیل بهره‌بخشی می‌تواند با شواهد کمی و کیفی کار کند و برخلاف روش‌هایی که فقط به سنجش پیامد نهایی متکی‌اند، بر بررسی سازوکارهای اثرگذاری و مسیرهای علی تمرکز دارد.

این روش چه مسئله‌ای را در ارزیابی حل می‌کند؟

در بسیاری از برنامه‌ها و سیاست‌ها، نسبت دادن یک نتیجهٔ مشاهده‌شده به یک مداخلهٔ مشخص دشوار است. مداخله‌های اجتماعی، برنامه‌های توسعه‌ای و پروژه‌های سازمانی معمولاً در بسترهای پیچیده‌ای اجرا می‌شوند که در آن‌ها عوامل متعددی به‌طور هم‌زمان بر نتایج اثر می‌گذارند. در چنین شرایطی، نبودِ گروه کنترل، تغییرات هم‌زمان در محیط، اثر عوامل بیرونی و تعامل میان اجزای مختلف برنامه، مانع از آن می‌شود که ارزیاب بتواند با اطمینان بالا بگوید نتیجه دقیقاً ناشی از مداخله بوده است.

تحلیل بهره‌بخشی این مسئله را با تغییر پرسش از «آیا مداخله نتیجه را ایجاد کرد؟» به «آیا شواهد نشان می‌دهند که مداخله سهم معناداری در نتیجه داشته است؟» حل می‌کند. به بیان دیگر، این روش به‌دنبال اثبات علیت به معنای قطعی نیست، بلکه می‌کوشد اعتبار یک ادعای بهره‌بخشی را از طریق آزمون منطقی نظریه تغییر و بررسی شواهد موجود ارزیابی کند. این رویکرد برای موقعیت‌هایی مناسب است که در آن‌ها سؤال اصلی ارزیابی نه «چقدر اثر» بلکه «آیا و چگونه مداخله اثر داشته است» باشد.

بنابراین، تحلیل بهره‌بخشی به ارزیاب کمک می‌کند تا در شرایطی که امکان آزمایش کنترل‌شده وجود ندارد، از دامِ «هیچ نتیجه‌گیری ممکن نیست» خارج شود و بر اساس شواهد و استدلال، دربارهٔ سهم مداخله قضاوت کند.

چه زمانی از تحلیل بهره‌بخشی استفاده کنیم؟

تحلیل بهره‌بخشی زمانی بیشترین ارزش را دارد که یک یا چند مورد از شرایط زیر برقرار باشد:

• طراحی آزمایشی یا شبه‌آزمایشی به دلیل محدودیت‌های عملی، اخلاقی یا هزینه‌ای ممکن نیست.
• مداخله در یک سیستم پیچیده اجرا می‌شود و عوامل متعددی بر نتایج اثر می‌گذارند.
• نظریه تغییر مداخله نسبتاً روشن است و می‌توان مسیرهای اثرگذاری را مشخص کرد.
• شواهد کیفی و کمی دربارهٔ فرایند اجرا و نتایج میانی در دسترس است.
• نیاز به توضیح سازوکار اثرگذاری و بررسی نقش عوامل رقیب وجود دارد، نه صرفاً اندازه‌گیری اثر خالص.
• بازیگران کلیدی دربارهٔ منطق مداخله توافق نسبی دارند و می‌توان از آن به‌عنوان پایهٔ تحلیل استفاده کرد.

در مقابل، اگر هدف اصلی ارزیابی برآورد دقیق اندازهٔ اثر باشد یا اگر نظریه تغییر بسیار مبهم و غیرقابل‌آزمون باشد، تحلیل بهره‌بخشی انتخاب مناسبی نیست.

ارتباط تحلیل بهره‌بخشی با نظریه تغییر

نظریه تغییر (Theory of Change) ستون فقرات تحلیل بهره‌بخشی است. این روش فرض می‌کند که هر مداخله بر اساس یک زنجیرهٔ علّی مشخص عمل می‌کند: فعالیت‌ها به خروجی‌ها، خروجی‌ها به نتایج میانی و نتایج میانی به نتایج نهایی می‌انجامند. تحلیل بهره‌بخشی این زنجیره را به‌عنوان چارچوب بررسی در نظر می‌گیرد و برای هر حلقه از زنجیره، شواهدی را جست‌وجو می‌کند که نشان دهد آن حلقه واقعاً رخ داده است.

مفروضات پشت هر پیوند علّی نیز بخش مهمی از تحلیل است. برای مثال، اگر نظریه تغییر می‌گوید «برگزاری کارگاه آموزشی باعث افزایش آگاهی کارکنان می‌شود»، تحلیل بهره‌بخشی علاوه بر بررسی اینکه کارگاه برگزار شده است، باید شواهدی بیابد که آگاهی کارکنان واقعاً افزایش یافته و این افزایش با محتوای کارگاه مرتبط بوده است. همچنین باید بررسی کند که آیا عوامل دیگری مانند آموزش‌های هم‌زمان یا تغییرات مدیریتی نمی‌توانند این افزایش را توضیح دهند.

به این ترتیب، تحلیل بهره‌بخشی نظریه تغییر را از یک توصیف صرف به یک ابزار آزمون‌پذیر تبدیل می‌کند. نتیجهٔ تحلیل می‌تواند تأیید، اصلاح یا رد نظریه تغییر باشد.

چگونه از تحلیل بهره‌بخشی استفاده کنیم؟

فرایند تحلیل بهره‌بخشی را می‌توان در مراحل زیر خلاصه کرد:

1. تعریف سؤال ارزیابی و دامنهٔ ادعا: مشخص کنید دربارهٔ سهم مداخله در کدام نتیجه می‌خواهید قضاوت کنید و ادعای بهره‌بخشی دقیقاً چیست.
2. تدوین یا بازبینی نظریه تغییر: زنجیرهٔ نتایج و مفروضات علّی را به‌صورت شفاف ترسیم کنید.
3. جمع‌آوری شواهد موجود: شواهد مربوط به اجرای مداخله، نتایج میانی و نهایی، و عوامل زمینه‌ای را از منابع کمی و کیفی گردآوری کنید.
4. ارزیابی هر پیوند علّی: برای هر حلقه از زنجیره، بررسی کنید شواهد تا چه حد از وقوع آن حلقه حمایت می‌کنند.
5. بررسی توضیحات رقیب: عوامل دیگری را که ممکن است نتیجه را توضیح دهند شناسایی و ارزیابی کنید.
6. ارزیابی کلی ادعای بهره‌بخشی: بر اساس مجموع شواهد، قضاوت کنید که آیا ادعای سهم داشتن مداخله معقول و قابل دفاع است یا خیر.
7. مستندسازی و انتقال یافته‌ها: روایت ارزیابی را با ذکر نقاط قوت و ضعف شواهد و میزان اطمینان به نتیجه ارائه دهید.

در مرحلهٔ ارزیابی کلی، می‌توان از پنج شرط کلاسیک که در نسخه‌های اولیهٔ روش ارائه شده است استفاده کرد: وجود نظریه تغییر مستدل، اجرای مداخله مطابق نظریه، تأیید زنجیره نتایج توسط شواهد، رد نشدن نظریه توسط شواهد متناقض، و ارزیابی نقش سایر عوامل تأثیرگذار.

شواهد موردنیاز در تحلیل بهره‌بخشی

تحلیل بهره‌بخشی به شواهدی نیاز دارد که مستقیماً به مسیر اثرگذاری مداخله مربوط باشند. این شواهد می‌توانند شامل موارد زیر باشند:

• مستندات اجرای برنامه (گزارش‌ها، صورت‌جلسه‌ها، داده‌های پایش).
• داده‌های کمی دربارهٔ نتایج میانی و نهایی (نظرسنجی‌ها، شاخص‌های عملکرد).
• شواهد کیفی مانند مصاحبه با ذی‌نفعان، مشاهدهٔ فرایند و مطالعهٔ موردی.
• شواهد مربوط به عوامل بیرونی که ممکن است بر نتایج اثر گذاشته باشند.

کیفیت شواهد نقش تعیین‌کننده‌ای در اعتبار ادعای بهره‌بخشی دارد. شواهد ضعیف یا متناقض می‌توانند نتیجه را به‌شدت تضعیف کنند. در مواجهه با شواهد متناقض، تحلیل بهره‌بخشی باید آن‌ها را صریحاً بررسی کند و نشان دهد چرا با وجود این تناقض‌ها، ادعای سهم داشتن مداخله هنوز قابل دفاع است یا خیر. این روش برخلاف روش‌هایی که فقط به دنبال شواهد تأییدکننده می‌گردند، به شواهدی که علیه ادعا هستند نیز اهمیت می‌دهد.

مثال کاربردی

فرض کنید یک سازمان دولتی برنامه‌ای برای کاهش فرسودگی شغلی کارکنان بخش خدمات مشتریان اجرا کرده است. این برنامه شامل آموزش مهارت‌های مدیریت استرس، تغییر شیفت‌بندی و ایجاد جلسات منظم بازخورد است. پس از یک سال، شاخص فرسودگی شغلی بر اساس پرسشنامهٔ استاندارد کاهش یافته است. اما در همان دوره، سازمان یک سامانهٔ جدید پشتیبانی نیز راه‌اندازی کرده و فشار کاری به‌دلیل تغییرات بازار کاهش یافته است.

تحلیل بهره‌بخشی با این سؤال آغاز می‌شود: آیا شواهد نشان می‌دهد برنامهٔ کاهش فرسودگی سهم معناداری در این بهبود داشته است؟ نظریه تغییر برنامه سه مسیر را مشخص می‌کند: افزایش آگاهی کارکنان از روش‌های مدیریت استرس، بهبود تعادل کار-زندگی از طریق شیفت‌بندی جدید، و افزایش احساس حمایت از طریق جلسات بازخورد. ارزیاب برای هر مسیر شواهدی جمع می‌کند: نتایج پیش‌آزمون و پس‌آزمون آگاهی، نمرات رضایت از شیفت‌بندی، و فراوانی و کیفیت جلسات بازخورد. همچنین بررسی می‌کند که آیا کاهش فشار کاری ناشی از تغییرات بازار به‌تنهایی می‌تواند نتیجه را توضیح دهد یا خیر. در پایان، با مقایسهٔ قدرت شواهد برای مسیرهای برنامه و نقش عوامل رقیب، نتیجه می‌گیرد که برنامه سهم قابل‌قبولی داشته است، هرچند نمی‌توان اندازهٔ دقیق آن را مشخص کرد.

این مثال فرضی نشان می‌دهد که تحلیل بهره‌بخشی چگونه ممکن است به یک روایت مستدل و نه یک عدد قطعی منجر شود.

مزایای تحلیل بهره‌بخشی

• در موقعیت‌هایی که امکان طراحی آزمایشی وجود ندارد، تنها گزینهٔ عملی برای قضاوت دربارهٔ سهم مداخله است.
• به ارزیاب امکان می‌دهد از ترکیب شواهد کمی و کیفی استفاده کند.
• نظریه تغییر را از حالت ایستا خارج می‌کند و آن را به ابزاری برای آزمون تجربی تبدیل می‌کند.
• به‌جای تمرکز صرف بر نتیجهٔ نهایی، سازوکارهای اثرگذاری را بررسی می‌کند و درک عمیق‌تری از چرایی و چگونگی اثر فراهم می‌آورد.
• برای مداخلات پیچیده و چندبعدی که در آن‌ها عوامل متعدد دخیل‌اند، انعطاف‌پذیری مناسبی دارد.
• می‌تواند به اصلاح و بهبود نظریه تغییر مداخله کمک کند و درس‌آموزی برای برنامه‌های آینده ایجاد کند.

محدودیت‌ها و خطاهای رایج

• کیفیت تحلیل به‌شدت به کیفیت نظریه تغییر و تفکر ارزیاب بستگی دارد. اگر نظریه تغییر مبهم یا نادرست باشد، نتیجهٔ تحلیل نیز گمراه‌کننده خواهد بود.
• تحلیل بهره‌بخشی مدرک قطعی علیت ارائه نمی‌دهد؛ تنها سطحی از اطمینان مبتنی بر استدلال و شواهد فراهم می‌کند. بنابراین همواره خطر نتیجه‌گیری بیش از حد وجود دارد.
• در برنامه‌هایی با واریانس زیاد در نحوهٔ اجرا یا نتایج ناهمگون برای گروه‌های مختلف، تحلیل بهره‌بخشی ممکن است مناسب نباشد، زیرا بر میانگین اثرات تمرکز دارد.
• تفسیر ارزیاب از شواهد می‌تواند سوگیری ایجاد کند، به‌ویژه اگر به شواهد مخالف توجه کافی نشود یا توضیحات رقیب به‌سطحی بررسی شوند.
• جمع‌آوری شواهد کافی برای همهٔ حلقه‌های زنجیرهٔ علّی ممکن است زمان‌بر و پرهزینه باشد.

مقایسه با روش‌های مشابه

روش‌های دیگری نیز برای بررسی سهم مداخله یا آزمون سازوکارهای علّی وجود دارند. تمایز اصلی تحلیل بهره‌بخشی در رویکرد کل‌نگر و مبتنی بر نظریهٔ تغییر آن است. در جدول زیر مقایسه‌ای خلاصه ارائه شده است:

جمع‌بندی

تحلیل بهره‌بخشی روشی ارزشمند برای ارزیابی مداخله‌ها در شرایطی است که اثبات قطعی علیت ممکن نیست. این روش به ارزیاب کمک می‌کند تا با تکیه بر نظریه تغییر و ترکیب شواهد، دربارهٔ سهم مداخله در نتایج به قضاوتی مستدل برسد. با این حال، تحلیل بهره‌بخشی هرگز جایگزین روش‌های آزمایشی برای برآورد اثر خالص نمی‌شود و نتیجهٔ آن همیشه با درجه‌ای از عدم قطعیت همراه است. هنگام انتخاب این روش، ارزیاب باید به کیفیت نظریه تغییر، دسترسی به شواهد مرتبط و توانایی خود در بررسی منصفانهٔ توضیحات رقیب توجه کند.