ارزیابی واقعگرایانه (Realist Evaluation)
مقدمه
بسیاری از برنامهها و مداخلات اجتماعی نتایج یکسانی برای همه مخاطبان ایجاد نمیکنند؛ یک برنامه آموزشی ممکن است برای گروهی تحولآفرین باشد و برای گروهی دیگر بیاثر. در چنین شرایطی، پرسش ارزیاب نمیتواند صرفاً این باشد که «آیا برنامه اثر داشت؟»، بلکه باید مشخص کند «چه چیزی، برای چه کسی، در چه شرایطی و از چه مسیری اثر میکند؟». ارزیابی واقعگرایانه (Realist Evaluation) دقیقاً برای پاسخ به این پرسش طراحی شده است. این رویکرد به جای تمرکز بر میانگین اثر یک مداخله، بر سازوکارهای علی و بستر وقوع آنها تمرکز میکند و به ارزیاب کمک میکند بفهمد چرا یک برنامه در یک بستر موفق بوده و در بستر دیگر ناموفق.
ارزیابی واقعگرایانه چیست؟
ارزیابی واقعگرایانه یک رویکرد ارزیابی مبتنی بر نظریه است که به دنبال درک این موضوع است که «چه چیزی، برای چه کسی و در چه شرایطی کار میکند». این روش برای نخستین بار توسط رِی پاوسون و نیک تیلی در سال ۱۹۹۷ توسعه یافت و از آن زمان به یکی از پرکاربردترین رویکردها در ارزیابی مداخلات پیچیده اجتماعی تبدیل شده است. به جای آنکه صرفاً مشخص کند یک برنامه اثر داشته یا نه، ارزیابی واقعگرایانه تلاش میکند سازوکارهای تولیدکننده پیامد را شناسایی کند و نشان دهد که این سازوکارها تحت چه شرایط زمینهای فعال یا غیرفعال میشوند.
مسئله محوری در این روش، کشف «سازوکار» است. در ادبیات ارزیابی واقعگرایانه، سازوکار به فرایندها یا واکنشهایی اشاره دارد که در ذهن و رفتار مشارکتکنندگان یا در ساختار برنامه رخ میدهد و به پیامد منجر میشود. برای مثال، سازوکار یک برنامه تشویقیِ صرفهجویی در مصرف آب ممکن است «ایجاد احساس مسئولیتپذیری اجتماعی» باشد که فقط در بسترهایی فعال میشود که حس تعلق محلی بالایی وجود دارد. ارزیابی واقعگرایانه به جای مشاهده صرف رابطه بین مداخله و پیامد، تلاش میکند این حلقه میانی را شناسایی و آزمون کند.
خروجی اصلی ارزیابی واقعگرایانه معمولاً در قالب «پیکربندی زمینه – سازوکار – پیامد» (Context-Mechanism-Outcome Configuration) بیان میشود. این فرمول نشان میدهد که یک سازوکار خاص در یک زمینه مشخص چه پیامدی تولید میکند. به بیان ساده، فرمول کلیدی ارزیابی واقعگرایانه چنین است:
زمینه + سازوکار = پیامد
این فرمول بیان میکند که پیامدها از تعامل میان سازوکارهای علی و بستر اجرا شکل میگیرند و نمیتوان آنها را مستقل از زمینه تحلیل کرد.
این روش چه مسئلهای را در ارزیابی حل میکند؟
روشهای معمول ارزیابی اثر معمولاً به دنبال برآورد میانگین اثر مداخله هستند؛ اما در مداخلات پیچیده، اثر برنامه به شدت به ویژگیهای مخاطبان، بستر اجرا و نحوه تعامل مشارکتکنندگان با برنامه بستگی دارد. در چنین شرایطی، میانگین اثر اطلاعات ناکافی برای تصمیمگیری فراهم میکند. برای مثال، اگر یک برنامه توانمندسازی شغلی میانگین اثر مثبتی نشان دهد اما در عمل فقط برای افراد دارای تحصیلات بالاتر اثرگذار باشد و برای گروههای کمآموزشتر بیاثر باشد، سیاستگذار ممکن است تصمیم نادرستی درباره توسعه برنامه بگیرد.
ارزیابی واقعگرایانه دقیقاً این خلأ را پر میکند: مسئله نسبت دادن پیامد به مداخله را با شناسایی سازوکارهای اثر و تعیین شرایط فعالسازی آنها بررسی میکند. وقتی ارزیاب نمیتواند به سادگیِ یک آزمایش تصادفی اثر را برآورد کند یا وقتی برنامه در بخشی از بسترها موفق و در بخشی دیگر ناموفق بوده، پرسش مهم فقط «آیا اثر دارد؟» نیست، بلکه «چرا و چگونه اثر میکند؟» است. ارزیابی واقعگرایانه به ارزیاب کمک میکند از پرسشهای سطحی درباره «میانگین اثر» به پرسشهای عمیقتر درباره «توزیع اثر و سازوکار آن» حرکت کند.
چه زمانی از ارزیابی واقعگرایانه استفاده کنیم؟
ارزیابی واقعگرایانه برای همه شرایط مناسب نیست. این روش زمانی بیشترین ارزش را دارد که درک چرایی اثرگذاری، مهمتر از برآورد دقیق اندازه اثر باشد. شرایط زیر نمونههایی از موقعیتهای مناسب برای استفاده از این روش است:
برنامههای جدید یا آزمایشی: وقتی برنامهای هنوز در مراحل اولیه است و نیاز است مشخص شود برای چه گروههایی و در چه شرایطی کار میکند.
توسعه یا مقیاسپذیری برنامه: وقتی برنامهای در یک بستر موفق بوده و قرار است به بستر جدیدی منتقل شود، ارزیابی واقعگرایانه میتواند نشان دهد کدام سازوکارها به بستر وابستهاند و کدام قابل انتقال.
الگوهای ترکیبی نتایج: وقتی برنامهای در برخی مناطق یا برای برخی گروهها نتایج موفق و در برخی دیگر نتایج ناموفق داشته، ارزیابی واقعگرایانه به توضیح این تفاوتها کمک میکند.
مداخلات پیچیده با مسیرهای چندگانه اثر: وقتی برنامهای از چند مسیر مختلف به پیامد میرسد و نمیتوان اثر را به یک مسیر واحد تقلیل داد.
دشواری ایجاد شرط خلاف واقع: وقتی امکان ساخت گروه کنترل یا انجام آزمایش تصادفی به دلایل اخلاقی، عملی یا زمانی وجود ندارد.
ارتباط روش با نظریه تغییر
ارزیابی واقعگرایانه به طور ذاتی با نظریه تغییر پیوند دارد، اما نوع استفادهاش از نظریه تغییر با سایر روشهای مبتنی بر نظریه تفاوتهایی دارد. در این روش، نظریه تغییر برنامه به عنوان مبنایی برای استخراج «نظریههای میانی» به کار میرود. ارزیاب واقعگرا به دنبال آزمون تجربی این نظریههای میانی است و سعی میکند مشخص کند کدام فرضهای نظریه تغییر در عمل و تحت چه شرایطی صادق است.
تفاوت مهم ارزیابی واقعگرایانه با برخی دیگر از رویکردهای مبتنی بر نظریه این است که در این روش، نظریه برنامه بهعنوان یک نقطه شروع تلقی میشود نه یک چارچوب ثابت. ارزیاب واقعگرا در طول ارزیابی، نظریه را بازبینی و اصلاح میکند. به این معنا که یافتههای ارزیابی میتوانند نشان دهند که سازوکار فرضی اولیه اساساً اشتباه بوده یا در بسترهای خاصی به شکل متفاوتی عمل میکند. نتیجه نهایی ارزیابی واقعگرایانه معمولاً شامل «نظریههای میانمحدوده» (Middle-range Theories) بهبودیافتهای است که میتوانند به سایر برنامههای مشابه تعمیم یابند.
چگونه از ارزیابی واقعگرایانه استفاده کنیم؟
ارزیابی واقعگرایانه یک فرایند خطی ساده نیست، اما میتوان آن را در قالب مراحل اصلی زیر توصیف کرد. این مراحل در عمل اغلب تکراری و بازگشتی هستند و ارزیاب ممکن است بین آنها رفتوبرگشت کند.
۱. تبیین نظریه برنامه
در گام نخست، نظریه برنامه یا نظریه تغییر از مستندات برنامه، مصاحبه با طراحان و ذینفعان، و مرور ادبیات استخراج میشود. هدف این است که مشخص شود برنامه مدعی است از چه مسیری و از طریق چه سازوکارهایی به پیامد میرسد.
۲. صورتبندی فرضیههای قابل آزمون
سپس ارزیاب نظریه برنامه را به فرضیههای قابل آزمون تبدیل میکند. این فرضیهها معمولاً به شکل پیکربندی زمینه – سازوکار – پیامد بیان میشوند. برای مثال: «در میان گروههای با سطح اعتماد پایین (زمینه)، برنامه توانمندسازی با ایجاد احساس کنترل بر زندگی (سازوکار) منجر به افزایش مشارکت شغلی (پیامد) میشود».
۳. تعیین شواهد موردنیاز
ارزیاب مشخص میکند برای آزمون هر فرضیه چه نوع شواهدی لازم است. این شواهد میتواند کیفی، کمی یا ترکیبی از هر دو باشد. مهم این است که شواهد بتوانند سازوکار را نشان دهند، نه صرفاً همبستگی میان مداخله و پیامد را.
۴. جمعآوری شواهد
در این مرحله، دادهها از منابع مختلف مانند مصاحبههای عمیق، گروههای کانونی، اسناد برنامه، مشاهدات میدانی و دادههای کمی جمعآوری میشوند. ارزیابی واقعگرایانه به روش جمعآوری داده محدود نیست و از هر روشی که به پرسش ارزیابی پاسخ دهد استقبال میکند.
۵. تحلیل شواهد و آزمون سازوکارها
در این مرحله، ارزیاب الگوهای موجود در دادهها را جستوجو میکند تا ببیند کدام سازوکارها در کدام زمینهها فعال شدهاند و به چه پیامدهایی منجر شدهاند. تحلیل شامل مقایسه موارد موفق و ناموفق، بررسی توضیحات رقیب و ارزیابی میزان حمایت شواهد از هر فرضیه است.
۶. اصلاح نظریه و استخراج نتیجه
در گام پایانی، نظریه اولیه بر اساس یافتهها اصلاح میشود. ارزیاب نشان میدهد که کدام سازوکارها تحت چه شرایطی عمل میکنند و کدام فرضهای اولیه تأیید یا رد شدهاند. نتیجه نهایی، به جای یک عدد یا پاسخ قطعی، مجموعهای از گزارههای زمینهمحور درباره نحوه اثرگذاری برنامه است.
شواهد موردنیاز
در ارزیابی واقعگرایانه، شواهد باید بتوانند سازوکار را قابل مشاهده کنند. این بدان معناست که صرف مشاهده تغییر در پیامد کافی نیست؛ ارزیاب باید شواهدی بیابد که نشان دهد تغییر از مسیر سازوکار فرضی رخ داده است. برای مثال، اگر سازوکار فرضی «افزایش خودکارآمدی» باشد، شواهد باید نشان دهند که مشارکتکنندگان واقعاً خودکارآمدی بیشتری را تجربه کردهاند و این تغییر با تغییر در پیامد نهایی مرتبط بوده است.
کیفیت شواهد در این روش اهمیت ویژهای دارد. شواهدی که صرفاً بر اساس گزارشهای ذهنی مشارکتکنندگان استوارند، ممکن است برای نشان دادن برخی سازوکارها کافی باشند، اما برای استنباطهای قویتر معمولاً به ترکیب چند نوع شواهد نیاز است. شواهد کمی میتوانند الگوهای آماری مرتبط با سازوکار را نشان دهند و شواهد کیفی میتوانند توضیح دهند که چرا و چگونه این الگوها شکل گرفتهاند. مدیریت شواهد متناقض نیز بخش مهمی از کار ارزیاب واقعگراست؛ شواهدی که با فرضیه اولیه ناسازگارند نباید نادیده گرفته شوند، بلکه باید بهعنوان فرصتی برای اصلاح نظریه استفاده شوند.
استنباط علّی و مدیریت توضیحات رقیب
در ارزیابی واقعگرایانه، استنباط علّی از نوع تأیید یا ابطال فرضیههای توضیحی است، نه اثبات قطعی رابطه علت و معلولی. این روش نمیتواند ادعا کند که «ثابت کرده است» مداخله تنها عامل پیامد بوده است. آنچه ارزیابی واقعگرایانه انجام میدهد، ارزیابی میزان حمایت شواهد از یک توضیح در مقایسه با توضیحات رقیب است.
به همین دلیل، توجه به توضیحات جایگزین در این روش بسیار مهم است. اگر پیامد میتواند ناشی از عوامل دیگری مانند تغییرات همزمان در محیط، رشد طبیعی مشارکتکنندگان یا برنامههای موازی باشد، ارزیاب باید این توضیحات را بهصراحت بررسی و ارزیابی کند. در عمل، ارزیابی واقعگرایانه اغلب با ترکیب چند نوع شواهد و تحلیل تطبیقی سعی میکند نشان دهد که توضیح مبتنی بر سازوکار پیشنهادی نسبت به توضیحات رقیب، قدرت تبیینی بیشتری دارد. اما این نتیجهگیری همیشه در معرض خطا و بازنگری است.
جدول مسئله – تصمیم
مسئله ارزیابی سؤال اصلیاین روش چه کمکی میکند؟چه نوع شواهدی لازم است؟تصمیم/نتیجهاثر برنامه در بسترها و برای گروههای مختلف متفاوت استچرا برنامه برای برخی کار میکند و برای برخی نه؟شناسایی سازوکارها و زمینههای فعالکننده آنهاشواهد ترکیبی از سازوکارها، زمینهها و پیامدهاتعیین شرایط اثربخشی و گروههای هدف مناسببرنامه قرار است در بستر جدیدی اجرا شودآیا موفقیت قبلی در بستر جدید تکرار میشود؟تشخیص سازوکارهای وابسته به زمینه و سازوکارهای قابل انتقال شواهد درباره تعامل سازوکار با ویژگیهای بستر جدیدتصمیم درباره نحوه تطبیق برنامه با بستر جدیدبرنامه نتایج ترکیبی (موفق و ناموفق) داشته استچه عواملی تفاوت در نتایج را توضیح میدهد؟توضیح الگوهای ناهمگن و پیکربندیهای سببسازشواهد مقایسهای از موارد موفق و ناموفق اصلاح طراحی برنامه یا شناسایی شرایط لازمامکان استفاده از شرط خلاف واقع وجود نداردچگونه میتوان بدون گروه کنترل، ادعای علّی بررسی کرد؟آزمون سازوکارها بهعنوان مسیر علّی به جای مقایسه گروههاشواهد مستقیم درباره عملکرد سازوکارهااستنباط محتاطانه درباره سهم مداخله
مثال کاربردی
فرض کنید یک سازمان دولتی برنامهای برای کاهش مصرف انرژی خانگی طراحی کرده است. این برنامه شامل ارائه بازخورد دورهای به خانوارها درباره میزان مصرفشان در مقایسه با میانگین مصرف محله است. نتایج اولیه نشان میدهد که برخی از خانوارها مصرف خود را بهطرز چشمگیری کاهش دادهاند، اما برخی دیگر تقریباً هیچ تغییری نکردهاند. ارزیاب واقعگرا به جای محاسبه میانگین تأثیر برنامه، به دنبال توضیح این تفاوت است.
فرضیه اولیه ارزیاب این است که سازوکار اصلی برنامه «فعال شدن هنجار اجتماعی» است؛ یعنی وقتی خانوارها متوجه میشوند مصرفشان از میانگین محله بالاتر است، برای همسو شدن با همسایگان مصرف خود را کاهش میدهند. این سازوکار در بسترهایی فعال میشود که ساکنان محله احساس هویت محلی قوی و روابط همسایگی نزدیکی دارند. در مقابل، در محلههایی که ساکنان ارتباط اجتماعی کمی با یکدیگر دارند یا بهتازگی ساکن شدهاند، هنجار اجتماعی اهمیت کمتری دارد و سازوکار فعال نمیشود.
ارزیاب برای آزمون این فرضیه، دادههای کمی درباره تغییر مصرف خانوارها را همراه با مصاحبههای کیفی درباره نگرش ساکنان به محله و همسایگانشان جمعآوری میکند. همچنین یک توضیح رقیب را بررسی میکند: شاید کاهش مصرف به دلیل افزایش آگاهی از هزینهها باشد، نه فشار اجتماعی. اگر شواهد نشان دهند که کاهش مصرف عمدتاً در محلههایی با انسجام اجتماعی بالا رخ داده و با افزایش آگاهی از هزینهها همبستگی چندانی ندارد، فرضیه هنجار اجتماعی تقویت میشود. نتیجه ارزیابی میتواند به سیاستگذار توصیه کند که برنامه را در محلههای با انسجام اجتماعی پایین با طراحی متفاوتی اجرا کند، مثلاً با تمرکز بر بازخوردهای فردی به جای مقایسههای محلهای.
این مثال فرضی منطق ارزیابی واقعگرایانه را نشان میدهد: پرسش از «آیا برنامه اثر دارد؟» به «چه چیزی برای چه کسی و در چه شرایطی اثر دارد؟» منتقل میشود و پاسخ، به جای یک عدد واحد، مجموعهای از گزارههای زمینهمحور و قابل استفاده برای تصمیمگیری است.
مزایای ارزیابی واقعگرایانه
ارزیابی واقعگرایانه مزایای مشخصی نسبت به روشهای سادهتر دارد. نخست، این روش توانایی بالایی در توضیح ناهمگونی اثرها دارد: به جای پنهان کردن تفاوتها در یک میانگین، تفاوتها را به موضوع اصلی تحلیل تبدیل میکند. دوم، این روش امکان استفاده از شواهد ترکیبی را فراهم میکند و به نوع خاصی از روش آماری یا داده محدود نیست. سوم، ارزیابی واقعگرایانه با تمرکز بر سازوکارها، یافتههایی تولید میکند که فراتر از برنامه خاص قابل استفادهاند و میتوانند به سایر برنامههای مشابه انتقال یابند. چهارم، این روش برای موقعیتهایی که امکان ایجاد شرط خلاف واقع وجود ندارد، جایگزین مناسبی برای استنباط علّی مبتنی بر آزمایش فراهم میکند. در نهایت، ارزیابی واقعگرایانه نظریههای ضمنی برنامه را آشکار و آزمون میکند و به اصلاح فهم سیاستگذار از نحوه عملکرد برنامه کمک میکند.
محدودیتها و خطاهای رایج
ارزیابی واقعگرایانه نیز مانند هر روش دیگری با محدودیتهایی همراه است. یکی از مهمترین چالشها، زمانبر بودن و هزینهبر بودن آن است. شناسایی و آزمون سازوکارها نیازمند دادههای متنوع و تحلیل عمیق است که معمولاً به زمان زیادی نیاز دارد. چالش دیگر، وابستگی روش به کیفیت و تخصص ارزیاب است: تحلیل سازوکارها و زمینهها مستلزم فهم نظری قوی از حوزه موضوعی است و ارزیابان کمتجربه ممکن است سازوکارها را با توصیف ساده فعالیتها اشتباه بگیرند.
خطر مهم دیگر، تفسیر بیش از حد دادههاست. چون تحلیل واقعگرایانه تفسیری است، ارزیاب ممکن است الگوهایی را ببیند که در دادهها وجود ندارند یا توضیحات رقیب را نادیده بگیرد. همچنین این روش برآورد دقیقی از «اندازه اثر» ارائه نمیدهد و اگر هدف اصلی ارزیابی، برآورد کمی اثر خالص باشد، ارزیابی واقعگرایانه به تنهایی کافی نیست. در نهایت، چون نتایج ارزیابی واقعگرایانه زمینهمحور هستند، تعمیم یافتهها به بسترهای دیگر باید با احتیاط انجام شود.
مقایسه با روشهای مشابه
ارزیابی واقعگرایانه با چند روش مبتنی بر نظریه و تحلیل علّی مشابهت دارد، اما تفاوتهای مهمی نیز دارد. درک این تفاوتها به انتخاب درست روش برای مسئله ارزیابی کمک میکند.
روشسؤال اصلینقطه قوتمحدودیت اصلیچه زمانی مناسبتر است؟ارزیابی واقعگرایانهچه چیزی، برای چه کسی، در چه شرایطی و چرا کار میکند؟تحلیل عمیق سازوکارها و زمینههازمانبر و وابسته به تفسیرهنگام نیاز به توضیح ناهمگونی اثرهاتحلیل سهم (Contribution Analysis)آیا مداخله سهم معناداری در پیامد داشته است؟ارزیابی سهم در کنار سایر عواملنیازمند نظریه تغییر قوی و شواهد چندگانهوقتی عوامل متعددی در پیامد دخیلاندردیابی فرایند (Process Tracing)آیا شواهد از یک مسیر علّی خاص حمایت میکنند؟آزمون دقیق سازوکارها در موارد منفردتمرکز بر موارد محدود، تعمیم دشواروقتی سؤال بر یک سازوکار خاص متمرکز استکارآزمایی تصادفی کنترلشده (RCT)میانگین اثر مداخله چقدر است؟استنباط علّی قوی با شرط کنترل نمیتواند سازوکار و ناهمگونی را توضیح دهدوقتی امکان تصادفیسازی و برآورد کمّی وجود داردتحلیل تطبیقی کیفی (QCA)کدام ترکیب از شرایط به پیامد منجر میشود؟تحلیل نظاممند ترکیبهای سببسازحساس به انتخاب موارد و تعریف شرایطوقتی نمونههای متعدد با ترکیبهای متفاوت دارید
جمعبندی
ارزیابی واقعگرایانه روشی قدرتمند برای ارزیابی مداخلات پیچیده است که در آن اثر به سادگی قابل مشاهده یا نسبتدهی نیست. این روش با تمرکز بر سازوکارها و زمینهها، به ارزیاب کمک میکند نه فقط بفهمد «آیا برنامه اثر دارد»، بلکه «چرا، چگونه و برای چه کسانی» اثر دارد. بیشترین ارزش این روش زمانی آشکار میشود که مداخله نتایج ناهمگن دارد، قرار است به بستر جدیدی منتقل شود، یا امکان استفاده از طراحیهای آزمایشی وجود ندارد.
با این حال، ارزیابی واقعگرایانه زمانبر، تفسیری و وابسته به مهارت ارزیاب است و نمیتواند جایگزین همه روشهای ارزیابی اثر باشد. هنگام انتخاب این روش، ارزیاب باید به وضوح مشخص کند که آیا سؤال ارزیابی اساساً درباره توضیح و سازوکار است یا درباره برآورد اندازه اثر. اگر هدف، درک چرایی و چگونگی است، ارزیابی واقعگرایانه یکی از مناسبترین گزینههای موجود است؛ اما اگر هدف اصلی برآورد کمّی اثر خالص باشد، روشهای دیگری مانند طرحهای آزمایشی یا شبهآزمایشی مناسبتر خواهند بود.