ارزیابی واقع‌گرایانه (Realist Evaluation)

مقدمه

بسیاری از برنامه‌ها و مداخلات اجتماعی نتایج یکسانی برای همه مخاطبان ایجاد نمی‌کنند؛ یک برنامه آموزشی ممکن است برای گروهی تحول‌آفرین باشد و برای گروهی دیگر بی‌اثر. در چنین شرایطی، پرسش ارزیاب نمی‌تواند صرفاً این باشد که «آیا برنامه اثر داشت؟»، بلکه باید مشخص کند «چه چیزی، برای چه کسی، در چه شرایطی و از چه مسیری اثر می‌کند؟». ارزیابی واقع‌گرایانه (Realist Evaluation) دقیقاً برای پاسخ به این پرسش طراحی شده است. این رویکرد به جای تمرکز بر میانگین اثر یک مداخله، بر سازوکارهای علی و بستر وقوع آن‌ها تمرکز می‌کند و به ارزیاب کمک می‌کند بفهمد چرا یک برنامه در یک بستر موفق بوده و در بستر دیگر ناموفق.

ارزیابی واقع‌گرایانه چیست؟

ارزیابی واقع‌گرایانه یک رویکرد ارزیابی مبتنی بر نظریه است که به دنبال درک این موضوع است که «چه چیزی، برای چه کسی و در چه شرایطی کار می‌کند». این رویکرد را ری پاوسون و نیک تیلی در دههٔ ۱۹۹۰ پرورش دادند و در کتاب Realistic Evaluation در سال ۱۹۹۷ شرح دادند. از آن زمان، در ارزیابی مداخلات پیچیده به کار رفته است. به جای آنکه صرفاً مشخص کند یک برنامه اثر داشته یا نه، ارزیابی واقع‌گرایانه تلاش می‌کند سازوکارهای تولیدکننده پیامد را شناسایی کند و نشان دهد که این سازوکارها تحت چه شرایط زمینه‌ای فعال یا غیرفعال می‌شوند.

مسئله محوری در این روش، کشف «سازوکار» است. در ادبیات ارزیابی واقع‌گرایانه، در برنامه‌های متکی بر کنش انسانی، سازوکار معمولاً به تعامل منابع یا فرصت‌های فراهم‌شده و شیوهٔ استدلال یا واکنش مشارکت‌کنندگان اشاره دارد. فعالیت برنامه، مانند ارسال پیام یا برگزاری کارگاه، به‌تنهایی سازوکار نیست. سازوکارها را نیز معمولاً نمی‌توان مستقیماً مشاهده کرد؛ باید با شواهد و استدلال آن‌ها را بررسی کرد. برای مثال، سازوکار یک برنامه تشویقیِ صرفه‌جویی در مصرف آب ممکن است «ایجاد احساس مسئولیت‌پذیری اجتماعی» باشد که فقط در بسترهایی فعال می‌شود که حس تعلق محلی بالایی وجود دارد. ارزیابی واقع‌گرایانه به جای مشاهده صرف رابطه بین مداخله و پیامد، تلاش می‌کند این حلقه میانی را شناسایی و آزمون کند.

خروجی اصلی ارزیابی واقع‌گرایانه معمولاً در قالب «پیکربندی زمینه – سازوکار – پیامد» (Context-Mechanism-Outcome Configuration) بیان می‌شود. این فرمول نشان می‌دهد که یک سازوکار خاص در یک زمینه مشخص چه پیامدی تولید می‌کند. به بیان ساده، فرمول کلیدی ارزیابی واقع‌گرایانه چنین است:

زمینه + سازوکار = پیامد

این رابطه یک یادآور مفهومی دربارهٔ تعامل زمینه و سازوکار است، نه معادلهٔ عددی یا قاعدهٔ جبری. گزارش CMO باید نشان دهد چه شواهدی از رابطهٔ زمینه، سازوکار و پیامد حمایت می‌کند؛ فهرست کردن سه عنوان کافی نیست.

این روش چه مسئله‌ای را در ارزیابی حل می‌کند؟

روش‌های معمول ارزیابی اثر معمولاً به دنبال برآورد میانگین اثر مداخله هستند؛ اما در مداخلات پیچیده، اثر برنامه به شدت به ویژگی‌های مخاطبان، بستر اجرا و نحوه تعامل مشارکت‌کنندگان با برنامه بستگی دارد. در چنین شرایطی، میانگین اثر اطلاعات ناکافی برای تصمیم‌گیری فراهم می‌کند. برای مثال، اگر یک برنامه توانمندسازی شغلی میانگین اثر مثبتی نشان دهد اما در عمل فقط برای افراد دارای تحصیلات بالاتر اثرگذار باشد و برای گروه‌های کم‌آموزش‌تر بی‌اثر باشد، سیاست‌گذار ممکن است تصمیم نادرستی درباره توسعه برنامه بگیرد.

ارزیابی واقع‌گرایانه دقیقاً این خلأ را پر می‌کند: مسئله نسبت دادن پیامد به مداخله را با شناسایی سازوکارهای اثر و تعیین شرایط فعال‌سازی آن‌ها بررسی می‌کند. وقتی ارزیاب نمی‌تواند به سادگیِ یک آزمایش تصادفی اثر را برآورد کند یا وقتی برنامه در بخشی از بسترها موفق و در بخشی دیگر ناموفق بوده، پرسش مهم فقط «آیا اثر دارد؟» نیست، بلکه «چرا و چگونه اثر می‌کند؟» است. پرسش دربارهٔ میانگین اثر و پرسش دربارهٔ چرایی تفاوت پیامدها، هر دو می‌توانند برای تصمیم لازم باشند. ارزیابی واقع‌گرا بر توضیح الگوهای پیامد در گروه‌ها و زمینه‌های مختلف تمرکز دارد.

چه زمانی از ارزیابی واقع‌گرایانه استفاده کنیم؟

ارزیابی واقع‌گرایانه برای همه شرایط مناسب نیست. این روش زمانی بیشترین ارزش را دارد که درک چرایی اثرگذاری، مهم‌تر از برآورد دقیق اندازه اثر باشد. شرایط زیر نمونه‌هایی از موقعیت‌های مناسب برای استفاده از این روش است:

• برنامه‌های جدید یا آزمایشی: وقتی برنامه‌ای هنوز در مراحل اولیه است و نیاز است مشخص شود برای چه گروه‌هایی و در چه شرایطی کار می‌کند.

• توسعه یا مقیاس‌پذیری برنامه: وقتی برنامه‌ای در یک بستر موفق بوده و قرار است به بستر جدیدی منتقل شود، ارزیابی واقع‌گرایانه می‌تواند نشان دهد کدام سازوکارها به بستر وابسته‌اند و کدام قابل انتقال.

• الگوهای ترکیبی نتایج: وقتی برنامه‌ای در برخی مناطق یا برای برخی گروه‌ها نتایج موفق و در برخی دیگر نتایج ناموفق داشته، ارزیابی واقع‌گرایانه به توضیح این تفاوت‌ها کمک می‌کند.

• مداخلات پیچیده با مسیرهای چندگانه اثر: وقتی برنامه‌ای از چند مسیر مختلف به پیامد می‌رسد و نمی‌توان اثر را به یک مسیر واحد تقلیل داد.

• دشواری ایجاد شرط خلاف واقع: وقتی امکان ساخت گروه کنترل یا انجام آزمایش تصادفی به دلایل اخلاقی، عملی یا زمانی وجود ندارد.

ارتباط روش با نظریه تغییر

نظریهٔ اولیهٔ برنامه نقطهٔ شروعِ صورت‌بندی و آزمودن توضیح‌های زمینه–سازوکار–پیامد است. تحلیل می‌تواند با رجوع به نظریه و مقایسهٔ موارد، به پالایش توضیح‌هایی با دامنهٔ میان‌برد کمک کند. ارزیاب بررسی می‌کند کدام توضیح با شواهد سازگارتر است و چه اصلاحی لازم دارد.

تفاوت مهم ارزیابی واقع‌گرایانه با برخی دیگر از رویکردهای مبتنی بر نظریه این است که در این روش، نظریه برنامه به‌عنوان یک نقطه شروع تلقی می‌شود نه یک چارچوب ثابت. ارزیاب واقع‌گرا در طول ارزیابی، نظریه را بازبینی و اصلاح می‌کند. به این معنا که یافته‌های ارزیابی می‌توانند نشان دهند که سازوکار فرضی اولیه اساساً اشتباه بوده یا در بسترهای خاصی به شکل متفاوتی عمل می‌کند. یافته‌ها می‌توانند به پالایش نظریه‌های میان‌برد (Middle-range Theories) کمک کنند. انتقال توضیح به برنامه یا زمینهٔ دیگر باید با شباهت شرایط و شواهد تازه توجیه شود؛ تعمیم آماری خودکار نیست.

چگونه از ارزیابی واقع‌گرایانه استفاده کنیم؟

ارزیابی واقع‌گرایانه یک فرایند خطی ساده نیست، اما می‌توان آن را در قالب مراحل اصلی زیر توصیف کرد. این مراحل در عمل اغلب تکراری و بازگشتی هستند و ارزیاب ممکن است بین آن‌ها رفت‌وبرگشت کند.

۱. تبیین نظریه برنامه

در گام نخست، نظریه برنامه یا نظریه تغییر از مستندات برنامه، مصاحبه با طراحان و ذی‌نفعان، و مرور ادبیات استخراج می‌شود. هدف این است که مشخص شود برنامه مدعی است از چه مسیری و از طریق چه سازوکارهایی به پیامد می‌رسد.

۲. صورت‌بندی فرضیه‌های قابل آزمون

سپس ارزیاب نظریه برنامه را به فرضیه‌های قابل آزمون تبدیل می‌کند. این فرضیه‌ها معمولاً به شکل پیکربندی زمینه – سازوکار – پیامد بیان می‌شوند. برای مثال: «در میان گروه‌های با سطح اعتماد پایین (زمینه)، برنامه توانمندسازی با ایجاد احساس کنترل بر زندگی (سازوکار) منجر به افزایش مشارکت شغلی (پیامد) می‌شود».

۳. تعیین شواهد موردنیاز

ارزیاب مشخص می‌کند برای آزمون هر فرضیه چه نوع شواهدی لازم است. این شواهد می‌تواند کیفی، کمی یا ترکیبی از هر دو باشد. مهم این است که شواهد بتوانند سازوکار را نشان دهند، نه صرفاً همبستگی میان مداخله و پیامد را.

۴. جمع‌آوری شواهد

در این مرحله، داده‌ها از منابع مختلف مانند مصاحبه‌های عمیق، گروه‌های کانونی، اسناد برنامه، مشاهدات میدانی و داده‌های کمی جمع‌آوری می‌شوند. ارزیابی واقع‌گرایانه به روش جمع‌آوری داده محدود نیست و از هر روشی که به پرسش ارزیابی پاسخ دهد استقبال می‌کند.

۵. تحلیل شواهد و آزمون سازوکارها

در این مرحله، ارزیاب الگوهای موجود در داده‌ها را جست‌وجو می‌کند تا ببیند کدام سازوکارها در کدام زمینه‌ها فعال شده‌اند و به چه پیامدهایی منجر شده‌اند. تحلیل شامل مقایسه موارد موفق و ناموفق، بررسی توضیحات رقیب و ارزیابی میزان حمایت شواهد از هر فرضیه است.

۶. اصلاح نظریه و استخراج نتیجه

در گام پایانی، نظریه اولیه بر اساس یافته‌ها اصلاح می‌شود. ارزیاب نشان می‌دهد که کدام سازوکارها تحت چه شرایطی عمل می‌کنند و کدام فرض‌های اولیه تأیید یا رد شده‌اند. نتیجه فقط به یک عدد خلاصه نمی‌شود؛ گزاره‌های مشروط به زمینه باید همراه با شواهد و حدود عدم‌قطعیت گزارش شوند.

شواهد موردنیاز

در ارزیابی واقع‌گرایانه، شواهد باید استنباط دربارهٔ سازوکار و ارتباط آن با زمینه و پیامد را پشتیبانی کنند؛ سازوکار معمولاً مانند یک فعالیت ثبت‌شده، مستقیماً مشاهده‌پذیر نیست. این بدان معناست که صرف مشاهده تغییر در پیامد کافی نیست؛ ارزیاب باید شواهدی بیابد که نشان دهد تغییر از مسیر سازوکار فرضی رخ داده است. برای مثال، اگر سازوکار فرضی «افزایش خودکارآمدی» باشد، شواهد باید نشان دهند که مشارکت‌کنندگان واقعاً خودکارآمدی بیشتری را تجربه کرده‌اند و این تغییر با تغییر در پیامد نهایی مرتبط بوده است.

کیفیت شواهد در این روش اهمیت ویژه‌ای دارد. شواهدی که صرفاً بر اساس گزارش‌های ذهنی مشارکت‌کنندگان استوارند، ممکن است برای نشان دادن برخی سازوکارها کافی باشند، اما برای استنباط‌های قوی‌تر معمولاً به ترکیب چند نوع شواهد نیاز است. شواهد کمی می‌توانند الگوهای آماری مرتبط با سازوکار را نشان دهند و شواهد کیفی می‌توانند توضیح دهند که چرا و چگونه این الگوها شکل گرفته‌اند. مدیریت شواهد متناقض نیز بخش مهمی از کار ارزیاب واقع‌گراست؛ شواهدی که با فرضیه اولیه ناسازگارند نباید نادیده گرفته شوند، بلکه باید به‌عنوان فرصتی برای اصلاح نظریه استفاده شوند.

استنباط علّی و مدیریت توضیحات رقیب

در ارزیابی واقع‌گرایانه، استنباط علّی از نوع تأیید یا ابطال فرضیه‌های توضیحی است، نه اثبات قطعی رابطه علت و معلولی. این روش نمی‌تواند ادعا کند که «ثابت کرده است» مداخله تنها عامل پیامد بوده است. آنچه ارزیابی واقع‌گرایانه انجام می‌دهد، ارزیابی میزان حمایت شواهد از یک توضیح در مقایسه با توضیحات رقیب است.

به همین دلیل، توجه به توضیحات جایگزین در این روش بسیار مهم است. اگر پیامد می‌تواند ناشی از عوامل دیگری مانند تغییرات هم‌زمان در محیط، رشد طبیعی مشارکت‌کنندگان یا برنامه‌های موازی باشد، ارزیاب باید این توضیحات را به‌صراحت بررسی و ارزیابی کند. در عمل، ارزیابی واقع‌گرایانه اغلب با ترکیب چند نوع شواهد و تحلیل تطبیقی سعی می‌کند نشان دهد که توضیح مبتنی بر سازوکار پیشنهادی نسبت به توضیحات رقیب، قدرت تبیینی بیشتری دارد. اما این نتیجه‌گیری همیشه در معرض خطا و بازنگری است.

پیوند مسئله با تصمیم

• پیامدهای متفاوت در گروه‌ها: پیکربندی‌های زمینه، منابع و واکنش‌ها را با شواهد مقایسه‌ای بررسی کنید تا توضیح مشروطی از الگوی پیامد بسازید.

• انتقال به بستر جدید: بررسی کنید کدام شرایط لازم برای فعال شدن سازوکارهای پیشنهادی وجود دارد و کدام بخش طراحی نیازمند تطبیق است؛ تکرار موفقیت تضمین نمی‌شود.

• موارد موفق و ناموفق: هر دو را برای آزمودن نظریه و توضیح‌های رقیب بررسی کنید؛ فقط نمونه‌های موافق نظریه را انتخاب نکنید.

• نبود گروه کنترل: شواهد سازوکار و زمینه می‌توانند ادعای توضیحی را بررسی کنند؛ محدودیت نسبت‌دهی و نبود برآورد کمّی اثر باید روشن بماند.

مثال کاربردی

در یک مثال فرضی، سازمانی دولتی برنامه‌ای برای کاهش مصرف انرژی خانگی طراحی کرده است. این برنامه شامل ارائه بازخورد دوره‌ای به خانوارها درباره میزان مصرفشان در مقایسه با میانگین مصرف محله است. نتایج اولیه نشان می‌دهد که برخی از خانوارها مصرف خود را به‌طرز چشمگیری کاهش داده‌اند، اما برخی دیگر تقریباً هیچ تغییری نکرده‌اند. ارزیاب واقع‌گرا، علاوه بر توصیف الگوی مصرف، به دنبال توضیح این تفاوت است؛ برآورد میانگین اثر نیز در یک طرح مناسب می‌تواند مکمل آن باشد.

فرضیه اولیه ارزیاب این است که سازوکار اصلی برنامه «فعال شدن هنجار اجتماعی» است؛ یعنی وقتی خانوارها متوجه می‌شوند مصرفشان از میانگین محله بالاتر است، برای همسو شدن با همسایگان مصرف خود را کاهش می‌دهند. فرضیهٔ قابل بررسی این است که هویت محلی و روابط همسایگی می‌توانند پاسخ به بازخورد مقایسه‌ای را تقویت کنند؛ تازه‌ساکن بودن یا ارتباط کم، به‌خودی‌خود نبود هنجار اجتماعی را ثابت نمی‌کند.

ارزیاب برای آزمون این فرضیه، داده‌های کمی درباره تغییر مصرف خانوارها را همراه با مصاحبه‌های کیفی درباره نگرش ساکنان به محله و همسایگانشان جمع‌آوری می‌کند. همچنین یک توضیح رقیب را بررسی می‌کند: شاید کاهش مصرف به دلیل افزایش آگاهی از هزینه‌ها باشد، نه فشار اجتماعی. الگوی همبستگی مصرف و انسجام اجتماعی به‌تنهایی سازوکار هنجار را مشخص نمی‌کند. باید نحوهٔ دریافت و فهم بازخورد، استدلال خانوارها، ترتیب زمانی و توضیح‌های رقیب، از جمله هزینهٔ انرژی، آب‌وهوا و تغییر اعضای خانوار، بررسی شوند. این مثال داده یا یافتهٔ واقعی ندارد. نتیجه ارزیابی می‌تواند به سیاست‌گذار توصیه کند که برنامه را در محله‌های با انسجام اجتماعی پایین با طراحی متفاوتی اجرا کند، مثلاً با تمرکز بر بازخوردهای فردی به جای مقایسه‌های محله‌ای.

این مثال فرضی منطق ارزیابی واقع‌گرایانه را نشان می‌دهد: پرسش از «آیا برنامه اثر دارد؟» به «چه چیزی برای چه کسی و در چه شرایطی اثر دارد؟» منتقل می‌شود و پاسخ، به جای یک عدد واحد، مجموعه‌ای از گزاره‌های زمینه‌محور و قابل استفاده برای تصمیم‌گیری است.

مزایای ارزیابی واقع‌گرایانه

ارزیابی واقع‌گرایانه مزایای مشخصی نسبت به روش‌های ساده‌تر دارد. نخست، این روش توانایی بالایی در توضیح ناهمگونی اثرها دارد: تفاوت پیامدها میان زمینه‌ها و گروه‌ها را به موضوع توضیح تبدیل می‌کند؛ گزارش میانگین نیز می‌تواند در جای خود مفید باشد. دوم، این روش امکان استفاده از شواهد ترکیبی را فراهم می‌کند و به نوع خاصی از روش آماری یا داده محدود نیست. سوم، ارزیابی واقع‌گرایانه با تمرکز بر سازوکارها، می‌تواند توضیح‌هایی تولید کند که با بررسی شرایط و شواهد لازم در برنامه‌های مشابه آزموده و اصلاح شوند. چهارم، این رویکرد برای بررسی توضیح‌های علّی حتی بدون گروه کنترل مفید است، اما همان برآورد کمّیِ اثر خلاف‌واقع را خودکار تولید نمی‌کند. در نهایت، ارزیابی واقع‌گرایانه نظریه‌های ضمنی برنامه را آشکار و آزمون می‌کند و به اصلاح فهم سیاست‌گذار از نحوه عملکرد برنامه کمک می‌کند.

محدودیت‌ها و خطاهای رایج

ارزیابی واقع‌گرایانه نیز مانند هر روش دیگری با محدودیت‌هایی همراه است. یکی از مهم‌ترین چالش‌ها، زمان‌بر بودن و هزینه‌بر بودن آن است. شناسایی و آزمون سازوکارها نیازمند داده‌های متنوع و تحلیل عمیق است که معمولاً به زمان زیادی نیاز دارد. چالش دیگر، وابستگی روش به کیفیت و تخصص ارزیاب است: تحلیل سازوکارها و زمینه‌ها مستلزم فهم نظری قوی از حوزه موضوعی است و ارزیابان کم‌تجربه ممکن است سازوکارها را با توصیف ساده فعالیت‌ها اشتباه بگیرند.

خطر مهم دیگر، تفسیر بیش از حد داده‌هاست. چون تحلیل واقع‌گرایانه تفسیری است، ارزیاب ممکن است الگوهایی را ببیند که در داده‌ها وجود ندارند یا توضیحات رقیب را نادیده بگیرد. همچنین این رویکرد به‌خودی‌خود یک برآوردگر آماری اندازهٔ اثر خالص نیست؛ درون آن می‌توان دادهٔ کمی و برآوردهای مناسب نیز به کار گرفت و اگر هدف اصلی ارزیابی، برآورد کمی اثر خالص باشد، ارزیابی واقع‌گرایانه به تنهایی کافی نیست. در نهایت، چون نتایج ارزیابی واقع‌گرایانه زمینه‌محور هستند، تعمیم یافته‌ها به بسترهای دیگر باید با احتیاط انجام شود.

مقایسه با روش‌های مشابه

ارزیابی واقع‌گرایانه با چند روش مبتنی بر نظریه و تحلیل علّی مشابهت دارد، اما تفاوت‌های مهمی نیز دارد. درک این تفاوت‌ها به انتخاب درست روش برای مسئله ارزیابی کمک می‌کند.

• ارزیابی واقع‌گرا: توضیح اینکه چگونه تعامل زمینه و سازوکار، الگوهای پیامد را برای گروه‌های متفاوت ایجاد می‌کند؛ نیازمند تحلیل نظری و شواهد روشن است.

• تحلیل سهم: بررسی ادعای سهم برنامه در کنار سایر عوامل با نظریهٔ تغییر و شواهد چندگانه؛ درصد سهم را خودکار تعیین نمی‌کند.

• ردیابی فرایند: آزمودن توضیح‌های علّی درون یک یا چند مورد با شواهد زنجیرهٔ فرایند؛ انتخاب و قدرت شواهد اهمیت دارد.

• RCT: می‌تواند اثر تخصیص را با طرح معتبر برآورد کند و با طراحی و توان کافی، ناهمگونی و فرضیه‌های سازوکار را نیز بررسی کند؛ ادعای ناتوانی مطلق آن در این موارد درست نیست.

• QCA: تحلیل روابط مجموعه‌ایِ ترکیب شرایط و پیامد در موارد متعدد؛ کالیبراسیون و انتخاب موارد بر نتیجه اثر دارند.

جمع‌بندی

ارزیابی واقع‌گرایانه روشی قدرتمند برای ارزیابی مداخلات پیچیده است که در آن اثر به سادگی قابل مشاهده یا نسبت‌دهی نیست. این روش با تمرکز بر سازوکارها و زمینه‌ها، به ارزیاب کمک می‌کند نه فقط بفهمد «آیا برنامه اثر دارد»، بلکه «چرا، چگونه و برای چه کسانی» اثر دارد. بیشترین ارزش این روش زمانی آشکار می‌شود که مداخله نتایج ناهمگن دارد، قرار است به بستر جدیدی منتقل شود، یا امکان استفاده از طراحی‌های آزمایشی وجود ندارد.

با این حال، ارزیابی واقع‌گرایانه زمان‌بر، تفسیری و وابسته به مهارت ارزیاب است و نمی‌تواند جایگزین همه روش‌های ارزیابی اثر باشد. هنگام انتخاب این روش، ارزیاب باید به وضوح مشخص کند که آیا سؤال ارزیابی اساساً درباره توضیح و سازوکار است یا درباره برآورد اندازه اثر. اگر هدف، درک چرایی و چگونگی است، ارزیابی واقع‌گرایانه یکی از مناسب‌ترین گزینه‌های موجود است؛ اما اگر هدف اصلی برآورد کمّی اثر خالص باشد، روش‌های دیگری مانند طرح‌های آزمایشی یا شبه‌آزمایشی مناسب‌تر خواهند بود.

منابع روش‌شناختی

• RAMESES II reporting standards for realist evaluations (2016)، BMC Medicine. DOI: 10.1186/s12916-016-0643-1؛ تعریف سازوکار، پیکربندی CMO، شواهد استنباط و گزارش پیامدها.

• The RAMESES II project (2017)، Quality and reporting standards, resources, training materials and information for realist evaluation؛ استانداردهای طراحی، تحلیل بازگشتی و پالایش نظریه.