روش‌های ترکیب شواهد؛ انتخاب رویکرد متناسب با پرسش
ترکیب شواهد، یافته‌های مرتبط با یک پرسش ارزیابی را کنار هم می‌گذارد و رابطهٔ آن‌ها را تحلیل می‌کند تا نتیجه‌ای یکپارچه و قابل دفاع به دست آید. این کار می‌تواند میان داده‌های چند روش در یک ارزیابی یا میان نتیجه‌های چند مطالعه انجام شود؛ دامنه و واحدِ ترکیب باید از ابتدا روشن باشد.
دو موقعیت متفاوت برای ترکیب شواهد
در یک ارزیابی، ممکن است پیمایش، مصاحبه و داده‌های اداری دربارهٔ جنبه‌های مختلف یک برنامه اطلاعات بدهند. تحلیل باید نشان دهد این یافته‌ها برای پاسخ به سؤال اصلی چگونه به هم مربوط‌اند؛ گزارش سه بخش جداگانه، لزوماً ادغام نیست.
در پژوهش ثانویه، موضوعِ بررسی، مطالعه‌ها و گزارش‌های موجودند. مرورگر با معیارهای مشخص منابع را انتخاب و ارزیابی می‌کند و یافته‌هایشان را ترکیب می‌کند. این مسیر می‌تواند پیش از طراحی برنامه، هنگام بازبینی آن یا پس از اجرای چند ارزیابی به کار آید.
روش را از نوع پرسش انتخاب کنید
چه شواهدی دربارهٔ یک سؤال مشخص داریم؟ مرور نظام‌مند مسیر صریحِ یافتن، ارزیابی و ترکیب منابع را فراهم می‌کند.
تصمیم در مهلت محدود به چه جمع‌بندی‌ای نیاز دارد؟ ارزیابی سریع شواهد می‌تواند با دامنه و محدودیت‌های روشن مناسب باشد؛ هزینهٔ این محدودیت‌ها باید در تفسیر دیده شود.
آیا می‌توان اندازهٔ اثر مطالعه‌های مناسب را آماری ترکیب کرد؟ فراتحلیل به این پرسش می‌پردازد؛ هر مجموعهٔ عددی برای تجمیع مناسب نیست.
مفاهیم و تفسیرهای مطالعه‌های کیفی چگونه با هم ارتباط دارند؟ فراقوم‌نگاری یکی از رویکردهای تفسیری برای این هدف است.
مداخله برای چه کسانی، در چه شرایطی و چگونه کار می‌کند؟ سنتز واقع‌گرایانه به بررسی توضیح‌های وابسته به زمینه کمک می‌کند.
«فراارزیابی» نیز در منابع با دو کاربرد دیده می‌شود: ارزیابی کیفیتِ یک یا چند ارزیابی، و ترکیب یافته‌های چند ارزیابی. برای جلوگیری از ابهام باید روشن کرد کدام معنا مقصود است. فراارزیابی، فراتحلیل و هر نوع مرور پژوهش، نام‌های قابل‌جایگزین برای یک کار واحد نیستند.
توافق و تعارض یافته‌ها را چگونه تفسیر کنیم؟
در یک مثال فرضی، پیمایش رضایت بالای کاربران فعلی را نشان می‌دهد، اما مصاحبه‌ها از دشواری دسترسی گروهی دیگر خبر می‌دهند. این دو یافته لزوماً متناقض نیستند: ممکن است جمعیت و سؤال متفاوت باشد. مشاهدهٔ فرایند خدمت می‌تواند برای بررسی توضیحِ این تفاوت به کار رود؛ نتیجه را نباید پیشاپیش معلوم فرض کرد.
هم‌جهتی چند منبع نیز خودبه‌خود قطعیت را افزایش نمی‌دهد. منابع ممکن است بر یک دادهٔ مشترک تکیه کنند، سوگیری مشابه داشته باشند یا فقط یک گروه را پوشش دهند. باید استقلال داده‌ها، کیفیت روش و تناسب هر شاهد با ادعا بررسی شود.
چک‌لیست پیش از جمع‌بندی
پرسش، واحد تحلیل و معیارهای ورود و خروج منابع روشن است؟
ویژگی‌ها و محدودیت‌های مطالعه‌ها استخراج و ارزیابی شده‌اند؟
روش ترکیب با نوع داده و هدف سؤال سازگار است؟
دلیل تفاوت یا تعارض یافته‌ها بررسی شده و ابهام‌های حل‌نشده گزارش شده‌اند؟
نتیجه با توجه به شرایط اجرا و نیاز تصمیم تفسیر شده است؟
اگر برای روشن‌کردن دامنه یا شناخت زمینه به مشارکت افراد نیاز است، روش‌های مشورتی و مطالعهٔ موردی می‌توانند نقش مکمل داشته باشند. دادهٔ تازه، منطق جداگانهٔ گردآوری و تحلیل می‌خواهد و نباید بی‌توضیح با شواهد مرورشده مخلوط شود.
منابع روش‌شناختی
HM Treasury, The Magenta Book، بخش ترکیب شواهد و پیوست روش‌های تحلیلی. OECD (2023), Evaluation Systems in Development Co-operation 2023، بخش انواع ارزیابی. توضیح روش‌های تخصصی در صفحات مربوط آمده است؛ این راهنمای انتخاب، جای پروتکل اجرای آن روش‌ها را نمی‌گیرد.
