رویکرد آزمایشی یا غیرآزمایشی؛ انتخاب طرح ارزیابی
انتخاب رویکرد آزمایشی یا غیرآزمایشی به پرسش ارزیابی، سازوکار اجرای مداخله و دادهٔ قابل دسترس بستگی دارد. اگر پرسش دربارهٔ اثر باشد، باید وضعیت خلاف‌واقع را به‌طور دفاع‌پذیر برآورد کرد: برای همان جمعیت، در همان دوره و در نبود مداخله چه رخ می‌داد؟ اگر پرسش دربارهٔ چگونگی اجرا، سازوکار تغییر یا تجربهٔ مشارکت‌کنندگان باشد، روش‌های دیگری نیز لازم‌اند. این پرسش‌ها می‌توانند در یک ارزیابی کنار هم قرار گیرند.
نوع پرسش را پیش از نام روش مشخص کنید
ارزیابی فرایند فقط گردآوری داده در آغاز برنامه نیست؛ می‌تواند اجرا، دسترسی، وفاداری به طرح و انطباق در طول برنامه را بررسی کند. ارزیابی اثر به تغییر منتسب به مداخله می‌پردازد. ارزیابی ارزش در برابر منابع نیز رابطهٔ پیامدها با منابع مصرف‌شده و گزینه‌های جایگزین را می‌سنجد و لزوماً همهٔ پیامدها را پولی نمی‌کند.
روش‌های مبتنی بر نظریه و طرح‌های آزمایشی، دو جبههٔ ناسازگار نیستند. نظریهٔ تغییر می‌تواند به تعریف پیامد و سازوکار در یک کارآزمایی کمک کند؛ مطالعهٔ کیفی و ارزیابی فرایند نیز می‌توانند توضیح دهند چرا نتیجه‌ای پدید آمده یا اجرای برنامه در موقعیت‌های مختلف چگونه بوده است.
آزمایش تصادفی چه تفاوتی ایجاد می‌کند؟
در کارآزمایی تصادفی کنترل‌شده، تخصیص به مداخله و مقایسه مطابق سازوکار تصادفی انجام می‌شود. این کار ویژگی‌های پیشینِ شناخته‌شده و ناشناخته را به‌طور میانگین در تخصیص‌های تصادفیِ مکرر متوازن می‌کند؛ تضمین نمی‌کند در هر نمونه همهٔ ویژگی‌ها دقیقاً برابر باشند. نمونه‌گیری تصادفی از جامعه، با تخصیص تصادفیِ واحدهای واردشده به مطالعه یکسان نیست.
برای تفسیر اثر، کیفیت تخصیص، ریزش نمونه، پایبندی، آلودگی گروه مقایسه، سرریز و نحوهٔ تحلیل مهم‌اند. گروه مقایسه جانشینی برای وضعیت خلاف‌واقع است، نه مشاهدهٔ مستقیمِ همان افراد در وضعیتِ بدون مداخله. اختلاف دو میانگین را بدون بررسی طرح و اجرا نمی‌توان همیشه «فقط ناشی از مداخله» دانست.
تصادفی‌سازی ممکن است در سطح فرد، مدرسه، شعبه یا منطقه انجام شود. طرح‌های عاملی، خوشه‌ای، اجرای پلکانی و کارآزمایی‌های چندمرحله‌ای به پرسش‌های متفاوت پاسخ می‌دهند و الزامات نمونه، اجرا و تحلیل یکسانی ندارند.
شبه‌آزمایشی و سایر رویکردهای غیرآزمایشی
در بسیاری از طرح‌های شبه‌آزمایشی، تخصیص تصادفی انجام نشده است، اما از یک قاعده، مقایسه یا ساختار داده برای برآورد اثر استفاده می‌شود. اختلاف در اختلاف‌ها، رگرسیون ناپیوسته و سری زمانی منقطع نمونه‌هایی از راهبردهای متفاوت‌اند. هرکدام مفروضات خاص دارند و صرف افزودن متغیرهای کنترل، همهٔ سوگیری‌های مشاهده‌نشده را رفع نمی‌کند.
عنوان غیرآزمایشی گسترده‌تر است و می‌تواند مطالعهٔ توصیفی، کیفی، مشاهده‌ای یا مبتنی بر نظریه را هم دربرگیرد. همهٔ این مطالعه‌ها ادعای برآورد اثر خالص ندارند. باید خروجی را متناسب با طرح نام‌گذاری کرد: توصیف تغییر، توضیح سازوکار، بررسی سهم مداخله یا برآورد علّیِ مشروط به مفروضات.
چهار دسته عامل در انتخاب طرح
نمودار زیر یادآوری می‌کند که پیامدها فقط از مداخله اثر نمی‌پذیرند؛ روندهای دیگر، هم‌زمانی‌ها، مداخله‌های دیگر و سوگیری انتخاب نیز باید بررسی شوند. تشخیص این عوامل نقطهٔ شروع طراحی مقایسه است.
۱. ویژگی‌های مداخله
آیا اجزای مداخله، گروه هدف، زمان آغاز و شیوهٔ دریافت آن مشخص‌اند؟ آیا امکان تخصیص تصادفی یا اجرای مرحله‌ایِ قابل برنامه‌ریزی وجود دارد؟ آیا محروم‌کردن یا تأخیر در خدمت از نظر اخلاقی و اجرایی قابل دفاع است؟ تغییرپذیری برنامه یا پیچیدگی به‌خودی‌خود آزمایش را ناممکن نمی‌کند، اما نوع پرسش و طراحی مناسب را تغییر می‌دهد.
اگر برنامه در حال شکل‌گیری و تعدیل باشد، باید نسخه‌ها و تغییرات اجرا ثبت شوند. ثابت‌فرض‌کردن مداخله‌ای که در طول مطالعه تغییر کرده، تفسیر اثر را دشوار می‌کند. در مقابل، برای بهینه‌سازی اجزای یک مداخله نیز می‌توان از آزمایش‌های مناسب استفاده کرد.
۲. ویژگی‌های اثر مورد انتظار
اثر چه زمانی ظاهر می‌شود، از چه مسیری و بر کدام پیامد؟ آیا سرریز، تأخیر، اثر ناخواسته یا تفاوت میان زیرگروه‌ها محتمل است؟ اندازهٔ اثر مورد انتظار و پراکندگی پیامد در برنامه‌ریزی توان و دقت اهمیت دارند؛ «بزرگ‌بودن اثر» شرط عمومیِ اعتبار یک کارآزمایی نیست.
طرح‌های آزمایشی و شبه‌آزمایشی به میانگین اثر محدود نیستند. تفاوت اثر میان گروه‌ها می‌تواند بررسی شود، اما به پرسش از پیش مشخص، داده و توان کافی و توجه به آزمون‌های متعدد نیاز دارد. تحلیل پس از مشاهدهٔ نتیجه، با یک آزمون تأییدیِ از پیش برنامه‌ریزی‌شده یکسان نیست.
۳. کیفیت و زمان‌بندی داده
آیا دادهٔ پیش از اجرا، پیامدهای قابل مقایسه و اطلاعات لازم دربارهٔ دریافت مداخله وجود دارد؟ تعاریف شاخص‌ها یا شیوهٔ ثبت تغییر کرده‌اند؟ تعداد زیاد رکورد، ضعف اندازه‌گیری یا نبود دورهٔ مناسب را جبران نمی‌کند. دسترسی قانونی، حفاظت از هویت و امکان پیوند داده نیز باید پیش از انتخاب قطعی روش بررسی شود.
۴. امکان ساختن مقایسهٔ معتبر
گروه مقایسه از کجا می‌آید و چرا می‌تواند دربارهٔ وضعیتِ بدون مداخله اطلاع بدهد؟ خودانتخابی، تفاوت روندها، دست‌کاری آستانه یا سیاست هم‌زمان ممکن است اعتبار را تهدید کنند. نبود گروهِ هم‌زمانِ دریافت‌نکرده همیشه به معنی نبود هر راهبرد اثرسنجی نیست؛ برای نمونه، برخی طرح‌ها از روند زمانی یا ترکیب واحدهای دیگر استفاده می‌کنند، با مفروضات و داده‌های مشخص.
درخت زیر یک راهنمای مقدماتی برای منظم‌کردن پرسش‌هاست. مسیرهای آن را شرط قطعیِ مجاز یا نامجازبودن روش ندانید؛ اندازهٔ اثر، پیچیدگی یا تغییر برنامه به‌تنهایی روش را تعیین نمی‌کنند و قیود توضیح‌داده‌شده در متن اهمیت دارند.
از درخت تصمیم به پروتکل ارزیابی
- جمعیت، مداخله، مقایسه، پیامد و بازهٔ زمانی را تعریف کنید؛ چارچوب PICOT می‌تواند برای منظم‌کردن این اجزا مفید باشد.
- نظریهٔ تغییر و شواهد پیشین را مرور کنید؛ پیامد نزدیک و نهایی را از هم جدا کنید.
- فرصت‌ها و محدودیت‌های واقعی اجرا را با مجری و ذی‌نفعان بررسی کنید.
- طرح‌های شدنی را بر پایهٔ مفروضات، دقت، اخلاق، هزینه و زمان مقایسه کنید.
- تحلیل اصلی، سنجش اجرا، تحلیل حساسیت و حدود تعمیم را تا حد ممکن پیش از مشاهدهٔ نتیجه ثبت کنید.
- اگر شناسایی اثرِ مورد نظر قابل دفاع نیست، پرسش و ادعای گزارش را متناسب کنید؛ ضعف طرح را با نام پیچیدهٔ روش پنهان نکنید.
شکل زیر برخی فرصت‌های طراحی آزمایشی و شبه‌آزمایشی را کنار هم می‌گذارد. وجود یک ویژگی، مانند آستانه یا دادهٔ قبل و بعد، فقط امکان بررسی طرح را مطرح می‌کند؛ اعتبار هر روش به مفروضات و کیفیت اجرای آن وابسته است. استفاده از روش مبتنی بر نظریه نیز به معنی کنارگذاشتن سنجش اثر نیست.
طرح‌های سازگارشونده و چارچوب MOST
در SMART، تخصیص تصادفی در نقاط تصمیم‌گیریِ چندمرحله‌ای به توسعهٔ راهبردهای سازگارشونده کمک می‌کند؛ دریافت مرحلهٔ بعد می‌تواند به پاسخ قبلی وابسته باشد. این طرح با تغییر سلیقه‌ای برنامه در حین مطالعه یکسان نیست. MOST نیز چارچوبی برای آماده‌سازی، بهینه‌سازی و ارزیابی مداخله‌های چندجزئی است و می‌تواند از طرح‌های آزمایشی مختلف استفاده کند؛ خودِ آن یک طرح تخصیص واحد نیست.
این گزینه‌ها به مهارت، داده، ظرفیت اجرا و تحلیل مناسب نیاز دارند. انتخاب طرح پیشرفته فقط به دلیل نام یا تازگی، جای تعریف مسئله و بررسی امکان اجرا را نمی‌گیرد.
برای ادامهٔ طراحی چه بخوانیم؟
در همین مجموعه، ارزیابی خط‌مشی و تعیین محدودهٔ ارزیابی به صورت‌بندی مسئله کمک می‌کنند. برای تشخیص نوع سؤال، انواع ارزیابی و برای مقایسهٔ خانواده‌ها، روش‌های ارزیابی تحلیلی را ببینید.
صفحات روش‌های مبتنی بر نظریه، روش‌های عمومی پژوهش، روش‌های ترکیب شواهد و روش‌های ارزیابی مبتنی بر پول نقش‌های مکمل و متفاوتی دارند؛ انتخاب چند روش باید با برنامهٔ روشنِ ترکیب شواهد همراه باشد.
منابع
HM Treasury، Magenta Book: Central Government Guidance on Evaluation، نسخهٔ جاری ۲۰۲۶، بخش انتخاب رویکرد و امکان‌سنجی؛ Collins، Murphy و Strecher، ۲۰۰۷، The Multiphase Optimization Strategy (MOST) and the Sequential Multiple Assignment Randomized Trial (SMART): New Methods for More Potent eHealth Interventions؛ Collins، Nahum-Shani و Almirall، ۲۰۱۴، Optimization of behavioral dynamic treatment regimens based on the sequential, multiple assignment, randomized trial (SMART). توصیف مرحله‌های کنونی MOST از صورت سه‌مرحله‌ایِ آماده‌سازی، بهینه‌سازی و ارزیابی استفاده می‌کند، نه نام‌های قدیمیِ مرحله‌ها در مقالهٔ ۲۰۰۷.
