کارآزمایی تصادفی کنترل‌شده چیست؟ طراحی و محدودیت‌های RCT
کارآزمایی تصادفی کنترل‌شده یا RCT طرحی برای برآورد اثر یک مداخله است که در آن واحدهای مطالعه با یک روش تصادفی به گروه‌های مداخله و مقایسه تخصیص می‌یابند. مقایسهٔ پیامد این گروه‌ها می‌تواند به پاسخ این پرسش کمک کند: تغییر مشاهده‌شده تا چه اندازه به مداخله مربوط است؟ اعتبار پاسخ به طراحی، اجرای تخصیص، اندازه‌گیری پیامد و حفظ مقایسه وابسته است.
تخصیص تصادفی چگونه به مقایسه کمک می‌کند؟
اگر افراد داوطلبانه وارد یک برنامه شوند، ممکن است پیش از شروع با دیگران تفاوت داشته باشند؛ برای مثال، انگیزه یا دسترسی بیشتری داشته باشند. مقایسهٔ سادهٔ شرکت‌کنندگان و دیگران می‌تواند این تفاوت‌ها را با اثر برنامه مخلوط کند. تخصیص تصادفی، احتمال دریافت مداخله را طبق یک قاعدهٔ تصادفی تعیین می‌کند و به کنترل این سوگیری انتخاب کمک می‌کند.
این منطق دربارهٔ میانگینِ تخصیص‌های ممکن است؛ در یک نمونهٔ مشخص، گروه‌ها لزوماً در همهٔ ویژگی‌ها یکسان نیستند. تصادفی‌سازی تضمین نمی‌کند که تفاوت مشاهده‌شده کاملاً از هر خطا یا سوگیری دیگر مصون باشد. در طرح طبقه‌بندی‌شده نیز می‌توان ابتدا گروه‌هایی بر اساس ویژگی‌های از پیش مشخص ساخت و سپس درون هر طبقه تصادفی‌سازی کرد.
گروه مقایسه برآوردی از «وضعیت خلاف واقع» فراهم می‌کند؛ یعنی آنچه بدون مداخلهٔ مورد بررسی رخ می‌داد. این گروه ممکن است خدمت فعلی یا گزینه‌ای دیگر را دریافت کند. «کنترل» همیشه به معنای ندادن هیچ خدمتی نیست.
تخصیص تصادفی با نمونه‌گیری تصادفی فرق دارد
نمونه‌گیری تعیین می‌کند چه کسانی از جامعه وارد مطالعه شوند. تخصیص تعیین می‌کند واحدهای واردشده در مطالعه به کدام گروه بروند. تصادفی بودن تخصیص به‌تنهایی نمونه را نمایندهٔ کل جامعه نمی‌کند. ممکن است RCT در یک سازمان برآورد مناسبی فراهم کند، اما اثر آن در سازمانی با کارکنان، منابع یا شرایط اجرایی متفاوت تغییر کند.
RCT چه پرسشی را پاسخ می‌دهد و چه چیزی را توضیح نمی‌دهد؟
این طرح برای برآورد اثر یک مداخلهٔ مشخص بر پیامدی تعریف‌شده مناسب است. مقایسهٔ صرفِ قبل و بعد، تغییرهای هم‌زمان مانند روند اقتصادی یا برنامه‌های دیگر را از اثر مداخله جدا نمی‌کند. RCT با ایجاد گروه مقایسه از راه تخصیص تصادفی، این مسئله را هدف می‌گیرد.
اما برآورد اثر کلی، به‌تنهایی سازوکار اثر را روشن نمی‌کند. نظریهٔ تغییر مشخص می‌کند فعالیت‌ها از چه مسیر و با چه فرض‌هایی باید به پیامد برسند. داده‌های فرایند، مصاحبه و روش‌هایی مانند تحلیل سهم مداخله یا ردیابی فرایند می‌توانند به بررسی این مسیر و توضیح‌های رقیب کمک کنند. هیچ‌یک صرفاً با اضافه‌شدن به RCT، دلیل قطعیِ رخ‌دادن یا رخ‌ندادن اثر را نشان نمی‌دهند.
پیش از انتخاب RCT چه باید بررسی شود؟
امکان تخصیص: آیا می‌توان پیش از اجرای برنامه، دسترسی یا زمان دریافت آن را به روش تصادفی تعیین کرد؟
اخلاق و حقوق مشارکت‌کنندگان: شیوهٔ مقایسه، خدمت معمول، رضایت و خطرهای احتمالی باید در چارچوب بررسی اخلاقیِ متناسب با مطالعه سنجیده شوند. تصادفی بودن به‌خودی‌خود مجوز محرومیت از خدمت نیست.
توان آماری: حجم نمونه را با توجه به اثر مهم برای تصمیم، پراکندگی پیامد، ساختار طرح و ریزش احتمالی تعیین کنید. یک حد ثابت برای همهٔ RCTها وجود ندارد.
واحد تخصیص: فرد، تیم، کلاس یا شعبه را متناسب با اجرای برنامه و احتمال سرریز انتخاب کنید. تعداد مشاهده‌های فردی، جای تعداد واحدهای مستقل تخصیص را نمی‌گیرد.
تعریف مداخله: روشن کنید چه چیزی، برای چه کسانی و با چه شدتی اجرا می‌شود. تغییرهای برنامه را ثبت کنید تا معلوم باشد برآورد به کدام شکل اجرا مربوط است.
طرح‌های خوشه‌ای، اجرای تدریجی و طرح‌های تطبیقی برای شرایط متفاوت مطرح‌اند. هرکدام طراحی و تحلیل خاص خود را می‌خواهند؛ صرف انتخاب نام یک طرح، مسئلهٔ اخلاق، سرریز یا توان را حل نمی‌کند.
مراحل طراحی و اجرا
پرسش و پیامد اصلی را تعریف کنید: واحد، زمان اندازه‌گیری و تفاوت مهم برای تصمیم را مشخص کنید.
گروه‌ها و قاعدهٔ تخصیص را تعیین کنید: مداخله و گزینهٔ مقایسه باید روشن و تخصیص قابل مستندسازی باشد.
اندازهٔ نمونه و امکان اجرا را بسنجید: منابع گردآوری داده، ساختار خوشه‌ای و تهدیدهای محتمل را در طراحی بیاورید.
تخصیص را اجرا و ثبت کنید: از تغییر دلخواه گروه‌ها پس از تخصیص جلوگیری و انحراف‌های اجرا را مستند کنید.
پیامد را برای هر دو گروه بسنجید: زمان و روش اندازه‌گیری باید قابل مقایسه باشند. دادهٔ پایه نیز می‌تواند برای شناخت نمونه و افزایش دقت مفید باشد.
تحلیل متناسب با طرح انجام دهید: وابستگی درون تیم یا شعبه، طبقه‌بندی و نحوهٔ دریافت واقعی مداخله را در تحلیل درست لحاظ کنید.
اثر و عدم قطعیت را گزارش کنید: برآورد تفاوت، دقت آن، ریزش، عدم تبعیت و سایر محدودیت‌ها را کنار نتیجه بیاورید.
سه تهدید مهم برای اعتبار مقایسه
ریزش و دادهٔ گمشده
اگر بخشی از افراد در اندازه‌گیری نهایی حضور نداشته باشند، باید تعداد و دلایل آن در هر گروه بررسی شود. ریزشِ مرتبط با تخصیص یا پیامد می‌تواند گروه‌های باقی‌مانده را متفاوت کند و برآورد را دچار سوگیری کند. کم‌شدن نمونه نیز ممکن است دقت و توان را کاهش دهد.
عدم تبعیت از تخصیص
ممکن است بعضی افرادِ گروه مداخله در برنامه شرکت نکنند یا گروه مقایسه از راه دیگری به آن دسترسی پیدا کند. مقایسه بر اساس گروه تخصیص اولیه، با مقایسهٔ کسانی که واقعاً خدمت گرفته‌اند یکسان نیست. حذف یا جابه‌جایی افراد بر اساس مشارکت واقعی، می‌تواند مزیت تصادفی‌سازی را از بین ببرد. گزارش باید روشن کند اثرِ چه چیزی و برای چه کسانی برآورد شده است.
سرریز اثر
اگر اعضای گروه مقایسه از تعامل با گروه مداخله تأثیر بگیرند، مقایسهٔ ساده ممکن است بخشی از اثر را نادیده بگیرد یا معنای دیگری پیدا کند. طراحی در سطح خوشه یا سنجش جداگانهٔ سرریز می‌تواند مطرح باشد. وجود سرریز به معنای بی‌فایده بودن همهٔ طرح‌های تصادفی نیست؛ باید در طراحی و تفسیر لحاظ شود.
مثال فرضی: آموزش مدیران و جابه‌جایی کارکنان
فرض کنید سازمانی ۶۰ مدیر را برای بررسی برنامه‌ای شامل سه کارگاه در یک ماه در نظر گرفته است. در طرح آموزشیِ فرضی، مدیران به دو گروه ۳۰نفره تخصیص می‌یابند و پیامد کارکنانِ تیم‌هایشان پس از شش ماه سنجیده می‌شود. پیش از اجرا باید روشن شود گروه مقایسه چه آموزش یا خدمت معمولی دریافت می‌کند و آیا کارکنان میان تیم‌ها جابه‌جا می‌شوند یا مدیران محتوای کارگاه را با هم به اشتراک می‌گذارند.
در اینجا مداخله به مدیر یا تیم تخصیص یافته است؛ کارکنان هر تیم را نمی‌توان صرفاً تعداد زیادی مشاهدهٔ مستقل فرض کرد. نرخ جابه‌جایی نیز باید تعریف و در هر دو گروه به یک روش اندازه‌گیری شود. این تعداد مدیر و این زمان پیگیری، توصیهٔ عمومی برای حجم نمونه یا مدت RCT نیستند.
بدون دادهٔ واقعی، نتیجه یا مقدار p نمی‌سازیم. حتی در اجرای واقعی نیز «معنادار نبودن» تفاوت به‌تنهایی نبود هر اثر مهمی را ثابت نمی‌کند. برای تصمیم توسعهٔ برنامه، اندازهٔ اثر، عدم قطعیت، کیفیت اجرا، هزینه و شرایط سازمان لازم‌اند.
اگر تصادفی‌سازی ممکن نباشد چه کنیم؟
روش جایگزین را باید از قاعدهٔ تخصیص و داده‌های واقعی انتخاب کرد. اگر دریافت برنامه با یک امتیاز و آستانه تعیین می‌شود، روش ناپیوستگی رگرسیون می‌تواند قابل بررسی باشد؛ نتیجهٔ آن معمولاً به نزدیکی آستانه و فرض‌های همان طرح مربوط است. آزمایش طبیعی نیز از تغییر یا رویدادی بیرونی بهره می‌گیرد، اما بیرونی بودن یک رویداد، برون‌زایی و اعتبار مقایسه را خودبه‌خود ثابت نمی‌کند.
اگر دادهٔ پیامد برای گروه مداخله و مقایسه در دوره‌های پیش و پس از اجرا دارید، روش تفاوت در اختلافات می‌تواند یکی از گزینه‌های بررسی باشد؛ اعتبار آن به مفروضاتی مانند روندهای موازی در نبود مداخله وابسته است.
برتری RCT در یک قاعدهٔ روشن برای ساخت مقایسه است. این مزیت را باید در کنار محدودیت تعمیم، هزینه، اخلاق، ریزش، سرریز و تغییرهای اجرا سنجید. گزارش قابل اتکا، هم توضیح می‌دهد برآورد از کجا آمده است و هم روشن می‌کند چه نتیجه‌هایی را نمی‌توان از آن گرفت.
منابع روش
J-PAL، The elements of a randomized evaluation؛ برای اجزای طراحی، توان و تهدیدهای اعتبار درونی.
J-PAL، Randomization، نوشتهٔ Sarah Kopper و Anja Sautmann؛ برای منطق تخصیص، تعادل در انتظار، طبقه‌بندی، واحد تصادفی‌سازی و سرریز.
J-PAL، Sampling؛ برای تفکیک نمونه‌گیری از تخصیص و حدود تعمیم.