روش کنترل ساختگی یا کنترل مصنوعی در ارزیابی مداخلات

مقدمه

در بسیاری از ارزیابی‌ها، به‌ویژه در سطح سیاست‌ها و برنامه‌های کلان، ارزیاب با وضعیتی روبه‌روست که نمی‌تواند یک گروه کنترل واقعی و قابل مقایسه بیابد. برای مثال، وقتی یک سیاست در سطح یک استان یا یک کشور اجرا می‌شود، انتخاب واحد مشابهی که هیچ‌گونه تأثیری از آن سیاست نگرفته باشد، اگر ناممکن نباشد، بسیار دشوار است. روش کنترل مصنوعی یا Synthetic Control Methods دقیقاً برای پاسخ به این مسئله شکل گرفته است: چگونه می‌توان اثر یک مداخله را زمانی برآورد کرد که تنها یک یا تعداد بسیار اندکی واحد مداخله وجود دارد و هیچ گروه کنترلی به‌طور طبیعی در دسترس نیست.

این روش به ارزیاب کمک می‌کند تا به‌جای کنار گذاشتنِ سؤالِ علّی یا اکتفا به مقایسه‌های ساده و گمراه‌کننده، یک «واحد مقایسه‌گر» قابل دفاع بسازد و بر اساس آن درباره سهم مداخله در تغییر مشاهده‌شده استنباط کند.

روش کنترل مصنوعی چیست؟

کنترل مصنوعی یا Synthetic Control Methods یک روش کمی برای برآورد اثر مداخله است که از داده‌های تاریخیِ واحدهای مداخله‌نکرده برای ساختن یک «همتای مصنوعی» از واحد مداخله استفاده می‌کند. این همتای مصنوعی در واقع یک ترکیب وزنی از واحدهای مقایسه‌پذیر است؛ ترکیبی که پیش از اجرای مداخله، تا حد ممکن مسیر واحد مداخله را بازتولید می‌کند.

هدف اصلی این روش آن است که نشان دهد اگر مداخله اجرا نمی‌شد، واحد موردنظر چه مسیری را طی می‌کرد. به بیان دیگر، کنترل مصنوعی تلاشی برای بازسازی «وضعیت خلاف واقع» یا counterfactual است. تفاوت میان مسیر واقعی واحد مداخله و مسیر همتای مصنوعی آن پس از اجرای مداخله، برآوردی از اثر مداخله به دست می‌دهد.

این روش بیشتر برای پاسخ به سؤالاتی از این دست به کار می‌رود: «آیا اجرای این سیاست در این منطقه، پیامد موردنظر را نسبت به حالتی که سیاست اجرا نمی‌شد تغییر داده است؟» شواهد موردنیاز در آن عمدتاً کمّی و به‌صورت سری‌های زمانی طولی هستند که هم برای واحد مداخله و هم برای مجموعه‌ای از واحدهای مداخله‌نکرده در دسترس باشند. خروجی اصلی روش نیز یک مسیر مقایسه‌ای است که واگرایی پس از مداخله را نشان می‌دهد و مبنایی برای استنباط درباره اثر فراهم می‌کند.

این روش چه مسئله‌ای را در ارزیابی حل می‌کند؟

مسئله اصلی که روش کنترل مصنوعی به آن پاسخ می‌دهد، نبودِ یک گروه کنترل مناسب در ارزیابی مداخلات در سطح کلان است. در بسیاری از سیاست‌ها، مداخله به یک واحد مشخص مانند یک استان، یک شهر یا یک کشور محدود می‌شود و ارزیاب نمی‌تواند واحد مشابهی را بیابد که از نظر ویژگی‌های مشاهده‌پذیر و مسیر گذشته با واحد مداخله قابل مقایسه باشد. مقایسه ساده با میانگین سایر واحدها نیز معمولاً گمراه‌کننده است، زیرا آن واحدها ممکن است از ابتدا تفاوت‌های ساختاری مهمی با واحد مداخله داشته باشند.

در چنین شرایطی، نسبت دادن تغییر مشاهده‌شده به مداخله دشوار می‌شود. روش کنترل مصنوعی با ساختن ترکیبی بهینه از واحدهای دیگر، تلاش می‌کند همین مشکل را کاهش دهد. به این ترتیب، ارزیاب می‌تواند به‌جای مقایسه با یک واحد دلخواه یا یک میانگین ساده، مسیر واحد مداخله را با مسیری مقایسه کند که به‌طور نظام‌مند برای بازتولید دوره پیش از مداخله ساخته شده است. این روش به‌ویژه وقتی مفید است که مداخله در سطحی رخ داده باشد که امکان اجرای آزمایش تصادفی وجود ندارد و داده‌های طولی قابل اتکا برای واحدهای متعدد در دسترس است.

چه زمانی از روش کنترل مصنوعی استفاده کنیم؟

روش کنترل مصنوعی برای همه انواع ارزیابی مناسب نیست. استفاده از آن زمانی منطقی است که چند شرط اساسی برقرار باشد. نخست، واحد مداخله بسیار محدود باشد؛ مثلاً یک منطقه، یک استان یا یک کشور که مداخله در آن اجرا شده و امکان تشکیل گروه کنترل تصادفی وجود ندارد. دوم، داده‌های تاریخی کافی برای واحد مداخله و مجموعه‌ای از واحدهای مداخله‌نکرده در دسترس باشد؛ داده‌هایی که بتوان بر اساس آن‌ها پیش از مداخله، یک ترکیب وزنی قابل قبول ساخت. سوم، مسئله ارزیابی اساساً از جنس برآورد اثر یک مداخله مشخص بر یک پیامد قابل اندازه‌گیری باشد، نه صرفاً توصیف فرایند اجرا یا کشف سازوکارهای کیفی.

این روش به‌ویژه برای ارزیابی سیاست‌های منطقه‌ای، برنامه‌های اقتصادی محلی، تغییرات قانونی یا مداخلات بهداشتی و اجتماعی که در یک واحد مشخص اجرا شده‌اند، مناسب است. هرچه شباهت واحد مداخله به مجموعه واحدهای اهداکننده در دوره پیش از مداخله بیشتر باشد و هرچه دوره زمانی پیش از مداخله طولانی‌تر باشد، امکان ساختن همتای مصنوعی معتبرتر فراهم می‌شود.

ارتباط روش کنترل مصنوعی با نظریه تغییر

روش کنترل مصنوعی ذاتاً یک روش مبتنی بر نظریه تغییر نیست، اما در یک ارزیابی مبتنی بر نظریه می‌تواند نقش مکمل مهمی ایفا کند. نظریه تغییر مشخص می‌کند که مداخله از چه مسیرهایی قرار است به پیامد نهایی منجر شود و چه تغییراتی در کوتاه‌مدت و میان‌مدت باید مشاهده شوند. روش کنترل مصنوعی می‌تواند به ارزیاب کمک کند تا بررسی کند آیا در سطح کلان، واگرایی میان واحد مداخله و همتای مصنوعی آن با مسیرهای مفروض در نظریه تغییر سازگار است یا نه.

البته این روش به‌تنهایی سازوکارهای علّی را آشکار نمی‌کند. اگر پس از مداخله واگرایی مشاهده شود، این واگرایی می‌تواند شواهدی برای اثر مداخله فراهم کند، اما توضیح نمی‌دهد که این اثر از طریق چه سازوکاری رخ داده است. به همین دلیل، ترکیب کنترل مصنوعی با روش‌هایی مانند تحلیل سازوکار یا بررسی‌های کیفی می‌تواند تصویر کامل‌تری از مداخله به دست دهد. کنترل مصنوعی می‌تواند سؤال «آیا تغییری رخ داده است؟» را پاسخ دهد، در حالی که نظریه تغییر به سؤال «چرا و چگونه این تغییر رخ داده است؟» می‌پردازد.

چگونه از روش کنترل مصنوعی استفاده کنیم؟

کاربرد روش کنترل مصنوعی معمولاً شامل چند گام اصلی است. نخستین گام، تعریف دقیق سؤال ارزیابی و مشخص کردن واحد مداخله، پیامد موردنظر و زمان اجرای مداخله است. بدون این تعریف، ساختن همتای مصنوعی جهت‌گیری روشنی نخواهد داشت.

در گام دوم، مجموعه‌ای از واحدهای مداخله‌نکرده انتخاب می‌شوند که می‌توانند به‌عنوان اهداکنندگان بالقوه در ساخت همتای مصنوعی مشارکت کنند. این واحدها باید از نظر ساختاری به واحد مداخله نزدیک باشند و داده‌های آن‌ها برای دوره پیش از مداخله در دسترس باشد.

گام سوم، تعیین وزن هر یک از واحدهای اهداکننده است. این وزن‌ها به گونه‌ای انتخاب می‌شوند که ترکیب وزنی حاصل، مسیر واحد مداخله را در دوره پیش از مداخله تا حد ممکن بازتولید کند. این کار معمولاً با استفاده از الگوریتم‌های بهینه‌سازی انجام می‌شود.

پس از ساخته شدن همتای مصنوعی، گام چهارم مقایسه مسیر واقعی واحد مداخله با مسیر همتای مصنوعی در دوره پس از مداخله است. واگرایی میان این دو مسیر، مبنای استنباط درباره اثر مداخله قرار می‌گیرد. در گام پایانی، باید این واگرایی در برابر توضیحات رقیب و عوامل مخدوش‌کننده سنجیده شود تا از استنباط‌های شتابزده جلوگیری شود.

شواهد موردنیاز در روش کنترل مصنوعی

شواهد اصلی در این روش، داده‌های کمّی طولی هستند که روند پیامد را در طول زمان نشان می‌دهند. برای ساختن همتای مصنوعی معتبر، به داده‌های مربوط به واحد مداخله و واحدهای اهداکننده در دوره پیش از مداخله نیاز است. هرچه این دوره طولانی‌تر باشد، امکان اعتبارسنجی همتای مصنوعی بیشتر می‌شود.

کیفیت شواهد تأثیر مستقیمی بر اعتبار نتایج دارد. اگر داده‌ها ناقص باشند، یا واحدهای اهداکننده شباهت کافی به واحد مداخله نداشته باشند، همتای مصنوعی ساخته‌شده نمی‌تواند بازنمایی قابل قبولی از وضعیت خلاف واقع ارائه دهد. همچنین باید توجه داشت که این روش عمدتاً به شواهد کمّی متکی است و برای مسائلی که پیامد آن‌ها به‌سختی قابل اندازه‌گیری کمّی است، کاربرد محدودی دارد. شواهد متناقض، مانند واگرایی‌هایی که پیش از مداخله نیز وجود داشته‌اند یا تغییرات هم‌زمان در سایر واحدها، باید به‌دقت بررسی شوند تا نتیجه ارزیابی تحت تأثیر آن‌ها قرار نگیرد.

مثال کاربردی

فرض کنید یک استان، برنامه‌ای ویژه برای کاهش مصرف سیگار اجرا می‌کند. ارزیاب می‌خواهد بداند آیا این برنامه واقعاً توانسته است مصرف سیگار را نسبت به حالتی که برنامه اجرا نمی‌شد کاهش دهد. از آنجا که برنامه در سطح استان اجرا شده، گروه کنترل طبیعی وجود ندارد و مقایسه ساده با میانگین کشوری نیز می‌تواند گمراه‌کننده باشد.

در این مثال فرضی، ارزیاب از روش کنترل مصنوعی استفاده می‌کند. او داده‌های فروش سرانه سیگار را برای استان موردنظر و چندین استان دیگر که برنامه مشابهی اجرا نکرده‌اند، در یک دوره چندساله پیش از اجرای برنامه گردآوری می‌کند. سپس با تعیین وزن‌های مناسب، ترکیبی از استان‌های دیگر می‌سازد که روند فروش سیگار در استان موردنظر را در دوره پیش از برنامه به‌خوبی بازتولید می‌کند. این ترکیب، همتای مصنوعی استان است.

پس از اجرای برنامه، ارزیاب مسیر واقعی فروش سیگار در استان را با مسیر همتای مصنوعی مقایسه می‌کند. اگر فروش در استان موردنظر سریع‌تر از همتای مصنوعی کاهش یافته باشد، این واگرایی می‌تواند شاهدی برای اثر برنامه باشد. اما پیش از نتیجه‌گیری، ارزیاب باید بررسی کند که آیا عوامل دیگری مانند تغییرات اقتصادی یا کمپین‌های سراسری هم‌زمان می‌توانند این واگرایی را توضیح دهند. این مثال نشان می‌دهد که روش کنترل مصنوعی چگونه می‌تواند به‌جای مقایسه‌های ساده، یک واحد مقایسه‌گر نظام‌مند فراهم کند.

جدول مسئله → تصمیم

مزایای روش کنترل مصنوعی

مزیت اصلی این روش آن است که در شرایط نبود گروه کنترل طبیعی، یک واحد مقایسه‌گر شفاف و قابل بازبینی ایجاد می‌کند. برخلاف مقایسه با یک واحد منفرد یا میانگین ساده، کنترل مصنوعی وزن واحدهای اهداکننده را به‌صورت داده‌محور تعیین می‌کند و به همین دلیل معمولاً مقایسه‌پذیری بهتری فراهم می‌آورد.

این روش همچنین برای ارزیابی مداخلاتی که در سطح مناطق یا سیاست‌های کلان اجرا می‌شوند بسیار مناسب است؛ جایی که داده‌های ثانویه فراوانی در دسترس است و اجرای آزمایش تصادفی ممکن نیست. افزون بر این، نتایج کنترل مصنوعی را می‌توان به‌صورت بصری و در قالب نمودارهای روند ارائه کرد که ارتباط یافته را برای تصمیم‌گیران ملموس‌تر می‌کند.

محدودیت‌ها و خطاهای رایج

روش کنترل مصنوعی به فرض‌های مهمی وابسته است. یکی از مهم‌ترین آن‌ها این است که رابطه میان واحد مداخله و واحدهای اهداکننده در دوره پیش از مداخله، در نبود مداخله در دوره پس از آن نیز برقرار می‌ماند. اگر این فرض نقض شود، برآورد اثر دچار اریب می‌شود.

این روش تنها زمانی قابل اجراست که داده‌های تاریخی کافی برای ساختن همتای مصنوعی در دسترس باشد. اگر دوره پیش از مداخله کوتاه باشد یا داده‌های واحدهای اهداکننده ناقص باشند، اعتبار همتای مصنوعی کاهش می‌یابد. همچنین تفسیر واگرایی پس از مداخله می‌تواند تحت تأثیر قضاوت ارزیاب قرار گیرد؛ به‌ویژه اگر واگرایی تدریجی یا کوچک باشد. وجود شوک‌های هم‌زمان، سیاست‌های مکمل یا تغییرات ساختاری دیگر نیز می‌تواند واگرایی را توضیح دهد و اگر به آن‌ها توجه نشود، نتیجه ارزیابی گمراه‌کننده خواهد بود. در نهایت، این روش برای مداخلاتی که اثر آن‌ها از طریق سازوکارهای کیفی پیچیده و غیرقابل اندازه‌گیری کمّی منتقل می‌شود، کافی نیست.

مقایسه با روش‌های مشابه

کنترل مصنوعی را نباید با روش‌های مبتنی بر نظریه مانند تحلیل سهم یا ردیابی فرایند یکسان انگاشت. روش کنترل مصنوعی در درجه اول یک ابزار کمّی برای برآورد اثر با استفاده از داده‌های مشاهده‌ای است، نه روشی برای کشف سازوکار. با این حال، می‌توان آن را در کنار این روش‌ها به کار برد تا هم شواهدی درباره وجود اثر و هم تبیینی از چگونگی آن فراهم شود.

جمع‌بندی

روش کنترل مصنوعی یکی از ابزارهای مفید برای ارزیابی مداخلاتی است که در سطح واحدهای کلان اجرا می‌شوند و گروه کنترل طبیعی برای آن‌ها وجود ندارد. این روش با ساختن یک همتای مصنوعی از ترکیب وزنی واحدهای مداخله‌نکرده، به ارزیاب امکان می‌دهد تا استنباطی نظام‌مندتر درباره اثر مداخله ارائه کند.

با این حال، کنترل مصنوعی یک راه‌حل قطعی و بی‌خطا نیست. اعتبار نتایج آن به کیفیت داده‌ها، طول دوره پیش از مداخله، شباهت واحدهای اهداکننده و بررسی دقیق توضیحات رقیب بستگی دارد. ارزیاب هنگام انتخاب این روش باید از محدودیت‌های آن آگاه باشد و در صورت نیاز، آن را با روش‌های مکمل برای درک سازوکارهای اثر ترکیب کند.