تطبیق امتیاز گرایش (PSM)

مقدمه

یکی از دشوارترین مسائل در ارزیابی مداخلات، پاسخ به این پرسش است که «اگر این مداخله اجرا نمی‌شد، چه اتفاقی می‌افتاد؟» ارزیاب برای پاسخ به این پرسش به یک گروه مقایسه نیاز دارد؛ گروهی که تا حد ممکن شبیه گروه مداخله باشد، با این تفاوت که مداخله را دریافت نکرده است. در شرایط ایده‌آل، کارآزمایی تصادفی‌سازی‌شده (RCT) این گروه را ایجاد می‌کند؛ اما در بسیاری از مداخلات اجتماعی، سیاستی و سازمانی، تصادفی‌سازی ممکن نیست، غیراخلاقی است یا هزینه آن توجیه‌پذیر نیست. در چنین شرایطی، ارزیاب با داده‌های مشاهده‌ای روبه‌روست و باید برای مقایسه، گروهی بسازد که از نظر ویژگی‌های مرتبط با نتیجه، با گروه مداخله قابل مقایسه باشد. روش تطبیق امتیاز گرایش (Propensity Score Matching یا PSM) یکی از پرکاربردترین ابزارها برای همین منظور است.

این مقاله به معرفی روش تطبیق امتیاز گرایش، منطق زیربنایی آن، شرایط استفاده، مراحل اجرا، مزایا و محدودیت‌های آن می‌پردازد.

روش تطبیق امتیاز گرایش (PSM) چیست؟

تطبیق امتیاز گرایش یک تکنیک آماری شبه‌آزمایشی است که به ارزیاب امکان می‌دهد برای تخمین اثر یک مداخله، یک گروه مقایسه یا کنترل بسازد. این کار با تطبیق هر واحد دریافت‌کننده مداخله با یک یا چند واحد غیردریافت‌کننده بر اساس «امتیاز گرایش» انجام می‌شود. امتیاز گرایش، احتمال دریافت مداخله برای هر فرد یا واحد است که با استفاده از ویژگی‌های قابل مشاهده پیش از مداخله برآورد می‌شود و مقداری بین صفر و یک دارد.

هدف اصلی PSM کاهش تورش انتخاب در داده‌های مشاهده‌ای است. تورش انتخاب زمانی رخ می‌دهد که افرادی که مداخله را دریافت می‌کنند، از ابتدا با افرادی که آن را دریافت نمی‌کنند تفاوت‌های نظام‌مندی داشته باشند؛ تفاوت‌هایی که هم بر احتمال دریافت مداخله و هم بر پیامد اثر می‌گذارند. اگر این تفاوت‌ها نادیده گرفته شوند، مقایسه ساده میان دو گروه، اثر مداخله را به‌درستی برآورد نخواهد کرد. PSM با ایجاد گروهی که از نظر این ویژگی‌های قابل مشاهده مشابه گروه مداخله است، تلاش می‌کند این تورش را کاهش دهد.

تطبیق مرحلهٔ طراحی گروه‌های مقایسه است؛ پس از آن، تحلیل پیامد می‌تواند برآورد اثر هدف را ارائه کند، از جمله «اثر متوسط مداخله بر افراد مداخله‌دیده» که در ادبیات آماری با عنوان Average Treatment Effect on the Treated یا ATT شناخته می‌شود.

این روش چه مسئله‌ای را در ارزیابی حل می‌کند؟

مسئله اصلی که PSM به آن پاسخ می‌دهد این است: در نبودِ تصادفی‌سازی، چگونه می‌توان گروهی ساخت که مقایسه با آن، برآوردی معتبر از اثر مداخله ارائه دهد؟

در ارزیابی مداخلاتی که مشارکت در آن‌ها داوطلبانه است، مبتنی بر نیازسنجی است یا از سوی مدیران و سیاست‌گذاران به گروه‌های خاصی اختصاص داده می‌شود، انتخاب افراد با فرایندی غیرتصادفی انجام می‌شود. برای مثال، افرادی که در یک دوره آموزشی اشتغال شرکت می‌کنند احتمالاً از ابتدا انگیزه بالاتری برای یافتن شغل دارند، وضعیت اقتصادی متفاوتی دارند یا در بازار کار فعال‌ترند. اگر پیامد این افراد را با افرادی مقایسه کنیم که در دوره شرکت نکرده‌اند، بخشی از تفاوت مشاهده‌شده به همین ویژگی‌های اولیه برمی‌گردد، نه به خود دوره آموزشی.

PSM این مسئله را با «متعادل‌سازی» ویژگی‌های قابل مشاهده میان دو گروه مدیریت می‌کند. به بیان دیگر، به‌جای مقایسه همه دریافت‌کنندگان با همه غیردریافت‌کنندگان، افرادی با امتیاز برآوردشدهٔ نزدیک مقایسه می‌شوند. خاصیت توازن دربارهٔ امتیاز حقیقی و توزیع ویژگی‌هاست؛ نزدیک‌بودن امتیاز برآوردشده، شباهت هر جفت یا توازن نمونه را تضمین نمی‌کند. توازن واقعی باید بررسی شود و تفسیر علّی به مفروضات شناسایی وابسته است.

البته باید توجه داشت که PSM برای کاهش عدم‌توازنِ ویژگی‌های مشاهده‌شده به کار می‌رود و موفقیت آن باید بررسی شود. اگر متغیرهای مشاهده‌نشده‌ای وجود داشته باشند که هم بر مشارکت و هم بر پیامد اثر می‌گذارند، نتایج همچنان می‌تواند دارای تورش باشد.

چه زمانی از روش تطبیق امتیاز استفاده کنیم؟

تعریف مداخله، زمان شروع و پیامد باید در دو گروه سازگار باشد و اثرگذاری دریافت مداخلهٔ یک فرد بر پیامد فرد دیگر نیز بررسی شود. همپوشانی و نبود مخدوش‌گری اندازه‌گیری‌نشده، همراه با این تعریف‌های روشن، مبنای تفسیر علّی‌اند.

PSM زمانی مناسب است که ارزیاب با داده‌های مشاهده‌ای روبه‌روست و امکان اجرای کارآزمایی تصادفی وجود ندارد یا اجرای آن به دلایل اخلاقی، اجرایی یا مالی مطلوب نیست. شرایط زیر استفاده از PSM را منطقی می‌کند:

  • نبود امکان تصادفی‌سازی: مداخله قبلاً اجرا شده است یا تخصیص تصادفی از نظر اجرایی یا اخلاقی ممکن نیست.
  • داده‌های پیش از مداخله در دسترس است: برای برآورد امتیاز گرایش و انجام تطبیق، داده‌های مربوط به ویژگی‌های اولیه هر دو گروه باید موجود باشد.
  • همپوشانی کافی میان دو گروه: باید تعداد کافی از واحدهای دریافت‌کننده و غیردریافت‌کننده با امتیازهای گرایش مشابه وجود داشته باشد تا تطبیق معنادار باشد (وجود ناحیه حمایت مشترک).
  • نبود مخدوش‌گری اندازه‌گیری‌نشده مشروط به ویژگی‌ها قابل دفاع است: پس از شرط‌کردن بر ویژگی‌های انتخاب‌شده، تخصیص باید از پیامدهای بالقوه مستقل باشد. صرف داشتن دادهٔ زیاد یا توصیف «عمدتاً مشاهده‌شده» این فرض را برقرار نمی‌کند.
  • حجم داده کافی: برای پشتیبانی از برآورد مدل امتیاز گرایش و انجام تطبیق باکیفیت، به تعداد مناسبی از مشاهدات در هر دو گروه نیاز است.
  • ویژگی‌های استفاده‌شده ثابت در زمان یا پیش از مداخله: متغیرهایی که خودشان از مداخله تأثیر می‌پذیرند، نمی‌توانند مبنای تطبیق قرار گیرند.

ارتباط روش تطبیق امتیاز با نظریه تغییر

مهم است میان نقش PSM و نقش نظریه تغییر در ارزیابی تمایز قائل شویم. PSM یک روش «برآورد اثر» است، نه یک «چارچوب ارزیابی مبتنی بر نظریه». نظریه تغییر، مسیر منطقی از مداخله به پیامد را ترسیم می‌کند و مشخص می‌سازد تغییرات در چه مراحلی، از طریق چه سازوکارهایی و با چه فروضی انتظار می‌رود رخ دهد. PSM مستقیماً به این سازوکارها نمی‌پردازد؛ بلکه به طراحی گروه‌های مقایسه برای برآورد اندازهٔ اختلاف پیامد و عدم‌قطعیت آن کمک می‌کند.

با این حال، این دو می‌توانند مکمل یکدیگر باشند. نظریه تغییر به ارزیاب کمک می‌کند تشخیص دهد کدام متغیرها باید در مدل امتیاز گرایش وارد شوند، کدام پیامدها ارزش اندازه‌گیری دارند و چه عواملی ممکن است مسیر اثرگذاری را مخدوش کنند. به بیان دیگر، نظریه تغییر می‌تواند انتخاب متغیرهای تطبیق و تفسیر نتایج PSM را هدایت کند. بدون یک مدل نظری از چگونگی اثرگذاری، خطر آن وجود دارد که متغیرهای کلیدی از مدل امتیاز گرایش حذف شوند و نتایج گمراه‌کننده باشد. از سوی دیگر، PSM نمی‌تواند جایگزین تحلیل سازوکار شود؛ حتی اگر اثر معنادار برآورد شود، این به‌تنهایی توضیح نمی‌دهد چرا و چگونه مداخله اثر کرده است.

بنابراین، ترکیب PSM با یک چارچوب نظریه تغییر می‌تواند قدرت تحلیلی ارزیابی را افزایش دهد: نظریه تغییر برای تعیین «چه چیزی باید اندازه‌گیری شود و چرا» و PSM برای «مقایسه معتبر پیامدها میان گروه‌های مشابه». اما این روش از نظر ماهیت، یک روش شبه‌آزمایشی است، نه یک روش ارزیابی نظریه‌محور.

چگونه از روش تطبیق امتیاز استفاده کنیم؟

اجرای PSM در عمل شامل چند مرحله مشخص است که باید به‌دقت دنبال شوند:

  1. تعریف سؤال ارزیابی و مشخص‌کردن گروه‌ها: مشخص کنید چه مداخله‌ای ارزیابی می‌شود، چه کسانی گروه مداخله را تشکیل می‌دهند، چه کسانی گروه مقایسه بالقوه هستند و پیامد مورد نظر چیست.
  2. گردآوری داده‌های پیش از مداخله: داده‌های مربوط به ویژگی‌های اولیه هر دو گروه را از منابع قابل اتکا جمع‌آوری کنید. این داده‌ها باید پیش از اجرای مداخله اندازه‌گیری شده باشند یا از نظر زمانی ثابت باشند.
  3. برآورد امتیاز گرایش: با استفاده از مدل‌های آماری مانند رگرسیون لاجیت (Logit) یا پروبیت (Probit)، احتمال دریافت مداخله را برای هر واحد بر اساس ویژگی‌های قابل مشاهده برآورد کنید. خروجی این مرحله، یک امتیاز بین صفر و یک برای هر فرد است.
  4. بررسی ناحیه حمایت مشترک: توزیع امتیازهای گرایش را در دو گروه مقایسه کنید و مطمئن شوید همپوشانی کافی برای تطبیق وجود دارد. مشاهداتی که خارج از محدوده همپوشانی قرار دارند، معمولاً از تحلیل کنار گذاشته می‌شوند.
  5. انجام تطبیق: هر واحد دریافت‌کننده مداخله را با یک یا چند واحد غیردریافت‌کننده که نزدیک‌ترین امتیاز گرایش را دارند، تطبیق دهید. روش‌های مختلفی برای تطبیق وجود دارد، از جمله تطبیق نزدیک‌ترین همسایه، تطبیق شعاعی و تطبیق هسته‌ای.
  6. بررسی توازن متغیرها: پس از تطبیق، بررسی کنید که متغیرهای استفاده‌شده میان دو گروه متعادل شده باشند. اگر تفاوت‌های نظام‌مندی باقی مانده باشد، ممکن است لازم باشد مدل امتیاز گرایش اصلاح شود یا روش تطبیق تغییر کند.
  7. برآورد اثر مداخله: پیامد دو گروه تطبیق‌شده را مقایسه کنید. با وزن‌دهی و تحلیل متناسب با طرح تطبیق، اختلاف پیامد و فاصلهٔ اطمینان برآورد شوند. اگر دریافت‌کنندگان بدون همتا حذف شده‌اند، هدف لزوماً ATT کل دریافت‌کنندگان نیست؛ جمعیت باقی‌مانده و تغییر هدف گزارش شود.
  8. تحلیل حساسیت: بررسی کنید نتایج تا چه اندازه نسبت به ویژگی‌های مشاهده‌نشده حساس هستند. تحلیل حساسیت کمک می‌کند مشخص شود اگر یک متغیر مخدوش‌کننده مشاهده‌نشده وجود داشته باشد، نتایج چگونه تغییر می‌کند.
  9. تفسیر نتایج و گزارش‌دهی: یافته‌ها را با توجه به محدودیت‌های روش، از جمله عدم امکان کنترل کامل متغیرهای مشاهده‌نشده، تفسیر کنید و در گزارش ارزیابی به‌صراحت بیان کنید.

توازن، انتخاب متغیر و عدم‌قطعیت

توازن را با تفاوت‌های استانداردشده و نمودار توزیع ویژگی‌ها پیش و پس از تطبیق بررسی کنید؛ p بزرگِ آزمون تفاوت، شاهد کافیِ توازن نیست. متغیرها با دانش موضوع و منطق علّی انتخاب شوند، نه برای ایجاد نتیجهٔ مطلوب. نسبت تطبیق، حدود فاصله و استفادهٔ دوباره از کنترل‌ها ثبت شوند؛ تحلیل پیامد و خطای معیار باید با همین طرح سازگار باشد.

PSM همیشه عدم‌توازن را کاهش نمی‌دهد؛ حذف نامناسب مشاهدات حتی می‌تواند آن را بیشتر کند. اگر توازن حاصل نشد، روش تطبیق یا دادهٔ مناسب‌تری بررسی کنید. وزن‌دهی با امتیاز گرایش و طبقه‌بندی، کاربردهای دیگری‌اند و خودِ PSM نیستند.

شواهد موردنیاز

کیفیت نتایج PSM به‌شدت به کیفیت و غنای داده‌های ورودی بستگی دارد. شواهد مورد نیاز این روش عمدتاً از نوع داده‌های کمّی مربوط به ویژگی‌های پیش از مداخله است.

داده‌های لازم شامل ویژگی‌های جمعیت‌شناختی، وضعیت اقتصادی-اجتماعی، سوابق مرتبط با حوزه مداخله، شاخص‌های پیش از مداخله از پیامد مورد نظر و هر متغیر دیگری است که احتمالاً هم بر مشارکت در مداخله و هم بر پیامد اثر می‌گذارد. طراحی تطبیق، انتخاب مدل و تعیین نمونه نباید با مشاهدهٔ پیامد پس از مداخله تنظیم شوند. این داده‌ها باید پیش از اجرای مداخله گردآوری شده باشند یا از نظر زمانی ثابت باشند، زیرا ویژگی‌های پس از مداخله ممکن است خودشان تحت تأثیر مداخله قرار گرفته باشند و استفاده از آن‌ها منطق تطبیق را مخدوش می‌کند.

یک الزام مهم، قابل مقایسه بودن داده‌های دو گروه است. اگر داده‌ها از دو منبع مختلف به دست می‌آیند، باید اطمینان حاصل شود که تعریف‌ها، ابزارهای اندازه‌گیری و دوره زمانی گردآوری یکسان بوده‌اند. در غیر این صورت، تفاوت‌های مشاهده‌شده ممکن است ناشی از ناسازگاری داده‌ها باشد، نه اثر واقعی مداخله.

روایت‌های کیفیِ تفسیرنشده ورودی مستقیم مدل احتمال نیستند؛ اما متغیرهای طبقه‌ایِ معتبر می‌توانند کدگذاری و وارد مدل شوند. شواهد کیفی می‌توانند در تشخیص متغیرهای مهم برای ورود به مدل امتیاز گرایش و تفسیر نتایج نقش مکمل داشته باشند.

مثال کاربردی

برای روشن‌شدن منطق PSM، یک مثال فرضی در حوزه سیاست‌گذاری عمومی ارائه می‌شود.

فرض کنید یک سازمان دولتی برنامه‌ای برای آموزش مهارت‌های دیجیتال به کارجویان اجرا کرده است و می‌خواهد بداند آیا این برنامه بر یافتن شغل در شش ماه پس از پایان دوره اثر داشته است یا خیر. امکان تصادفی‌سازی وجود نداشته است؛ شرکت در دوره داوطلبانه بوده و ممکن است انگیزه یا سایر ویژگی‌های ثبت‌نام‌کنندگان با دیگران تفاوت داشته باشد.

مقایسهٔ سادهٔ نرخ اشتغال می‌تواند تفاوت‌های اولیه را با اثر دوره درهم بیامیزد؛ جهت سوگیری بدون مفروضات بیشتر معلوم نیست. ارزیاب بررسی می‌کند آیا داده‌ها و مفروضات برای استفاده از PSM مناسب‌اند.

ابتدا داده‌های پیش از مداخله شامل سن، جنسیت، سطح تحصیلات، سابقه کار، وضعیت اشتغال قبلی و انگیزه سنجیده‌شده را برای هر دو گروه گردآوری می‌کند. سپس با استفاده از مدل لاجیت، امتیاز گرایش هر فرد را — یعنی احتمال شرکت در دوره — برآورد می‌کند. در مرحله تطبیق، هر شرکت‌کننده با یک غیرشرکت‌کننده که امتیاز گرایش مشابهی دارد، جفت می‌شود. پس از تطبیق، باید توازن ویژگی‌های اولیه بررسی و گزارش شود؛ دستیابی به آن خودکار نیست.

سپس نرخ اشتغال شش ماه پس از پایان دوره را میان دو گروه تطبیق‌شده مقایسه می‌کند. اندازهٔ اختلاف نرخ و فاصلهٔ اطمینان باید همراه با مفروضات گزارش شود؛ معناداری به‌تنهایی مجوز انتساب به دوره نیست. این مثال فرضی داده یا نتیجهٔ برآوردشده ندارد. در پایان، تحلیل حساسیت انجام می‌شود تا مشخص شود اگر متغیرهایی مانند انگیزه درونی به‌طور کامل اندازه‌گیری نشده باشد، نتیجه تا چه اندازه می‌تواند تغییر کند.

نتیجه ارزیابی به تصمیم‌گیرندگان کمک می‌کند تصمیم بگیرند آیا این برنامه ارزش ادامه سرمایه‌گذاری را دارد و در صورت ادامه، طراحی آن چگونه باید اصلاح شود.

جدول مسئله → تصمیم

مسئله ارزیابی سؤال اصلی PSM چه کمکی می‌کند؟ چه نوع شواهدی لازم است؟ تصمیم/نتیجه
تورش انتخاب در مشارکت داوطلبانه آیا تفاوت پیامد میان دو گروه به مداخله مربوط است یا تفاوت‌های اولیه؟ ایجاد گروه مقایسه همسان‌شده بر اساس ویژگی‌های قابل مشاهده داده‌های کمی پیش از مداخله برای هر دو گروه برآورد اثر با کنترل متغیرهای مشاهده‌شده
نبود امکان تصادفی‌سازی چگونه بدون RCT اثر مداخله را برآورد کنیم؟ ارائه جایگزین شبه‌آزمایشی برای برآورد اثر متغیرهای تعیین‌کننده مشارکت و پیامد تصمیم‌گیری درباره ادامه یا اصلاح مداخله بر اساس نتایج
نگرانی درباره اثر متغیرهای مشاهده‌نشده نتایج تا چه اندازه قابل اعتماد است؟ امکان تحلیل حساسیت برای سنجش استحکام نتایج داده‌های غنی و فرض‌های نظری از متغیرهای احتمالی حذف‌شده سطح اعتماد به نتایج و دامنه کاربرد آن‌ها

مزایای روش تطبیق امتیاز

مزایای PSM را باید در چارچوب شرایطی دید که این روش برای آن طراحی شده است؛ یعنی ارزیابی با داده‌های مشاهده‌ای در نبود تصادفی‌سازی.

  • امکان برآورد اثر بدون کارآزمایی تصادفی: PSM در شرایطی که RCT ممکن یا مطلوب نیست، راهی برای برآورد اثر ارائه می‌دهد.
  • امکان تعریف اثر هدف: در تطبیق رایج، ATT هدف است؛ اما نبود همتا و حذف دریافت‌کنندگان می‌تواند هدف را به زیرجمعیت دارای همپوشانی محدود کند.
  • استفاده از داده‌های غنی بدون فرض‌های پارامتریک قوی: تطبیق می‌تواند اتکا به برون‌یابی مدل پیامد را کم کند، اما مدل امتیاز، قاعدهٔ تطبیق و مفروضات شناسایی همچنان اهمیت دارند؛ این مزیت به معنای فرض‌های کمتر از همهٔ روش‌ها نیست. روش می‌تواند از مجموعه‌ای گسترده از متغیرها استفاده کند.
  • قابلیت ترکیب با روش‌های دیگر: تطبیق می‌تواند با تفاوت در تفاوت‌ها ترکیب شود؛ این ترکیب به مفروضات جداگانه، از جمله روند موازیِ مناسب در جمعیت تطبیق‌شده، نیاز دارد.
  • شفافیت در انتخاب گروه مقایسه: فرایند تطبیق بر اساس امتیاز گرایش، شفاف‌تر و قابل بازبینی‌تر از انتخاب شهودی گروه مقایسه است.

محدودیت‌ها و خطاهای رایج

محدودیت‌های PSM عمدتاً از فرض بنیادین آن ناشی می‌شود: پس از شرط‌کردن بر ویژگی‌های مناسب، مخدوش‌گری اندازه‌گیری‌نشده باقی نمی‌ماند؛ تخصیص لزوماً فقط تابع این ویژگی‌ها نیست.

  • تورش متغیر حذف‌شده: مهم‌ترین محدودیت PSM این است که متغیرهای مشاهده‌نشده‌ای که هم بر مشارکت و هم بر پیامد اثر می‌گذارند، کنترل نمی‌شوند. اگر چنین متغیرهایی وجود داشته باشند، برآوردها همچنان تورش‌دار خواهند بود و نمی‌توان به‌صورت تحلیلی اثبات کرد که هیچ متغیر مشاهده‌نشده‌ای وجود ندارد. تحلیل حساسیت می‌تواند حدود این تورش را نشان دهد، اما آن را برطرف نمی‌کند.
  • حساسیت به کیفیت داده‌ها: PSM به داده‌های غنی و دقیق پیش از مداخله وابسته است. اگر داده‌ها ناقص، ناسازگار یا از منابع غیرقابل مقایسه باشند، کیفیت تطبیق و در نتیجه اعتبار نتایج کاهش می‌یابد.
  • وابستگی به فروض مدل امتیاز گرایش: نحوه تعیین مدل، انتخاب متغیرها و شکل تابعی می‌تواند بر امتیازهای برآوردشده و در نتیجه بر نتایج تطبیق اثر بگذارد. این انتخاب‌ها تا حدی به قضاوت ارزیاب وابسته است.
  • نیاز به همپوشانی کافی: اگر دو گروه از نظر امتیازهای گرایش همپوشانی کمی داشته باشند، تعداد زیادی از مشاهدات از تحلیل خارج می‌شوند و نتایج تنها به زیرمجموعه‌ای از جمعیت قابل تعمیم خواهد بود.
  • خطای تطبیق بر متغیرهای متأثر از مداخله: هر متغیری که خود تحت تأثیر مداخله قرار می‌گیرد، نمی‌تواند مبنای تطبیق باشد. این محدودیت می‌تواند دامنه متغیرهای قابل استفاده را تنگ کند.
  • خطر برداشت علّی اغراق‌شده: PSM تفاوت میان دو گروه همسان‌شده را نشان می‌دهد، اما این به‌تنهایی اثبات نمی‌کند مداخله علت تفاوت بوده است. همیشه توضیحات رقیب و متغیرهای مشاهده‌نشده باید در تفسیر نتایج لحاظ شوند.

مقایسه با روش‌های مشابه

PSM یکی از چند روش شبه‌آزمایشی موجود برای تخمین اثر در داده‌های مشاهده‌ای است. انتخاب میان این روش‌ها به ماهیت داده‌ها، نوع سؤال ارزیابی و فروض قابل دفاع بستگی دارد.

روش سؤال اصلی نقطه قوت محدودیت اصلی چه زمانی مناسب‌تر است؟
کارآزمایی تصادفی‌سازی‌شده (RCT) آیا مداخله اثر علّی دارد؟ توازن به‌طور میانگین در تخصیص‌های تصادفیِ مکرر؛ توازن هر نمونه تضمین نیست هزینه بالا، دشواری اجرا، ملاحظات اخلاقی زمانی که تصادفی‌سازی ممکن و اخلاقی است
روش تطبیق امتیاز گرایش (PSM) اثر مداخله با کنترل متغیرهای قابل مشاهده چیست؟ عدم نیاز به تصادفی‌سازی، استفاده از داده‌های مشاهده‌ای ناتوانی در کنترل متغیرهای مشاهده‌نشده وقتی RCT ممکن نیست و داده‌های پیش از مداخله غنی است
تفاوت در تفاوت‌ها (DiD) آیا روند تغییر پیامد میان دو گروه پس از مداخله تفاوت دارد؟ کنترل متغیرهای مشاهده‌نشده ثابت در زمان نیاز به داده‌های طولی و فرض روند موازی وقتی داده‌های قبل و بعد برای هر دو گروه موجود است
طرح ناپیوستگی رگرسیون (RDD) اثر مداخله در آستانه تخصیص چیست؟ شناسایی اثر محلی با قاعدهٔ آستانه و مفروضات متناسب برآورد محلی نزدیک آستانه؛ تعمیم به سایر واحدها به مفروضات جداگانه نیاز دارد وقتی تخصیص مداخله بر اساس یک آستانه مشخص انجام می‌شود
متغیر ابزاری (IV) اثر علّی با استفاده از یک ابزار بیرونی چیست؟ کنترل متغیرهای مشاهده‌نشده با ابزار معتبر یافتن ابزار معتبر بسیار دشوار است وقتی ابزار قوی و معتبر در دسترس است

رابطه با روش‌های دیگر در مجموعه ارزیابی مبتنی بر نظریه

درک جایگاه PSM در منظومه روش‌های ارزیابی اهمیت دارد. PSM یک روش برآورد اثر است و با روش‌هایی که به تحلیل سازوکار، سهم مداخله یا مسیر اثرگذاری می‌پردازند، تفاوت ماهوی دارد.

روش‌هایی مانند تحلیل سهم (Contribution Analysis) یا ردیابی فرایند (Process Tracing) به دنبال پاسخ به این پرسش‌اند که «آیا مداخله سهمی معنادار در تغییر مشاهده‌شده داشته است و این سهم از چه سازوکاری عبور کرده است؟» این روش‌ها می‌توانند از شواهد کمی، کیفی یا ترکیبی استفاده کنند و به‌دنبال ساخت یک استدلال منطقی درباره علیت هستند. در مقابل، PSM یک روش آماری است که با داده‌های کمّی کار می‌کند و هدف آن ایجاد یک مقایسه معتبر برای برآورد کمّی اثر است.

همچنین PSM را نباید با «ردیابی سهم» (Contribution Tracing) یا روش‌های بیزی که برای به‌روزرسانی احتمال گزاره‌های علّی استفاده می‌شوند، یکسان دانست. این روش‌ها منطق متفاوتی دارند و به پرسش‌های متفاوت پاسخ می‌دهند.

در واقع، PSM در دسته روش‌های شبه‌آزمایشی برای برآورد کمّی اثر قرار می‌گیرد و از این جهت با روش‌های کیفی و نظریه‌محور که به دنبال توضیح چرایی و چگونگی اثر هستند، تفاوت دارد. با این حال، PSM می‌تواند به‌عنوان بخشی از یک ارزیابی ترکیبی در کنار روش‌های مبتنی بر نظریه به کار رود؛ به این صورت که برآورد کمّی اثر از PSM و تحلیل سازوکار از روش‌هایی مانند ردیابی فرایند یا تحلیل سهم به دست آید.

جمع‌بندی

روش تطبیق امتیاز گرایش (PSM) ابزاری قدرتمند برای ارزیابانی است که با داده‌های مشاهده‌ای روبه‌رو هستند و امکان تصادفی‌سازی ندارند. این روش با ایجاد یک گروه مقایسه همسان‌شده بر اساس ویژگی‌های قابل مشاهده، به ارزیاب کمک می‌کند اثر مداخله را با کاهش عدم‌توازنِ ویژگی‌های مشاهده‌شده و تحت مفروضات شناسایی برآورد کند.

PSM به‌ویژه زمانی ارزشمند است که مشارکت در مداخله داوطلبانه یا غیرتصادفی است، داده‌های پیش از مداخله غنی در دسترس است و نبود مخدوش‌گری اندازه‌گیری‌نشده پس از شرط‌کردن بر ویژگی‌ها قابل دفاع است. با این حال، مهم‌ترین محدودیت آن، ناتوانی در کنترل متغیرهای مشاهده‌نشده است؛ به همین دلیل نتایج PSM همیشه باید با احتیاط تفسیر شوند و تحلیل حساسیت برای سنجش استحکام آن‌ها انجام شود.

مخاطبان هنگام انتخاب این روش باید به این نکته توجه کنند که PSM ابزاری برای طراحی گروه‌های مقایسه است و به‌تنهایی نمی‌تواند ادعای علّیت قطعی را اثبات کند. برای ارزیابی کامل یک مداخله، بهتر است PSM با روش‌های تحلیل سازوکار و نظریه تغییر ترکیب شود تا هم «آیا اثر وجود دارد؟» و هم «چرا و چگونه اثر رخ داده است؟» پاسخ داده شود.

منابع روش‌شناختی

  • Stuart, E. A. (2010). Matching methods for causal inference: A review and a look forward. Statistical Science, 25(1), 1–21. DOI: 10.1214/09-STS313.
  • Austin, P. C. (2011). An introduction to propensity score methods for reducing the effects of confounding in observational studies. Multivariate Behavioral Research, 46(3), 399–424. DOI: 10.1080/00273171.2011.568786.
  • King, G. & Nielsen, R. (2019). Why propensity scores should not be used for matching. Political Analysis, 27(4), 435–454. DOI: 10.1017/pan.2019.11.