روش تطبیق امتیاز (PSM)

مقدمه

یکی از دشوارترین مسائل در ارزیابی مداخلات، پاسخ به این پرسش است که «اگر این مداخله اجرا نمی‌شد، چه اتفاقی می‌افتاد؟» ارزیاب برای پاسخ به این پرسش به یک گروه مقایسه نیاز دارد؛ گروهی که تا حد ممکن شبیه گروه مداخله باشد، با این تفاوت که مداخله را دریافت نکرده است. در شرایط ایده‌آل، کارآزمایی تصادفی‌سازی‌شده (RCT) این گروه را ایجاد می‌کند؛ اما در بسیاری از مداخلات اجتماعی، سیاستی و سازمانی، تصادفی‌سازی ممکن نیست، غیراخلاقی است یا هزینه آن توجیه‌پذیر نیست. در چنین شرایطی، ارزیاب با داده‌های مشاهده‌ای روبه‌روست و باید برای مقایسه، گروهی بسازد که از نظر ویژگی‌های مرتبط با نتیجه، با گروه مداخله قابل مقایسه باشد. روش تطبیق امتیاز تمایل (Propensity Score Matching یا PSM) یکی از پرکاربردترین ابزارها برای همین منظور است.

این مقاله به معرفی روش تطبیق امتیاز تمایل، منطق زیربنایی آن، شرایط استفاده، مراحل اجرا، مزایا و محدودیت‌های آن می‌پردازد.

روش تطبیق امتیاز (PSM) چیست؟

تطبیق امتیاز تمایل یک تکنیک آماری شبه‌آزمایشی است که به ارزیاب امکان می‌دهد برای تخمین اثر یک مداخله، یک گروه مقایسه یا کنترل بسازد. این کار با تطبیق هر واحد دریافت‌کننده مداخله با یک یا چند واحد غیردریافت‌کننده بر اساس «امتیاز تمایل» انجام می‌شود. امتیاز تمایل، احتمال دریافت مداخله برای هر فرد یا واحد است که با استفاده از ویژگی‌های قابل مشاهده پیش از مداخله برآورد می‌شود و مقداری بین صفر و یک دارد.

هدف اصلی PSM کاهش تورش انتخاب در داده‌های مشاهده‌ای است. تورش انتخاب زمانی رخ می‌دهد که افرادی که مداخله را دریافت می‌کنند، از ابتدا با افرادی که آن را دریافت نمی‌کنند تفاوت‌های نظام‌مندی داشته باشند؛ تفاوت‌هایی که هم بر احتمال دریافت مداخله و هم بر پیامد اثر می‌گذارند. اگر این تفاوت‌ها نادیده گرفته شوند، مقایسه ساده میان دو گروه، اثر مداخله را به‌درستی برآورد نخواهد کرد. PSM با ایجاد گروهی که از نظر این ویژگی‌های قابل مشاهده مشابه گروه مداخله است، تلاش می‌کند این تورش را کاهش دهد.

خروجی اصلی PSM برآورد اثر مداخله بر پیامد مورد نظر است؛ به‌ویژه «اثر متوسط مداخله بر افراد مداخله‌دیده» که در ادبیات آماری با عنوان Average Treatment Effect on the Treated یا ATT شناخته می‌شود.

این روش چه مسئله‌ای را در ارزیابی حل می‌کند؟

مسئله اصلی که PSM به آن پاسخ می‌دهد این است: در نبودِ تصادفی‌سازی، چگونه می‌توان گروهی ساخت که مقایسه با آن، برآوردی معتبر از اثر مداخله ارائه دهد؟

در ارزیابی مداخلاتی که مشارکت در آن‌ها داوطلبانه است، مبتنی بر نیازسنجی است یا از سوی مدیران و سیاست‌گذاران به گروه‌های خاصی اختصاص داده می‌شود، انتخاب افراد با فرایندی غیرتصادفی انجام می‌شود. برای مثال، افرادی که در یک دوره آموزشی اشتغال شرکت می‌کنند احتمالاً از ابتدا انگیزه بالاتری برای یافتن شغل دارند، وضعیت اقتصادی متفاوتی دارند یا در بازار کار فعال‌ترند. اگر پیامد این افراد را با افرادی مقایسه کنیم که در دوره شرکت نکرده‌اند، بخشی از تفاوت مشاهده‌شده به همین ویژگی‌های اولیه برمی‌گردد، نه به خود دوره آموزشی.

PSM این مسئله را با «متعادل‌سازی» ویژگی‌های قابل مشاهده میان دو گروه مدیریت می‌کند. به بیان دیگر، به‌جای مقایسه همه دریافت‌کنندگان با همه غیردریافت‌کنندگان، افرادی با یکدیگر مقایسه می‌شوند که از نظر احتمال دریافت مداخله — و بنابراین از نظر ترکیب ویژگی‌های اثرگذار بر مشارکت — مشابه یکدیگرند. این منطق به ارزیاب امکان می‌دهد استنباط کند که تفاوت پیامد میان دو گروهِ همسان‌شده، با احتمال بیشتری به خود مداخله مربوط است تا به تفاوت‌های پیشینی.

البته باید توجه داشت که PSM تنها تورش ناشی از ویژگی‌های قابل مشاهده را کنترل می‌کند. اگر متغیرهای مشاهده‌نشده‌ای وجود داشته باشند که هم بر مشارکت و هم بر پیامد اثر می‌گذارند، نتایج همچنان می‌تواند دارای تورش باشد.

چه زمانی از روش تطبیق امتیاز استفاده کنیم؟

PSM زمانی مناسب است که ارزیاب با داده‌های مشاهده‌ای روبه‌روست و امکان اجرای کارآزمایی تصادفی وجود ندارد یا اجرای آن به دلایل اخلاقی، اجرایی یا مالی مطلوب نیست. شرایط زیر استفاده از PSM را منطقی می‌کند:

• نبود امکان تصادفی‌سازی: مداخله قبلاً اجرا شده است یا تخصیص تصادفی از نظر اجرایی یا اخلاقی ممکن نیست.
• داده‌های پیش از مداخله در دسترس است: برای برآورد امتیاز تمایل و انجام تطبیق، داده‌های مربوط به ویژگی‌های اولیه هر دو گروه باید موجود باشد.
• همپوشانی کافی میان دو گروه: باید تعداد کافی از واحدهای دریافت‌کننده و غیردریافت‌کننده با امتیازهای تمایل مشابه وجود داشته باشد تا تطبیق معنادار باشد (وجود ناحیه حمایت مشترک).
• انتساب به مداخله عمدتاً بر اساس ویژگی‌های قابل مشاهده است: هرچه سهم متغیرهای مشاهده‌نشده در تعیین مشارکت بیشتر باشد، اعتبار نتایج PSM کمتر می‌شود.
• حجم داده کافی: برای پشتیبانی از برآورد مدل امتیاز تمایل و انجام تطبیق باکیفیت، به تعداد مناسبی از مشاهدات در هر دو گروه نیاز است.
• ویژگی‌های استفاده‌شده ثابت در زمان یا پیش از مداخله: متغیرهایی که خودشان از مداخله تأثیر می‌پذیرند، نمی‌توانند مبنای تطبیق قرار گیرند.

ارتباط روش تطبیق امتیاز با نظریه تغییر

مهم است میان نقش PSM و نقش نظریه تغییر در ارزیابی تمایز قائل شویم. PSM یک روش «برآورد اثر» است، نه یک «چارچوب ارزیابی مبتنی بر نظریه». نظریه تغییر، مسیر منطقی از مداخله به پیامد را ترسیم می‌کند و مشخص می‌سازد تغییرات در چه مراحلی، از طریق چه سازوکارهایی و با چه فروضی انتظار می‌رود رخ دهد. PSM مستقیماً به این سازوکارها نمی‌پردازد؛ بلکه پاسخ می‌دهد به این پرسش که آیا تفاوت معناداری در پیامد نهایی میان دو گروه مشابه از نظر ویژگی‌های اولیه وجود دارد یا نه.

با این حال، این دو می‌توانند مکمل یکدیگر باشند. نظریه تغییر به ارزیاب کمک می‌کند تشخیص دهد کدام متغیرها باید در مدل امتیاز تمایل وارد شوند، کدام پیامدها ارزش اندازه‌گیری دارند و چه عواملی ممکن است مسیر اثرگذاری را مخدوش کنند. به بیان دیگر، نظریه تغییر می‌تواند انتخاب متغیرهای تطبیق و تفسیر نتایج PSM را هدایت کند. بدون یک مدل نظری از چگونگی اثرگذاری، خطر آن وجود دارد که متغیرهای کلیدی از مدل امتیاز تمایل حذف شوند و نتایج گمراه‌کننده باشد. از سوی دیگر، PSM نمی‌تواند جایگزین تحلیل سازوکار شود؛ حتی اگر اثر معنادار برآورد شود، این به‌تنهایی توضیح نمی‌دهد چرا و چگونه مداخله اثر کرده است.

بنابراین، ترکیب PSM با یک چارچوب نظریه تغییر می‌تواند قدرت تحلیلی ارزیابی را افزایش دهد: نظریه تغییر برای تعیین «چه چیزی باید اندازه‌گیری شود و چرا» و PSM برای «مقایسه معتبر پیامدها میان گروه‌های مشابه». اما این روش از نظر ماهیت، یک روش شبه‌آزمایشی است، نه یک روش ارزیابی نظریه‌محور.

چگونه از روش تطبیق امتیاز استفاده کنیم؟

اجرای PSM در عمل شامل چند مرحله مشخص است که باید به‌دقت دنبال شوند:

1. تعریف سؤال ارزیابی و مشخص‌کردن گروه‌ها: مشخص کنید چه مداخله‌ای ارزیابی می‌شود، چه کسانی گروه مداخله را تشکیل می‌دهند، چه کسانی گروه مقایسه بالقوه هستند و پیامد مورد نظر چیست.
2. گردآوری داده‌های پیش از مداخله: داده‌های مربوط به ویژگی‌های اولیه هر دو گروه را از منابع قابل اتکا جمع‌آوری کنید. این داده‌ها باید پیش از اجرای مداخله اندازه‌گیری شده باشند یا از نظر زمانی ثابت باشند.
3. برآورد امتیاز تمایل: با استفاده از مدل‌های آماری مانند رگرسیون لاجیت (Logit) یا پروبیت (Probit)، احتمال دریافت مداخله را برای هر واحد بر اساس ویژگی‌های قابل مشاهده برآورد کنید. خروجی این مرحله، یک امتیاز بین صفر و یک برای هر فرد است.
4. بررسی ناحیه حمایت مشترک: توزیع امتیازهای تمایل را در دو گروه مقایسه کنید و مطمئن شوید همپوشانی کافی برای تطبیق وجود دارد. مشاهداتی که خارج از محدوده همپوشانی قرار دارند، معمولاً از تحلیل کنار گذاشته می‌شوند.
5. انجام تطبیق: هر واحد دریافت‌کننده مداخله را با یک یا چند واحد غیردریافت‌کننده که نزدیک‌ترین امتیاز تمایل را دارند، تطبیق دهید. روش‌های مختلفی برای تطبیق وجود دارد، از جمله تطبیق نزدیک‌ترین همسایه، تطبیق شعاعی و تطبیق هسته‌ای.
6. بررسی توازن متغیرها: پس از تطبیق، بررسی کنید که متغیرهای استفاده‌شده میان دو گروه متعادل شده باشند. اگر تفاوت‌های نظام‌مندی باقی مانده باشد، ممکن است لازم باشد مدل امتیاز تمایل اصلاح شود یا روش تطبیق تغییر کند.
7. برآورد اثر مداخله: پیامد دو گروه تطبیق‌شده را مقایسه کنید. تفاوت میانگین پیامد، برآورد اثر مداخله بر افراد مداخله‌دیده را ارائه می‌دهد.
8. تحلیل حساسیت: بررسی کنید نتایج تا چه اندازه نسبت به ویژگی‌های مشاهده‌نشده حساس هستند. تحلیل حساسیت کمک می‌کند مشخص شود اگر یک متغیر مخدوش‌کننده مشاهده‌نشده وجود داشته باشد، نتایج چگونه تغییر می‌کند.
9. تفسیر نتایج و گزارش‌دهی: یافته‌ها را با توجه به محدودیت‌های روش، از جمله عدم امکان کنترل کامل متغیرهای مشاهده‌نشده، تفسیر کنید و در گزارش ارزیابی به‌صراحت بیان کنید.

شواهد موردنیاز

کیفیت نتایج PSM به‌شدت به کیفیت و غنای داده‌های ورودی بستگی دارد. شواهد مورد نیاز این روش عمدتاً از نوع داده‌های کمّی مربوط به ویژگی‌های پیش از مداخله است.

داده‌های لازم شامل ویژگی‌های جمعیت‌شناختی، وضعیت اقتصادی-اجتماعی، سوابق مرتبط با حوزه مداخله، شاخص‌های پیش از مداخله از پیامد مورد نظر و هر متغیر دیگری است که احتمالاً هم بر مشارکت در مداخله و هم بر پیامد اثر می‌گذارد. این داده‌ها باید پیش از اجرای مداخله گردآوری شده باشند یا از نظر زمانی ثابت باشند، زیرا ویژگی‌های پس از مداخله ممکن است خودشان تحت تأثیر مداخله قرار گرفته باشند و استفاده از آن‌ها منطق تطبیق را مخدوش می‌کند.

یک الزام مهم، قابل مقایسه بودن داده‌های دو گروه است. اگر داده‌ها از دو منبع مختلف به دست می‌آیند، باید اطمینان حاصل شود که تعریف‌ها، ابزارهای اندازه‌گیری و دوره زمانی گردآوری یکسان بوده‌اند. در غیر این صورت، تفاوت‌های مشاهده‌شده ممکن است ناشی از ناسازگاری داده‌ها باشد، نه اثر واقعی مداخله.

داده‌های کیفی، هرچند در PSM به‌عنوان متغیر تطبیق استفاده نمی‌شوند، می‌توانند در تشخیص متغیرهای مهم برای ورود به مدل امتیاز تمایل و تفسیر نتایج نقش مکمل داشته باشند.

مثال کاربردی

برای روشن‌شدن منطق PSM، یک مثال فرضی در حوزه سیاست‌گذاری عمومی ارائه می‌شود.

فرض کنید یک سازمان دولتی برنامه‌ای برای آموزش مهارت‌های دیجیتال به کارجویان اجرا کرده است و می‌خواهد بداند آیا این برنامه بر یافتن شغل در شش ماه پس از پایان دوره اثر داشته است یا خیر. امکان تصادفی‌سازی وجود نداشته است؛ شرکت در دوره داوطلبانه بوده و افرادی ثبت‌نام کرده‌اند که طبیعتاً انگیزه بالاتری برای یادگیری داشته‌اند.

مقایسه ساده نرخ اشتغال میان افرادی که در دوره شرکت کرده‌اند و افرادی که شرکت نکرده‌اند، به احتمال زیاد اثر دوره را بیش از حد واقعی نشان خواهد داد؛ زیرا گروه شرکت‌کننده از ابتدا ویژگی‌های متفاوتی داشته است. برای رفع این مشکل، ارزیاب از PSM استفاده می‌کند.

ابتدا داده‌های پیش از مداخله شامل سن، جنسیت، سطح تحصیلات، سابقه کار، وضعیت اشتغال قبلی و انگیزه سنجیده‌شده را برای هر دو گروه گردآوری می‌کند. سپس با استفاده از مدل لاجیت، امتیاز تمایل هر فرد را — یعنی احتمال شرکت در دوره — برآورد می‌کند. در مرحله تطبیق، هر شرکت‌کننده با یک غیرشرکت‌کننده که امتیاز تمایل مشابهی دارد، جفت می‌شود. پس از تطبیق، دو گروه از نظر ویژگی‌های اولیه متعادل می‌شوند.

سپس نرخ اشتغال شش ماه پس از پایان دوره را میان دو گروه تطبیق‌شده مقایسه می‌کند. اگر پس از این همسان‌سازی، همچنان تفاوت معناداری در نرخ اشتغال به نفع گروه شرکت‌کننده مشاهده شود، ارزیاب با احتیاط بیشتری می‌تواند این تفاوت را به دوره آموزشی نسبت دهد — البته با این شرط صریح که متغیرهای مشاهده‌نشده ممکن است همچنان بر نتیجه اثر گذاشته باشند. در پایان، تحلیل حساسیت انجام می‌شود تا مشخص شود اگر متغیرهایی مانند انگیزه درونی به‌طور کامل اندازه‌گیری نشده باشد، نتیجه تا چه اندازه می‌تواند تغییر کند.

نتیجه ارزیابی به تصمیم‌گیرندگان کمک می‌کند تصمیم بگیرند آیا این برنامه ارزش ادامه سرمایه‌گذاری را دارد و در صورت ادامه، طراحی آن چگونه باید اصلاح شود.

جدول مسئله → تصمیم

مزایای روش تطبیق امتیاز

مزایای PSM را باید در چارچوب شرایطی دید که این روش برای آن طراحی شده است؛ یعنی ارزیابی با داده‌های مشاهده‌ای در نبود تصادفی‌سازی.

• امکان برآورد اثر بدون کارآزمایی تصادفی: PSM در شرایطی که RCT ممکن یا مطلوب نیست، راهی برای برآورد اثر ارائه می‌دهد.
• تمرکز بر اثر متوسط بر افراد مداخله‌دیده: برخلاف برخی روش‌های دیگر که تنها برای زیرمجموعه‌ای از گروه مداخله برآورد ارائه می‌دهند، PSM می‌تواند اثر متوسط را برای کل گروه مداخله تخمین بزند.
• استفاده از داده‌های غنی بدون فرض‌های پارامتریک قوی: PSM فرض‌های کمتری درباره شکل تابعی رابطه متغیرها با پیامد اعمال می‌کند و می‌تواند از مجموعه‌ای گسترده از متغیرها استفاده کند.
• قابلیت ترکیب با روش‌های دیگر: PSM را می‌توان با روش تفاوت در تفاوت‌ها برای کاهش بیشتر تورش متغیرهای مشاهده‌نشده ثابت در زمان ترکیب کرد.
• شفافیت در انتخاب گروه مقایسه: فرایند تطبیق بر اساس امتیاز تمایل، شفاف‌تر و قابل بازبینی‌تر از انتخاب شهودی گروه مقایسه است.

محدودیت‌ها و خطاهای رایج

محدودیت‌های PSM عمدتاً از فرض بنیادین آن ناشی می‌شود: انتساب به مداخله فقط به ویژگی‌های قابل مشاهده بستگی دارد.

• تورش متغیر حذف‌شده: مهم‌ترین محدودیت PSM این است که متغیرهای مشاهده‌نشده‌ای که هم بر مشارکت و هم بر پیامد اثر می‌گذارند، کنترل نمی‌شوند. اگر چنین متغیرهایی وجود داشته باشند، برآوردها همچنان تورش‌دار خواهند بود و نمی‌توان به‌صورت تحلیلی اثبات کرد که هیچ متغیر مشاهده‌نشده‌ای وجود ندارد. تحلیل حساسیت می‌تواند حدود این تورش را نشان دهد، اما آن را برطرف نمی‌کند.
• حساسیت به کیفیت داده‌ها: PSM به داده‌های غنی و دقیق پیش از مداخله وابسته است. اگر داده‌ها ناقص، ناسازگار یا از منابع غیرقابل مقایسه باشند، کیفیت تطبیق و در نتیجه اعتبار نتایج کاهش می‌یابد.
• وابستگی به فروض مدل امتیاز تمایل: نحوه تعیین مدل، انتخاب متغیرها و شکل تابعی می‌تواند بر امتیازهای برآوردشده و در نتیجه بر نتایج تطبیق اثر بگذارد. این انتخاب‌ها تا حدی به قضاوت ارزیاب وابسته است.
• نیاز به همپوشانی کافی: اگر دو گروه از نظر امتیازهای تمایل همپوشانی کمی داشته باشند، تعداد زیادی از مشاهدات از تحلیل خارج می‌شوند و نتایج تنها به زیرمجموعه‌ای از جمعیت قابل تعمیم خواهد بود.
• ناتوانی در کنترل متغیرهای پس از مداخله: هر متغیری که خود تحت تأثیر مداخله قرار می‌گیرد، نمی‌تواند مبنای تطبیق باشد. این محدودیت می‌تواند دامنه متغیرهای قابل استفاده را تنگ کند.
• خطر برداشت علّی اغراق‌شده: PSM تفاوت میان دو گروه همسان‌شده را نشان می‌دهد، اما این به‌تنهایی اثبات نمی‌کند مداخله علت تفاوت بوده است. همیشه توضیحات رقیب و متغیرهای مشاهده‌نشده باید در تفسیر نتایج لحاظ شوند.

مقایسه با روش‌های مشابه

PSM یکی از چند روش شبه‌آزمایشی موجود برای تخمین اثر در داده‌های مشاهده‌ای است. انتخاب میان این روش‌ها به ماهیت داده‌ها، نوع سؤال ارزیابی و فروض قابل دفاع بستگی دارد.

رابطه با روش‌های دیگر در مجموعه ارزیابی مبتنی بر نظریه

درک جایگاه PSM در منظومه روش‌های ارزیابی اهمیت دارد. PSM یک روش برآورد اثر است و با روش‌هایی که به تحلیل سازوکار، سهم مداخله یا مسیر اثرگذاری می‌پردازند، تفاوت ماهوی دارد.

روش‌هایی مانند تحلیل سهم (Contribution Analysis) یا ردیابی فرایند (Process Tracing) به دنبال پاسخ به این پرسش‌اند که «آیا مداخله سهمی معنادار در تغییر مشاهده‌شده داشته است و این سهم از چه سازوکاری عبور کرده است؟» این روش‌ها با شواهد کیفی و روایی کار می‌کنند و به‌دنبال ساخت یک استدلال منطقی درباره علیت هستند. در مقابل، PSM یک روش آماری است که با داده‌های کمّی کار می‌کند و هدف آن ایجاد یک مقایسه معتبر برای برآورد کمّی اثر است.

همچنین PSM را نباید با «ردیابی سهم» (Contribution Tracing) یا روش‌های بیزی که برای به‌روزرسانی احتمال گزاره‌های علّی استفاده می‌شوند، یکسان دانست. این روش‌ها منطق متفاوتی دارند و به سؤالات متفپاسخ می‌دهند.

در واقع، PSM در دسته روش‌های شبه‌آزمایشی برای برآورد کمّی اثر قرار می‌گیرد و از این جهت با روش‌های کیفی و نظریه‌محور که به دنبال توضیح چرایی و چگونگی اثر هستند، تفاوت دارد. با این حال، PSM می‌تواند به‌عنوان بخشی از یک ارزیابی ترکیبی در کنار روش‌های مبتنی بر نظریه به کار رود؛ به این صورت که برآورد کمّی اثر از PSM و تحلیل سازوکار از روش‌هایی مانند ردیابی فرایند یا تحلیل سهم به دست آید.

جمع‌بندی

روش تطبیق امتیاز (PSM) ابزاری قدرتمند برای ارزیابانی است که با داده‌های مشاهده‌ای روبه‌رو هستند و امکان تصادفی‌سازی ندارند. این روش با ایجاد یک گروه مقایسه همسان‌شده بر اساس ویژگی‌های قابل مشاهده، به ارزیاب کمک می‌کند اثر مداخله را با کنترل تورش انتخاب برآورد کند.

PSM به‌ویژه زمانی ارزشمند است که مشارکت در مداخله داوطلبانه یا غیرتصادفی است، داده‌های پیش از مداخله غنی در دسترس است و متغیرهای قابل مشاهده بخش عمده‌ای از عوامل تأثیرگذار بر مشارکت را پوشش می‌دهند. با این حال، مهم‌ترین محدودیت آن، ناتوانی در کنترل متغیرهای مشاهده‌نشده است؛ به همین دلیل نتایج PSM همیشه باید با احتیاط تفسیر شوند و تحلیل حساسیت برای سنجش استحکام آن‌ها انجام شود.

مخاطبان هنگام انتخاب این روش باید به این نکته توجه کنند که PSM تنها یک ابزار برآورد است و به‌تنهایی نمی‌تواند ادعای علّیت قطعی را اثبات کند. برای ارزیابی کامل یک مداخله، بهتر است PSM با روش‌های تحلیل سازوکار و نظریه تغییر ترکیب شود تا هم «آیا اثر وجود دارد؟» و هم «چرا و چگونه اثر رخ داده است؟» پاسخ داده شود.