روش تفاوت در اختلافات یا Difference in Differences

مقدمه

در ارزیابی مداخلات اجتماعی، سیاستی یا سازمانی، یکی از دشوارترین پرسش‌ها این است که آیا تغییر مشاهده‌شده در نتیجه واقعاً ناشی از مداخله بوده است یا تحت تأثیر عوامل دیگری رخ داده است. وقتی امکان تخصیص تصادفی افراد یا واحدها به گروه مداخله و گروه شاهد وجود ندارد، ارزیاب باید به روش‌هایی متکی باشد که با استفاده از داده‌های مشاهده‌ای، استنباط علی را تا حد ممکن تقویت کنند. روش تفاوت در اختلافات (Difference in Differences) یکی از پرکاربردترین این روش‌هاست که با مقایسه تغییرات نتیجه در طول زمان بین گروه مداخله و گروه شاهد، تلاش می‌کند اثر مداخله را از سایر عوامل متمایز کند.

این روش به‌ویژه در حوزه‌های سیاست‌گذاری عمومی، اقتصاد کار، برنامه‌های توسعه‌ای و مداخلات منطقه‌ای که داده‌های سری زمانی یا پانلی در دسترس است، به کار گرفته می‌شود. در ادامه، منطق این روش، شرایط استفاده، مراحل اجرا، شواهد موردنیاز، مزایا و محدودیت‌های آن را به تفصیل بررسی می‌کنیم.

روش تفاوت در اختلافات چیست؟

روش تفاوت در اختلافات یک روش تحلیل کمّی برای تقویت استنباط علی در مطالعات مشاهده‌ای است. این روش اثر مداخله را با مقایسه تغییر در متغیر نتیجه برای گروهی که مداخله را دریافت کرده است (گروه مداخله) با تغییر همان متغیر در گروهی که مداخله را دریافت نکرده است (گروه شاهد) در بازه‌های زمانی قبل و بعد از اجرای مداخله تخمین می‌زند. منطق اصلی این روش بر این ایده استوار است که اگر در نبود مداخله، روند نتیجه برای هر دو گروه به صورت موازی حرکت می‌کرد، هرگونه انحراف از این روند موازی پس از اجرای مداخله در گروه مداخله می‌تواند به اثر مداخله نسبت داده شود.

به بیان ساده‌تر، این روش دو «تفاوت» را محاسبه می‌کند: نخست تفاوت نتیجه در گروه مداخله قبل و بعد از مداخله، و دوم تفاوت نتیجه در گروه شاهد قبل و بعد از مداخله. سپس تفاوتِ این دو تفاوت، تخمینی از اثر مداخله به دست می‌دهد. به همین دلیل است که این روش را «تفاوت در اختلافات» می‌نامند.

هدف اصلی این روش پاسخ به این سؤال است: «آیا مداخله باعث تغییر معنی‌دار در نتیجه موردنظر شده است و اندازه این اثر چقدر است؟» این روش به ارزیاب کمک می‌کند تا اثر مداخله را از روندهای زمانی کلی و عوامل مشترکی که هر دو گروه را به یک اندازه تحت تأثیر قرار می‌دهند، جدا کند.

این روش چه مسئله‌ای را در ارزیابی حل می‌کند؟

در ارزیابی بسیاری از برنامه‌ها، امکان تصادفی‌سازی وجود ندارد. مثلاً وقتی یک سیاست آموزشی در یک استان اجرا می‌شود و ارزیاب می‌خواهد اثر آن را بر نرخ ترک تحصیل بسنجد، نمی‌تواند دانش‌آموزان را به صورت تصادفی در دو گروه مداخله و شاهد قرار دهد. در چنین شرایطی، مقایسه ساده نتایج قبل و بعد از مداخله در همان گروه مداخله، گمراه‌کننده است، زیرا تغییرات دیگری مانند شرایط اقتصادی، فصلی بودن، سیاست‌های هم‌زمان یا تغییرات جمعیتی ممکن است هم‌زمان رخ داده باشد و بر نتیجه اثر بگذارد. از سوی دیگر، مقایسه ساده گروه مداخله و گروه شاهد تنها در یک مقطع زمانی پس از مداخله نیز نمی‌تواند تفاوت‌های اولیه بین دو گروه را کنترل کند.

روش تفاوت در اختلافات این مشکل را با ترکیب دو بعد زمانی و مقطعی حل می‌کند. این روش به ارزیاب اجازه می‌دهد تا اثر مداخله را از عواملی که در طول زمان مشترکاً بر هر دو گروه اثر می‌گذارند، جدا کند. این روش همچنین انعطاف‌پذیری بیشتری نسبت به طرح‌های آزمایشی دارد و می‌تواند برای داده‌های موجود در ثبت‌های اداری یا پیمایش‌های تکرارشونده به کار رود.

چه زمانی از روش تفاوت در اختلافات استفاده کنیم؟

استفاده از این روش در شرایط زیر به‌ویژه مناسب است:

• امکان تخصیص تصادفی وجود ندارد، اما داده‌های قبل و بعد از مداخله برای دو گروه مداخله و شاهد در دسترس است.
• مداخله در سطح گروهی (مانند منطقه، استان، مدرسه یا سازمان) اجرا شده است و روند نتیجه در طول زمان قابل مشاهده است.
• عوامل مخدوش‌کننده‌ای وجود دارند که بر هر دو گروه به صورت مشابه اثر می‌گذارند و تغییرات آنها در طول زمان محتمل است.
• ارزیاب می‌خواهد اثر مداخله را از روندهای بلندمدت متغیر نتیجه جدا کند.
• داده‌های پانلی یا سری‌های زمانی با طول کافی برای قبل و بعد از مداخله موجود است.

از سوی دیگر، اگر روندهای قبل از مداخله در دو گروه به وضوح واگرا یا غیرموازی باشند، یا اگر مداخله هم‌زمان با سایر شوک‌های خاص گروه مداخله رخ داده باشد، اعتبار این روش زیر سؤال می‌رود. همچنین اگر واحدهای مداخله و شاهد بسیار ناهمگن باشند یا تعداد مشاهدات کم باشد، کاربرد این روش دشوار می‌شود.

ارتباط روش با نظریه تغییر

روش تفاوت در اختلافات ذاتاً یک روش آماری برای برآورد اثر مداخله است و به خودی خود چارچوب کامل نظریه تغییر را ارائه نمی‌دهد. با این حال، برای استفاده معنادار از این روش، ارزیاب باید نظریه تغییر برنامه را مشخص کند تا بداند کدام متغیر نتیجه باید اندازه‌گیری شود و انتظار می‌رود مداخله از چه مسیری بر آن اثر بگذارد. نظریه تغییر مشخص می‌کند که مداخله قرار است از طریق چه سازوکارهایی (مانند افزایش انگیزه، بهبود مهارت، تغییر رفتار و غیره) به نتیجه نهایی منجر شود. این اطلاعات برای انتخاب متغیر نتیجه و زمان‌بندی اندازه‌گیری ضروری است.

همچنین نظریه تغییر به ارزیاب کمک می‌کند تا فرض‌های مربوط به عدم وجود عوامل مخدوش‌کننده خاص گروه مداخله را بررسی کند. اگر نظریه تغییر نشان دهد که برخی عوامل واسطه‌ای ممکن است به شکل متفاوتی بر گروه مداخله اثر بگذارند، ارزیاب باید این عوامل را در تحلیل وارد کند یا درباره اعتبار فرض روندهای موازی محتاط باشد. در نتیجه، روش تفاوت در اختلافات به تنهایی یک روش کامل ارزیابی مبتنی بر نظریه نیست، بلکه یک تکنیک تحلیلی است که می‌تواند درون یک چارچوب ارزیابی مبتنی بر نظریه به کار گرفته شود.

چگونه از روش تفاوت در اختلافات استفاده کنیم؟

اجرای این روش معمولاً شامل مراحل زیر است:

1. تعریف سؤال ارزیابی و متغیر نتیجه: مشخص کنید کدام نتیجه قرار است تغییر کند و اثر مداخله بر آن بررسی شود.
2. انتخاب گروه مداخله و گروه شاهد: گروه‌هایی را انتخاب کنید که ویژگی‌های اولیه مشابهی دارند اما تنها یکی از آنها مداخله را دریافت کرده است.
3. جمع‌آوری داده‌های قبل و بعد از مداخله: برای هر دو گروه، داده‌های متغیر نتیجه را در چند نقطه زمانی قبل و بعد از اجرای مداخله گردآوری کنید.
4. بررسی فرض روندهای موازی: روند متغیر نتیجه را در دوره قبل از مداخله برای دو گروه مقایسه کنید؛ اگر روندها موازی باشند، فرض کلیدی روش برقرار است.
5. محاسبه تفاوت‌ها: تفاوت نتیجه قبل و بعد از مداخله را برای هر گروه به دست آورید، سپس تفاوت این دو تفاوت را محاسبه کنید تا اثر مداخله برآورد شود.
6. کنترل عوامل مخدوش‌کننده: در صورت نیاز، متغیرهای کمکی را به مدل اضافه کنید تا اثر عوامل دیگری که ممکن است بر نتیجه اثر بگذارند، تعدیل شود.
7. بررسی جایگزین‌های ممکن: به دنبال رویدادهای هم‌زمان یا شوک‌های خاص گروه مداخله باشید که ممکن است بر نتیجه اثر گذاشته باشند.
8. تفسیر و تصمیم‌گیری: بر اساس اندازه و معنی‌داری اثر برآوردشده، درباره اثر مداخله و ادامه یا اصلاح آن تصمیم بگیرید.

شواهد موردنیاز

مهم‌ترین شواهد برای این روش، داده‌های طولی متغیر نتیجه برای هر دو گروه مداخله و شاهد در بازه‌های زمانی قبل و بعد از مداخله است. این داده‌ها می‌توانند از منابع اداری، پیمایش‌های تکرارشونده، ثبت‌های آماری یا سامانه‌های اطلاعاتی به دست آیند. کیفیت داده‌ها از نظر دقت اندازه‌گیری، پیوستگی زمانی و همگنی تعاریف در طول زمان، تأثیر مستقیم بر اعتبار نتایج دارد. همچنین داده‌های مربوط به عوامل زمینه‌ای و مخدوش‌کننده بالقوه برای کنترل در مدل‌های رگرسیونی لازم است.

شواهد کیفی نیز می‌توانند مکمل مفیدی باشند. برای مثال، مصاحبه با مطلعان محلی می‌تواند نشان دهد که آیا در دوره مطالعه رویداد خاصی رخ داده است که فقط گروه مداخله را تحت تأثیر قرار داده باشد. اگر شواهدی دال بر نقض فرض روندهای موازی یا وجود شوک‌های خاص گروه مداخله یافت شود، باید با احتیاط نتیجه‌گیری کرد و در صورت امکان از روش‌های تکمیلی استفاده کرد.

مثال کاربردی

فرض کنید یک اداره کار منطقه‌ای می‌خواهد اثر یک برنامه کمک به جویندگان کار را بر نرخ بیکاری بررسی کند. این برنامه در حوزه استحفاظی A اجرا می‌شود و شامل خدمات مشاوره شغلی، آموزش مهارت و معرفی به کارفرمایان است. حوزه استحفاظی B به عنوان گروه شاهد انتخاب شده است و برنامه را دریافت نمی‌کند. داده‌های نرخ بیکاری فصلی برای هر دو منطقه در چند سال قبل و بعد از اجرای برنامه در دسترس است.

پیش از اجرای برنامه، روند نرخ بیکاری در دو منطقه تقریباً موازی است. پس از شروع برنامه، نرخ بیکاری در منطقه A کاهش می‌یابد در حالی که در منطقه B تغییر چندانی نمی‌کند. در طول دوره مطالعه، هیچ رویداد خاص دیگری مانند تغییر بزرگ در تعداد کسب‌وکارها یا سیاست‌های اداری متفاوت در دو منطقه رخ نداده است. در این شرایط، تفاوت در اختلافات به ما می‌گوید که اگر برنامه اجرا نمی‌شد، انتظار می‌رفت نرخ بیکاری در منطقه A روندی مشابه منطقه B داشته باشد. در نتیجه، انحراف از این روند پس از اجرای برنامه را می‌توان به عنوان اثر برنامه بر نرخ بیکاری در نظر گرفت.

این مثال فرضی نشان می‌دهد که چگونه این روش می‌تواند با استفاده از داده‌های موجود، تخمینی از اثر مداخله ارائه دهد و به تصمیم‌گیرندگان کمک کند تا درباره تداوم یا گسترش برنامه قضاوت کنند.

مزایای استفاده از روش تفاوت در اختلافات

• در شرایطی که تصادفی‌سازی ممکن نیست، جایگزینی عملی برای گروه شاهد فراهم می‌کند.
• اثر عوامل زمانی مشترک را که بر هر دو گروه اثر می‌گذارند، حذف می‌کند.
• با تفاوت‌های اولیه ثابت بین دو گروه سازگار است.
• می‌تواند از داده‌های پانلی یا سری‌های زمانی موجود استفاده کند و نیاز به جمع‌آوری داده جدید را کاهش دهد.
• روش نسبتاً ساده و شفافی است و نتایج آن برای مخاطبان غیرتخصصی نیز قابل توضیح است.

محدودیت‌ها و خطاهای رایج

مهم‌ترین محدودیت این روش، فرض روندهای موازی است. اگر در نبود مداخله، روند نتیجه در گروه مداخله با گروه شاهد متفاوت می‌بود، اثر برآوردشده اریب‌دار خواهد بود. این فرض را نمی‌توان به طور کامل آزمود، بلکه فقط با بررسی روندهای گذشته می‌توان درباره آن قضاوت کرد. همچنین اگر هم‌زمان با مداخله، رویداد دیگری رخ دهد که فقط بر گروه مداخله اثر بگذارد، این روش قادر به تفکیک اثر آن رویداد از اثر مداخله نیست.

کیفیت داده‌ها نیز چالش‌برانگیز است. اگر داده‌ها در طول زمان قابل مقایسه نباشند، تعریف متغیر نتیجه تغییر کند یا مشاهدات از دست‌رفته زیاد باشد، نتایج غیرقابل اعتماد خواهند بود. علاوه بر این، اگر گروه مداخله و شاهد از ابتدا تفاوت‌های مهم و تغییرپذیری داشته باشند که بر روند نتیجه اثر بگذارد، فرض موازی بودن زیر سؤال می‌رود. در نهایت، تفسیر اثر برآوردشده به عنوان اثر علی قطعی بدون بررسی دقیق تهدیدهای اعتبار داخلی، گمراه‌کننده است؛ همانند سایر روش‌های مشاهده‌ای، باید درباره توضیحات رقیب و عوامل مخدوش‌کننده محتاط بود.

مقایسه با روش‌های مشابه

روش تفاوت در اختلافات اغلب با روش‌های دیگری که برای استنتاج علی در مطالعات مشاهده‌ای به کار می‌روند، مقایسه می‌شود. در مقایسه با کارآزمایی تصادفی کنترل‌شده (RCT)، روش تفاوت در اختلافات از اعتبار علی کمتری برخوردار است، اما در بسیاری از موقعیت‌های واقعی که تصادفی‌سازی ممکن نیست، تنها گزینه عملی محسوب می‌شود. تطبیق امتیاز گرایش (PSM) تلاش می‌کند گروه شاهد را از نظر ویژگی‌های قابل مشاهده مشابه گروه مداخله کند، اما نمی‌تواند تفاوت‌های غیرقابل مشاهده ثابت را کنترل کند؛ در حالی که روش تفاوت در اختلافات با استفاده از داده‌های طولی می‌تواند اثر این تفاوت‌های ثابت را حذف کند. روش رگرسیون ناپیوستگی (RDD) برای شرایطی مناسب است که تخصیص مداخله بر اساس یک آستانه مشخص انجام شده باشد و نمی‌توان از آن در هر شرایطی استفاده کرد. روش متغیر ابزاری (IV) نیز برای زمانی است که یک ابزار معتبر در دسترس باشد.

در عمل، ترکیب روش تفاوت در اختلافات با تطبیق امتیاز می‌تواند به بهبود هم‌ترازی گروه‌ها قبل از مداخله کمک کند و اعتبار فرض روندهای موازی را افزایش دهد. انتخاب روش مناسب به مسئله ارزیابی، ساختار داده‌ها و نوع مداخله بستگی دارد.

جمع‌بندی

روش تفاوت در اختلافات ابزاری ارزشمند برای ارزیابی اثر مداخلات در شرایطی است که تصادفی‌سازی ممکن نیست و داده‌های طولی برای دو گروه مداخله و شاهد در دسترس است. این روش با تکیه بر فرض روندهای موازی، اثر مداخله را از روندهای زمانی مشترک و تفاوت‌های ثابت اولیه جدا می‌کند. با این حال، اعتبار نتایج به شدت به کیفیت داده‌ها و برقراری فرض‌های کلیدی وابسته است و ارزیاب باید نسبت به تهدیدهای اعتبار داخلی مانند شوک‌های هم‌زمان خاص گروه مداخله هشیار باشد.

هنگام انتخاب این روش، مهم است که ارزیاب ابتدا بررسی کند آیا داده‌های کافی از دوره قبل و بعد از مداخله برای هر دو گروه موجود است، آیا روندهای گذشته موازی بوده‌اند، و آیا امکان دارد عوامل دیگری هم‌زمان با مداخله بر گروه مداخله اثر گذاشته باشند. در صورت وجود چنین شرایطی، ممکن است استفاده از روش‌های مکمل یا ترکیبی نتایج معتبرتری به دست دهد.