روش تفاوت در اختلافات یا Difference in Differences

روش تفاوت در اختلافات یک روش تحلیل کمّی برای تقویت استنباط علی در مطالعات مشاهده‌ای است. این روش اثر مداخله را با مقایسه تغییر در متغیر نتیجه برای گروهی که مداخله را دریافت کرده است (گروه مداخله) با تغییر همان متغیر در گروهی که مداخله را دریافت نکرده است (گروه شاهد) در بازه‌های زمانی قبل و بعد از اجرای مداخله تخمین می‌زند. تفسیر علّی این مقایسه به فرض روندهای موازی وابسته است: اگر مداخله اجرا نمی‌شد، میانگین پیامد دو گروه باید تغییر مشابهی می‌کرد. این فرض دربارهٔ وضعیتی مشاهده‌نشده پس از مداخله است؛ هم‌راستا بودن روندهای گذشته آن را ثابت نمی‌کند. نبود پیش‌دستی در واکنش به برنامه و نبود سرریزِ بررسی‌نشده به گروه مقایسه نیز در تفسیر اهمیت دارند.

به بیان ساده‌تر، این روش دو «تفاوت» را محاسبه می‌کند: نخست تفاوت نتیجه در گروه مداخله قبل و بعد از مداخله، و دوم تفاوت نتیجه در گروه شاهد قبل و بعد از مداخله. سپس تفاوتِ این دو تفاوت، تخمینی از اثر مداخله به دست می‌دهد. به همین دلیل است که این روش را «تفاوت در اختلافات» می‌نامند.

DID = (پیامد مداخله پس از برنامه − پیامد مداخله پیش از برنامه) − (پیامد مقایسه پس از برنامه − پیامد مقایسه پیش از برنامه)

این فرمول منطق سادهٔ دو گروه و دو دوره را نشان می‌دهد. داده‌های چنددوره‌ای یا شروع برنامه در زمان‌های متفاوت، مدل و مقایسهٔ متناسب خود را لازم دارند.

هدف اصلی این روش پاسخ به این سؤال است: «آیا مداخله باعث تغییر معنی‌دار در نتیجه موردنظر شده است و اندازه این اثر چقدر است؟» این روش به ارزیاب کمک می‌کند تا اثر مداخله را از روندهای زمانی کلی و عوامل مشترکی که هر دو گروه را به یک اندازه تحت تأثیر قرار می‌دهند، جدا کند.

این روش چه مسئله‌ای را در ارزیابی حل می‌کند؟

در ارزیابی بسیاری از برنامه‌ها، امکان تصادفی‌سازی وجود ندارد. مثلاً وقتی یک سیاست آموزشی در یک استان اجرا می‌شود و ارزیاب می‌خواهد اثر آن را بر نرخ ترک تحصیل بسنجد، نمی‌تواند دانش‌آموزان را به صورت تصادفی در دو گروه مداخله و شاهد قرار دهد. در چنین شرایطی، مقایسه ساده نتایج قبل و بعد از مداخله در همان گروه مداخله، گمراه‌کننده است، زیرا تغییرات دیگری مانند شرایط اقتصادی، فصلی بودن، سیاست‌های هم‌زمان یا تغییرات جمعیتی ممکن است هم‌زمان رخ داده باشد و بر نتیجه اثر بگذارد. از سوی دیگر، مقایسه ساده گروه مداخله و گروه شاهد تنها در یک مقطع زمانی پس از مداخله نیز نمی‌تواند تفاوت‌های اولیه بین دو گروه را کنترل کند.

روش تفاوت در اختلافات با ترکیب مقایسهٔ زمانی و بین‌گروهی به این مسئله می‌پردازد. این روش به ارزیاب اجازه می‌دهد تا اثر مداخله را از عواملی که در طول زمان مشترکاً بر هر دو گروه اثر می‌گذارند، جدا کند. این روش همچنین انعطاف‌پذیری بیشتری نسبت به طرح‌های آزمایشی دارد و می‌تواند برای داده‌های موجود در ثبت‌های اداری یا پیمایش‌های تکرارشونده به کار رود.

چه زمانی از روش تفاوت در اختلافات استفاده کنیم؟

استفاده از این روش در شرایط زیر به‌ویژه مناسب است:

• امکان تخصیص تصادفی وجود ندارد، اما داده‌های قبل و بعد از مداخله برای دو گروه مداخله و شاهد در دسترس است.
• مداخله در سطح گروهی (مانند منطقه، استان، مدرسه یا سازمان) اجرا شده است و روند نتیجه در طول زمان قابل مشاهده است.
• عوامل مخدوش‌کننده‌ای وجود دارند که بر هر دو گروه به صورت مشابه اثر می‌گذارند و تغییرات آنها در طول زمان محتمل است.
• ارزیاب می‌خواهد اثر مداخله را از روندهای بلندمدت متغیر نتیجه جدا کند.
• دادهٔ پیامد برای هر دو گروه، پیش و پس از مداخله، با تعریف قابل مقایسه موجود است. مشاهدهٔ چند دورهٔ پیش از برنامه به ارزیابی معقول بودن فرض روندهای موازی کمک می‌کند.

از سوی دیگر، اگر روندهای قبل از مداخله در دو گروه به وضوح واگرا یا غیرموازی باشند، یا اگر مداخله هم‌زمان با سایر شوک‌های خاص گروه مداخله رخ داده باشد، اعتبار این روش زیر سؤال می‌رود. همچنین اگر واحدهای مداخله و شاهد بسیار ناهمگن باشند یا تعداد مشاهدات کم باشد، کاربرد این روش دشوار می‌شود.

ارتباط روش با نظریه تغییر

روش تفاوت در اختلافات ذاتاً یک روش آماری برای برآورد اثر مداخله است و به خودی خود چارچوب کامل نظریه تغییر را ارائه نمی‌دهد. با این حال، برای استفاده معنادار از این روش، ارزیاب باید نظریه تغییر برنامه را مشخص کند تا بداند کدام متغیر نتیجه باید اندازه‌گیری شود و انتظار می‌رود مداخله از چه مسیری بر آن اثر بگذارد. نظریه تغییر مشخص می‌کند که مداخله قرار است از طریق چه سازوکارهایی (مانند افزایش انگیزه، بهبود مهارت، تغییر رفتار و غیره) به نتیجه نهایی منجر شود. این اطلاعات برای انتخاب متغیر نتیجه و زمان‌بندی اندازه‌گیری ضروری است.

همچنین نظریه تغییر به ارزیاب کمک می‌کند تا فرض‌های مربوط به عدم وجود عوامل مخدوش‌کننده خاص گروه مداخله را بررسی کند. نقش هر متغیر باید روشن باشد. متغیری که در مسیر اثرگذاری مداخله تغییر می‌کند، میانجی است و افزودن خودکار آن به‌عنوان متغیر کنترل می‌تواند برآوردِ اثر مورد نظر را عوض کند یا سوگیری ایجاد کند. متغیر کمکی را با توجه به ترتیب زمانی، نقش علّی و هدف برآورد انتخاب کنید. در نتیجه، روش تفاوت در اختلافات به تنهایی یک روش کامل ارزیابی مبتنی بر نظریه نیست، بلکه یک تکنیک تحلیلی است که می‌تواند درون یک چارچوب ارزیابی مبتنی بر نظریه به کار گرفته شود.

چگونه از روش تفاوت در اختلافات استفاده کنیم؟

اجرای این روش معمولاً شامل مراحل زیر است:

1. تعریف سؤال ارزیابی و متغیر نتیجه: مشخص کنید کدام نتیجه قرار است تغییر کند و اثر مداخله بر آن بررسی شود.
2. انتخاب گروه مداخله و گروه شاهد: گروه مقایسه‌ای با مبنای نظری و اجرایی قابل دفاع انتخاب کنید. برابر بودن سطح اولیهٔ پیامد لازم نیست و شباهت ظاهری، روندهای موازی را تضمین نمی‌کند.
3. جمع‌آوری داده‌های قبل و بعد از مداخله: برای هر دو گروه، داده‌های متغیر نتیجه را در چند نقطه زمانی قبل و بعد از اجرای مداخله گردآوری کنید.
4. بررسی فرض روندهای موازی: روند پیامد را در دوره‌های پیش از برنامه و شواهد زمینه‌ای را بررسی کنید. روندهای پیشینِ هم‌راستا، شاهد حمایتی‌اند؛ برقرار بودن روند خلاف واقع پس از برنامه را اثبات نمی‌کنند.
5. محاسبه تفاوت‌ها: تفاوت نتیجه قبل و بعد از مداخله را برای هر گروه به دست آورید، سپس تفاوت این دو تفاوت را محاسبه کنید تا اثر مداخله برآورد شود.
6. کنترل عوامل مخدوش‌کننده: نقش و زمان اندازه‌گیری متغیرهای کمکی را مشخص کنید و مدل را با آن سازگار کنید. اضافه‌کردن فهرستی از متغیرها، بدون مبنای علّی، رفع مخدوش‌گری را تضمین نمی‌کند.
7. بررسی جایگزین‌های ممکن: به دنبال رویدادهای هم‌زمان یا شوک‌های خاص گروه مداخله باشید که ممکن است بر نتیجه اثر گذاشته باشند.
8. تفسیر و تصمیم‌گیری: برآورد اثر و عدم قطعیت آن را با فرض‌ها، محدودیت داده، اهمیت عملی، هزینه و شرایط اجرا گزارش کنید؛ معناداری آماری، دستور خودکار برای ادامه یا گسترش برنامه نیست.

شواهد موردنیاز

مهم‌ترین شواهد برای این روش، داده‌های طولی متغیر نتیجه برای هر دو گروه مداخله و شاهد در بازه‌های زمانی قبل و بعد از مداخله است. این داده‌ها می‌توانند از منابع اداری، پیمایش‌های تکرارشونده، ثبت‌های آماری یا سامانه‌های اطلاعاتی به دست آیند. کیفیت داده‌ها از نظر دقت اندازه‌گیری، پیوستگی زمانی و همگنی تعاریف در طول زمان، تأثیر مستقیم بر اعتبار نتایج دارد. همچنین داده‌های مربوط به عوامل زمینه‌ای و مخدوش‌کننده بالقوه برای کنترل در مدل‌های رگرسیونی لازم است.

شواهد کیفی نیز می‌توانند مکمل مفیدی باشند. برای مثال، مصاحبه با مطلعان محلی می‌تواند نشان دهد که آیا در دوره مطالعه رویداد خاصی رخ داده است که فقط گروه مداخله را تحت تأثیر قرار داده باشد. اگر شواهدی دال بر نقض فرض روندهای موازی یا وجود شوک‌های خاص گروه مداخله یافت شود، باید با احتیاط نتیجه‌گیری کرد و در صورت امکان از روش‌های تکمیلی استفاده کرد.

مثال فرضی: برنامهٔ کمک به جویندگان کار

فرض کنید یک اداره کار منطقه‌ای می‌خواهد اثر یک برنامه کمک به جویندگان کار را بر نرخ بیکاری بررسی کند. این برنامه در منطقه A اجرا می‌شود و شامل خدمات مشاوره شغلی، آموزش مهارت و معرفی به کارفرمایان است. منطقه B به عنوان گروه شاهد انتخاب شده است و برنامه را دریافت نمی‌کند. داده‌های نرخ بیکاری فصلی برای هر دو منطقه در چند سال قبل و بعد از اجرای برنامه در دسترس است.

پیش از اجرای برنامه، روند نرخ بیکاری در دو منطقه تقریباً موازی است. پس از شروع برنامه، نرخ بیکاری در منطقه A کاهش می‌یابد در حالی که در منطقه B تغییر چندانی نمی‌کند. در طول دوره مطالعه، هیچ رویداد خاص دیگری مانند تغییر بزرگ در تعداد کسب‌وکارها یا سیاست‌های اداری متفاوت در دو منطقه رخ نداده است. در این شرایط، تفاوت در اختلافات به ما می‌گوید که اگر برنامه اجرا نمی‌شد، انتظار می‌رفت نرخ بیکاری در منطقه A روندی مشابه منطقه B داشته باشد. اگر فرض‌های مقایسه پذیرفتنی باشند، تفاوت تغییرات می‌تواند برآوردی از اثر برنامه فراهم کند. موازی بودن روند گذشته و ندیدن یک شوک دیگر، به‌تنهایی این فرض‌ها را اثبات نمی‌کند. در این مثال دادهٔ عددی یا خروجی واقعی تحلیل ارائه نشده است.

این مثال فرضی نشان می‌دهد که چگونه این روش می‌تواند با استفاده از داده‌های موجود، تخمینی از اثر مداخله ارائه دهد و به تصمیم‌گیرندگان کمک کند تا درباره تداوم یا گسترش برنامه قضاوت کنند.

مزایای استفاده از روش تفاوت در اختلافات

• در بعضی شرایط بدون تخصیص تصادفی، با استفاده از گروه مقایسه و مفروضات روشن، امکان برآورد اثر را فراهم می‌کند.
• اثر عوامل زمانی مشترک را که بر هر دو گروه اثر می‌گذارند، حذف می‌کند.
• با تفاوت‌های اولیه ثابت بین دو گروه سازگار است.
• می‌تواند از داده‌های پانلی یا سری‌های زمانی موجود استفاده کند و نیاز به جمع‌آوری داده جدید را کاهش دهد.
• روش نسبتاً ساده و شفافی است و نتایج آن برای مخاطبان غیرتخصصی نیز قابل توضیح است.

محدودیت‌ها و خطاهای رایج

مهم‌ترین محدودیت این روش، فرض روندهای موازی است. اگر در نبود مداخله، روند نتیجه در گروه مداخله با گروه شاهد متفاوت می‌بود، اثر برآوردشده اریب‌دار خواهد بود. روند خلاف واقعِ پس از مداخله مشاهده نمی‌شود و این فرض را نمی‌توان مستقیماً از همان داده‌ها اثبات کرد. روندهای گذشته باید همراه با شناخت زمینه، سازوکار تخصیص و رویدادهای هم‌زمان برای ارزیابی معقول بودن آن بررسی شوند. همچنین اگر هم‌زمان با مداخله، رویداد دیگری رخ دهد که فقط بر گروه مداخله اثر بگذارد، این روش قادر به تفکیک اثر آن رویداد از اثر مداخله نیست.

کیفیت داده‌ها نیز چالش‌برانگیز است. اگر داده‌ها در طول زمان قابل مقایسه نباشند، تعریف متغیر نتیجه تغییر کند یا مشاهدات از دست‌رفته زیاد باشد، نتایج غیرقابل اعتماد خواهند بود. علاوه بر این، اگر گروه مداخله و شاهد از ابتدا تفاوت‌های مهم و تغییرپذیری داشته باشند که بر روند نتیجه اثر بگذارد، فرض موازی بودن زیر سؤال می‌رود. در نهایت، تفسیر اثر برآوردشده به عنوان اثر علی قطعی بدون بررسی دقیق تهدیدهای اعتبار داخلی، گمراه‌کننده است؛ همانند سایر روش‌های مشاهده‌ای، باید درباره توضیحات رقیب و عوامل مخدوش‌کننده محتاط بود.

مقایسه با روش‌های مشابه

روش تفاوت در اختلافات اغلب با روش‌های دیگری که برای استنتاج علی در مطالعات مشاهده‌ای به کار می‌روند، مقایسه می‌شود. در کارآزمایی تصادفی کنترل‌شده، مبنای مقایسه تخصیص تصادفی است؛ در DID، تغییر پیامد در گروه مقایسه با فرض روندهای موازی به کار می‌رود. اعتبار هر طرح را باید از اجرای واقعی و فرض‌هایش سنجید؛ DID تنها گزینهٔ ممکن در همهٔ شرایط غیرآزمایشی نیست. تطبیق امتیاز گرایش (PSM) بر ویژگی‌های مشاهده‌شده تکیه دارد و همسانی عوامل مشاهده‌نشده را تضمین نمی‌کند. DID تفاوتِ ثابت در سطح پیامد را با مقایسهٔ تغییرها کنار می‌گذارد؛ اما ثابت بودن خودِ یک ویژگی مشاهده‌نشده کافی نیست: اگر اثر آن بر پیامد در زمان تغییر کند و ترکیب گروه‌ها متفاوت باشد، روندهای موازی می‌تواند نقض شود. روش رگرسیون ناپیوستگی (RDD) برای شرایطی مناسب است که تخصیص مداخله بر اساس یک آستانه مشخص انجام شده باشد و نمی‌توان از آن در هر شرایطی استفاده کرد. روش متغیر ابزاری (IV) نیز برای زمانی است که یک ابزار معتبر در دسترس باشد.

ترکیب DID با تطبیق، نیازمند توجیه جداگانه است. شباهت ویژگی‌ها یا پیامدهای پیش از برنامه، روندهای موازی را تضمین نمی‌کند و انتخاب متغیر و شیوهٔ تطبیق می‌تواند نتیجه را تغییر دهد. انتخاب روش مناسب به مسئله ارزیابی، ساختار داده‌ها و نوع مداخله بستگی دارد.

جمع‌بندی

روش تفاوت در اختلافات ابزاری ارزشمند برای ارزیابی اثر مداخلات در شرایطی است که تصادفی‌سازی ممکن نیست و داده‌های طولی برای دو گروه مداخله و شاهد در دسترس است. این روش با تکیه بر فرض روندهای موازی، اثر مداخله را از روندهای زمانی مشترک و تفاوت‌های ثابت اولیه جدا می‌کند. با این حال، اعتبار نتایج به شدت به کیفیت داده‌ها و برقراری فرض‌های کلیدی وابسته است و ارزیاب باید نسبت به تهدیدهای اعتبار داخلی مانند شوک‌های هم‌زمان خاص گروه مداخله هشیار باشد.

هنگام انتخاب این روش، مهم است که ارزیاب ابتدا بررسی کند آیا داده‌های کافی از دوره قبل و بعد از مداخله برای هر دو گروه موجود است، آیا روندهای گذشته موازی بوده‌اند، و آیا امکان دارد عوامل دیگری هم‌زمان با مداخله بر گروه مداخله اثر گذاشته باشند. در صورت وجود چنین شرایطی، ممکن است استفاده از روش‌های مکمل یا ترکیبی نتایج معتبرتری به دست دهد.

منابع روش

• World Bank DIME Analytics، Development Research in Practice: The DIME Analytics Data Handbook، بخش Research design for impact evaluation؛ برای منطق مقایسهٔ تغییرها، ساختار پنل و مقاطع تکرارشونده و طرح‌های پیچیده‌تر.
• Zeldow و Hatfield، ۲۰۲۱، Confounding and regression adjustment in difference-in-differences studies؛ برای تعریف روندهای موازی، محدودیت آزمون آن، انتخاب متغیرهای کمکی و خطر کنترل متغیر متأثر از مداخله.