تجزیه و تحلیل سری زمانی وقفهدار (ITSA)
مقدمه
در بسیاری از موقعیتهای ارزیابی، بهویژه در سیاستگذاری عمومی و برنامههای کلان اجتماعی، امکان اجرای یک آزمایش تصادفیسازیشده وجود ندارد. مداخله ممکن است بهصورت یکباره و در سطح کل جامعه هدف اجرا شود، مانند تصویب یک قانون جدید، تغییر تعرفه مالیاتی، راهاندازی یک برنامه سراسری بهداشتی یا اجرای یک مقرره ترافیکی. در این شرایط، ارزیاب با این پرسش روبهروست: چگونه میتوان اثر این مداخله را از سایر تغییراتی که همزمان در جامعه رخ میدهد جدا کرد؟
تجزیهوتحلیل سری زمانی وقفهدار (Interrupted Time Series Analysis) که بهاختصار ITSA نامیده میشود، یکی از روشهای شبهتجربی است که برای پاسخ به چنین پرسشهایی طراحی شده است. این روش تلاش میکند با تکیه بر دادههای طولی و الگوی روند پیش از مداخله، تصویری مستدل از تغییرات پس از مداخله ارائه دهد. با این حال، باید توجه داشت که ITSA بهتنهایی «اثبات» علیت نمیکند؛ بلکه شواهدی ارائه میدهد که در صورت برآوردهشدن فرضهای کلیدی، میتواند به یک استنباط علّی محتاطانه منجر شود.
تجزیه و تحلیل سری زمانی وقفهدار چیست؟
ITSA یک روش کمی برای تحلیل دادههای سری زمانی است که در آن یک «وقفه» یا نقطه مداخله مشخص، سری زمانی را به دو بخش پیش و پس از مداخله تقسیم میکند. هدف اصلی این روش آن است که مشخص کند آیا پس از معرفی مداخله، تغییر معناداری در سطح (Level) یا شیب روند (Trend) متغیر پیامد رخ داده است یا خیر.
سؤال محوری که ITSA به آن پاسخ میدهد این است: «آیا پس از اجرای مداخله، مسیر پیامد بهگونهای تغییر کرده است که با ادامه روند پیشین قابل توضیح نباشد؟» برای پاسخ به این سؤال، روش بر این فرض استوار است که اگر مداخله اجرا نمیشد، روند پیش از مداخله به همان شکل ادامه مییافت. به این ترتیب، انحراف معنادار از آن روند، بهعنوان شواهدی از اثر مداخله تفسیر میشود.
خروجی اصلی ITSA یک برآورد آماری از تغییر در سطح یا شیب پس از مداخله است. این تغییر میتواند فوری و پایدار باشد، مانند جهش ناگهانی در نرخ استفاده از یک خدمت پس از رایگانشدن آن؛ یا تدریجی و در قالب تغییر شیب، مانند افزایش آهسته نرخ ترک سیگار پس از اجرای یک برنامه آموزشی مداوم. در هر دو حالت، تمرکز تحلیل بر مقایسه روند مشاهدهشده با روند برآوردشده از دادههای پیش از مداخله است.
این روش چه مسئلهای را در ارزیابی حل میکند؟
در ارزیابی مداخلاتی که بهصورت سراسری اجرا میشوند، بزرگترین مسئله روششناختی این است که «گروه کنترل» وجود ندارد. وقتی همه افراد جامعه هدف در معرض مداخله قرار میگیرند، نمیتوان تفاوت میان گروه مداخله و گروه کنترل را محاسبه کرد. ITSA در چنین شرایطی جایگزینی برای این منطق مقایسهای ارائه میدهد: خودِ جامعه، قبل از مداخله، بهعنوان «کنترل» برای خودش پس از مداخله عمل میکند.
این رویکرد زمانی ارزشمند میشود که ارزیاب با دادههای طولی مستمر سروکار دارد و میتواند الگوی طبیعی تغییرات پیش از مداخله را مدلسازی کند. اگر آن الگو پایداری قابل قبولی داشته باشد، انحراف از آن پس از مداخله میتواند نشانهای از اثر مداخله باشد. بنابراین مسئله اصلی که ITSA حل میکند، امکان استنباط اثر در غیاب گروه کنترل و در حضور دادههای سری زمانی است؛ مسئلهای که بسیاری از روشهای تجربی یا نیمهتجربی دیگر با آن روبهرو نمیشوند یا نمیتوانند در این شرایط عمل کنند.
با این حال، این راهحل شکننده است: اگر در همان زمان مداخله، رویداد دیگری نیز بر پیامد اثر گذاشته باشد، تشخیص اثر مداخله از اثر آن رویداد بسیار دشوار خواهد بود. به همین دلیل، ITSA معمولاً بهعنوان یک روش «شبهتجربی قوی» شناخته میشود که در صورت برآوردهشدن فرضها، اعتبار درونی قابل قبولی دارد؛ اما این اعتبار هرگز به سطح یک آزمایش تصادفیسازیشده نمیرسد.
چه زمانی از این روش استفاده کنیم؟
استفاده از ITSA زمانی منطقی است که چند شرط اصلی بهصورت همزمان برقرار باشد:
- مداخله در سطح جمعیت یا یک سیستم اجرا شده و امکان تشکیل گروه کنترل وجود ندارد.
- یک نقطه زمانی مشخص و قابل شناسایی برای شروع مداخله وجود دارد.
- دادههای سری زمانی متوالی و با فراوانی کافی، پیش و پس از مداخله در دسترس است.
- متغیر پیامد در طول زمان اندازهگیری شده و روندی قابل مدلسازی دارد.
- عوامل مخدوشکننده همزمان با مداخله، شناختهشده یا مدیریتپذیر هستند.
این روش برای مداخلاتی که اثر آنها با تأخیر ظاهر میشود یا بهصورت تدریجی اجرا میشوند نیز قابل استفاده است، اما در این حالت پیچیدگی تحلیل افزایش مییابد و برآوردها به فرضهای بیشتری درباره زمان اثر و شکل اثر وابسته میشوند. همچنین اگر متغیر پیامد دادههای اندکی دارد یا فراوانی مشاهدات بسیار کم است، قدرت آماری تحلیل کاهش مییابد و نتایج باید با احتیاط تفسیر شوند.
ارتباط روش با نظریه تغییر
ITSA ذاتاً یک روش آماری است، نه یک چارچوب نظریهمحور مانند ارزیابی مبتنی بر نظریه تغییر یا تحلیل سهم. با این حال، کیفیت استفاده از آن بهشدت به درک نظریهای درباره نحوه اثرگذاری مداخله وابسته است. پیش از ساخت مدل آماری، ارزیاب باید بتواند مشخص کند که مداخله قرار است چگونه بر پیامد اثر بگذارد: آیا اثر فوری و یکباره است؟ آیا بهصورت تدریجی و انباشتی ظاهر میشود؟ آیا تغییر در سطح پیامد مورد انتظار است یا در شیب تغییرات آن؟
این نوع سؤالات در واقع همان پرسشهایی هستند که یک نظریه تغییر ساده به آنها پاسخ میدهد. بدون داشتن فرضی روشن درباره مسیر اثر، مدل آماری ممکن است بهگونهای ساخته شود که با واقعیت مداخله سازگار نباشد. بنابراین، هرچند ITSA به خودی خود جایگزین نظریه تغییر نیست، استفاده از آن بدون یک منطق اثرگذاری مشخص، خطر نتیجهگیری نادرست را افزایش میدهد.
چگونه از ITSA استفاده کنیم؟
استفاده از ITSA مستلزم طی چند مرحله مشخص است که در ادامه به ترتیب منطقی ارائه شدهاند:
- تعریف سؤال و مشخصکردن متغیر پیامد: ابتدا باید مشخص شود کدام پیامد قرار است تحلیل شود و مداخله دقیقاً از چه نقطهای آغاز شده است.
- جمعآوری دادههای سری زمانی: دادههای پیامد باید برای دورههای منظم پیش و پس از مداخله وجود داشته باشند. منابع اداری و ثبتهای اجرایی معمولاً منابع مناسبی هستند.
- بررسی بصری روند: پیش از مدلسازی آماری، نمودار سری زمانی باید رسم و الگوی کلی دادهها بررسی شود. این کار به شناسایی فصلی بودن، روندهای بلندمدت و نقاط پرت کمک میکند.
- مدلسازی آماری: معمولاً از رگرسیون حداقل مربعات معمولی (OLS) استفاده میشود که شامل متغیر زمان، متغیر دومی (نشاندهنده پیش یا پس از مداخله) و یک متغیر تعاملی برای تغییر شیب پس از مداخله است.
- بررسی مفروضات مدل: خودهمبستگی، ناایستایی و فصلی بودن باید آزمون و در صورت لزوم اصلاح شوند.
- بررسی توضیحات رقیب: باید در نظر گرفت که آیا رویداد دیگری همزمان با مداخله رخ داده که بتواند تغییر مشاهدهشده را توضیح دهد. افزودن یک سری زمانی کنترلی از جامعهای که مداخله را دریافت نکرده، میتواند به این بررسی کمک کند.
- تفسیر نتایج و رسیدن به استنباط: برآوردها باید در چارچوب فرضهای مدل و توضیحات رقیب تفسیر شوند و به تصمیمگیری درباره اثر مداخله منجر شوند.
شواهد موردنیاز
ITSA فقط با یک نوع شواهد کار میکند: دادههای کمی سری زمانی. این دادهها باید از نوع اندازهگیریهای تکرارشونده و منظم در طول زمان باشند، نه مشاهدات مقطعی یا دادههای کیفی. کیفیت شواهد از چند جهت بر نتایج اثر میگذارد. نخست، فراوانی و طول دوره مشاهدات باید بهاندازهای باشد که الگوی روند پیش از مداخله را با دقت نشان دهد و امکان تشخیص تغییرات پس از آن را فراهم کند. دوم، دادهها باید از منبعی تهیه شوند که نحوه جمعآوری آنها در طول زمان ثابت مانده باشد؛ در غیر این صورت، تغییرات مشاهدهشده ممکن است ناشی از تغییر در شیوه ثبت دادهها باشد، نه اثر مداخله.
شواهد متناقض در این روش معمولاً به شکل دادههایی ظاهر میشوند که با الگوی کلی پس از مداخله همخوانی ندارند. مدیریت این موارد مستلزم بررسی دقیق ریشه آنهاست: آیا خطای اندازهگیری است؟ آیا نشانه وجود یک عامل مداخلهگر دیگر است؟ یا اینکه روند واقعاً ناپایدار بوده و مدل باید اصلاح شود؟ نادیدهگرفتن دادههای متناقض بدون بررسی، بهطور جدی اعتبار نتایج را کاهش میدهد.
مثال کاربردی
فرض کنید یک شهرداری تصمیم میگیرد برای کاهش تصادفات رانندگی در معابر اصلی، طرحی را اجرا کند که بر اساس آن، سرعت مجاز در این معابر از ۶۰ کیلومتر بر ساعت به ۵۰ کیلومتر کاهش مییابد. این طرح از ابتدای مهرماه بهصورت همزمان در کل شهر اجرا میشود و امکان تعیین گروه کنترل وجود ندارد. دادههای ماهانه تعداد تصادفات برای سه سال پیش از اجرا و یک سال پس از اجرا از سامانه پلیس راهور در دسترس است.
نظریه اثرگذاری این مداخله ساده است: کاهش سرعت مجاز باید بلافاصله پس از اجرا، تعداد تصادفات را در سطح پایینتری قرار دهد و احتمالاً شیب روند را نیز تغییر دهد. با رسم نمودار سری زمانی، ارزیاب ابتدا روند پیش از مداخله را بررسی میکند تا مطمئن شود که دادهها روندی نسبتاً پایدار یا قابل مدلسازی داشتهاند. سپس مدل رگرسیونی با یک متغیر زمانی، یک متغیر دومی برای پس از مداخله و یک متغیر تعاملی برای تغییر شیب پس از مداخله برازش میشود.
در این مثال، اگر ضرایب مربوط به تغییر سطح و تغییر شیب معنادار باشند، ارزیاب شواهدی از اثر مداخله در اختیار دارد. اما پیش از نتیجهگیری، باید بررسی کند که آیا همزمان با اجرای طرح، رویداد دیگری مانند تغییر در مقررات بیمه یا اجرای طرح پلیس در سطح ملی رخ داده است یا خیر. همچنین باید توجه کند که اثرات فصلی مانند افزایش تصادفات در فصل بارندگی، ممکن است نتایج را مخدوش کند. اگر این بررسیها نشان دهد که توضیح رقیب قویتری وجود دارد، نتیجه باید با احتیاط بیان شود.
مزایا
- در شرایطی که تصادفیسازی ممکن نیست و گروه کنترل وجود ندارد، امکان برآورد اثر را فراهم میکند.
- میتوان از دادههای اداری و ثبتهای موجود بهصورت گذشتهنگر استفاده کرد؛ به این معنا که اغلب نیازی به جمعآوری داده جدید نیست.
- برای مداخلاتی که نقطه شروع مشخصی دارند، ساختار تحلیلی نسبتاً روشن و قابل فهمی ارائه میدهد.
- امکان تحلیل همزمان تغییر در سطح و تغییر در روند را میدهد و به این ترتیب میتواند انواع مختلفی از اثر را آشکار کند.
- در ترکیب با یک سری کنترل، امکان کنترل برخی رویدادهای خارجی مشترک فراهم میشود.
محدودیتها و خطاهای رایج
ITSA با وجود جذابیت روششناختی، محدودیتهای جدی دارد. مهمترین آن فرض تداوم روند پیشین است: اگر در غیاب مداخله روند به همان شکل ادامه نمییافت، برآوردهای اثر دچار خطا میشوند. این فرض بهسختی قابل آزمون است و اغلب به قضاوت ارزیاب درباره ثبات ساختاری جمعیت و زمینه وابسته است.
محدودیت مهم دیگر، حساسیت به رویدادهای همزمان است. اگر در زمان مداخله، عامل دیگری نیز بر پیامد اثر گذاشته باشد، نمیتوان اثر مداخله را از اثر آن عامل تفکیک کرد. افزودن سری کنترل تا حدودی این مشکل را کاهش میدهد، اما یافتن یک جامعه کنترلی معتبر که دقیقاً در معرض همان رویدادهای خارجی باشد، همیشه ممکن نیست.
از نظر آماری نیز ITSA به تعداد مشاهدات کافی وابسته است. سریهای زمانی کوتاه قدرت آزمون را کاهش میدهند و تشخیص الگوی فصلی یا خودهمبستگی در آنها دشوار است. همچنین نادیدهگرفتن خودهمبستگی خطای معیار را بهصورت مصنوعی کاهش میدهد و احتمال یافتن نتایج معنادار کاذب را افزایش میدهد. در نهایت، تفسیر نتایج بهشدت به تصمیمهای مدلسازی ارزیاب وابسته است؛ انتخابهای مختلف درباره شکل مدل، نقاط شروع و پایان دوره تحلیل میتواند به نتایج متفاوتی منجر شود.
مقایسه با روشهای مشابه
ITSA معمولاً با روش تفاوت در تفاوتها مقایسه میشود. هر دو روش برای دادههای طولی و در شرایط نبود تصادفیسازی کاربرد دارند، اما تفاوت اصلی آنها در نوع داده و منطق مقایسه است. ITSA تنها به یک سری زمانی واحد نیاز دارد و مقایسه را با برونیابی روند پیشین انجام میدهد، در حالی که تفاوت در تفاوتها به دادههای گروه مداخله و کنترل نیاز دارد و مقایسه را بر اساس تفاوت بین گروهها در پیش و پس از مداخله انجام میدهد. زمانی که گروه کنترل معتبری در دسترس است، روش تفاوت در تفاوتها معمولاً استوارتر است؛ اما وقتی مداخله سراسری است و گروه کنترل وجود ندارد، ITSA گزینهای منطقی به شمار میرود.
در مقایسه با روشهای کیفی مانند ردیابی فرایند، تفاوت بنیادیتر است. ردیابی فرایند به شواهد کیفی درباره سازوکارهای علّی و زنجیره رویدادها متکی است و برای فهم اینکه «چرا» و «چگونه» اثری رخ داده مناسب است، در حالی که ITSA یک روش آماری برای برآورد «آیا» و «تا چه اندازه» تغییر ایجاد شده است. از این نظر، این دو میتوانند مکمل یکدیگر باشند: ITSA تغییرات قابل مشاهده در سطح پیامد را اندازه میگیرد و ردیابی فرایند میتواند به فهم مسیرهای علّی که به آن تغییرات منجر شدهاند کمک کند.
جمعبندی
تجزیهوتحلیل سری زمانی وقفهدار روشی است که به ارزیاب امکان میدهد در شرایط نبود گروه کنترل و با تکیه بر دادههای طولی، درباره اثر مداخله استنباط کند. ارزش اصلی این روش در موقعیتهایی است که مداخله در سطح کل جامعه اجرا شده و نقطه شروع قابل شناسایی دارد. با این حال، اعتبار نتایج آن بهشدت به برآوردهشدن فرض تداوم روند، نبود رویدادهای همزمان مخدوشکننده و کیفیت دادههای سری زمانی وابسته است. ارزیابی که از ITSA استفاده میکند باید بهجای تکیه صرف به نتایج آماری، آنها را در چارچوب نظریه اثرگذاری مداخله و بررسی دقیق توضیحات رقیب تفسیر کند. در چنین شرایطی، ITSA میتواند بهعنوان یکی از ابزارهای ارزشمند جعبهابزار ارزیابی مداخلات عمومی به کار گرفته شود.