استفاده از ردیابی فرایند در ارزیابی
مقدمه
در بسیاری از ارزیابیها، پرسش اصلی فقط این نیست که «آیا نتیجهای رخ داد یا نه»، بلکه این است که «آیا مداخله از مسیری که انتظار داشتیم به نتیجه منجر شد؟». وقتی ارزیاب فقط یک مورد مداخله را در اختیار دارد، امکان مقایسه با گروه کنترل یا نمونههای متعدد وجود ندارد و روشهای متکی بر مقایسه آماری بهسختی به کار میآیند. در چنین شرایطی، ارزیاب به رویکردی نیاز دارد که بتواند زنجیره علت و معلولی را در همان یک مورد با استفاده از شواهد میدانی و اسنادی بررسی کند. «ردیابی فرایند» (Process Tracing) دقیقاً برای همین مسئله طراحی شده است.
هدف این مقاله ارائه تصویری روشن و کاربردی از ردیابی فرایند، جایگاه آن در ارزیابی مبتنی بر نظریه، نحوه استفاده، مزایا و محدودیتهای آن است.
ردیابی فرایند چیست؟
ردیابی فرایند روشی ساختاریافته برای بررسی سازوکار علّی در یک مورد مشخص است. در این روش، ارزیاب یک فرضیه درباره چگونگی اثرگذاری مداخله را مبنا قرار میدهد و سپس با جمعآوری و تحلیل شواهد، بررسی میکند که آیا شواهد موجود با آن فرضیه سازگارند یا خیر. این فرضیه معمولاً از نظریه تغییر به دست میآید؛ یعنی مسیری که در آن فعالیتها به خروجیها، خروجیها به نتایج کوتاهمدت، و نتایج کوتاهمدت به پیامد نهایی میرسند.
ردیابی فرایند به ارزیاب اجازه میدهد یک «مورد» را عمیقاً بررسی کند، حتی وقتی امکان مقایسه با موارد مشابه یا تشکیل گروه کنترل وجود ندارد. برخلاف روشهایی که بر فراوانی دادهها و تحلیل میانموردی متکیاند، ردیابی فرایند بر نسبت یک زنجیره شواهد با یک تبیین خاص در درون یک مورد تمرکز دارد. به همین دلیل، شواهد کیفی مانند اسناد برنامه، مصاحبه با ذینفعان، گزارشهای اجرایی و مشاهده نقش پررنگی دارند.
این روش چه مسئلهای را در ارزیابی حل میکند؟
در ارزیابی بسیاری از برنامهها، بهویژه مداخلات پیچیده در سیاستگذاری عمومی یا توسعه، نمیتوان صرفاً با مشاهده تغییر در یک شاخص نتیجه گرفت که مداخله علت آن تغییر بوده است. دلایل متعددی برای این دشواری وجود دارد:
- اجرای مداخله در یک زمینه اجتماعی و نهادی پویا انجام میشود که عوامل دیگری نیز همزمان اثر میگذارند.
- ممکن است فقط یک مورد مداخله اجرا شده باشد و امکان مقایسه با مورد مشابه وجود نداشته باشد.
- پیامد ممکن است با تأخیر ظاهر شود و اتصال مستقیم آن به مداخله دشوار باشد.
- مسیر اثرگذاری ممکن است از چند مرحله و چند عامل واسط عبور کند.
ردیابی فرایند این مسئله را از طریق تمرکز بر «سازوکار» حل میکند. بهجای آنکه بپرسد «آیا X و Y همزمان تغییر کردند؟»، میپرسد «آیا شواهدی وجود دارد که نشان دهد X از مسیر مشخصی به Y منجر شده است؟». این جابهجایی پرسش، به ارزیاب امکان میدهد ادعاهای علّی را نه بر اساس همبستگی، بلکه بر اساس پیوستگی منطقی و شواهد میدانی بررسی کند.
ارتباط روش با نظریه تغییر
ردیابی فرایند بدون یک نظریه تغییر صریح، کارایی چندانی ندارد. نظریه تغییر، مسیر اثرگذاری را تعریف میکند و مشخص میسازد که هر مرحله از زنجیره مداخله چگونه باید به مرحله بعدی ختم شود. ردیابی فرایند در واقع آزمونی برای این نظریه است.
برای مثال، اگر نظریه تغییر برنامهای میگوید «آموزش کارکنان باعث افزایش کیفیت خدمات میشود و این افزایش کیفیت اعتماد شهروندان را جلب میکند»، ردیابی فرایند به دنبال شواهدی میگردد که تکتک حلقههای این زنجیره را نشان دهند. ارزیاب ممکن است اسناد آموزشی، ارزیابیهای یادگیری، گزارشهای بازرسی کیفیت و مصاحبه با مراجعان را بررسی کند تا مشخص شود آیا این مسیر واقعاً طی شده است یا خیر. اگر شواهد در بخشی از مسیر قطع شوند، میتوان فرضیه را ضعیف تلقی کرد یا آن را اصلاح کرد.
چه زمانی از ردیابی فرایند استفاده کنیم؟
ردیابی فرایند زمانی بیشترین ارزش را دارد که:
- ارزیابی معطوف به یک مورد واحد است و امکان مقایسه چندموردی وجود ندارد.
- مسئله اصلی ارزیابی، آزمون سازوکار اثرگذاری است، نه صرفاً سنجش مقدار تغییر.
- مداخله در زمینهای پیچیده اجرا شده است و عوامل مخدوشکننده واقعی یا احتمالی وجود دارند.
- شواهد کیفی غنی در دسترس است، مانند اسناد اجرایی و اظهارات ذینفعان.
- باید مشخص شود «چرا» مداخله اثر کرد یا نکرد، نه فقط «آنجا چه اتفاقی افتاد».
این روش برای همه مسائل ارزیابی مناسب نیست؛ مثلاً اگر ارزیاب صرفاً به برآورد میزان تغییر در سطح جمعیت نیاز دارد یا دادههای کمی گستردهای برای مقایسه در اختیار دارد، روشهای دیگری ممکن است کارآمدتر باشند.
چگونه از ردیابی فرایند استفاده کنیم؟
ردیابی فرایند یک فرایند تحلیلی است که میتوان آن را در چند مرحله خلاصه کرد:
- مشخص کردن سؤال ارزیابی: دقیقاً چه ادعایی قرار است بررسی شود؟ معمولاً سؤال حول یک سازوکار علّی مشخص شکل میگیرد.
- تبیین مسیر اثرگذاری: از نظریه تغییر استفاده میشود تا زنجیره منطقی از مداخله تا پیامد ترسیم شود.
- تعیین فرضیههای قابل آزمون: برای هر مرحله از مسیر، فرضیههای مشخص نوشته میشود که بتوان آنها را رد یا تأیید کرد.
- گردآوری شواهد: شواهد مرتبط با هر فرضیه جمعآوری میشود. این شواهد میتوانند کیفی یا کمی باشند.
- ارزیابی شواهد: مشخص میشود که هر شاهد تا چه حد فرضیه را تأیید یا رد میکند. برای این کار از انواع آزمونهای ردیابی فرایند استفاده میشود.
- بررسی تبیینهای رقیب: ارزیاب باید توضیحات جایگزین را نیز در نظر بگیرد و شواهدی جمع کند که ممکن است آنها را تأیید یا رد کند.
- جمعبندی قوت استنباط: در پایان، ارزیاب باید بگوید که شواهد چقدر از سازوکار فرضی حمایت میکنند، نه اینکه آن را اثبات کنند.
انواع آزمونها در ردیابی فرایند
یکی از مفاهیم کلیدی در ردیابی فرایند، طبقهبندی آزمونهای شواهد است. سه نوع اصلی آزمون عبارتاند از:
- آزمون حلقه: در این آزمون، اگر شاهد موردنظر یافت نشود، فرضیه بهشدت تضعیف میشود؛ اما اگر یافت شود، صرفاً تأییدی نسبی ایجاد میکند.
- آزمون دود: شاهد یافتشده بهشدت از یک فرضیه حمایت میکند، اما نبود آن لزوماً فرضیه را رد نمیکند.
- آزمون کاه در باد: شاهدی که تأثیر چندانی در تأیید یا رد فرضیه ندارد و بیشتر نقشی تکمیلی دارد.
این آزمونها به ارزیاب کمک میکنند تا ارزش شواهد را بهصورت ساختارمند بسنجد و دچار این خطا نشود که یک شاهد تأییدی ضعیف را با اثبات علّی اشتباه بگیرد. همچنین میتوان این آزمونها را با بهروزرسانی بیزی ترکیب کرد تا احتمال حمایت شواهد از یک فرضیه نسبت به فرضیههای رقیب بهصورت کمی برآورد شود.
جدول مسئله → تصمیم
| مسئله ارزیابی | سؤال اصلی | ردیابی فرایند چه کمکی میکند؟ | چه شواهدی لازم است؟ | تصمیم/نتیجه |
|---|---|---|---|---|
| نمیدانیم مداخله از چه مسیری نتیجه داده است | آیا سازوکار فرضی واقعاً عمل کرده است؟ | مسیر اثرگذاری را مرحلهبهمرحله بررسی میکند | اسناد اجرایی، مصاحبه، گزارشهای فرایندی | تأیید، اصلاح یا بازطراحی نظریه تغییر |
| تغییر مشاهده میشود اما نمیدانیم ناشی از مداخله است | آیا شواهد، ارتباط علّی را حمایت میکنند؟ | بررسی شواهد برای هر حلقه از زنجیره علّی | شواهد میدانی درباره هر مرحله از مسیر | قضاوت درباره سهم مداخله |
| توضیحات رقیب برای تغییر وجود دارد | کدام توضیح قویتر است؟ | جمعآوری و ارزیابی شواهد علیه و له هر تبیین | شواهد مرتبط با عوامل بیرونی و رقیب | تقویت استنباط علّی با احتیاط |
شواهد موردنیاز
در ردیابی فرایند، کیفیت و ارتباط شواهد با سازوکار فرضی مهمتر از حجم آنهاست. شواهد باید بهگونهای باشند که بتوانند وجود یا عدم وجود یک مرحله از زنجیره علّی را روشن کنند. برای مثال، اگر نظریه تغییر میگوید که یک بخشنامه باعث تغییر رویه اجرایی در ادارهها شده است، شواهد باید نشان دهند که بخشنامه دریافت و درک شده و سپس به اقدامات اجرایی مشخص منتهی شده است.
شواهد میتوانند کیفی و کمی باشند؛ اما در عمل، اسناد برنامه، مکاتبات، صورتجلسهها، گزارشهای اجرایی و مصاحبههای نیمهساختاریافته نقشی محوری دارند. شواهد متناقض یا ناقص را نباید کنار گذاشت؛ اتفاقاً وجود شکاف شواهدی میتواند نشانه آن باشد که سازوکار فرضی بهدرستی کار نکرده است. هر شاهدی که تبیین رقیب را تقویت کند باید جدی گرفته شود و در تحلیل وارد شود.
مثال کاربردی
فرض کنید یک سازمان دولتی برنامهای برای کاهش فساد اداری در بخش صدور مجوز اجرا کرده است. مداخله شامل سادهسازی فرایند درخواست، شفافسازی الزامات و حذف یک مرحله تأیید انسانی است. نظریه تغییر میگوید: سادهسازی فرایند، مراجعه حضوری را کاهش میدهد؛ کاهش مراجعه حضوری فرصت تعامل رو در رو را کم میکند؛ و کاهش این فرصت به کاهش پرداختهای غیررسمی میانجامد.
ارزیاب در چارچوب ردیابی فرایند، ابتدا این مسیر را مستند میکند و سپس بررسی میکند که آیا شواهدی از هر حلقه وجود دارد. برای حلقه اول، آمار درخواستهای ثبتشده در سامانه جدید و اسناد راهنمای کاربران را بررسی میکند. برای حلقه دوم، گزارشهای پایشی و شواهد میدانی از کاهش تقاضای ملاقات حضوری را میآزماید. برای حلقه سوم، شاخصهای شکایت از فساد و مصاحبه با مراجعان را تحلیل میکند. اگر شواهد قوی برای هر سه مرحله پیدا شود، میتوان نتیجه گرفت که شواهد با سازوکار فرضی سازگارند؛ اما ارزیاب همچنان باید بررسی کند که آیا کاهش پرداختهای غیررسمی میتواند ناشی از عامل دیگری مانند افزایش نظارت همزمان باشد. این مثال، هرچند فرضی است، منطق اصلی ردیابی فرایند را نشان میدهد: گامبهگام دنبال کردن سازوکار و بررسی تبیینهای رقیب.
مزایا
- برای بررسی تکموردی و شرایطی که امکان مقایسه وجود ندارد، بسیار مناسب است.
- ارزیابی را به سازوکار واقعی اثرگذاری نزدیک میکند، نه صرفاً به همبستگی.
- امکان استفاده از شواهد کیفی و اسنادی را فراهم میکند.
- به ارزیاب کمک میکند توضیحات رقیب را بهصورت نظاممند بررسی کند.
- در مداخلات پیچیده و زمینهمحور کارایی بالایی دارد.
محدودیتها و ریسکهای روش
- ردیابی فرایند به کیفیت و دسترسپذیری شواهد وابسته است؛ شواهد ناقص میتواند استنباط را شکننده کند.
- تفسیر ارزیاب از شواهد میتواند جهتگیری نتیجه را تغییر دهد، بهویژه اگر چارچوب تحلیلی از قبل سفتوسخت طراحی نشده باشد.
- تأیید یک سازوکار، وجود سازوکارهای دیگر را رد نمیکند (مسئله همپایانی).
- ممکن است ارزیاب بهطور ناخودآگاه به دنبال شواهد تأییدکننده بگردد و شواهد متناقض را کماهمیت جلوه دهد.
- این روش برای تعمیمپذیری به موارد دیگر طراحی نشده است و نتایج آن عمدتاً معطوف به همان مورد ارزیابی است.
مقایسه با روشهای مشابه
| روش | سؤال اصلی | نقطه قوت | محدودیت اصلی | چه زمانی مناسبتر است؟ |
|---|---|---|---|---|
| ردیابی فرایند | آیا سازوکار فرضی در این مورد خاص عمل کرده است؟ | دقت بالا در بررسی زنجیره علّی یک مورد | وابسته به شواهد کیفی و تفسیر ارزیاب | تحلیل تکموردی و بررسی سازوکار |
| تحلیل سهم (Contribution Analysis) | آیا مداخله سهم معناداری در نتایج مشاهدهشده داشته است؟ | ترکیب چند نوع شواهد برای ارزیابی سهم | به جمعبندی ترکیبی و قضاوت کلی نیاز دارد | بررسی سهم در برنامههای پیچیده |
| تحلیل مقایسهای کیفی (QCA) | کدام ترکیب عوامل با نتیجه مرتبط است؟ | مقایسه نظاممند چند مورد | تمرکز بر الگوهای میانموردی نه سازوکار درونموردی | هنگامی که چندین مورد و عوامل ترکیبی داریم |
رابطه با سایر رویکردها
ردیابی فرایند یک روش تحلیلی مشخص است، نه یک چارچوب ارزیابی کامل. برای استفاده مؤثر، معمولاً باید در درون یک رویکرد ارزیابی مبتنی بر نظریه قرار بگیرد. همچنین میتوان آن را با تحلیل سهم یا روشهای بهروزرسانی شواهد مانند استدلال بیزی ترکیب کرد. ردیابی فرایند با تحلیل مقایسهای کیفی (QCA) تفاوت بنیادین دارد؛ QCA برای مقایسه چندین مورد و شناسایی ترکیب عوامل به کار میرود، در حالی که ردیابی فرایند درون یک مورد مشخص به دنبال شواهد سازوکار است. در عمل، این دو میتوانند مکمل باشند، اما نباید یکی را با دیگری جایگزین کرد.
جمعبندی
ردیابی فرایند به ارزیاب امکان میدهد در شرایطی که امکان مقایسه یا کنترل وجود ندارد، بهجای اتکا به همبستگی، شواهد مربوط به سازوکار علّی را بررسی کند. این روش با تکیه بر نظریه تغییر و تحلیل شواهد میدانی، تصویری روشن از چرایی اثر یا بیاثری مداخله ارائه میدهد. مهمترین محدودیت آن وابستگی به کیفیت شواهد و قضاوت تحلیلی ارزیاب است؛ بنابراین هرگز نباید نتیجه آن را اثباتی قطعی درباره رابطه علّی در نظر گرفت. هنگام انتخاب این روش، باید اطمینان حاصل کرد که مسئله ارزیابی واقعاً بر سازوکار اثرگذاری متمرکز است و منابع شواهدی کافی برای پشتیبانی از استنباط وجود دارد.