روش مدلسازی یا شبیهسازی (Simulation modelling)
مقدمه
در بسیاری از موقعیتهای ارزیابی، پاسخ به این پرسش که «این مداخله چه تأثیری داشته است» به سادگی با مشاهده مستقیم نتایج ممکن نیست. مداخلات پیچیده اغلب در بسترهایی اجرا میشوند که عوامل متعددی همزمان بر پیامد اثر میگذارند. از سوی دیگر، برخی از پیامدها در بلندمدت ظاهر میشوند یا اندازهگیری مستقیم آنها بسیار پرهزینه و دشوار است. روش مدلسازی یا شبیهسازی (Simulation modelling) برای مواجهه با چنین موقعیتهایی به کار گرفته میشود. این روش به ارزیاب کمک میکند تا با ترکیب شواهد موجود، مفروضات مبتنی بر شواهد و منطق علی، تصویری قابل تحلیل از مسیر اثرگذاری بسازد و بر اساس آن، برآوردهایی از پیامدهای یک مداخله ارائه دهد.
روش مدلسازی یا شبیهسازی چیست؟
مدلسازی با شبیهسازی یک روش تحلیلی است که در آن، درک مفهومی از نحوه واکنش یک سیستم به تغییر، به صورت یک مدل بازنمایی میشود. این مدل، شواهد موجود و شواهد جدید را با یکدیگر ترکیب میکند و به ارزیاب امکان میدهد مجموعهای از پیامدها را بر اساس مجموعهای از ورودیها شبیهسازی کند. هدف اصلی این روش، بررسی رفتار سیستم تحت شرایط مختلف و برآورد نتایجی است که نمیتوان آنها را مستقیماً مشاهده یا اندازهگیری کرد.
این روش به نوع خاصی از سؤالهای ارزیابی پاسخ میدهد؛ پرسشهایی از این دست که «اگر این مداخله در این بستر و با این شدت اجرا شود، چه پیامدهایی قابل انتظار است؟» یا «سهم این مداخله در تغییر مشاهدهشده چه اندازه میتواند باشد؟». در این روش، شواهدی اهمیت دارند که بتوانند ساختار مدل را بسازند، پارامترهای آن را تعیین کنند و فرضهای اثرگذاری را پشتیبانی کنند. خروجی اصلی مدلسازی با شبیهسازی، معمولاً برآوردهایی از پیامدها، تحلیل سناریوهای مختلف یا ارزیابی میزان حساسیت نتایج به تغییر در ورودیها و فرضهاست.
این روش چه مسئلهای را در ارزیابی حل میکند؟
مسئله اصلی که مدلسازی با شبیهسازی به آن پاسخ میدهد، دشواری درک و برآورد اثر در شرایطی است که مسیر اثرگذاری پیچیده یا عوامل مخدوشکننده فراوان است. در ارزیابیهای متعارف، وقتی نمیتوان یک پیامد را مستقیماً به یک مداخله نسبت داد، نتیجهگیری درباره اثر مداخله با تردید همراه میشود. مدلسازی با شبیهسازی به ارزیاب کمک میکند تا این پیچیدگی را به صورت ساختاریافته بازنمایی کند.
این روش به ویژه زمانی ارزشمند میشود که مشاهده مستقیم پیامد ممکن نباشد؛ برای مثال، وقتی پیامد در آینده دور رخ میدهد، یا اندازهگیری آن مستلزم هزینهای نامتناسب است. همچنین در مواردی که شکافهایی در دادههای اولیه وجود دارد، مدلسازی با شبیهسازی این امکان را فراهم میکند که دادههای جدید بر عنصری خاص از مسیر اثرگذاری متمرکز شوند و از پژوهشهای موجود برای تخمین سایر بخشها استفاده شود. بدین ترتیب، این روش به ارزیاب کمک میکند تا با منابع محدود، تصویری منسجمتر از سازوکار اثرگذاری به دست آورد.
چه زمانی از روش مدلسازی یا شبیهسازی استفاده کنیم؟
استفاده از این روش زمانی منطقی است که ارزیاب با یک یا چند مورد از شرایط زیر مواجه باشد:
- مداخله در یک سیستم پیچیده اجرا میشود و مسیر اثرگذاری آن خطی و ساده نیست.
- عوامل مخدوشکننده متعددی وجود دارند که نسبت دادن تغییر به مداخله را دشوار میکنند.
- پیامدهای موردنظر به صورت مستقیم قابل مشاهده یا اندازهگیری نیستند.
- برآورد پیامدهای بلندمدت یا آینده ضروری است، اما گردآوری داده در بازه زمانی موردنیاز ممکن نیست.
- شواهد موجود پراکندهاند و لازم است در چارچوبی یکپارچه با یکدیگر ترکیب شوند.
- ارزیاب نیاز دارد سناریوهای مختلف اجرای مداخله را پیش از تصمیمگیری بررسی کند.
در چنین شرایطی، روشهای سادهتر که تنها بر اندازهگیری مستقیم پیامد متکی هستند، ممکن است تصویری ناقص یا گمراهکننده ارائه دهند. مدلسازی با شبیهسازی، دقیقاً با هدف پر کردن همین شکاف به کار گرفته میشود.
ارتباط روش با نظریه تغییر
مدلسازی با شبیهسازی با نظریه تغییر یا مدل منطقی برنامه ارتباط تنگاتنگی دارد. نقطه شروع در این روش، ترسیم مسیر اثرگذاری است؛ یعنی مشخص کردن اینکه مداخله از طریق چه سازوکارهایی به پیامدهای کوتاهمدت، میانمدت و بلندمدت میرسد. این مسیر، ساختار اصلی مدل شبیهسازی را تشکیل میدهد.
در واقع، نظریه تغییر تعیین میکند که کدام متغیرها باید وارد مدل شوند و چه روابطی میان آنها برقرار است. فرضهایی که در نظریه تغییر درباره رابطه مداخله و پیامد وجود دارد، در مدل به صورت پارامترها و روابط ریاضی یا منطقی بازنمایی میشوند. مدلسازی با شبیهسازی این فرصت را ایجاد میکند که این فرضها به صورت نظاممند آزمون شوند؛ برای مثال، با تغییر میزان یک عامل ورودی، میتوان بررسی کرد که پیامد نهایی چقدر به آن عامل حساس است. به این ترتیب، روش شبیهسازی فقط برآورد پیامد را انجام نمیدهد، بلکه به درک بهتر سازوکار اثرگذاری نیز کمک میکند.
با این حال، باید توجه داشت که مدل شبیهسازی همان نظریه تغییر نیست. نظریه تغییر یک بازنمایی مفهومی از مسیر اثرگذاری است، حال آنکه مدل شبیهسازی تلاشی برای کمّیسازی یا صوریسازی آن مسیر با استفاده از دادهها و روابط مشخص است. کیفیت مدل تا حد زیادی به کیفیت نظریه تغییری که زیربنای آن است وابسته است.
چگونه از روش مدلسازی یا شبیهسازی استفاده کنیم؟
اگرچه جزئیات اجرا بسته به نوع مدل و زمینه ارزیابی متفاوت است، مراحل کلی استفاده از این روش را میتوان چنین برشمرد:
- تعیین سؤال ارزیابی: مشخص شود که مدل قرار است به چه پرسشی پاسخ دهد؛ برآورد پیامد، تحلیل سناریو، یا بررسی حساسیت نتایج به عوامل خاص.
- ترسیم مسیر اثرگذاری: با استفاده از روشی مانند مدلسازی منطقی، مسیر اثرگذاری مداخله ترسیم و روابط علی میان اجزای آن مشخص شود.
- تعیین متغیرها و پارامترهای مدل: متغیرهای ورودی، خروجی و پارامترهایی که روابط میان آنها را تعیین میکنند، شناسایی شوند.
- گردآوری و ارزیابی شواهد: دادههای موجود و جدید جمعآوری شوند. برای ترکیب دادهها، لازم است «نقاط پایانی» قابل مقایسهای وجود داشته باشد تا تغییر در پیامدها در واحدهای همسان و در میان مراحل مدل قابل اندازهگیری باشد.
- ساخت مدل شبیهسازی: بر اساس ترکیب دادهها، مفروضات مبتنی بر شواهد و منطق شبیهسازی، مدل ساخته میشود. نوع مدل میتواند بسته به ماهیت سیستم متفاوت باشد.
- اجرای شبیهسازی و تحلیل نتایج: مدل برای مجموعهای از ورودیها اجرا و پیامدهای حاصل تحلیل میشود. در این مرحله، تحلیل حساسیت نتایج به تغییر فرضها و ورودیها اهمیت ویژهای دارد.
- بررسی توضیحات رقیب: بررسی شود که آیا نتایج شبیهسازی میتوانند ناشی از ساختار مدل یا مفروضات خاص باشند، نه بازتاب واقعی رفتار سیستم.
- استفاده از نتایج برای تصمیمگیری: یافتههای مدل در کنار سایر شواهد ارزیابی و با در نظر گرفتن محدودیتهای آن به کار گرفته شوند.
انواع مدلهای شبیهسازی
بسته به ماهیت سیستم مورد مطالعه، انواع مختلفی از مدلهای شبیهسازی به کار میروند:
- شبیهسازی رویداد گسسته: در این رویکرد، سیستم به عنوان یک سری مجزا از رویدادها در طول زمان بازنمایی میشود و هر رویداد یک تغییر در وضعیت سیستم را نشان میدهد.
- پویاییشناسی سیستم: این رویکرد یک مدل قطعی است که فرض میکند ساختار سیستم، رفتار قابل مشاهده آن را ایجاد میکند و میتوان بر اساس آن، رفتار آینده سیستم را پیشبینی کرد.
- مدلسازی مبتنی بر عامل: در این رویکرد، سیستم متشکل از عوامل مستقلی است که با یکدیگر و با محیط تعامل دارند و بر اساس قوانین تصمیمگیری تعریفشده رفتار میکنند.
شواهد موردنیاز
در مدلسازی با شبیهسازی، شواهد نقش بنیادین دارند. مدل از ترکیب دادههای موجود و جدید ساخته میشود و کیفیت شواهد به طور مستقیم بر اعتبار نتایج اثر میگذارد. شواهد مورد استفاده میتوانند هم کمی و هم کیفی باشند، اما برای ورود به مدل، باید بتوان آنها را به شکلی قابل مقایسه صوریبندی کرد.
یکی از الزامات کلیدی، وجود «نقاط پایانی» قابل مقایسه است. به این معنا که اندازهگیری تغییر در پیامدها باید در واحدهای قابل مقایسه و در بین مراحل مختلف مدل منطقی امکانپذیر باشد. برای مثال، اگر قرار است اثر یک مداخله بر یک پیامد میانی با اثر آن بر پیامد نهایی ترکیب شود، باید بتوان این دو اثر را بر حسب یک مقیاس مشترک بیان کرد.
هنگامی که شواهد متناقض یا ناقص وجود دارند، این وضعیت باید در مدل منعکس شود. یکی از راهها، استفاده از تحلیل حساسیت است؛ یعنی بررسی اینکه تغییر در ورودیهای نامطمئن چه میزان نتایج نهایی را تغییر میدهد. این کار به ارزیاب کمک میکند تا مشخص کند کدام بخشهای مدل به شواهد قویتری نیاز دارند و کدام نتایج در برابر نبود قطعیت مقاومترند.
جدول مسئله → تصمیم
| مسئله ارزیابی | سؤال اصلی | این روش چه کمکی میکند؟ | چه نوع شواهدی لازم است؟ | تصمیم/نتیجه |
|---|---|---|---|---|
| نسبت دادن تغییر به مداخله به دلیل عوامل مخدوشکننده دشوار است | سهم مداخله در تغییر مشاهدهشده چه اندازه است؟ | با بازنمایی مسیر اثرگذاری و عوامل مؤثر، امکان تحلیل سهم عوامل مختلف فراهم میشود | دادههای مربوط به ورودیها، عوامل زمینهای و پیامدها در واحدهای قابل مقایسه | برآوردی مشروط از سهم مداخله، همراه با تحلیل حساسیت |
| پیامدهای بلندمدت قابل مشاهده نیستند | پیامدهای آتی مداخله چه خواهد بود؟ | شبیهسازی روندها بر اساس شواهد موجود و مفروضات مستند، برآوردی از پیامدهای بلندمدت ارائه میدهد | شواهد درباره مسیر اثرگذاری، نرخهای تغییر و روابط میان متغیرها | سناریوهای مختلف پیامد برای تصمیمگیری درباره تداوم یا اصلاح مداخله |
| شکافهای دادهای مانع از ارزیابی کامل میشوند | چگونه با دادههای ناقص میتوان تصویری از اثر مداخله به دست آورد؟ | ترکیب شواهد موجود با شواهد جدید متمرکز بر بخشهای کلیدی مسیر اثرگذاری | شواهد موجود برای بخشهایی از مدل و دادههای جدید برای بخشهای حساس | تخصیص بهینه منابع گردآوری داده به بخشهای تعیینکنندهتر |
مثال کاربردی
برای روشن شدن منطق این روش، یک مثال فرضی را در نظر بگیرید. فرض کنید یک سازمان دولتی قصد دارد برنامهای برای کاهش ترافیک شهری از طریق تشویق به استفاده از حملونقل عمومی اجرا کند. نظریه تغییر برنامه چنین است: افزایش تعرفه پارکینگ و همزمان بهبود کیفیت اتوبوسرانی، انگیزه استفاده از خودروی شخصی را کاهش میدهد، که به نوبه خود ترافیک را کم میکند و در بلندمدت کیفیت هوا بهبود مییابد.
مسئله ارزیابی این است که اثر این برنامه بر کیفیت هوا در ده سال آینده چگونه برآورد شود، در حالی که دادههای بلندمدت هنوز در دسترس نیستند و عوامل دیگری مانند رشد جمعیت و تغییر قیمت سوخت نیز بر ترافیک اثر میگذارند.
در این موقعیت، ارزیاب ابتدا مسیر اثرگذاری را ترسیم میکند. سپس شواهد موجود درباره تغییر رفتار استفاده از خودرو در واکنش به تغییر تعرفهها، دادههای مربوط به ظرفیت ناوگان اتوبوسرانی و برآوردهای مربوط به رابطه ترافیک و کیفیت هوا را گردآوری میکند. با استفاده از یک مدل پویاییشناسی سیستم، این روابط به صورت ساختارمند بازنمایی میشوند. مدل با استفاده از دادههای چند سال گذشته اعتبارسنجی میشود و سپس برای شبیهسازی سناریوهای مختلف، از جمله ادامه برنامه با شدت فعلی، گسترش برنامه و عدم اجرای برنامه، به کار میرود.
نتایج شبیهسازی نشان میدهند که اثر برنامه بر کیفیت هوا به شدت به نرخ رشد جمعیت و قیمت سوخت حساس است. این یافته به ارزیاب کمک میکند تا مشخص کند سهم برنامه در بهبود کیفیت هوا تحت چه شرایطی قابل توجه است و در چه شرایطی عوامل زمینهای اثر برنامه را خنثی میکنند. تصمیمگیرندگان میتوانند بر اساس این سناریوها تصمیم بگیرند که برنامه را ادامه دهند، گسترش دهند یا منابع را به مداخلات دیگری اختصاص دهند.
مزایای استفاده از روش مدلسازی یا شبیهسازی
- یک روش نظاممند برای ارزیابی مداخلات پیچیده ارائه میدهد که در آن چندین مسیر اثرگذاری و عوامل زمینهای به طور همزمان در نظر گرفته میشوند.
- برآورد پیامدهای بلندمدت آینده یا پیامدهای غیرقابل مشاهده را که محاسبه آنها به روشهای دیگر ممکن نیست، امکانپذیر میکند.
- امکان ترکیب شواهد پراکنده از منابع مختلف را در یک چارچوب واحد فراهم میکند.
- با استفاده از تحلیل سناریو و تحلیل حساسیت، به ارزیاب کمک میکند تا مشخص کند کدام فرضها بیشترین تأثیر را بر نتایج دارند.
- میتواند به تخصیص بهینه منابع ارزیابی کمک کند؛ به این معنا که شکافهای دادهای مهمتر را شناسایی و تمرکز گردآوری داده را بر آنها معطوف میکند.
محدودیتها و خطاهای رایج
مدلسازی با شبیهسازی با وجود قابلیتهایش، با محدودیتهای جدی نیز همراه است. مهمترین محدودیت این است که قدرت ارزیابی به کیفیت دادهها، مفروضات و منطق شبیهسازی بستگی دارد. اگر شواهد ورودی ضعیف باشند یا مفروضات مدل نادرست باشند، نتایج شبیهسازی نیز گمراهکننده خواهند بود.
محدودیت دیگر، هزینه و زمان موردنیاز برای ساخت یک مدل دقیق است. برخی از ارزیابیها به نرمافزارهایی نیاز دارند که ممکن است گرانقیمت باشند و تخصص لازم برای کار با آنها در همه تیمهای ارزیابی وجود نداشته باشد. این مسئله میتواند استفاده از این روش را در پروژههای کوچک یا با منابع محدود غیرعملی کند.
علاوه بر این، تفسیر نتایج شبیهسازی مستعد خطاست. ممکن است ارزیاب نتایج مدل را بازتاب دقیق واقعیت بداند، در حالی که مدل صرفاً بازنمایی سادهشدهای از سیستم است. توضیحات رقیب نیز ممکن است نادیده گرفته شوند؛ برای مثال، اگر ساختار مدل به گونهای طراحی شده باشد که اثر مداخله را برجسته کند، نتایج ممکن است به طور نظاممند جانبدارانه شوند.
نکته مهم دیگر این است که مدلسازی با شبیهسازی به تنهایی نمیتواند رابطه علی را اثبات کند. این روش برآوردهایی ارائه میدهد که به میزان درستی مدل و کیفیت شواهد وابستهاند. هر نتیجهای باید به عنوان یک سناریوی مشروط به فرضها تفسیر شود، نه به عنوان پیشبینی قطعی از واقعیت.
این روش برای همه انواع مداخلات نیز مناسب نیست. در مداخلاتی که مسیر اثرگذاری ساده و قابل مشاهده مستقیم است، پیچیدگی و هزینه مدلسازی با منافع آن تناسبی ندارد و روشهای سادهتر کارآمدترند.
مقایسه با روشهای مشابه
| روش | سؤال اصلی | نقطه قوت | محدودیت اصلی | چه زمانی مناسبتر است؟ |
|---|---|---|---|---|
| مدلسازی یا شبیهسازی | پیامدهای یک مداخله تحت شرایط مختلف چه خواهد بود؟ | توانایی برآورد پیامدهای غیرقابل مشاهده و تحلیل سناریو | وابستگی شدید به کیفیت دادهها و مفروضات مدل | وقتی پیامدها بلندمدت، غیرقابل مشاهده یا سیستم پیچیده است |
| تحلیل مشارکت (Contribution Analysis) | آیا مداخله سهم معناداری در تغییر مشاهدهشده داشته است؟ | ارزیابی نظاممند سهم مداخله با ترکیب شواهد و نظریه تغییر | به دادههای تاریخی و شواهد فرایندی قوی نیاز دارد | وقتی تمرکز بر سنجش سهم مداخله در یک تغییر مشخص و مشاهدهشده است |
| ردیابی فرایند (Process Tracing) | آیا سازوکار علی مفروض در یک مورد خاص عمل کرده است؟ | بررسی عمیق سازوکار علی با استفاده از شواهد درونموردی | تعمیمپذیری محدود و وابستگی به کیفیت شواهد کیفی | وقتی هدف آزمون سازوکار علی در یک یا چند مورد محدود است |
این روشها را نباید جایگزینهای همارز یکدیگر در نظر گرفت. هر یک برای پرسش متفاوتی مناسب است و در برخی موقعیتها میتوان آنها را به صورت مکمل به کار برد. برای مثال، تحلیل مشارکت میتواند به عنوان چارچوبی برای سازماندهی شواهد به کار رود و مدلسازی با شبیهسازی بخشی از آن شواهد را برای برآوردهای کمّی فراهم کند.
جمعبندی
روش مدلسازی یا شبیهسازی ابزاری ارزشمند برای ارزیابی مداخلاتی است که در آنها مشاهده مستقیم پیامد ممکن نیست یا مسیر اثرگذاری چنان پیچیده است که روشهای سادهتر از عهده تحلیل آن برنمیآیند. این روش با ترسیم مسیر اثرگذاری و ترکیب شواهد موجود و جدید، امکان برآورد پیامدهای بلندمدت و تحلیل سناریوهای مختلف را فراهم میکند.
با این حال، استفاده از این روش مستلزم احتیاط است. نتایج مدل به همان اندازهای معتبرند که دادهها، مفروضات و منطق زیربنایی آن معتبر هستند. مدل شبیهسازی بازتابی سادهشده از واقعیت است و نمیتواند به تنهایی اثبات کند که یک مداخله علت یک پیامد بوده است. ارزیاب باید همواره توضیحات رقیب را در نظر بگیرد و نتایج مدل را به عنوان سناریوهای مشروط به فرضها تفسیر کند. انتخاب این روش باید بر اساس ماهیت مسئله ارزیابی، کیفیت شواهد در دسترس و منابع موجود انجام شود.