مدل‌سازی و شبیه‌سازی در ارزیابی
مقدمه
در بسیاری از موقعیت‌های ارزیابی، پاسخ به این پرسش که «این مداخله چه تأثیری داشته است» به سادگی با مشاهده مستقیم نتایج ممکن نیست. مداخلات پیچیده اغلب در بسترهایی اجرا می‌شوند که عوامل متعددی هم‌زمان بر پیامد اثر می‌گذارند. از سوی دیگر، برخی از پیامدها در بلندمدت ظاهر می‌شوند یا اندازه‌گیری مستقیم آن‌ها بسیار پرهزینه و دشوار است. روش مدل‌سازی یا شبیه‌سازی (Simulation modelling) برای مواجهه با چنین موقعیت‌هایی به کار گرفته می‌شود. این روش به ارزیاب کمک می‌کند تا با ترکیب شواهد موجود، مفروضات مبتنی بر شواهد و منطق علی، تصویری قابل تحلیل از مسیر اثرگذاری بسازد و بر اساس آن، برآوردهایی از پیامدهای یک مداخله ارائه دهد.
روش مدل‌سازی یا شبیه‌سازی چیست؟
مدل‌سازی با شبیه‌سازی یک روش تحلیلی است که در آن، درک مفهومی از نحوه واکنش یک سیستم به تغییر، به صورت یک مدل بازنمایی می‌شود. این مدل، شواهد موجود و شواهد جدید را با یکدیگر ترکیب می‌کند و به ارزیاب امکان می‌دهد مجموعه‌ای از پیامدها را بر اساس مجموعه‌ای از ورودی‌ها شبیه‌سازی کند. هدف اصلی این روش، بررسی رفتار سیستم تحت شرایط مختلف و برآورد نتایجی است که نمی‌توان آن‌ها را مستقیماً مشاهده یا اندازه‌گیری کرد.
این روش به نوع خاصی از سؤال‌های ارزیابی پاسخ می‌دهد؛ پرسش‌هایی از این دست که «اگر این مداخله در این بستر و با این شدت اجرا شود، چه پیامدهایی قابل انتظار است؟» یا «سهم این مداخله در تغییر مشاهده‌شده چه اندازه می‌تواند باشد؟». در این روش، شواهدی اهمیت دارند که بتوانند ساختار مدل را بسازند، پارامترهای آن را تعیین کنند و فرض‌های اثرگذاری را پشتیبانی کنند. خروجی اصلی مدل‌سازی با شبیه‌سازی، معمولاً برآوردهایی از پیامدها، تحلیل سناریوهای مختلف یا ارزیابی میزان حساسیت نتایج به تغییر در ورودی‌ها و فرض‌هاست.
این روش چه مسئله‌ای را در ارزیابی حل می‌کند؟
مسئله اصلی که مدل‌سازی با شبیه‌سازی به آن پاسخ می‌دهد، دشواری درک و برآورد اثر در شرایطی است که مسیر اثرگذاری پیچیده یا عوامل مخدوش‌کننده فراوان است. در ارزیابی‌های متعارف، وقتی نمی‌توان یک پیامد را مستقیماً به یک مداخله نسبت داد، نتیجه‌گیری درباره اثر مداخله با تردید همراه می‌شود. مدل‌سازی با شبیه‌سازی به ارزیاب کمک می‌کند تا این پیچیدگی را به صورت ساختاریافته بازنمایی کند.
این روش به ویژه زمانی ارزشمند می‌شود که مشاهده مستقیم پیامد ممکن نباشد؛ برای مثال، وقتی پیامد در آینده دور رخ می‌دهد، یا اندازه‌گیری آن مستلزم هزینه‌ای نامتناسب است. همچنین در مواردی که شکاف‌هایی در داده‌های اولیه وجود دارد، مدل‌سازی با شبیه‌سازی این امکان را فراهم می‌کند که داده‌های جدید بر عنصری خاص از مسیر اثرگذاری متمرکز شوند و از پژوهش‌های موجود برای تخمین سایر بخش‌ها استفاده شود. بدین ترتیب، این روش به ارزیاب کمک می‌کند تا با منابع محدود، تصویری منسجم‌تر از سازوکار اثرگذاری به دست آورد.
چه زمانی از روش مدل‌سازی یا شبیه‌سازی استفاده کنیم؟
استفاده از این روش زمانی منطقی است که ارزیاب با یک یا چند مورد از شرایط زیر مواجه باشد:
- مداخله در یک سیستم پیچیده اجرا می‌شود و مسیر اثرگذاری آن خطی و ساده نیست.
- عوامل مخدوش‌کننده متعددی وجود دارند که نسبت دادن تغییر به مداخله را دشوار می‌کنند.
- پیامدهای موردنظر به صورت مستقیم قابل مشاهده یا اندازه‌گیری نیستند.
- برآورد پیامدهای بلندمدت یا آینده ضروری است، اما گردآوری داده در بازه زمانی موردنیاز ممکن نیست.
- شواهد موجود پراکنده‌اند و لازم است در چارچوبی یکپارچه با یکدیگر ترکیب شوند.
- ارزیاب نیاز دارد سناریوهای مختلف اجرای مداخله را پیش از تصمیم‌گیری بررسی کند.
وجود عوامل مخدوش‌کننده به‌تنهایی با ساخت مدل رفع نمی‌شود؛ برآورد اثر به شواهد معتبرِ روابط و فرض‌های شناسایی وابسته است.
در چنین شرایطی، روش‌های ساده‌تر که تنها بر اندازه‌گیری مستقیم پیامد متکی هستند، ممکن است تصویری ناقص یا گمراه‌کننده ارائه دهند. مدل‌سازی با شبیه‌سازی، دقیقاً با هدف پر کردن همین شکاف به کار گرفته می‌شود.
ارتباط روش با نظریه تغییر
مدل‌سازی با شبیه‌سازی با نظریه تغییر یا مدل منطقی برنامه ارتباط تنگاتنگی دارد. نقطه شروع در این روش، ترسیم مسیر اثرگذاری است؛ یعنی مشخص کردن این‌که مداخله از طریق چه سازوکارهایی به پیامدهای کوتاه‌مدت، میان‌مدت و بلندمدت می‌رسد. این مسیر، ساختار اصلی مدل شبیه‌سازی را تشکیل می‌دهد.
در مدل‌سازی برنامه، نظریهٔ تغییر می‌تواند انتخاب متغیرها و روابط را راهنمایی کند؛ مدل مفهومی باید با شواهد، هدف و مرز سیستم نیز سازگار باشد. فرض‌هایی که در نظریه تغییر درباره رابطه مداخله و پیامد وجود دارد، در مدل به صورت پارامترها و روابط ریاضی یا منطقی بازنمایی می‌شوند. مدل‌سازی با شبیه‌سازی این فرصت را ایجاد می‌کند که پیامد فرض‌ها و حساسیت مدل به آن‌ها به صورت نظام‌مند بررسی شوند؛ این کار به‌تنهایی آزمون تجربیِ درستیِ رابطهٔ علّی نیست؛ برای مثال، با تغییر میزان یک عامل ورودی، می‌توان بررسی کرد که پیامد نهایی چقدر به آن عامل حساس است. به این ترتیب، روش شبیه‌سازی فقط برآورد پیامد را انجام نمی‌دهد، بلکه به درک بهتر سازوکار اثرگذاری نیز کمک می‌کند.
با این حال، باید توجه داشت که مدل شبیه‌سازی همان نظریه تغییر نیست. نظریه تغییر یک بازنمایی مفهومی از مسیر اثرگذاری است، حال آنکه مدل شبیه‌سازی تلاشی برای کمّی‌سازی یا صوری‌سازی آن مسیر با استفاده از داده‌ها و روابط مشخص است. کیفیت مدل تا حد زیادی به کیفیت نظریه تغییری که زیربنای آن است وابسته است.
چگونه از روش مدل‌سازی یا شبیه‌سازی استفاده کنیم؟
اگرچه جزئیات اجرا بسته به نوع مدل و زمینه ارزیابی متفاوت است، مراحل کلی استفاده از این روش را می‌توان چنین برشمرد:
- تعیین سؤال ارزیابی: مشخص شود که مدل قرار است به چه پرسشی پاسخ دهد؛ برآورد پیامد، تحلیل سناریو، یا بررسی حساسیت نتایج به عوامل خاص.
- ترسیم مسیر اثرگذاری: با استفاده از روشی مانند مدل‌سازی منطقی، مسیر اثرگذاری مداخله ترسیم و روابط علی میان اجزای آن مشخص شود.
- تعیین متغیرها و پارامترهای مدل: متغیرهای ورودی، خروجی و پارامترهایی که روابط میان آن‌ها را تعیین می‌کنند، شناسایی شوند.
- گردآوری و ارزیابی شواهد: داده‌های موجود و جدید جمع‌آوری شوند. تعریف متغیرها، واحدها و دورهٔ اندازه‌گیری باید سازگار باشد و رابطهٔ تبدیل هر مرحله به مرحلهٔ بعد مستند شود.
- ساخت مدل شبیه‌سازی: بر اساس ترکیب داده‌ها، مفروضات مبتنی بر شواهد و منطق شبیه‌سازی، مدل ساخته می‌شود. نوع مدل می‌تواند بسته به ماهیت سیستم متفاوت باشد.
- اجرای شبیه‌سازی و تحلیل نتایج: مدل برای مجموعه‌ای از ورودی‌ها اجرا و پیامدهای حاصل تحلیل می‌شود. در این مرحله، تحلیل حساسیت نتایج به تغییر فرض‌ها و ورودی‌ها اهمیت ویژه‌ای دارد.
- بررسی توضیحات رقیب: بررسی شود که آیا نتایج شبیه‌سازی می‌توانند ناشی از ساختار مدل یا مفروضات خاص باشند، نه بازتاب واقعی رفتار سیستم.
- استفاده از نتایج برای تصمیم‌گیری: یافته‌های مدل در کنار سایر شواهد ارزیابی و با در نظر گرفتن محدودیت‌های آن به کار گرفته شوند.
کنترل صحت اجرا و اعتبار برای کاربرد
کنترل صحت اجرا (Verification) می‌پرسد روابط و الگوریتمِ مشخص‌شده درست پیاده شده‌اند یا نه. اعتبارسنجی (Validation) می‌پرسد مدل برای سؤال، جمعیت، بازه و دقت موردنیاز مناسب است یا نه. کالیبراسیون، یعنی تنظیم پارامترها برای سازگاری با داده، به‌تنهایی پاسخ این دو پرسش نیست.
عدم‌قطعیت پارامترها، داده‌ها و ساختار را جدا بررسی کنید؛ اگر مدل تصادفی است، نوسان ناشی از اجرای تصادفی نیز باید گزارش شود. نتیجهٔ سناریو را با پیش‌بینی دارای احتمال مشخص یکسان نگیرید. برای بازبینی، نسخهٔ مدل، روابط، واحدها، منبع پارامترها و دامنهٔ اعتبار ثبت شوند.
انواع مدل‌های شبیه‌سازی
بسته به ماهیت سیستم مورد مطالعه، انواع مختلفی از مدل‌های شبیه‌سازی به کار می‌روند:
- شبیه‌سازی رویداد گسسته: در این رویکرد، سیستم به عنوان یک سری مجزا از رویدادها در طول زمان بازنمایی می‌شود و هر رویداد یک تغییر در وضعیت سیستم را نشان می‌دهد.
- پویایی‌شناسی سیستم: این رویکرد با انباشت‌ها، جریان‌ها، بازخوردها و تأخیرها رفتار سیستم را بازنمایی می‌کند. اغلب قطعی نوشته می‌شود، اما مؤلفهٔ تصادفی نیز می‌تواند داشته باشد؛ پیش‌بینی آینده مشروط به ساختار و ورودی‌هاست.
- مدل‌سازی مبتنی بر عامل: در این رویکرد، سیستم متشکل از عامل‌هایی با قواعد رفتاری تعریف‌شده است که با یکدیگر و با محیط تعامل دارند؛ «خودمختار» بودن آن‌ها به معنای استقلال آماری نیست و تعامل آن‌ها می‌تواند وابستگی ایجاد کند.
شواهد موردنیاز
در مدل‌سازی با شبیه‌سازی، شواهد نقش بنیادین دارند. مدل از ترکیب داده‌های موجود و جدید ساخته می‌شود و کیفیت شواهد به طور مستقیم بر اعتبار نتایج اثر می‌گذارد. شواهد مورد استفاده می‌توانند هم کمی و هم کیفی باشند، اما برای ورود به مدل، باید بتوان آن‌ها را به شکلی قابل مقایسه صوری‌بندی کرد.
متغیرهای همهٔ مرحله‌ها لازم نیست یک واحد داشته باشند. برای مثال، زمان سفر و غلظت آلاینده می‌توانند واحدهای متفاوت داشته باشند، به شرط آنکه رابطهٔ تبدیل، مقیاس زمانی و سازگاری ابعادی مدل روشن باشد. برآورد یک رابطه در جمعیت یا شرایط دیگر نیز بدون توجیه قابل انتقال نیست.
هنگامی که شواهد متناقض یا ناقص وجود دارند، این وضعیت باید در مدل منعکس شود. یکی از راه‌ها، استفاده از تحلیل حساسیت است؛ یعنی بررسی این‌که تغییر در ورودی‌های نامطمئن چه میزان نتایج نهایی را تغییر می‌دهد. این کار به ارزیاب کمک می‌کند تا مشخص کند کدام بخش‌های مدل به شواهد قوی‌تری نیاز دارند و کدام نتایج در برابر نبود قطعیت مقاوم‌ترند.
جدول مسئله → تصمیم
| مسئله ارزیابی | سؤال اصلی | این روش چه کمکی می‌کند؟ | چه نوع شواهدی لازم است؟ | تصمیم/نتیجه |
|---|---|---|---|---|
| نسبت دادن تغییر به مداخله به دلیل عوامل مخدوش‌کننده دشوار است | سهم مداخله در تغییر مشاهده‌شده چه اندازه است؟ | با بازنمایی مسیر اثرگذاری و عوامل مؤثر، امکان تحلیل سهم عوامل مختلف فراهم می‌شود | داده‌های مربوط به ورودی‌ها، عوامل زمینه‌ای و پیامدها در واحدهای قابل مقایسه | برآوردی مشروط از سهم مداخله، همراه با تحلیل حساسیت |
| پیامدهای بلندمدت قابل مشاهده نیستند | پیامدهای آتی مداخله چه خواهد بود؟ | شبیه‌سازی روندها بر اساس شواهد موجود و مفروضات مستند، برآوردی از پیامدهای بلندمدت ارائه می‌دهد | شواهد درباره مسیر اثرگذاری، نرخ‌های تغییر و روابط میان متغیرها | سناریوهای مختلف پیامد برای تصمیم‌گیری درباره تداوم یا اصلاح مداخله |
| شکاف‌های داده‌ای مانع از ارزیابی کامل می‌شوند | چگونه با داده‌های ناقص می‌توان تصویری از اثر مداخله به دست آورد؟ | ترکیب شواهد موجود با شواهد جدید متمرکز بر بخش‌های کلیدی مسیر اثرگذاری | شواهد موجود برای بخش‌هایی از مدل و داده‌های جدید برای بخش‌های حساس | تخصیص هدفمندتر منابع گردآوری داده به بخش‌های تعیین‌کننده‌تر |
مثال کاربردی
برای روشن شدن منطق این روش، یک مثال فرضی را در نظر بگیرید. فرض کنید یک سازمان دولتی قصد دارد برنامه‌ای برای کاهش ترافیک شهری از طریق تشویق به استفاده از حمل‌ونقل عمومی اجرا کند. نظریه تغییر برنامه چنین است: افزایش تعرفه پارکینگ و هم‌زمان بهبود کیفیت اتوبوس‌رانی، انگیزه استفاده از خودروی شخصی را کاهش می‌دهد، که به نوبه خود ترافیک را کم می‌کند و در بلندمدت کیفیت هوا بهبود می‌یابد.
مسئله ارزیابی این است که اثر این برنامه بر کیفیت هوا در ده سال آینده چگونه برآورد شود، در حالی که داده‌های بلندمدت هنوز در دسترس نیستند و عوامل دیگری مانند رشد جمعیت و تغییر قیمت سوخت نیز بر ترافیک اثر می‌گذارند.
در این موقعیت، ارزیاب ابتدا مسیر اثرگذاری را ترسیم می‌کند. سپس شواهد موجود درباره تغییر رفتار استفاده از خودرو در واکنش به تغییر تعرفه‌ها، داده‌های مربوط به ظرفیت ناوگان اتوبوس‌رانی و برآوردهای مربوط به رابطه ترافیک و کیفیت هوا را گردآوری می‌کند. با استفاده از یک مدل پویایی‌شناسی سیستم، این روابط به صورت ساختارمند بازنمایی می‌شوند. در این سناریوی فرضی، باید مدل با داده‌های گذشته تنظیم و، تا حد امکان، با داده یا شرایط مستقلی متناسب با کاربرد ارزیابی و سپس برای شبیه‌سازی سناریوهای مختلف، از جمله ادامهٔ برنامه با شدت فعلی، گسترش برنامه و عدم اجرای برنامه، به کار گرفته شود.
می‌توان پرسید نتیجه چقدر به رشد جمعیت، قیمت سوخت و ساختار رابطهٔ ترافیک با آلودگی حساس است. بدون مدل، داده و اجرای مستند نمی‌توان حساسیت یا اثر مشخصی گزارش کرد. این مثال کاملاً فرضی است؛ هیچ شبیه‌سازی واقعی یا یافتهٔ محاسبه‌شده‌ای برای آن ارائه نشده است.
مزایای استفاده از روش مدل‌سازی یا شبیه‌سازی
- یک روش نظام‌مند برای ارزیابی مداخلات پیچیده ارائه می‌دهد که در آن چندین مسیر اثرگذاری و عوامل زمینه‌ای به طور هم‌زمان در نظر گرفته می‌شوند.
- برآورد پیامدهای بلندمدت آینده یا پیامدهای غیرقابل مشاهده را که محاسبه آن‌ها به روش‌های دیگر ممکن نیست، امکان‌پذیر می‌کند.
- امکان ترکیب شواهد پراکنده از منابع مختلف را در یک چارچوب واحد فراهم می‌کند.
- با استفاده از تحلیل سناریو و تحلیل حساسیت، به ارزیاب کمک می‌کند تا مشخص کند کدام فرض‌ها بیشترین تأثیر را بر نتایج دارند.
- می‌تواند به تخصیص هدفمندتر منابع ارزیابی کمک کند؛ به این معنا که شکاف‌های داده‌ای مهم‌تر را شناسایی و تمرکز گردآوری داده را بر آن‌ها معطوف می‌کند.
محدودیت‌ها و خطاهای رایج
مدل‌سازی با شبیه‌سازی با وجود قابلیت‌هایش، با محدودیت‌های جدی نیز همراه است. مهم‌ترین محدودیت این است که قدرت ارزیابی به کیفیت داده‌ها، مفروضات و منطق شبیه‌سازی بستگی دارد. اگر شواهد ورودی ضعیف باشند یا مفروضات مدل نادرست باشند، نتایج شبیه‌سازی نیز گمراه‌کننده خواهند بود.
محدودیت دیگر، هزینه و زمان موردنیاز برای ساخت یک مدل دقیق است. برخی از ارزیابی‌ها به نرم‌افزارهایی نیاز دارند که ممکن است گران‌قیمت باشند و تخصص لازم برای کار با آن‌ها در همه تیم‌های ارزیابی وجود نداشته باشد. این مسئله می‌تواند استفاده از این روش را در پروژه‌های کوچک یا با منابع محدود غیرعملی کند.
علاوه بر این، تفسیر نتایج شبیه‌سازی مستعد خطاست. ممکن است ارزیاب نتایج مدل را بازتاب دقیق واقعیت بداند، در حالی که مدل صرفاً بازنمایی ساده‌شده‌ای از سیستم است. توضیحات رقیب نیز ممکن است نادیده گرفته شوند؛ برای مثال، اگر ساختار مدل به گونه‌ای طراحی شده باشد که اثر مداخله را برجسته کند، نتایج ممکن است به طور نظام‌مند جانب‌دارانه شوند.
نکته مهم دیگر این است که مدل‌سازی با شبیه‌سازی به تنهایی نمی‌تواند رابطه علی را اثبات کند. این روش برآوردهایی ارائه می‌دهد که به میزان درستی مدل و کیفیت شواهد وابسته‌اند. هر نتیجه‌ای باید به عنوان یک سناریوی مشروط به فرض‌ها تفسیر شود، نه به عنوان پیش‌بینی قطعی از واقعیت.
این روش برای همه انواع مداخلات نیز مناسب نیست. در مداخلاتی که مسیر اثرگذاری ساده و قابل مشاهده مستقیم است، پیچیدگی و هزینه مدل‌سازی با منافع آن تناسبی ندارد و روش‌های ساده‌تر کارآمدترند.
مقایسه با روش‌های مشابه
| روش | سؤال اصلی | نقطه قوت | محدودیت اصلی | چه زمانی مناسب‌تر است؟ |
|---|---|---|---|---|
| مدل‌سازی یا شبیه‌سازی | پیامدهای یک مداخله تحت شرایط مختلف چه خواهد بود؟ | توانایی برآورد پیامدهای غیرقابل مشاهده و تحلیل سناریو | وابستگی شدید به کیفیت داده‌ها و مفروضات مدل | وقتی پیامدها بلندمدت، غیرقابل مشاهده یا سیستم پیچیده است |
| تحلیل سهم مداخله (Contribution Analysis) | آیا مداخله سهم معناداری در تغییر مشاهده‌شده داشته است؟ | ارزیابی نظام‌مند سهم مداخله با ترکیب شواهد و نظریه تغییر | به داده‌های تاریخی و شواهد فرایندی قوی نیاز دارد | وقتی تمرکز بر سنجش سهم مداخله در یک تغییر مشخص و مشاهده‌شده است |
| ردیابی فرایند (Process Tracing) | آیا سازوکار علی مفروض در یک مورد خاص عمل کرده است؟ | بررسی عمیق سازوکار علی با استفاده از شواهد درون‌موردی | تعمیم‌پذیری محدود و وابستگی به کیفیت شواهد کیفی | وقتی هدف آزمون سازوکار علی در یک یا چند مورد محدود است |
این روش‌ها را نباید جایگزین‌های هم‌ارز یکدیگر در نظر گرفت. هر یک برای پرسش متفاوتی مناسب است و در برخی موقعیت‌ها می‌توان آن‌ها را به صورت مکمل به کار برد. برای مثال، تحلیل سهم مداخله می‌تواند به عنوان چارچوبی برای سازمان‌دهی شواهد به کار رود و مدل‌سازی با شبیه‌سازی بخشی از آن شواهد را برای برآوردهای کمّی فراهم کند.
جمع‌بندی
روش مدل‌سازی یا شبیه‌سازی ابزاری ارزشمند برای ارزیابی مداخلاتی است که در آن‌ها مشاهده مستقیم پیامد ممکن نیست یا مسیر اثرگذاری چنان پیچیده است که روش‌های ساده‌تر از عهده تحلیل آن برنمی‌آیند. این روش با ترسیم مسیر اثرگذاری و ترکیب شواهد موجود و جدید، امکان برآورد پیامدهای بلندمدت و تحلیل سناریوهای مختلف را فراهم می‌کند.
با این حال، استفاده از این روش مستلزم احتیاط است. نتایج مدل به همان اندازه‌ای معتبرند که داده‌ها، مفروضات و منطق زیربنایی آن معتبر هستند. مدل شبیه‌سازی بازتابی ساده‌شده از واقعیت است و نمی‌تواند به تنهایی اثبات کند که یک مداخله علت یک پیامد بوده است. ارزیاب باید همواره توضیحات رقیب را در نظر بگیرد و نتایج مدل را به عنوان سناریوهای مشروط به فرض‌ها تفسیر کند. انتخاب این روش باید بر اساس ماهیت مسئله ارزیابی، کیفیت شواهد در دسترس و منابع موجود انجام شود.
منابع روش‌شناختی
- Sargent, R. G. (2013). Verification and validation of simulation models. Journal of Simulation, 7, 12–24. DOI: 10.1057/jos.2012.20.
- Government Analysis Function (2025). The AQuA Book؛ تعریف‌های Verification و Validation و مدیریت عدم‌قطعیت.
- Naugle et al. (2024). What is (quantitative) system dynamics modeling? System Dynamics Review. DOI: 10.1002/sdr.1762.