کدام رویکرد ارزیابی مناسب تر است ؟ آزمایشی یا غیرآزمایشی
فهرست مطالب
در فرآیند ارزیابی، انتخاب رویکرد مناسب بسیار اهمیت دارد. دو رویکرد اصلی در این زمینه وجود دارند که عبارتنداز رویکرد پژوهش آزمایشی و غیرآزمایشی در این مقاله، ما به تفصیل به مقایسه این دو رویکرد پرداخته و از منظر ذات مداخله، ذات اثرگذاری، در دسترس بودن دادهها و گروههای مقایسه بالقوه ارزیابی خواهیم کرد. همچنین، روشهای آزمایشی و شبهآزمایشی را برای درک بهتر اثرگذاری بررسی خواهیم کرد.
انتخاب نوع رویکرد پژوهش آزمایشی و غیرآزمایشی مناسب در ارزیابی
انتخاب یک رویکرد به عوامل بسیار زیادی مانند دادههای در دسترس، منابع و جدول زمانی بستگی دارد. در برخی موارد شاید نیاز باشد که به مرحله تعیین محدوده بازگشته و درباره مواردی دوباره بحث و مذاکره صورت پذیرد. در انتخاب مناسبترین رویکرد(های) ارزیابی، یک ارزیاب باید نوع ارزیابی و پرسش(های) مورد پاسخ، درک از خود مداخله، زمینهای که در آن اجرا میشود و دادههای و شواهد موجود را “باهم” در نظر بگیرد.
اگر تعیین رویکرد ارزیابی را در ادامه مرحله تعیین نوع ارزیابی در نظر بگیریم، در ارزیابیهای فرایند، رویکرد عمدتاً بر پایهی دادههای ابتدایی جمعآوریشده و برای ارزیابی چگونگی پیادهسازی یک ارزیابی است. در ارزیابی ارزش پول، رویکرد هزینه و منافع مربوط به یک مداخله را با مبنا قرار دادن پول استفادهشده برای آن تحلیل میکند.
هدف ارزیابی اثرگذاری، ارزیابی از تغییرات رخ داده و مقیاس آن تغییرات است. ما از رویکرد پژوهش آزمایشی و غیرآزمایشی و مبتنی بر تئوری برای تحلیل اثرگذاری یک مداخله استفاده میکنیم. علاوه بر این، در این نوع از ارزیابی میتوان میزان تغییرات، بیش از آنچه که اگر مداخله صورت نمیگرفت، اتفاق میافتاد، را به مداخله نسبت داد، این نسبت دادن تغییرات پیچیده است زیرا عوامل اثرگذار دیگری نیز وجود دارد که باید برای این ادعا که مداخله تأثیر داشته است، درک شود (مشابه شکل زیر)
هیچ رویکرد ارزیابی نمیتواند بهطور مناسب همه انواع مداخله را ارزیابی کند – هر طرحی مزایا و معایب خود را دارد – و اغلب رویکردها ممکن است نیاز به ترکیب داشته باشند. انتخاب رویکرد ارزیابی اثرگذار یک تصمیم اولیه است که بر تمام مراحل بعدی تأثیر خواهد گذاشت. شکل زیر درخت تصمیمگیری در مورد مناسبترین رویکرد ارزیابی تأثیر را ارائه میدهد
درباره رویکرد پژوهش آزمایشی و غیرآزمایشی برای ارزیابی اثرگذاری
رویکردهای آزمایشی و شبهآزمایشی برای دستیابی به برآوردی قوی از میانگین اثرگذاری یک خطمشی طراحی شدهاند. رویکردهای آزمایشی و شبهآزمایشی با هدف اولیه ارزیابی اثرگذاری نهایی (خالص) یک مداخله انتخاب میشوند. اما این روش به خودی خود بینشی در مورد چگونگی ایجاد تغییر اندازهگیری شده یا اینکه اگر مداخله در زمینه دیگری یا اینکه آیا اگر در مقیاس دیگری امتحان شود، همان نتیجه رخ میدهد یا خیر، ایجاد نمیکند. ترکیب رویکردهای آزمایشی و شبهآزمایشی با رویکردهای مبتنی بر تئوری یا تکمیل آن با شواهد مربوط به ارزیابی فرآیند میتواند این بینشهای غالباً ضروری را هم ارائه دهد. تعدادی از روشهای آزمایشی و شبهآزمایشی وجود دارد که در فصل بعد خلاصه شده است. رویکردهای آزمایشی و شبهآزمایشی در موارد زیر مناسبتر هستند:
- زمانی تمرکز بر مسئولیتپذیری وجود دارد. این رویکردها معمولاً قابل دفاعترین شواهد کمی را در مورد اثرگذاری مداخله تولید میکنند.
- زمانی که نتایج مورد انتظار شناختهشده و قابلاندازهگیری است.
- زمانی که مداخله بر تعداد زیادی از افراد/گروهها اثر میگذارد، اما نه بر کل جمعیت.
- زمانی که مداخله شامل تعدادی فعالیت مختلف یا پیادهسازیهای متنوع نیست.
- زمانی انتظار میرود که مداخله برای گروههای مختلف به یک شکل عمل کند. بهطور معمول، رویکردهای آزمایشی در شناسایی اثرگذاری مختلف بر روی گروههای فرعی خاص قوی نیستند.
رویکرد پژوهش آزمایشی و غیرآزمایشی اثرگذاری یک مداخله را از طریق مقایسه آماری با یک گروه یا دوره زمانی که تحت تأثیر مداخله نیست، استنباط میکنند. این گروه متأثر نشده به عنوان نمایندهای برای آنچه که در غیاب خطمشی برای گروه آسیبدیده اتفاق میافتاد عمل میکند و معمولاً با نامهایی مانند شرط یا گروه شاهد، مقایسه، کنترل، خلاف واقع نامیده میشود.
هنگام اندازهگیری شرایط و یا گروه شاهد (خلاف واقع) ضروری است که:
- دادهها از کیفیت و کمیت کافی برای پشتیبانی از تجزیهوتحلیل برخوردار باشند.
- خلاف واقع واقعاً با گروه مداخله قابلمقایسه باشد.
- از اینکه اثر مداخله بهاندازه کافی بزرگ است که از “نویز” مورد انتظار در دادهها متمایز شود، اطمینان حاصل شود.
برای برآورده ساختن این بایسته ها اغلب نیازمند ساختن طرح ارزیابی در طرح مداخله از طریق ایجاد گروههای کنترل و حصول اطمینان از جمعآوری دادهها در هر دو گروه مداخله و کنترل هستیم .
در ادامه بررسی میکنیم که هرکدام از رویکرد پژوهش آزمایشی و غیر آزمایشی کجا امکانپذیرتر است. یعنی انتخاب یک روش آزمایشی و شبهآزمایشی در ارزیابی اثرگذاری چه زمانی شدنی تر و چه زمانی کمتر شدنی است.
از منظر ذات مداخله
بیشتر شدنی است زمانی که…
- مداخله گسسته (میتوان آن را از سایر مداخلات برنامه جدا کرد) و ثابت است.
- سیستمی که مداخله در آن اعمال میشود نسبتاً ثابت و بدون تغییر است.
کمتر شدنی است زمانی که…
- تعریف یا تفکیک مداخله از سایر مداخلات برنامه یا زمینه محلی مداخله دشوار است
- مداخله در طول زمان اتخاذ میشود.
- مداخله در یک سیستم پیچیده و اضطراری اعمال میشود.
از منظر ذات اثرگذاری
بیشتر شدنی است زمانی که…
- یک رابطه مستقیم و خطی بین نتیجه مورد انتظار و مداخله وجود دارد
- یک تأثیر بزرگ نسبت به سایر تغییرات انتظار میرود
- اثرگذاری در مدت زمان کوتاهی پژوهشگر میشود (و بلافاصله پس از آن از بین نمیرود)
کمتر شدنی است زمانی که…
- یک رابطه پیچیده یا دور میان پیامد مورد انتظار و مداخله، با بسیاری از عوامل مخدوشکننده بالقوه وجود دارد.
- یک اثرگذاری کوچک مورد انتظار است
- اثرگذاری بهتدریج در یک دوره زمانی طولانی ایجاد میشود
- ماهیت دقیق اثرگذاری ناشناخته است.
از منظر در دسترس بودن دادهها: (چه چیزی، کجا و چه زمانی توسط چه کسی انجام شده است؟)
بیشتر شدنی است زمانی که…
- مداخله شامل یک تغییر مشخص در عمل با شرکتکنندگان قابلشناسایی (افراد، گروهها، مؤسسات یا مناطق) است.
- دادههای مربوط به شرکتکنندگان مداخله در دسترس است
- دادهها در دورههای زمانی دقیق در دسترس هستند
- دادههایی برای حمایت از ارزیابی قبل و در طول مداخله جمعآوریشده است.
- دادهها را میتوان از نمونههایی با اندازه کافی جمعآوری کرد
کمتر شدنی است زمانی که..
- مداخله شامل تجمیع رویههای خوب موجود است یا مداخله بین شرکتکنندگان تمایز چندانی ندارد.
- دادهها فقط بهصورت تجمیع شده (حاصل جمع) جمعآوریشده در دسترس هستند.
- عدم قطعیت در مورد زمان اجرا وجود دارد (نیاز به تجمیع در طول زمان است)
- دادههای برای پشتیبانی از ارزیابی خطمشی تا زمانی که خطمشی کاملاً مستقر نشده است مورد توجه نبوده و جمع آوری نشده و یا داده در مورد همه مشارکتکنندگان برداشت نشده است.
- اندازه نمونه خیلی کوچک است
از منظر گروههای مقایسه بالقوه
بیشتر شدنی است زمانی که…
- مداخله در طراحی خطمشی گنجانده شده است، و بنابراین گروههای مقایسه تخصیص داده شده و دادهها از هر دو گروه جمع آوری میشود
- بهصورت مرحلهای (طرحهای پایلوت اولیه) شروع میشود
- تخصیص تصادفی امکانپذیر است.
- تخصیصهای عینی دیگر مدنظر ارزیاب ممکن است، به عنوان مثال، با استفاده از یک حدی مشخص از امتیاز
- گروههای خنثی برای مقایسه موجود است
کمتر شدنی است زمانی که..
- مداخله در طراحی خطمشی گنجانده نشده است، یا دادهها فقط برای خود مناطق آزمایشی در دسترس است.
- راه اندازی یکباره در سراسر کشور وجود دارد.
- تخصیص ها ذهنی است، بنابراین گروه مقایسه و گروه هدف ابتدا و انتها متفاوت است.
- گروه متناسب دیگری برای مقایسه نداریم
رویکرد پژوهش آزمایشی و غیر آزمایشی برای درک اثرگذاری
روشهایی که در ادامه به آنها پرداخته میشود، برای برآورد از اندازه اثرگذاری یک مداخله و اهمیت تغییرات آن مفید هستند و کمتر میتوانند درباره چگونگی و چرایی رخ دادن اثرگذاری تغییرات ناشی از یک مداخله پاسخگویی داشته باشند. این روشها درباره اینکه چه کسی تحت اثر مداخله قرار گرفت، زمینه چگونه بر اثرگذاری مؤثر بود و تا چه حد و با چه شرایطی تأثیرات مشاهدهشده قابلتعمیم هستند، اطلاعاتی به ما نمیدهند. گاهی به همین دلیل از آنها به عنوان جعبه سیاه یاد میشود.
برای اندازهگیری اثرگذاری از روشهای آزمایشی و شبهآزمایشی استفاده میشود. فرض اصلی این روشها این است که یک گروه شاهد، مقایسه، کنترل یا مخالف وجود دارد. منظور این است که پیامدهای مشاهدهشده از گروه « شاهد یا کنترل» که مداخله را دریافت نکردهاند، میتواند با پیامدهای گروه مداخله مقایسه شود.
گروههای مداخله و کنترل یا بهطور قابلتوجهی یکسان هستند (این شرایط معمولاً از طریق تصادفیسازی در یک طرح کاملاً آزمایشی حاصل میشود)، یا به روشهای شناختهشدهای که میتوان بهصورت تحلیلی در نظر گرفت (در طرحهای شبهآزمایشی) میان گروه کنترل و مداخله تفاوت وجود دارد. گروهها از شرکتکنندگانی تشکیل شدهاند که ممکن است افراد منفرد، یا واحدهای دیگر مانند مدارس، مشاغل، خانهها یا مناطق فضایی باشند. اختلاط بین گروهها باید حداقل باشد تا سوگیری ناشی از “آلودگی” محدود شود.
جمعآوری و تجزیهوتحلیل دادههای قابلمقایسه از مداخله و کنترل، ارزیابان را قادر میسازد تا با اطمینان هر تغییر اندازهگیری شده را (با توجه به مفروضات خاص روش) به مداخله نسبت دهند. این روشهای ارزیابی اثرگذاری زمانی مطلوب است که ما نیاز داریم میانگین تغییرات ایجادشده یا خالص اثرگذاری ناشی از یک مداخله را بدانیم؛ و یا اینکه بدانیم چه مقدار از پیامد(های) مشاهدهشده را میتوان به مداخله نسبت داد. با این حال، دقت روش مورد استفاده به این موارد ارتباط دارد:
- آیا میتوان شرکتکنندگان در یک مداخله را تصادفی انتخاب کرد یا خیر.
- اندازه اثر مورد انتظار؛
- در دسترس بودن دادهها؛
- و در دسترس بودن گروههای کنترل بالقوه.
انتخاب روش پژوهش آزمایشی و غیرآزمایشی در ارزیابی
یک راه ساده، اما مؤثر برای کمک به برنامهریزی یا بررسی روشهای آزمایشی چارچوب PICOT است که جمعیت، مداخله، گروه کنترل، نتیجه و دوره زمانی را در نظر میگیرد. کارآزماییهای تصادفیسازی و کنترلشده (RCT) شرکتکنندگان را بهصورت آیندهنگر و تصادفی به دو گروه مداخله یا کنترل اختصاص میدهند. RCTها با توجه به تخصیص تصادفی میان گروه مداخله و گروه کنترل میتوانند با قدرت خوبی مداخلات را ارزیابی کنند، زیرا آنها عوامل شناختهشده و ناشناخته را در نظر میگیرند. بنابراین، تفاوتهای اندازهگیری شده بین گروهها را میتوان بهتنهایی نتیجه مداخله در نظر گرفت. با این حال، نیاز به اطمینان از اجرای دقیق یک مداخله (وفاداری بالا به پروتکل) میتواند اعتبار خارجی آنها را کاهش دهد. انواع مختلفی از RCTها برای نیازها و شرایط مختلف وجود دارد. RCTهای فاکتوریال بهطور مستقل شرکتکنندگان را به گروههای مداخله متعدد تصادفی تخصیص میدهد. RCTهای خوشهای بهجای افراد، گروههای شرکتکنندگان را تصادفی تخصیص میدهد. RCTهای پلکانی (گوهای) یک مداخله را بهصورت متوالی و تصادفی بر گروههای شرکتکنندگان اعمال میکنند. روشهایی مانند کارآزمایی تصادفی شده چندمرحلهای متوالی (SMART) و استراتژی بهینهسازی چندمرحلهای (MOST)، برای بهینهسازی مداخلات توسعه یافتهاند و ممکن است بهصورت ویژه برای توسعه مداخلات دیجیتالی بالقوه مناسبتر باشند.
روشهای شبهتجربی نیز از یک نمونه کنترل یا شاهد (خلاف واقع) استفاده میکنند، اما این نمونه از روش تصادفیسازی به دست نمیآیند. علاوه بر این، برخی روشها تفاوتهای شناختهشده بین گروه مداخله و کنترل را در تجزیهوتحلیل بهحساب میآورند. انتخاب یک روش معمولاً به ماهیت تخصیص به گروههای مداخله و کنترل (برای مثال، میتواند توسط ارزیاب کنترل شود یا ناشی از یک شوک خارجی باشد)، ماهیت گروه کنترل (میتواند همزمان یا تاریخی باشد)، قالب دادههای موجود (مانند گسسته یا روندها)؛ و حجم دادههای موجود بستگی دارد. مجموعهای از سؤالات در شکل زیر ارائه شده است تا به بررسی اینکه کدام یک از این روشهای آزمایشی و شبهآزمایشی احتمالاً مناسبترین هستند کمک میکند.
با توجه به ماهیت مداخله، هدف ارزیابی، و دسترسی به دادهها، انتخاب رویکرد مناسب برای ارزیابی مهم است. در برخی موارد، رویکرد آزمایشی با ایجاد شرایط کنترل شده میتواند مناسب باشد، در حالی که در موارد دیگر، رویکرد غیرآزمایشی بر اساس مشاهدات و دادههای موجود اثرگذارتر و عملیتر باشد. انتخاب بهینه بین این دو رویکرد باید با دقت صورت گیرد تا ارزیابی معتبری از اثرگذاری انجام شود.
سیاههی جستارهای بستهی سوم فرماناسازی
فَرماناها مجموعهای از ابزارها و راهنماییهای مدیریتی است که به شما در تصمیمگیری کمک میکند. فَرمانا از حیث نظری متکی بر روششناسیهای علمی در حوزه تصمیم گیری و ارزیابی است. سیاههای از گامهای پیدرپی که برای تسلط بر مباحث مربوط به این گام نیاز دارید را در لیست زیر مشاهده میفرمایید. شما میتوانید این مجموعه جستار را با ترتیب پیشنهادی و یا بسته به نیاز خود مطالعه کنید. این گام به شما کمک می کند تا بهترین روش ارزیابی را انتخاب کنید