چطور محدوده ارزیابی خود را مشخص کنم ؟
فهرست مطالب
تعیین محدوده ارزیابی یک مرحله مهم در فرآیند ارزیابی است که تاثیر مستقیمی بر نتایج و کارآیی ارزیابی دارد. در این مقاله، به توضیح نحوه تعیین محدوده ارزیابی و اهمیت آن پرداخواهیم کرد. از تعیین محدوده ارزیابی با استفاده از پرسشها، تعیین اهداف و نیات، سؤالات ذینفعان، و هنگامههای تصمیمگیری صحبت خواهد شد. همچنین، روشهای مختلفی برای تعیین محدوده ارزیابی مانند جمعآوری دادهها، طرح مداخله، پیمایش، آزمایشها، و کارآزماییها مورد بررسی قرار خواهد گرفت.
تعیین محدوده ارزیابی
تعیین محدوده ارزیابی یک گام بسیار مهم است. صرف زمانبرای درک مداخله، تدقیق سؤالاتی که باید به آنها پاسخ داده شود و انتخاب مناسبترین نوع از میان ارزیابیهایی که میتوان برای پاسخ به این سؤالات استفاده کرد، منجر به این میشود که احتمال استفاده از نتایج ارزیابی در دنیای واقعی افزایش یابد و محدود به مجموعهای از اسناد غیرکاربردی نشود.
تعیین محدوده ارزیابی با مشخص کردن پرسشها
ارزیابیها میتوانند برای پاسخ به طیف گستردهای از پرسشهای بالقوه طراحی شوند. اینکه از ابتدا مشخص شود که این سؤالات چیست و انتظار میرود که یافتههای آنها چگونه، توسط چه کسی و چه زمانی مورد استفاده قرار گیرد، مهم است. توجه به این پرسشها است که روش ارزیابی مورداستفاده را روشن کرده و به تمرکز ارزیابی و ایجاد اطمینان از اینکه یافتهها بیشترین شانس را برای تأثیرگذاری بر تصمیمگیری دارند، کمک میکند. پرسشهایی که باید توسط ارزیابی پاسخ داده شود را میتوان اینگونه سازمان داد:
هدف یا نیت از ارزیابی
هدف بیانشده یا نیت از ارزیابی چیست؟ پرسشهایی که از طریق مشخص کردن تئوری تغییر ایجاد میشود، به عنوان مثال:
- حوزههای عدم قطعیت کدماند؟
- نقاط ضعف مهم در پایگاه شواهد کجاست؟
- نتایج میانی که میتوانند پیشرفت بهسوی نتیجه نهایی را بسنجند، چیست؟
سؤالات ذینفعان
سؤالاتی که ذینفعان (به عنوان مثال کسانی که بودجه، طراحی، اجرا و تأمین منابع را برنامهریزی میکنند یا تحت تأثیر یک مداخله قرار دارند) میخواهند به آنها پاسخ داده شود.
هنگامههای تصمیمگیری
هنگامههای تصمیمگیری اولیه برای مداخله (به عنوان مثال، با هدف ادامهی اجرای آن، با هدف اصلاح طرح یا اجرا و نقاط بازنگری مورد انتظار یا برنامهریزیشده) و اینکه چه شواهدی برای روشن شدن از این تصمیمات موردنیاز است.
چگونگی استفاده از یافتهها در تعیین محدوده ارزیابی
چگونگی استفاده از یافتههای هر ارزیابی با توجه به نیازهای کوتاهمدت (مانند منافع حاصلشده یا میزان تحقق) و نیازهای بلندمدت (به عنوان مثال، پاسخ به پرسشهای چگونه کار میکند، یا اینکه چرا کار میکند و یا برای اطلاع از خطمشیهای مشابه) مجموعهای از کاربردها را دارد.
ارزیابی با فهرستی از سؤالات ارزیابی که باید به آنها پاسخ داده شود، چارچوب مییابد. آنها در ترکیب با تئوری تغییر برنامه ارزیابی، محدوده ارزیابی را تعریف میکنند. برای موفقیت ارزیابی ضروری است که این پرسشهای بهدرستی فهمیده شوند.
تعیین محدودهی فهرستِ پرسشهای بالقوه ارزیابی، احتمالاً منجر به یک سیاهه طولانی میشود. معمولاً به دلیل محدودیت زمان و منابعی که برای پاسخ به همه پرسشهای چنان فهرستی نیاز است، و همچنین محدودیتهای روششناختی، تعداد کمی از ارزیابیها قادر خواهند بود که به همه پرسش مطرحشده پاسخ دهند. در عمل، برای ایجاد سیاهه پرسشها، باید نگاه از پایین به بالا با نگاه از بالا به پایین همراه و هماهنگ باشد تا تعداد کمی از پرسشهای سطح بالا (معمولاً حدود 6 یا 7) ایجاد شود که در ذیل این پرسشهای ریزتر قرار میگیرد. این امر ارزیابی را مدیریتشدنی نگه میدارد و به ارزیابان کمک میکند تا در طول کار خود بر روی پرسشهای کلیدی متمرکز بمانند.
سؤالات ارزیابی معمولاً در طول طراحی و اجرای ارزیابی، بسته به امکانسنجی، در دسترس بودن دادهها، مسائل عملی در طول اجرای ارزیابی، یافتههای در حال ظهور و سایر ملاحظات تکامل مییابند. به همین دلیل، حفظ پیوندهای قوی با کاربران (بهرهبرداران نهایی) ارزیابی حیاتی است، بهطوری که طرحهای ارزیابی با توجه به نیازهای آنها تکامل یابد.
تعیین محدوده ارزیابی با ترکیب شواهد موجود
ترکیب شواهد یکی از روشهایی است که میتوان از آن در طول یک ارزیابی مورد استفاده قرار داد، اما استفاده از آن برای مرحله تعیین محدوده ارزیابی اساسی است. آگاهی نسبت به آنچه قبلاً شناخته شده است میتواند به کاهش مقیاس ارزیابی برنامهریزیشده کمک کند و ارزیابی را بر حوزههای خاصی که در آن عدم قطعیت وجود دارد، متمرکز کند.
ترکیب (سنتز) شواهد میتواند بهصورت کمعمق یا بهصورت عمیق انجام شود. جایی که ترکیب شواهد در طول توسعه طرح ارزیابی و یا تحلیلهای کسبوکاری مربوط به مداخله انجام شده است، جایی است که باید کار را آغاز کرد. ترکیب شواهد میتواند ارزش یافتههای یک مطالعه منفرد را با استفاده از فراترکیب (و یا فراارزیابی)، برای جمعآوری یافتههای مطالعات مختلف و نشان دادن میزان تکرارپذیری افزایش دهد. در مواردی که مطالعات متضاد به نظر میرسد، ارزیاب باید نسبت به این احتمال که مداخله ممکن است برای برخی از گروهها در برخی شرایط مؤثر باشد، اما برای برخی دیگر نه؛ و در صورت امکان، به حوزههایی برای بررسی بیشتر، اشاره کند. ترکیب شواهد میتواند با ادامه ارزیابی تکامل یابد تا اطمینان حاصل شود که یافتههای در حال ظهور، در چارچوب پایگاه شواهد زمینه قبلی قرار میگیرند. برای یک برنامه از فعالیتهای ارزیابی، یک چارچوب فراگیر از نتایج و یا پرسشهای، میتواند برای ترکیب بعدی جریانهای مختلف شواهد و یا فعالیتهای ارزیابی آماده شود.
تعیین محدوده ارزیابی با پیوند به طرح مداخله
خطمشیگذاری خوب مستلزم درک کامل مداخله و چگونگی انتظار آن برای دستیابی به نتایج مورد انتظار است. ارزیابی خوب نیز مستلزم چنین درکی است. ابزارهای زیادی برای ایجاد یک نگاشت وجود دارند که میتوانند برای کمک به کشف مداخله و نحوه عملکرد آن مورد استفاده قرار گیرند، این ابزارهای نگاشت اغلب به عنوان “تئوری تغییر”توصیف میشود. مناسبترین ابزار برای استفاده، به ویژگیهای مداخله، پیچیدگی سیستمی که مداخله روی آن اعمال میشود و نوع ارزیابی که در حال برنامهریزی است، بستگی دارد.
بایستههای شواهد حاصل از ارزیابی میتواند به شکل سودمندی بر طراحی مداخله تأثیر بگذارد تا کیفیت شواهد تولیدشده و یادگیری حاصل از آن را افزایش دهد. بنابراین، طرح ارزیابی باید همگام با مداخله طراحی شود. بخش کلیدی ساخت تئوری تغییر، ترکیب شواهد موجود است. با گرد هم آوردن و ارزیابی قوت شواهد موجود در مورد مداخله، ارزیابها میتوانند بفهمند که در کجای استدلال مربوط به تئوری تغییر شواهد ضعیفتر است. این موضوع میتواند به شناسایی پرسشهای کلیدی که ارزیابی باید به آنها پاسخ دهد نیز کمک کند. روشهای کلیدی که مداخله میتواند از ارزیابی حمایت کند عبارتاند از:
الزام ساختن جمعآوری دادههای ارزیابی در جمع آوری دادهها پایش
ایجاد تعدیلاتی ساده در جمعآوری دادهها برای پایش مداخله میتواند دادههایی غنی برای استفاده در ارزیابی ارائه دهد. این روش، روشی مقرونبهصرفه برای جمعآوری اطلاعات است و میتواند پایشهای بعدی از شرکتکنندگان را غیرضروری یا کوتاهتر کند.
جمع آوری اطلاعات تماسِ مشارکتکنندگان ( با تائید رضایت از استفاده)
برای هر دادهای که جمعآوری میشود، با رضایت آگاهانه شرکتکنندگان در پژوهش، لازم است اطلاعات تماسی برای پژوهشهای بعدی نگهداری و استفاده شود.
انجام پیمایش یا سرشماری
یک راه مقرونبهصرفه برای جمعآوری دادهها میتواند از طریق سرشماری یا نظرسنجی خودکار از همه شرکتکنندگان باشد. ایجاد این الزام میتواند به این معنی باشد که با همه شرکتکنندگان تماس گرفته و از آنها برای شرکت در نظرسنجی دعوت میشود؛ یعنی شرکت در نظرسنجی یک الزام اجباری مداخله است (به عنوان مثال متقاضیان کمکهزینه باید یک نظرسنجی را تکمیل کنند). در این مورد، نیاز باید در مداخله گنجانده شود و در هر تبلیغاتی بهوضوح توضیح داده شود.
اجرای آزمایشی / سنجش کردن
اجرای آزمایشی و سنجش کردن اجازه میدهد یک مداخله در مقیاس کوچکتر آزمایش شود تا بفهمیم که:
- آیا واقعاً مداخله کار میکند؟
- آیا میتوان آن را برای بهبود آن اصلاح کرد؟
- چگونه به بهترین شکل خدمات و کالاهای مدنظر طراحان تحویل داده میشود؟
اگر در مورد موفقیت احتمالی یک مداخله تردید وجود داشته باشد، این امر، یعنی در نظر گرفتن شرایط آزمایشی ضروری است.
پیادهسازی هدفمند برای ایجاد گروههای شاهد
برخی از روشهای ارزیابی که بهتفصیل در بخش بعد مورد بررسی قرار میگیرند، به دو گروه مداخله و شاهد، برای اندازهگیری اثرگذاری مداخله نیاز دارند. روش تخصیص افراد یا گروهها به گروه مداخله یا مقایسه به بهترین وجه در خود باید در طرح مداخله گنجانده شود. دو مورد از متداولترین راهها برای رسیدن به این هدف عبارتاند از:
-
کارآزماییهای تصادفی کنترلشده (RCTs)
تخصیص تصادفی افراد یا گروهها به گروه تحت مداخله یا کنترل. این کار باید به عنوان بخشی از طراحی مداخله انجام شود.
-
اجرای مرحلهای
یک گروه قبل از دیگری تحت مداخله قرار میگیرد تا امکان مقایسه بین دو گروه فراهم شود. این رویکرد در صورتی که مشاهده نتایج برای اولین گروه در کوتاهمدت و قبل از دریافت مداخله گروه بعدی امکانپذیر باشد، کارساز است.
باید در نظر داشت که برخی از دسترسی به دادهها یا جمعآوری دادهها مانند، جمع آوری خودکار جزئیات خاص در مورد شرکتکنندگان در یک طرح ملی، ممکن است نیاز به تعریف قانون داشته باشد. در این صورت، بایستههای داده باید زودتر شناسایی شده و در قانون مداخله گنجانده شود. بدون چنین دادههایی، شناسایی شرکتکنندگان و به دست آوردن دادهها از آنها میتواند بسیار دشوار باشد.
نهایتا باید گفت تعیین محدوده ارزیابی در فرآیند ارزیابی یکی از مراحل حیاتی است که بر اساس اهداف، نیات، و نیازهای ذینفعان انجام میشود. از روشهای مختلفی برای تعیین این محدوده استفاده میشود که از جمله آنها میتوان به جمعآوری دادهها، طرح مداخله، پیمایش، آزمایشها، و کارآزماییها اشاره کرد. تعیین دقیق محدوده ارزیابی میتواند به اطمینان از دقت و کارآیی ارزیابی کمک کند.
سیاههی جستارهای بستهی سوم فرماناسازی
فَرماناها مجموعهای از ابزارها و راهنماییهای مدیریتی است که به شما در تصمیمگیری کمک میکند. فَرمانا از حیث نظری متکی بر روششناسیهای علمی در حوزه تصمیم گیری و ارزیابی است. سیاههای از گامهای پیدرپی که برای تسلط بر مباحث مربوط به این گام نیاز دارید را در لیست زیر مشاهده میفرمایید. شما میتوانید این مجموعه جستار را با ترتیب پیشنهادی و یا بسته به نیاز خود مطالعه کنید..