راهنمای جامع پایش عملکرد با استفاده از پایش دادهها (مانیتورینگ)
فهرست مطالب
پایش عملکرد به وسیله داده یا پایش عملکرد یکی از اجزای کلیدی فرایند ارزیابی برنامهها و خطمشیها و به طور کلی مداخلههای مدیریتی است. این روش امکان جمعآوری سیستماتیک دادهها درباره عملکرد یک برنامه را فراهم میکند. در این مقاله، مفهوم پایش خروجی، نحوه استفاده از آن در ارزیابی، مزایا و معایب آن و نکات کلیدی در طراحی یک سیستم مؤثر پایش عملکرد بررسی شده است.
پایش عملکرد با استفاده از تحلیل خروجی چیست؟
پایش خروجی یا عملکرد (Output or performance monitoring) روشی است که به رهبران، مدیران و ذینفعان یک «استراتژی جمعآوری دادهها» برای پایش مستمر، اندازهگیری و بررسی عملکرد یک پروژه یا برنامه ارائه میدهد که ممکن است شامل شاخصها و اهدافی در مورد کارایی، اثربخشی و اثرگذاری باشد. در حالی که پایش بر عملکرد یا خروجی ممکن است در طیف گستردهای از زمینهها که ارزیابی در نظر گرفته نمیشود مورد استفاده قرار گیرد، ارزیابی میتواند ارزش بیشتری برای پایش بر عملکرد از طریق ارائه جزئیات زمینهای در مورد نحوه عملکرد برنامه، تعریف معیارهای موفقیت برای قضاوت و مقایسه عملکرد، و شناسایی منابع اطلاعاتی برای پایش بر عملکرد مناسب به ارمغان بیاورد.
چگونگی استفاده از پایش خروجی در ارزیابی عملکرد
پایش عملکرد یا خروجی بهطور گسترده در توسعه مداخلات مورد استفاده قرار میگیرد تا امکان جمعآوری دادهها برای پیگیری پیشرفت مداخله فراهم شود. پایش بر عملکرد ممکن است شامل جمعآوری دادهها در مورد خروجیها (مانند تعداد عملهای انجامشده لگن، تعداد کودکانی که یک وعده غذایی رایگان در مدرسه دریافت میکنند) باشد؛ همچنین برای پایش بر نتایج (مانند بهبود کیفیت زندگی، افزایش پیشرفت تحصیلی) نیز میتواند مورد استفاده قرار گیرد. پایش بر عملکرد برای ارزیابی میتواند شامل استفاده از دادههای جمعآوریشده معمول ( مانند دادههایی که ممکن است توسط سازمان جمعآوری شود) باشد یا شامل توسعه شاخصهای اضافی که ممکن است برای اندازهگیری خروجیهای ضروری و از طریق استفاده از روشهای ارزیابی مبتنی بر تئوری شناسایی شده است، باشد.
مزایای استفاده از پایش خروجی یا ارزیابی عملکرد
- دادههایی را فراهم میکند تا کاربران با استفاده از آنها بتوانند تشخیص دهند که آیا یک مداخله مطابق خواسته کار میکند یا خیر.
- میتواند بازخورد سریع ارائه دهد.
- اغلب دادههای عملیاتی بهطور معمول جمعآوری میشود و بنابراین یک روش ارزان و آسان است.
- ارائه دادههای نیابتی منظم (regular proxy data) در جایی که سایر دادههای ارزیابی به دلیل پیچیدگی یا هزینه بهندرت جمعآوری میشوند.
معایب استفاده از روش پایش خروجی یا ارزیابی عملکرد
- جمعآوری دادهها اگر قبلاً بهطور معمول جمعآوری نشده باشد میتواند برای شرکتکنندگان سخت باشد.
- کارکنان ممکن است پایش بر عملکرد را ناراحتکننده بدانند یا فاقد ظرفیت برای جمعآوری دادهها باشند.
- اگر برای جمعآوری دادهها به کارکنان خدمترسان متکی باشید، ممکن است مستعد مشکلات کیفیت داده شود.
- مستلزم بررسی دقیق در مورد اینکه چه دادههایی باید پایش شود است تا اطمینان حاصل شود که پایش بر عملکرد ارزش افزوده ایجاد میکند
طراحی یک سیستم پایش ارزیابی عملکرد
در بخش فرمانانویسی و مدیریت شواهد محور درباره پیش نیازها و اقدامات مهم اولیه مربوط به داده و انواع دادهها در یک سیستم ارزیابی عملکرد داده محور صحبت کردیم. یکی از انواع دادهها در ارزیابی، دادههای پیمایش است. ما در زمان طراحی یک سیستم پایش و کنترل عملکرد در حال طراحی یک سیستم کارامد برای جمعآوری دادههای پایشی هستیم. در این بخش به هفت موضوع مهم که باید در توسعه یک سیستم پایش باید موردتوجه قرار بگیرد، اشاره میکنیم:
چه دادههایی باید جمعآوری شوند تا اندازهگیری قابلاعتماد و سازگار در هر مرحله از تئوری تغییر (و در صورت لزوم ارزیابی اثرگذاری) ارائه شود؟
- شاخصهای کلیدی را که میتوان بهصورت شفاف تعریف کرد و برای پایش بر پیشرفت در برابر تئوری تغییر به کار برد را شناسایی کنید. اهداف و تاریخهای هدف را میتوان تنظیم کرد اما ضروری نیستند.
- دادههای موردنیاز برای اندازهگیری ورودیها، خروجیها، نتایج و اثرگذاری را شناسایی کنید.
- در صورت نیاز به ارزیابی اثرگذاری، دادههای موردنیاز برای ایجاد یک گروه مقایسه را شناسایی کنید.
- مشخص کنید که آیا این دادهها از قبل در دسترس هستند یا خیر.
چه دادههای جدیدی باید جمعآوری شود تا کاستی و شکافهای اندازهگیری جبران شود؟ دادههای زیر باید در نظر گرفته شود؟
- ادراک/نگرش ذینفعان نسبت به مداخله/تغییر رفتار
- دادههای مالی مربوط به هزینههای مداخله
- دادههای فرآیندی را برای ارزیابی اینکه آیا مداخله بهطور موردنظر اجرا شده است یا خیر
- دادهها برای ردیابی نتایج و تأثیر یک مداخله
مسئولیت جمعآوری دادهها با چه کسی خواهد بود؟
- مناسبترین افراد برای جمعآوری دادهها را شناسایی کنید، بهعنوان مثال. تیم تحویل برنامه/پروژه، تیم پایش بر عملکرد ،ارزیابان و غیره.
- چه منابعی مورد نیاز است؟ آیا مسئولین وقت و مهارت لازم را دارند؟
چه زمانی دادهها جمعآوری میشود؟
- هر چند وقت یکبار باید دادههای اداری/نظارتی(پایشی) جمعآوری شود؟ (بهعنوان مثال ماهانه، سهماهه، سالانه). آیا این امر میتواند با فرآیند حسابرسی/بررسی نهاد تأمین مالی کننده همسو شود؟
- جدول زمانی برای جمعآوری دادههای جدید چیست و آیا این برنامه با برنامه گزارشدهی برای ارزیابی همسو است؟
چگونه دادهها جمعآوری و ذخیره خواهند شد؟
- سیستم باید از چه فرمتی استفاده کند؟ آیا میتوان آن را با سامانههای پایشگر موجود هماهنگ کرد؟
- پروتکلهای حفاظت از دادهها برای برآورده ساختن بایستههای امنیت و اشتراکگذاری دادهها مورد نیاز است.
- به همین ترتیب، ملاحظات اخلاقی باید در نظر گرفته شود (مثلاً رضایت آگاهانه)
- دادهها در کجا ذخیره میشود ؟
چگونه دادهها برای اطمینان از صحت و سازگاری با بایستهها تائید میشوند؟
- مناسبترین افراد برای تائید دادهها چه کسانی هستند، بهعنوان مثال. تحلیلگر، سرپرست برنامه/پروژه در نهاد تأمین مالی، ارزیابهای مستقل و…؟
- چه منابعی برای تعهد انجام کار مورد نیاز است؟
طراحی و پیادهسازی سیستم مانیتورینگ
درمجموع، پایش خروجی ابزار مفیدی برای ارزیابی مداوم برنامههاست. البته باید به درستی طراحی و اجرا شود تا از معایب آن اجتناب شده و دادههای باکیفیتی فراهم آید. ترکیب این دادهها با سایر روشهای ارزیابی میتواند دید جامع و عمیقی نسبت به عملکرد برنامهها ایجاد کند.
بسته ویژه ارزیابی عملکرد
همهی تلاش ما در مجموعه فرمانا این است که شما بتوانید به شکل کارآمدتری از داده و شواهد در مدیریت استفاده کنید. به همین دلیل سه دسته از نیازمندی های هر تصمیم گیری داده محور، یعنی راهنماهای مدیریتی، دادههای تصمیم گیری و ابزارهای تصمیمگیری را در کنار هم برای شما فراهم آوردهایم. امیدواریم که استفاده از موارد زیر بتواند به شما در اتخاذ تصمیمات بهتر در تهیه ارزیابی عملکرد یاری رساند.