شواهد چیست؟ انواع و معیارهای ارزیابی شواهد در مدیریت
شواهد، اطلاعاتی‌اند که برای پشتیبانی از یک ادعا یا سنجش درستی آن به کار می‌روند. در مدیریت، ارزش این اطلاعات به کیفیت تولیدشان و تناسبشان با سؤال تصمیم وابسته است؛ داشتن دادهٔ بیشتر، به‌تنهایی به معنای داشتن شواهد بهتر نیست.
در مدیریت شواهدمحور و خط‌مشی‌گذاری مبتنی بر شواهد، این بررسی از سه پرسش آغاز می‌شود: چه چیزی را شاهد می‌دانیم؟ شواهد مختلف را چگونه ارزیابی و کنار هم قرار می‌دهیم؟ و شواهد در کنار سایر ملاحظات، چه نقشی در تصمیم نهایی دارند؟ این مقاله بر شواهد حاصل از پژوهش و ارزیابی تمرکز دارد و جایگاه آن‌ها را در میان منابع گسترده‌ترِ تصمیم‌گیری روشن می‌کند.
شواهد چیست و چه تفاوتی با داده دارد؟
در تعریف نقل‌شده از فرهنگ انگلیسی آکسفورد، شواهد مجموعه‌ای از واقعیت‌ها یا اطلاعات‌اند که برای سنجش درستی یا اعتبار یک باور یا گزاره به کار می‌آیند. نکتهٔ مهم در این تعریف، ارتباط اطلاعات با یک ادعاست: برای استفاده از داده به‌عنوان شاهد باید معلوم باشد آن داده قرار است به کدام پرسش پاسخ دهد یا از کدام نتیجه پشتیبانی کند.
برای مثال، در یک موقعیت فرضی، تعداد مراجعه‌کنندگان یک مرکز خدماتی یک داده است. این عدد ممکن است به توصیف حجم مراجعه کمک کند؛ اما به‌تنهایی نشان نمی‌دهد کیفیت خدمت مناسب بوده یا یک تغییر مدیریتی باعث بهترشدن آن شده است. برای چنین نتیجه‌گیری‌هایی باید سؤال، شیوهٔ گردآوری داده و منطق ارتباط داده با ادعا روشن شود.
اصطلاح «شواهد پژوهشی» یا Research Evidence در این مقاله به اطلاعات و یافته‌هایی اشاره دارد که در یک فرایند منظم پژوهش یا ارزیابی تولید شده‌اند. مستندبودن این فرایند امکان بررسی روش، نقد تفسیر و سنجش اتکاپذیری نتیجه را فراهم می‌کند. بااین‌حال، نظام‌مندبودن گردآوری داده نیز به‌تنهایی تضمین نمی‌کند که هر نتیجه‌گیریِ مبتنی بر آن درست باشد.
تجربهٔ حرفه‌ای، نظر کارشناسان و دیدگاه ذی‌نفعان هم می‌توانند در تصمیم‌گیری مهم باشند. هنگام استفاده از آن‌ها باید روشن بماند کدام بخش گزارش یک تجربه است، کدام بخش تفسیر یا داوری است و کدام ادعا پشتوانهٔ پژوهشی دارد. این تفکیک به تصمیم‌گیرنده کمک می‌کند وزن هر ورودی را آگاهانه تعیین کند.
برای شناخت منشأ اطلاعات و کاربرد هر منبع، توضیح انواع داده در ارزیابی را ببینید. نوع داده با میزان پشتیبانی آن از یک ادعا یکسان نیست.
انواع شواهد در مدیریت و خط‌مشی‌گذاری
دامنهٔ منابع مورد استفاده در تصمیم‌گیری گسترده است. در «سپیدنامهٔ نوسازی حکومت» دفتر کابینهٔ بریتانیا در سال ۱۹۹۹، از دانش کارشناسی، پژوهش‌ها، مشورت با ذی‌نفعان، ارزیابی خط‌مشی‌های قبلی، اطلاعات هزینهٔ گزینه‌ها و خروجی مدل‌سازی اقتصادی و آماری نام برده شده است. این تنوع نشان می‌دهد که یک تصمیم ممکن است به چند نوع اطلاعات با کارکردهای متفاوت نیاز داشته باشد.
برای فهم این تفاوت‌ها می‌توان منابع مطرح‌شده در این بحث را به شکل زیر کنار هم گذاشت. این گروه‌بندی رتبه‌بندیِ ثابتِ اعتبار منابع نیست؛ کاربرد و محدودیت هر منبع باید برای سؤال مشخص بررسی شود.
پژوهش‌های منتشرشده: یافته‌ها و روش‌های آن‌ها امکان بررسی و نقد را فراهم می‌کنند. باید پرسید روش مطالعه چه بوده و نتیجه تا چه حد با سؤال و زمینهٔ ما تناسب دارد.
ارزیابی‌های داخلی و گزارش برنامه‌های قبلی: به شناخت اجرای برنامه، پیامدهای گزارش‌شده و تجربهٔ سازمان کمک می‌کنند. مستندبودن روش و محدودیت‌ها و نحوهٔ بررسی سوگیری در آن‌ها اهمیت دارد.
دانش و تجربهٔ کارشناسان: برای فهم مسئله، تفسیر اطلاعات و بررسی شرایط اجرا مفید است. باید روشن باشد نظر کارشناس بر چه تجربه یا شواهدی تکیه دارد و چه مواردی را پوشش نمی‌دهد.
مشورت با ذی‌نفعان و تجربهٔ افراد درگیر: نیازها، تجربه‌ها و پیامدهای تصمیم برای گروه‌های مختلف را آشکار می‌کند. هنگام استفاده باید دید صدای چه کسانی شنیده شده و چه گروه‌هایی در گزارش غایب‌اند.
داده‌های رسمی، اطلاعات هزینه و خروجی مدل‌ها: برای توصیف وضعیت و بررسی ابعاد کمیِ گزینه‌ها به کار می‌روند. منشأ داده، روش محاسبه و مفروضات تحلیل باید معلوم باشد.
مشاهده‌ها، گزارش‌های قوم‌نگاری و اسناد: به فهم زمینه، فرایندها و تجربه‌هایی کمک می‌کنند که در آمار خلاصه نمی‌شوند. شیوهٔ انتخاب، ثبت و تحلیل اطلاعات در ارزیابی این منابع اهمیت دارد.
مارستون و واتس در بحث خود در سال ۲۰۰۳ به منابع متنوعی مانند عکس‌ها، متون ادبی، پرونده‌های رسمی، یادداشت‌های روزانه، نامه‌ها، مطالب روزنامه‌ها و گزارش‌های قوم‌نگاری اشاره می‌کنند. وجود چنین منبعی به‌تنهایی برای تأیید یک ادعا کافی نیست؛ باید معلوم شود چگونه بررسی شده و چه نسبتی با پرسش دارد.
در تعریف گسترده‌ای از پژوهش که در این بحث به OECD نسبت داده شده، بر تلاش نظام‌مند برای افزایش دانش تأکید می‌شود. بر این اساس، پژوهش می‌تواند بررسی انتقادی، نظریه‌پردازی، گردآوری و تحلیل داده یا اقدام‌پژوهی را دربر گیرد. در اقدام‌پژوهی، افراد درگیر در عمل، اقدامات خود را برای فهم و بهبود آن‌ها بررسی می‌کنند. این نگاه، پژوهش را به یک نوع داده یا یک روش واحد محدود نمی‌کند.
چرا بر شواهد پژوهشی تأکید می‌شود؟
در راهنمای مرتبط با مرکز ESRC در بریتانیا در اوایل دههٔ ۲۰۰۰، شواهد پژوهشی شامل پژوهش‌های منتشرشده و منابع منتشرنشده، از جمله ارزیابی‌های داخلی، در نظر گرفته شده‌اند. مزیت مورد تأکید این رویکرد، امکان تولید و بررسی منظم‌تر شواهد است.
در بحث «چه چیزی شواهد خوب به شمار می‌آید؟» از «اتحاد برای شواهد مفید» نیز مستندسازی روش‌ها، نقد پژوهشگران دیگر و بررسی بیرونی از ویژگی‌های مهم پژوهش معرفی شده‌اند. این ویژگی‌ها کمک می‌کنند خواننده مسیر رسیدن از داده به نتیجه را ببیند و اعتبار ادعاهای رقیب را بررسی کند.
این مزیت‌ها را باید در خودِ گزارش جست‌وجو کرد. انتشار یک پژوهش یا شهرت سازمان تولیدکننده، جای بررسی روش و استدلال را نمی‌گیرد. به همین ترتیب، داخلی‌بودن یک ارزیابی به‌تنهایی دلیل کنارگذاشتن آن نیست. اگر روش، داده‌ها و محدودیت‌های آن روشن باشند، می‌توان کیفیت و تناسبش را بررسی کرد. دشواری دسترسی، نبود بررسی بیرونی یا احتمال سوگیری، موضوع‌هایی برای ارزیابی دقیق‌ترند.
استفاده از پژوهش‌های موجود برای مدیرانی که با محدودیت زمان و منابع روبه‌رو هستند اهمیت دارد. در بسیاری از تصمیم‌ها فرصت سفارش یک مطالعهٔ تازه وجود ندارد؛ در چنین شرایطی باید دید چه شواهدی از قبل در دسترس است، چه بخشی از سؤال را پاسخ می‌دهد و کدام عدم‌قطعیت‌ها همچنان باقی می‌مانند.
در اینجا مدیریت شواهدمحور با ارزیابی خط‌مشی و برنامه پیوند پیدا می‌کند: بررسی اینکه یک اقدام چه پیامدهایی داشته و ادعای ایجاد تغییر تا چه اندازه پشتیبانی می‌شود. استفاده از تجربه‌های قبلی زمانی مفید است که موفقیت‌ها و ناکامی‌ها هر دو در بررسی وارد شوند.
اگر پرسش به جمع‌بندی پژوهش‌های متعدد مربوط است، مرور سیستماتیک شواهد می‌تواند مسیر مرتبطی برای مطالعهٔ روش شناسایی و ارزیابی پژوهش‌ها باشد.
شواهد «سخت» و «نرم»؛ برچسب‌ها چه چیزی را پنهان می‌کنند؟
در برخی بحث‌های سیاست‌گذاری، داده‌های کمیِ حاصل از آزمایش‌ها، پیمایش‌ها و آمار رسمی «شواهد سخت» نامیده می‌شوند و داده‌های کیفی مانند گزارش‌های قوم‌نگاری یا روایت‌های زندگی در گروه «شواهد نرم» قرار می‌گیرند. این تمایز در بحث مارستون و واتس در سال ۲۰۰۳ مطرح شده است. آپسور و همکارانش نیز در سال ۲۰۰۱ به کم‌توجهی به روش‌شناسی‌های کیفی در علوم اجتماعی اشاره کرده‌اند.
خطر زمانی ایجاد می‌شود که این برچسب‌ها جای قضاوت دربارهٔ کیفیت و تناسب شواهد را بگیرند. یک عدد باید از نظر منشأ، روش محاسبه و معنای آن بررسی شود؛ یک روایت هم باید با توجه به شیوهٔ انتخاب، ثبت و تحلیل آن سنجیده شود. کمی یا کیفی بودن به‌تنهایی پاسخ این پرسش‌ها را نمی‌دهد.
ترجیح همیشگیِ یک نوع شواهد ممکن است دانش ضمنی، تجربهٔ افراد حاضر در میدان و صدای شهروندان، به‌ویژه گروه‌های کم‌برخوردار، را از تصمیم حذف کند. در مقابل، توجه به روایت‌ها نیز مجوز تعمیم چند تجربهٔ انتخابی به همهٔ افراد نیست. نوع سؤال تعیین می‌کند به چه شواهدی نیاز داریم و برای نتیجه‌گیری چه محدودیت‌هایی باید در نظر گرفته شود.
بنابراین، تفاوت وزن شواهد باید با دلیل روشن شود: کیفیت روش، ارتباط با سؤال و توان پشتیبانی از ادعای مورد نظر. اعتبار سازمانی یا برچسب «سخت» و «نرم» به‌تنهایی مبنای کافی برای این وزن‌دهی نیست.
چهار معیار برای ارزیابی شواهد مفید
برای انتخاب شواهد می‌توان چهار معیار مرتبط را بررسی کرد: کیفیت و دقت، اعتبار استدلال، ارتباط با مسئله و امکان استفاده در عمل. این معیارها یک امتیازدهی خودکار یا فرمول ثابت نیستند؛ هرکدام پرسش‌هایی را پیش روی تصمیم‌گیرنده می‌گذارند.
۱. کیفیت و دقت: داده و تحلیل چگونه تولید شده‌اند؟
ابتدا باید دید شواهد واقعاً همان چیزی را توصیف می‌کنند که ادعا می‌شود. در گزارش کمی، تعریف متغیرها، درستی محاسبات و تناسب تحلیل اهمیت دارد. در گزارش کیفی، شیوهٔ انتخاب افراد یا اسناد، ثبت گفته‌ها و مسیر تفسیر باید روشن باشد.
اگر چند نقل‌قول برای توصیف نظر همهٔ افراد استفاده شده یا از همراهی دو متغیر نتیجهٔ علّی گرفته شده است، باید پرسید روش مطالعه چه پشتوانه‌ای برای این نتیجه فراهم می‌کند. بررسی احتمال سوگیری نیز بخشی از همین ارزیابی است: آیا داده‌ها یا تفسیرها به نفع یک نتیجهٔ ازپیش‌مطلوب انتخاب شده‌اند؟
۲. اعتبار: آیا نتیجه از شواهد پشتیبانی می‌گیرد؟
اعتبار به روشن‌بودن مسیر استدلال مربوط است: داده‌ها چگونه گردآوری و تحلیل شده‌اند و نتیجه چگونه از آن‌ها به دست آمده است؟ روش سنجیده، توضیح شفاف تحلیل و بیان محدودیت‌ها امکان اعتماد آگاهانه‌تر را فراهم می‌کنند.
در عمل ممکن است مدیر برای صرفه‌جویی در زمان به نام دانشگاه، مؤسسهٔ پژوهشی یا شرکت مشاور تکیه کند. شهرت منبع می‌تواند توجه را به یک گزارش جلب کند، اما باید خودِ گزارش نیز بررسی شود. به همین دلیل، گزارش یک سازمان کوچک یا دیدگاه یک گروه محلی را نمی‌توان صرفاً به‌خاطر اعتبار سازمانی کمتر کنار گذاشت.
۳. ارتباط: آیا شواهد به همین سؤال و زمینه مربوط‌اند؟
یک مطالعه ممکن است از نظر روش مناسب باشد و همچنان پاسخ مستقیمی برای تصمیم ما فراهم نکند. باید موضوع، زمان، گروه مورد بررسی، شرایط اجرا و نوع نتیجهٔ آن را با مسئلهٔ فعلی مقایسه کرد. در بحث‌های مربوط به اجرای خط‌مشی شواهدمحور، از جمله بحث منتسب به Moseley و Tierney، توجه به ارتباط شواهد با نیاز عملی تصمیم‌گیرنده مطرح شده است.
انتقال نتیجه به زمینه‌ای تازه به بررسی نیاز دارد. در برخی پرسش‌ها، شیوهٔ نمونه‌گیری و دامنهٔ پوشش مهم است؛ در برخی دیگر، شناخت شرایط سازمانی و زمینهٔ مداخله تعیین‌کننده‌تر است. نتیجهٔ چند مورد انتخابی را نباید بدون توضیح به یک جمعیت یا برنامهٔ گسترده‌تر تعمیم داد.
۴. امکان استفاده: آیا شواهد در زمان و شکل مناسب در دسترس‌اند؟
شواهد باید برای تصمیم‌گیرنده قابل دسترسی و قابل فهم باشند. علاوه بر هزینهٔ جست‌وجو و بررسی، زمان تصمیم و منابع لازم برای اجرای گزینه‌ها نیز اهمیت دارند. گزارشی که مسئلهٔ اصلی یا پیامد اجرایی یافته‌ها را روشن نمی‌کند، استفادهٔ عملی از شواهد را دشوار می‌سازد.
محدودیت زمان، دلیل کافی برای قطعی جلوه‌دادن شواهد ضعیف نیست. اگر اطلاعات کامل در دسترس نیست، باید روشن باشد کدام بخش تصمیم بر شواهد موجود تکیه دارد و کدام بخش به داوری و فرض‌های هنوز بررسی‌نشده وابسته است.
مثال فرضی: انتخاب راهی برای کاهش تأخیر در خدمت‌رسانی
فرض کنید مدیر یک مرکز خدماتی می‌خواهد میان افزایش نیروی انسانی و اصلاح فرایند پذیرش انتخاب کند. هنوز هیچ‌یک از این گزینه‌ها در این مثال اجرا نشده و نتیجهٔ تجربی برای آن‌ها در نظر گرفته نشده است. هدف، نشان‌دادن ارتباط سؤال تصمیم با شواهد مورد نیاز است.
تأخیر در کدام بخش رخ می‌دهد؟ داده‌های ثبت‌شدهٔ فرایند و مشاهدهٔ نحوهٔ کار می‌توانند مراحل خدمت و موقعیت‌های انتظار را روشن کنند. ثبت ناقص یا تعریف متفاوت زمان انتظار می‌تواند مقایسه را دشوار کند.
مراجعان و کارکنان چه مسئله‌ای را تجربه می‌کنند؟ مشورت، مصاحبه و گزارش‌های تجربهٔ خدمت به شناخت موانع از دید گروه‌های درگیر کمک می‌کنند. باید معلوم باشد دیدگاه چه کسانی ثبت شده و چه کسانی حضور ندارند.
دربارهٔ گزینه‌های پیشنهادی چه می‌دانیم؟ پژوهش‌ها و ارزیابی‌های مرتبط می‌توانند نتایج اقدام‌های قبلی و شرایط اجرای آن‌ها را نشان دهند. نتیجهٔ یک مرکز دیگر بدون بررسی تفاوت زمینه، نتیجهٔ این مرکز محسوب نمی‌شود.
کدام گزینه در شرایط ما قابل اجراست؟ اطلاعات هزینه و ارزیابی ظرفیت اجرا برای بررسی منابع، زمان و محدودیت‌های هر گزینه لازم است. این شواهد باید در کنار هدف تصمیم و شرایط واقعی مرکز بررسی شوند.
این بررسی هنوز به‌تنهایی برتری یکی از گزینه‌ها را ثابت نمی‌کند. ابتدا باید شواهد گردآوری و ارزیابی شوند، سپس دلایل انتخاب و عدم‌قطعیت‌های باقی‌مانده روشن شوند. پس از اقدام نیز بررسی پیامدها می‌تواند به اصلاح تصمیم و یادگیری برای دفعات بعد کمک کند.
شواهد در کنار قضاوت و شرایط تصمیم
در بحث مدیریت و خط‌مشی‌گذاری مبتنی بر شواهد، گاهی شواهد چنان معرفی می‌شوند که گویی می‌توانند تصمیم را کاملاً از اختلاف ارزش‌ها و ملاحظات سیاسی جدا کنند. چنین تصویری برای فهم فرایند واقعی تصمیم کافی نیست. انتخاب مسئله، وزن‌دادن به پیامدها و تعیین اینکه منافع کدام گروه‌ها در اولویت قرار گیرند، خود به قضاوت نیاز دارد.
شواهد می‌توانند ادعاهای مربوط به وضعیت، پیامد یا اثر یک اقدام را قابل بررسی کنند. تصمیم نهایی در کنار این بررسی، به اهداف، ارزش‌ها، منابع و شرایط اجرا وابسته است. شفافیت زمانی بیشتر می‌شود که دلیل تجربیِ یک ادعا از ترجیح ارزشی یا محدودیت اجرایی جدا و هر سه آشکار بیان شوند.
همچنین ترکیب چند منبع به معنای وزن‌دادن برابر به همهٔ آن‌ها نیست. اگر گزارش‌ها با هم ناسازگارند، باید تفاوت سؤال، روش، زمان و زمینه بررسی شود. حذف شواهد ناموافق صرفاً برای رسیدن به یک پاسخ ساده، امکان یادگیری از آن‌ها را از بین می‌برد. برای ثبت منظم این مقایسه و نوشتن نتیجهٔ آن، نمونهٔ جدول و جمع‌بندی انتقادی پیشینهٔ تحقیق را ببینید.
برای صورت‌بندی پرسش و محدودکردن ادعاها، راهنمای نوشتن بیان مسئله را ببینید؛ نمونهٔ قبل و بعد آن نشان می‌دهد چگونه می‌توان ادعاهای بی‌شاهد را به مسئله و پرسشی روشن تبدیل کرد.
برای تصمیم‌گیرنده چه معنایی دارد؟
پیش از تکیه بر یک گزارش یا نظر کارشناسی، پاسخ این پرسش‌ها را روشن کنید:
دقیقاً چه ادعایی قرار است با این شواهد پشتیبانی شود؟
داده‌ها چگونه گردآوری و تحلیل شده‌اند و چه سوگیری یا محدودیتی مطرح است؟
کدام قسمتِ نتیجه به سؤال و زمینهٔ تصمیم ما مربوط است؟
کدام دیدگاه‌ها یا گروه‌ها در شواهد موجود کمتر دیده شده‌اند؟
چه نتیجه‌ای را نمی‌توان از این اطلاعات گرفت؟
کدام بخش انتخاب به شواهد، کدام بخش به ارزش‌ها و کدام بخش به محدودیت اجرا وابسته است؟
استفادهٔ مؤثر از شواهد با روشن‌کردن مسئله و ارزیابیِ دلیل هر ادعا آغاز می‌شود. تنوع منابع زمانی مفید است که کیفیت، اعتبار، ارتباط و امکان استفادهٔ آن‌ها بررسی شده باشد. در چنین رویکردی، تصمیم‌گیرنده هم از دانش موجود استفاده می‌کند و هم حدود دانسته‌های خود را در تصمیم و یادگیری بعدی در نظر می‌گیرد.
اگر برای یافتن مقاله از هوش مصنوعی کمک می‌گیرید، هویت منبع و پشتیبانی آن از ادعا را جداگانه بررسی کنید. راهنمای جست‌وجوی مقاله با هوش مصنوعی این مسیر را با یک منبع واقعی و نمونهٔ یادداشت بررسی توضیح می‌دهد.