ارزیابی عملکرد آموزش دانشگاه با ANP و دیمتل
ارزیابی عملکرد آموزش در دانشگاه، پیش از امتیازدهی به انتخاب شاخص و بررسی رابطهٔ میان شاخص‌ها نیاز دارد. مطالعهٔ داود طالبی و آسیه آرش‌پور در دانشگاه شهید بهشتی، دو روش تحلیل شبکه‌ای و دیمتل را برای این مسئله مقایسه می‌کند. موضوع مطالعه، اولویت‌بندی شاخص‌های آموزشی بر پایهٔ نظر خبرگان است؛ این طرح به‌خودی‌خود اثر علّی یک سیاست دانشگاهی بر یادگیری دانشجویان را اندازه نمی‌گیرد.
مطالعهٔ موردی چه پرسشی داشت؟
مقالهٔ «ارزیابی عملکرد آموزشی با رویکرد مقایسه‌ای تحلیل شبکه‌ای و دیمتل» در نشریهٔ چشم‌انداز مدیریت صنعتی، شمارهٔ ۱۰، تابستان ۱۳۹۲، صفحات ۸۵ تا ۱۰۰ منتشر شده است. پژوهش دو پرسش را دنبال می‌کند: کدام شاخص‌ها برای ارزیابی آموزش دانشگاه شهید بهشتی انتخاب شوند و اولویت حاصل از دو روش ANP و DEMATEL چه تفاوتی دارد؟
این مطالعه را باید از ارزیابی یک دورهٔ آموزشی یا آزمایش روش تدریس جدا کرد. واحد بحث در آن، شاخص‌های عملکرد آموزشی دانشگاه است و ورودی اصلی، قضاوت پاسخ‌دهندگان دربارهٔ اهمیت و روابط شاخص‌هاست. انتخاب این شاخص‌ها برای همان زمینه انجام شده و فهرست آن‌ها یک استاندارد عمومی و تغییرناپذیر برای همهٔ دانشگاه‌ها نیست.
داده و فرایند انتخاب شاخص‌ها
در مرحلهٔ نخست، پرسش‌نامه‌ای دربارهٔ ۳۳ شاخص به کار رفت و شش شاخص کلیدی بر مبنای امتیازهای خبرگان انتخاب شد. گروه پاسخ‌دهندگان این مرحله، سمت‌های مدیریتی مرتبط با آموزش، تحصیلات تکمیلی و نظارت و ارزیابی دانشگاه را در بر می‌گرفت. در مرحلهٔ بعد، معاونان آموزشی دانشکده‌های دانشگاه، پرسش‌نامه‌های مربوط به روابط و مقایسهٔ شاخص‌های منتخب را تکمیل کردند.
جدولِ سمت‌های مرحلهٔ نخست را نباید بدون شاهد به تعداد نهایی پاسخ‌نامه‌های کامل‌شده تبدیل کرد. همچنین ضریب آلفا یا سازگاری مقایسه‌ها، حتی اگر نویسندگان آن را مناسب گزارش کنند، به‌تنهایی درستی همهٔ شاخص‌ها، بی‌طرفی خبرگان یا اعتبار نتیجهٔ تصمیم را ثابت نمی‌کند.
شش شاخص منتخب چه بودند؟
A1: نرخ رشد تعداد اعضای هیئت علمی شرکت‌کننده در دوره‌های آموزشی و دانش‌افزایی.
A2: تعداد اعضای هیئت علمی با رتبهٔ استادی.
A3: تعداد اعضای هیئت علمی با رتبهٔ دانشیاری.
A4: نرخ قبولی دانشجویان در مقاطع بالاتر.
A5: نسبت دانشجویان دارای جایزه در المپیادهای بین‌المللی به کل دانشجویان.
A6: نسبت اعضای هیئت علمی با مرتبهٔ استادیار و بالاتر به کل دانشجویان.
نگه داشتن صورت دقیق شاخص‌ها مهم است. برای مثال، «تعداد اعضای دارای رتبهٔ استادی» با «نسبت اعضای هیئت علمی به دانشجو» یکی نیست و نمی‌توان هر دو را بی‌توضیح به عنوان کلیِ کیفیت استادان تبدیل کرد. این شاخص‌ها نیز همهٔ ابعاد کیفیت آموزش، عدالت آموزشی یا تجربهٔ دانشجو را پوشش نمی‌دهند.
تحلیل شبکه‌ای و دیمتل چه نقشی داشتند؟
در تحلیل شبکه‌ای، مقایسه‌ها و وابستگی‌های تعریف‌شده در ساختار شبکه برای به‌دست آوردن وزن شاخص‌ها به کار رفتند. مقاله توضیح می‌دهد که قضاوت‌های پاسخ‌دهندگان با میانگین هندسی تجمیع و محاسبات مربوط به ابرماتریس انجام شده است. این گزارش، محاسبهٔ تازه یا بازتولید ابرماتریس نیست.
در دیمتل، ماتریس روابط مستقیم، نرمال‌سازی و سپس ماتریس روابط کلی مبنای محاسبهٔ اثرگذاری و اثرپذیری قرار گرفتند. تعبیر «علت و معلول» در نام نمودار این روش، به نقشهٔ روابط ادراک‌شده در قضاوت خبرگان اشاره دارد؛ از آن نباید اثبات تجربی علیت یا اندازهٔ اثر یک مداخله را نتیجه گرفت. دامنهٔ روابط نیز به شاخص‌های انتخاب‌شده و قضاوت‌های واردشده محدود است و همهٔ عوامل واقعی دانشگاه را در بر نمی‌گیرد.
نتایج مقایسهٔ دو روش
جدول ۶ مقاله، ترتیب اولویت شاخص‌ها را چنین گزارش می‌کند:
تحلیل شبکه‌ای: A6، سپس A3، A4، A2، A1 و A5.
دیمتل، بر مبنای اولویت اثرگذاری گزارش‌شده: A6، سپس A2، A4، A3، A1 و A5.
در هر دو فهرست، نسبت اعضای هیئت علمی با مرتبهٔ استادیار و بالاتر به کل دانشجویان در جایگاه نخست و نسبت دارندگان جایزهٔ المپیاد در جایگاه ششم قرار دارد. تفاوت مهم، جابه‌جایی رتبهٔ تعداد استادان و دانشیاران است. این توافق یا تفاوت، برتری همیشگی یکی از دو روش را ثابت نمی‌کند؛ خروجی‌ها بر منطق و قضاوت‌های متفاوتی تکیه دارند.
دیمتل علاوه بر ترتیب اثرگذاری، اثرپذیری و مجموع و تفاضل این دو را گزارش می‌کند. این کمیت‌ها جای یکدیگر نیستند: شاخصی می‌تواند هم اثرگذاری و هم اثرپذیری بالایی داشته باشد. بنابراین، پیش از استفاده از هر رتبه برای تخصیص منابع باید روشن شود کدام کمیت، با چه تعریف و برای کدام تصمیم به کار می‌رود.
حدود نتیجه و کاربرد مدیریتی
خود نویسندگان دشواری آشنایی پاسخ‌دهندگان با پرسش‌نامه‌های ANP و دیمتل و کمبود وقت مدیران را از محدودیت‌ها می‌دانند. حساسیت به انتخاب خبرگان، تعریف شاخص و تجمیع قضاوت‌ها نیز برای استفاده از این نوع خروجی مهم است. یک رتبهٔ بالا در این مدل، دستور خودکار برای افزایش بودجه یا اثبات بازده یک برنامه نیست.
در استفادهٔ مدیریتی، این فهرست می‌تواند مبنای گفت‌وگو دربارهٔ اولویت‌ها باشد، اما باید با شواهد مستقلی مانند داده‌های واقعی آموزش، تجربهٔ دانشجویان و محدودیت منابع سنجیده شود. کاهش اهمیت نسبی یک شاخص در این مقایسه نیز به معنای بی‌ارزش بودن آن نیست. برای انتقال الگو به دانشگاه دیگر، تناسب شاخص‌ها و قضاوت‌های محلی باید دوباره بررسی شود.
این متن، مطالعهٔ مشخص دانشگاه شهید بهشتی و حدود استنباط آن را شرح می‌دهد. داده‌های خام و محاسبات دو روش بازتولید نشده‌اند؛ ادعای اجرای مدل، تهیهٔ فایل محاسباتی یا بهبود اثبات‌شدهٔ عملکرد دانشگاه از این بازخوانی مطرح نمی‌شود.
منبع مطالعه
طالبی، داود و آرش‌پور، آسیه (۱۳۹۲). ارزیابی عملکرد آموزشی با رویکرد مقایسه‌ای تحلیل شبکه‌ای و دیمتل. چشم‌انداز مدیریت صنعتی، شمارهٔ ۱۰، ۸۵–۱۰۰. مبنای گزارش: صفحهٔ رسمی ناشر و PDF اصلی، به‌ویژه روش، جدول‌های ۳ تا ۶ و بحث و نتیجه‌گیری.