روایی و پایایی پرسشنامه؛ چه چیزی را چگونه بررسی کنیم؟
روایی و پایایی به دو پرسش متفاوت پاسخ می‌دهند: آیا تفسیر ما از نمره‌های پرسشنامه برای کاربرد مورد نظر پشتوانه دارد؟ و نمره‌ها در شرایط تعریف‌شده چقدر سازگار و دقیق‌اند؟ یک ضریب بالا به‌تنهایی پاسخ هر دو پرسش نیست. برای ارزیابی پرسشنامه باید بدانید چه چیزی، در چه جامعه‌ای و برای چه تصمیمی سنجیده می‌شود.
این راهنما به انتخاب شواهد و نوشتن گزارش ارزیابی ابزار کمک می‌کند. چک‌لیست و مثال آن آموزشی‌اند؛ هیچ‌یک پرسشنامهٔ اعتبارسنجی‌شده یا جایگزین بررسی تخصصی ابزار مشخص شما نیستند.
روایی با پایایی چه تفاوتی دارد؟
در استانداردهای آزمون‌های آموزشی و روان‌شناختی، روایی به پشتوانهٔ شواهد و نظریه برای تفسیر نمره‌ها در کاربرد مشخص مربوط است. پس عبارت «این پرسشنامه روایی دارد» بدون توضیح جامعه، نسخه و کاربرد، اطلاعات کافی نمی‌دهد. پایایی نیز به سازگاری نمره‌ها در تکرارهای تعریف‌شدهٔ اندازه‌گیری مربوط است؛ مثلاً میان دو زمان یا میان ارزیابان.
مثال فرضی: پرسشنامه‌ای را تصور کنید که قرار است «رضایت از پاسخ‌گویی واحد پشتیبانی» را بسنجد، اما بیشتر سؤال‌هایش دربارهٔ زیبایی محیط کار است. حتی اگر پاسخ‌ها به این سؤال‌ها بسیار همسان باشند، هنوز برای تفسیر نمره به‌عنوان رضایت از پاسخ‌گویی، شاهد مناسبی نداریم. در این مثال، سازگاری پاسخ‌ها مشکل پوشش مفهوم را حل نمی‌کند.
قبل از انتخاب شاخص، چهار چیز را بنویسید
- مفهوم یا سازه: دقیقاً چه چیزی را می‌سنجید و چه مفهوم نزدیکی را نمی‌سنجید؟ رضایت، وفاداری و قصد استفادهٔ دوباره یک نام برای یک چیز نیستند.
- جامعه و زمینه: پاسخ‌دهنده کیست، به چه زبانی پاسخ می‌دهد و تجربهٔ مربوط به کدام خدمت یا دوره است؟
- نسخه و نمره: کدام نسخهٔ ابزار، کدام خرده‌مقیاس و کدام شیوهٔ نمره‌گذاری را به کار می‌برید؟
- کاربرد: نمره برای توصیف یک گروه به کار می‌رود، مقایسهٔ گروه‌ها، پیگیری تغییر یا تصمیم دربارهٔ فرد؟
این چهار پاسخ، نقطهٔ شروع انتخاب شواهدند. برای طراحی کل فرایند، از تعیین هدف تا نگارش سؤال و پیش‌آزمون، می‌توانید راهنمای طراحی پرسشنامه را هم بخوانید. تمرکز این مقاله، ارزیابی نمره‌ها و شواهد پشتیبان آن‌هاست.
برای روایی دنبال چه شواهدی باشیم؟
شواهد را بر اساس ادعایی که دربارهٔ نمره دارید انتخاب کنید. همهٔ پژوهش‌ها به یک فهرست ثابت از تحلیل‌ها نیاز ندارند و کنار هم گذاشتن نام چند آزمون، استدلال روایی نمی‌سازد.
| پرسش ارزیابی | شاهدی که باید بررسی شود | نمونهٔ تصمیم در یک پژوهش فرضی |
|---|---|---|
| آیا سؤال‌ها مفهوم را درست پوشش می‌دهند؟ | ارتباط محتوا با مفهوم و جامعه، پوشش جنبه‌های مهم و فهم‌پذیری سؤال‌ها | اگر هدف رضایت از پاسخ‌گویی است، نبود سؤال دربارهٔ تجربهٔ دریافت پاسخ را بررسی کنیم. |
| آیا پاسخ‌دهنده سؤال را به معنای مورد نظر می‌فهمد؟ | بررسی فرایند پاسخ‌دادن و ابهام در صورت سؤال یا گزینه‌ها | بپرسیم «پاسخ سریع» برای پاسخ‌دهنده چه مدت زمانی را تداعی می‌کند. |
| آیا ساختار نمره با ساختار مفهومی پیشنهادی سازگار است؟ | شواهد مربوط به ساختار درونی، متناسب با مدل اندازه‌گیری | اگر سه خرده‌مقیاس پیشنهاد شده، جمع‌کردن بی‌توضیح همهٔ سؤال‌ها در یک نمره را بازبینی کنیم. |
| آیا رابطهٔ نمره با متغیرهای دیگر، انتظار نظری را پشتیبانی می‌کند؟ | فرض‌های روشن و ازپیش‌توجیه‌شده دربارهٔ روابط مورد انتظار | مشخص کنیم چرا و با چه حدودی انتظار داریم دو سنجه با هم ارتباط داشته باشند. |
در راهنمای COSMIN، برای روایی محتوا سه محور «مرتبط‌بودن»، «پوشش کافی» و «فهم‌پذیری» از هم جدا شده‌اند. این راهنما عمدتاً برای ابزارهای پیامد گزارش‌شده توسط بیمار تدوین شده است؛ استفاده از منطق آن در حوزه‌ای مانند مدیریت، به معنی انطباق کامل ابزار با استانداردهای COSMIN نیست.
برای پایایی، شاخص را با سؤال هماهنگ کنید
اگر نگرانی شما تفاوت نمره در دو نوبت است، صرفاً بررسی همسانی سؤال‌ها پاسخ کافی نمی‌دهد. اگر نگرانی تفاوت قضاوت ارزیابان است، باید سازگاری یا توافق ارزیابان را متناسب با نوع داده و کاربرد بررسی کنید. طبق استانداردهای آزمون، یک روش یا یک حد عددیِ واحد برای همهٔ موقعیت‌ها کافی نیست.
| چه چیزی را می‌خواهیم بررسی کنیم؟ | مسیر ارزیابی | نکتهٔ لازم در گزارش |
|---|---|---|
| همسانی سؤال‌های یک مقیاس | بررسی همسانی درونی با شاخص متناسب، پس از توجه به مدل و ساختار مقیاس | نام شاخص، خرده‌مقیاس، نمونه و دلیل مناسب‌بودن آن |
| سازگاری نمره‌ها در دو زمان | بررسی بازآزمایی با طراحی و فاصلهٔ زمانی موجه | فاصلهٔ زمانی، وضعیت مورد انتظار مفهوم در این فاصله و روش محاسبه |
| سازگاری نمره‌های ارزیابان | بررسی بین ارزیابان، متناسب با مقیاس داده و تعریف توافق | ارزیابان، آموزش و شرایط ارزیابی، همراه با شاخص و عدم‌قطعیت آن |
چرا آلفای کرونباخ به‌تنهایی کافی نیست؟
آلفا شاخص روایی نیست و به‌تنهایی تک‌بعدی‌بودن مقیاس را نشان نمی‌دهد. برای تفسیر همسانی درونی باید به مدل اندازه‌گیری و ساختار مقیاس توجه کرد. راهنمای COSMIN نیز تفسیر همسانی درونی را به شواهد ساختاری و مفروضات مدل وابسته می‌داند.
حذف سؤال فقط برای بالابردن یک ضریب می‌تواند پوشش مفهوم را تغییر دهد. پیش از حذف، باید بدانید سؤال چه جنبه‌ای را می‌سنجد، چرا با بقیه متفاوت است و حذف آن چه اثری بر معنای نمره دارد. این تصمیم، ویرایش عددی ساده نیست.
پیش‌آزمون را به «چند نفر دیدند و تأیید کردند» محدود نکنید
در یک پیش‌آزمون آموزشی، می‌توانید از پاسخ‌دهنده بخواهید صورت سؤال را با زبان خودش توضیح دهد، دلیل انتخاب گزینه را بگوید و بخش‌های نامفهوم را مشخص کند. هدف، شنیدن تعریف و تمجید از ظاهر پرسشنامه نیست؛ باید بفهمید پاسخ از چه مسیری به دست آمده است. AAPOR نیز پیش‌آزمون پرسشنامه و مصاحبهٔ شناختی را در راهنمای اجرای پیمایش توضیح می‌دهد.
نمونهٔ پیشنهادی برای پایلوت: سؤال «از خدمات سریع و دقیق واحد پشتیبانی راضی هستم» دو ویژگی را در یک عبارت آورده است. اگر پاسخ‌دهنده بگوید خدمت دقیق بوده اما سریع نبوده، معلوم می‌شود انتخاب یک گزینه برای او دشوار است. می‌توان بررسی کرد که آیا جداکردن دو سؤال با هدف سنجش سازگارتر است. این پیشنهاد، گویهٔ رسمی یا اعتبارسنجی‌شده نیست.
پس از اصلاح سؤال، فقط نسخهٔ آخر را نگه ندارید؛ ثبت کنید چه چیزی، به چه دلیل و بر اساس کدام مشاهده تغییر کرده است. اجرای پایلوت به‌تنهایی همهٔ شواهد روایی و پایایی را فراهم نمی‌کند.
جدول گزارش: به جای عددسازی، ردِ شاهد را نگه دارید
جدول زیر برای سامان‌دادن گزارش است و نتیجهٔ یک مطالعهٔ انجام‌شده نیست. هر ردیف را فقط با شاهد واقعی پژوهش خود پر کنید. اگر بررسی‌ای انجام نشده، همین نبودِ شاهد را روشن بنویسید.
| بخش گزارش | اطلاعات لازم | خطایی که باید از آن پرهیز کرد |
|---|---|---|
| ابزار و کاربرد | نام، نسخه، زبان، سازه، خرده‌مقیاس و استفادهٔ مورد نظر | نوشتن «پرسشنامه استاندارد» بدون معرفی نسخه |
| جامعه و نمونه | ویژگی‌های مرتبط شرکت‌کنندگان، شیوهٔ انتخاب و تعداد واقعی | انتقال بی‌توضیح نتیجه از جامعه‌ای دیگر |
| روایی محتوا و فهم سؤال | افراد مشارکت‌کننده، روش بررسی، مشکل‌های دیده‌شده و اصلاح‌ها | معادل‌گرفتن تأیید صوری با همهٔ شواهد روایی |
| ساختار و روابط مورد انتظار | مدل یا فرض نظری، روش، نتیجه و محدودیت تفسیر | انتخاب روابط فقط پس از دیدن نتیجهٔ مطلوب |
| پایایی | نوع پایایی، شاخص، روش محاسبه، شرایط اجرا و عدم‌قطعیتِ برآورد در صورت امکان | گزارش یک ضریب بدون توضیح نمونه و طراحی |
| نتیجهٔ قابل دفاع | کاربردی که شواهد از آن پشتیبانی می‌کنند و کاربردهای بررسی‌نشده | تضمین اعتبار ابزار در همهٔ موقعیت‌ها |
پرسشنامهٔ آماده یا ترجمه‌شده را چگونه بررسی کنیم؟
از مقاله یا راهنمای نسخهٔ اصلی شروع کنید و سپس شواهد نسخهٔ زبانی و جامعهٔ مورد نظر خود را پیدا کنید. یکسان‌بودن نام ابزار، به معنی یکسان‌بودن نسخه، نمره‌گذاری یا معنای سؤال‌ها نیست. در جدول مقایسهٔ منابع، تفاوت‌ها را جدا بنویسید؛ اگر مستندات نسخهٔ مورد استفاده روشن نیست، آن را با حدس کامل نکنید.
برای تحویل پژوهش، جملهٔ نهایی باید به اندازهٔ شاهد باشد: «در این نمونه و برای این کاربرد، این شواهد به دست آمد» از ادعای کلی «روایی و پایایی پرسشنامه تأیید شد» دقیق‌تر است. اگر بخشی از شواهد هنوز فراهم نشده، همان بخش را در محدودیت‌ها و برنامهٔ بررسی بعدی مشخص کنید.
منابع این راهنما
- AERA، APA و NCME (2014)، Standards for Educational and Psychological Testing؛ فصل‌های روایی و پایایی/دقت.
- Mokkink، Elsman و Terwee (2024)، COSMIN Manual، نسخهٔ ۲؛ بخش‌های روایی محتوا و همسانی درونی. دامنهٔ اصلی راهنما، ابزارهای پیامد گزارش‌شده توسط بیمار است.
- AAPOR، Best Practices for Survey Research؛ طراحی و پیش‌آزمون پرسشنامه.