استفاده از تحلیل چندوجهی راش برای بررسی تأثیر تخصص مصحح در ارزیابی گفتار

از آنجایی که ارزیابی مهارت زبان شفاهی به قضاوت انسانی متکی است، ارزیابان نقش حیاتی در آزمون مبتنی بر عملکرد ایفا می‌کنند. در میان متغیرهای مرتبط با ارزیاب، تجربه ارزیابی توجه قابل توجهی را به خود جلب کرده است. تحقیقات قبلی در مورد آموزش ارزیابان نشان داده است که ارزیابان بسیار سخت‌گیر یا سهل‌گیر اغلب بیشترین سود را از آموزش می‌برند که منجر به تغییر در رفتار ارزیابی می‌شود. با این حال، بسیاری از این مطالعات، FACETS را فقط برای یک یا دو جنبه اعمال کرده‌اند و به ندرت از طرح‌های قبل و بعد از آموزش استفاده کرده‌اند. علاوه بر این، یافته‌های تجربی متناقض بوده‌اند و هیچ مدرک روشنی در مورد اینکه آیا ارزیابان باتجربه یا بی‌تجربه، پایایی ارزیابی بیشتری را نشان می‌دهند، ارائه نداده‌اند. مطالعه حاضر تأثیر آموزش ارزیابان را بر ارزیابان باتجربه و بی‌تجربه بررسی کرد. بیست ارزیاب، عملکرد شفاهی 200 آزمون‌دهنده را قبل و بعد از شرکت در یک برنامه آموزشی ارزیابی کردند. نتایج نشان داد که آموزش، ثبات ارزیابان را افزایش داده و سوگیری در استفاده از دسته‌های مقیاس ارزیابی را کاهش داده است. یافته‌ها همچنین نشان داد که با توجه به دشواری حذف کامل تنوع ارزیابان، آموزش ارزیابان باید به جای تمرکز انحصاری بر توافق بین ارزیابان، بهبود پایایی درون ارزیاب را در اولویت قرار دهد. هم ارزیابان باتجربه و هم ارزیابان بی‌تجربه پس از آموزش، کیفیت ارزیابی بهتری را نشان دادند. با این حال، مصححان بی‌تجربه دستاوردهای بیشتری نشان دادند. این نتایج نشان می‌دهد که مصححان بی‌تجربه نباید صرفاً به دلیل تجربه محدود از ارزیابی کنار گذاشته شوند. از آنجایی که مصححان بی‌تجربه از نظر هزینه نیز مقرون‌به‌صرفه‌تر هستند، یافته‌ها حاکی از آن است که مسئولان برگزاری آزمون ممکن است از سرمایه‌گذاری در برنامه‌های آموزشی مؤثر مصححان، سود بیشتری نسبت به تخصیص منابع قابل توجه به استخدام مصححان باتجربه ببرند.