Using Multifaceted Rasch Analysis to Explore the Impact of Rater Expertise in Speaking Assessment

Authors
Zahra Orouji 1
Houman Bijani 2
Mohammadreza Oroji 2
1 Department of Applied Linguistics, Isfahan University of Technology, Isfahan, Iran
2 Department of English, Zanjan Branch, Islamic Azad University, Zanjan, Iran
Abstract
As oral language proficiency assessment relies on human judgment, raters play a crucial role in performance-based testing. Among rater-related variables, rating experience has received considerable attention. Previous research on rater training has shown that extremely severe or lenient raters often benefit most from training, leading to changes in rating behavior. However, many of these studies have applied FACETS to only one or two facets and have rarely employed pre- and post-training designs. In addition, empirical findings have been inconsistent, providing no clear evidence as to whether experienced or inexperienced raters demonstrate greater rating reliability. The present study investigated the impact of rater training on experienced and inexperienced raters. Twenty raters evaluated the oral performances of 200 test takers before and after participating in a training program. The results indicated that training increased interrater consistency and reduced bias in the use of rating scale categories. The findings further suggested that, given the difficulty of fully eliminating rater variability, rater training should prioritize improving intrarater reliability rather than focusing exclusively on agreement among raters. Both experienced and inexperienced raters showed improved rating quality following training; however, inexperienced raters demonstrated greater gains. These results suggest that inexperienced raters should not be excluded from rating solely due to limited experience. As inexperienced raters are also more cost-effective, the findings imply that testing authorities may benefit more from investing in effective rater-training programs than from allocating substantial resources to recruiting highly experienced raters.
Keywords
Bias
Interrater consistency
Intrarater consistency
Multifaceted Rasch Measurement (MFRM)
Rater expertise

Article Title Persian

استفاده از تحلیل چندوجهی راش برای بررسی تأثیر تخصص مصحح در ارزیابی گفتار

Authors Persian

زهرا اروجی 1
هومن بیژنی 2
محمدرضا اروجی 2
1 دانشگاه صنعتی اصفهان
2 گروه زبان انگلیسی، واحد زنجان، دانشگاه آزاد اسلامی، زنجان، ایران
Abstract Persian

از آنجایی که ارزیابی مهارت زبان شفاهی به قضاوت انسانی متکی است، ارزیابان نقش حیاتی در آزمون مبتنی بر عملکرد ایفا می‌کنند. در میان متغیرهای مرتبط با ارزیاب، تجربه ارزیابی توجه قابل توجهی را به خود جلب کرده است. تحقیقات قبلی در مورد آموزش ارزیابان نشان داده است که ارزیابان بسیار سخت‌گیر یا سهل‌گیر اغلب بیشترین سود را از آموزش می‌برند که منجر به تغییر در رفتار ارزیابی می‌شود. با این حال، بسیاری از این مطالعات، FACETS را فقط برای یک یا دو جنبه اعمال کرده‌اند و به ندرت از طرح‌های قبل و بعد از آموزش استفاده کرده‌اند. علاوه بر این، یافته‌های تجربی متناقض بوده‌اند و هیچ مدرک روشنی در مورد اینکه آیا ارزیابان باتجربه یا بی‌تجربه، پایایی ارزیابی بیشتری را نشان می‌دهند، ارائه نداده‌اند. مطالعه حاضر تأثیر آموزش ارزیابان را بر ارزیابان باتجربه و بی‌تجربه بررسی کرد. بیست ارزیاب، عملکرد شفاهی 200 آزمون‌دهنده را قبل و بعد از شرکت در یک برنامه آموزشی ارزیابی کردند. نتایج نشان داد که آموزش، ثبات ارزیابان را افزایش داده و سوگیری در استفاده از دسته‌های مقیاس ارزیابی را کاهش داده است. یافته‌ها همچنین نشان داد که با توجه به دشواری حذف کامل تنوع ارزیابان، آموزش ارزیابان باید به جای تمرکز انحصاری بر توافق بین ارزیابان، بهبود پایایی درون ارزیاب را در اولویت قرار دهد. هم ارزیابان باتجربه و هم ارزیابان بی‌تجربه پس از آموزش، کیفیت ارزیابی بهتری را نشان دادند. با این حال، مصححان بی‌تجربه دستاوردهای بیشتری نشان دادند. این نتایج نشان می‌دهد که مصححان بی‌تجربه نباید صرفاً به دلیل تجربه محدود از ارزیابی کنار گذاشته شوند. از آنجایی که مصححان بی‌تجربه از نظر هزینه نیز مقرون‌به‌صرفه‌تر هستند، یافته‌ها حاکی از آن است که مسئولان برگزاری آزمون ممکن است از سرمایه‌گذاری در برنامه‌های آموزشی مؤثر مصححان، سود بیشتری نسبت به تخصیص منابع قابل توجه به استخدام مصححان باتجربه ببرند.

Keywords Persian

سوگیری
ثبات ارزیابی‌کنندگان
ثبات درون ارزیابی‌کنندگان
سنجش چندوجهی راش (MFRM)
تخصص ارزیابی‌کننده