Students’ Oral Assessment Considering Various Task Dimensions and Difficulty Factors

Amiraslanpoor, Zohre; Davarpanah, Nikoo

Students’ Oral Assessment Considering Various Task Dimensions and Difficulty Factors

Document Type : Research

Authors

Zohre Amiraslanpoor

Nikoo Davarpanah

Zanjan Azad University

Abstract

One source of students’ score variation in oral performance assessment is the nature of tasks used in assessment. However, there is little research investigating students’ oral performance ability accounting for various oral analytical factors including fluency, lexical and structural complexity and accuracy with the subcategories of each. Therefore, this study addressed the above-mentioned shortcomings by having 20 raters score the oral performances produced by 300 students. The outcomes showed that considering students’ general language proficiency does not necessarily account for their speaking ability. The findings showed that test takers, in each level of language proficiency, were different from each other with respect to various measures of fluency, lexical complexity, structural complexity and accuracy when performing the five oral tasks. The outcome of the study showed significant differences between various conditions in the dimension of language planning for all the measures of fluency, accuracy and complexity and a majority of conditions in the dimensions of perspective and immediacy. However, no significant difference was found for the dimensions of openness, information exchange direction and language convergence/divergence. Besides, the quantitative data analysis showed that language planning, perspective and immediacy were shown to be the determining dimensions in oral task difficulty. This is something which has also been confirmed by the analysis of the students’ perceptions through questionnaires showing the influential impact of such dimensions in task difficulty. The findings of this study imply that raters’ perceptions can be accounted as reliable factor based on which decision makers can determine task difficulty.

Keywords

Accuracy

Complexity

Fluency

Multifaceted Rasch Measurement (MFRM)

Oral performance assessment

Oral tasks

Task dimension

Article Title Persian

ارزیابی شفاهی دانشجویان با در نظر گرفتن ابعاد مختلف تکلیف و عوامل دشواری

Authors Persian

زهره امیراصلانپور

نیکو داورپناه

دانشگاه آزاد واحد زنجان

Abstract Persian

یکی از منابع تغییر نمره دانش‌آموزان در ارزیابی عملکرد شفاهی، ماهیت وظایف مورد استفاده در ارزیابی است. با این حال، تحقیقات کمی در مورد توانایی عملکرد شفاهی دانش‌آموزان با در نظر گرفتن عوامل مختلف تحلیل شفاهی از جمله روانی، پیچیدگی واژگانی و ساختاری و دقت با زیرشاخه‌های هر یک وجود دارد. بنابراین، این مطالعه با در نظر گرفتن 20 مصحح، کاستی‌های ذکر شده در بالا را با نمره‌دهی به عملکردهای شفاهی تولید شده توسط 300 دانش‌آموز برطرف کرد. نتایج نشان داد که در نظر گرفتن مهارت عمومی زبان دانش‌آموزان لزوماً به معنای توانایی صحبت کردن آنها نیست. یافته‌ها نشان داد که شرکت‌کنندگان در هر سطح از مهارت زبانی، هنگام انجام پنج وظیفه شفاهی، از نظر معیارهای مختلف روانی، پیچیدگی واژگانی، پیچیدگی ساختاری و دقت با یکدیگر متفاوت بودند. نتیجه مطالعه تفاوت‌های معناداری را بین شرایط مختلف در بعد برنامه‌ریزی زبان برای تمام معیارهای روانی، دقت و پیچیدگی و اکثر شرایط در ابعاد دیدگاه و فوریت نشان داد. با این حال، هیچ تفاوت معناداری برای ابعاد گشودگی، جهت تبادل اطلاعات و همگرایی/واگرایی زبان یافت نشد. علاوه بر این، تجزیه و تحلیل داده‌های کمی نشان داد که برنامه‌ریزی زبانی، دیدگاه و فوریت، ابعاد تعیین‌کننده در دشواری تکلیف شفاهی هستند. این چیزی است که با تجزیه و تحلیل برداشت‌های دانش‌آموزان از طریق پرسشنامه‌ها نیز تأیید شده است که تأثیر مؤثر چنین ابعادی را در دشواری تکلیف نشان می‌دهد. یافته‌های این مطالعه نشان می‌دهد که برداشت‌های مصححان می‌تواند به عنوان عامل قابل اعتمادی در نظر گرفته شود که بر اساس آن تصمیم‌گیرندگان می‌توانند دشواری تکلیف را تعیین کنند.

Keywords Persian

دقت

پیچیدگی

روانی

سنجش چندوجهی راش (MFRM)

ارزیابی عملکرد شفاهی

وظایف شفاهی

بُعد وظیفه