A qualitative investigation into perceptions and practices of writing evaluators regarding the use of rating scales in their evaluations

Author
Zahra Mohammadi Salari
Hormozgan Farhangian university
Abstract
The current study explored the status of rating scales among Iranian EFL raters. It appeared that EFL/ESL assessment environments were significantly influenced by the perceived authority of native assessment groups. Consequently, examining the realities of rating practices in EFL/ESL settings could offer a more accurate understanding of how assessment is viewed and implemented. To assess this, the present study conducted a comprehensive survey within the Iranian EFL writing assessment framework. A carefully designed eight-item interview guide was created to investigate various aspects of the rating task, including the rating scale. This guide was administered to ten raters from various universities and institutions in Iran, all of whom possessed either a Master's or Doctorate degree in TEFL. The raters participated in 40 minutes interview sessions, and the audio-recorded interviews were transcribed by the researcher for qualitative analysis. Through a thorough content analysis of the interview data, some general patterns emerged. Results of interviews with Iranian EFL composition raters revealed that rating scale in its common sense did not exist. In fact, raters relied on their own internalized criteria developed through their long years of practice. Therefore, native speaker legitimacy in the design and development of scales for the EFL context was challenged and the local agency in the design and development of rating scale was emphasized.
Keywords
EFL rater
EFL writing assessment
performance assessment
Rating scale

Article Title Persian

بررسی کیفی دیدگاه ارزیابان مهارت نوشتاری در مورد بکارگیری مقیاس های نمره دهی مهارت نوشتاری فراگیران زبان انگلیسی

Author Persian

زهرا محمدی سالاری
دانشگاه فرهنگیان هرمزگان
Abstract Persian

مطالعه حاضر به بررسی وضعیت مقیاس‌های ارزیابی در میان ارزیابان ایرانی زبان انگلیسی به عنوان زبان خارجی (EFL) پرداخت. به نظر می‌رسد که محیط‌های ارزیابی زبان انگلیسی به عنوان زبان خارجی/زبان دوم (EFL/ESL) به طور قابل توجهی تحت تأثیر نظر شخصی گروه‌های ارزیابی قرار دارند. در نتیجه، بررسی واقعیت‌های شیوه‌های ارزیابی در محیط‌های EFL/ESL می‌تواند درک دقیق‌تری از نحوه نگرش و اجرای ارزیابی ارائه دهد. برای ارزیابی این موضوع، مطالعه حاضر یک نظرسنجی جامع در چارچوب ارزیابی نوشتاری زبان انگلیسی به عنوان زبان خارجی در ایران انجام داد. یک مصاحبه هشت‌ ماده‌ای با دقت طراحی شد تا جنبه‌های مختلف وظیفه ارزیابی، از جمله مقیاس ارزیابی، را بررسی کند. جاکعه آماری این مطالعه متشکل از ده ارزیاب از دانشگاه‌ها و مؤسسات مختلف در ایران، که همگی دارای مدرک کارشناسی ارشد یا دکتری در آموزش زبان انگلیسی بودند، میباشد. ارزیابان در جلسات مصاحبه 40 دقیقه‌ای شرکت کردند و مصاحبه‌های ضبط‌شده صوتی توسط پژوهشگر برای تجزیه و تحلیل کیفی رونویسی شدند. از طریق تجزیه و تحلیل محتوای دقیق داده‌های مصاحبه، الگوهای کلی ظهور کردند. نتایج مصاحبه‌ها با ارزیابان ایرانی نوشتار زبان انگلیسی به عنوان زبان خارجی نشان داد که مقیاس ارزیابی به معنای رایج آن وجود نداشت. در واقع، ارزیابان بر معیارهای درونی‌شده خود که از طریق سال‌ها تمرین طولانی توسعه یافته بود، تکیه می‌کردند. بنابراین، مشروعیت زبان مادری در طراحی و توسعه مقیاس‌ها برای زمینه EFL به چالش کشیده شد و بر عاملیت محلی در طراحی و توسعه مقیاس ارزیابی تأکید شد

Keywords Persian

ارزیاب EFL
ارزیابی نوشتاری EFl
ارزیابی عملکرد
مقیاس نمره دهی