Journal title
عنوان نشریه
Literature & Humanities
http://ijal.khu.ac.ir
1
admin
doi
en
jalali
1391
12
1
gregorian
2013
3
1
16
1
online
1
fulltext
fa
استفاده از لیست ارزیابی دوگانه تحلیلی جزئی نگر در ایجاد پایایی ارزیابی نوشتار فردی و گروهی مصححان
Using an Analytic Dichotomous Evaluation Checklist to Increase Inter- and Intra-rater Reliability of EFL Writing Evaluation
پژوهشي
Research
تحقیق کنونی به ارائه چگونگی ساخت ، پردازش، و استفاده از لیست ارزیابی دوگانه تحلیلی جزئی نگر می پردازد. هدف این لیست ارتقاء پایایی ارزیابی نوشتار مصححان هم به صورت فردی و هم گروهی می باشد. لیست ارزیابی دوگانه تحلیلی جزئی نگر متشکل از 68 سوال است که در برگیرنده پنج جزء تشکیل دهنده نوشتار شامل محتوا، سازمان دهی، نحو، واژگان، و سجاوندی می باشد. با استفاده از این لیست و سوالات مربوط، هشت مصحح به ارزیابی نوشتار 20 نفر از انگلیسی آموزان فارسی زبان پرداختند. همزمان، از مصححان خواسته شد که همین 20 نوشتار را از طریق روش ارزیابی نوشتار کلی نگر تافل تصحیح کنند تا بتوان به مقایسه دو روش کلی نگر و جزئی نگر پرداخت. برای کنکاش پایایی فردی و گروهی مصححان، روش های آماری مختلفی شامل ضریب همبستگی، مدل راش ساده و چند وجهی مورد استفاده قرار گرفت. نتایج نشان داد که لیست ارزیابی دوگانه تحلیلی جزئی نگر شاخص پایایی بالاتری را هم به صورت فردی و هم گروهی در مقایسه با ارزیابی کلی نگر ایجاد می کند. تحقیقاتی که در آینده انجام خواهد گرفت، با در نظر گرفتن تعداد مصححان بیشتر و آزمودنی های تحقیق، اعتبار بیشتری بر تاثیر ارزیابی دوگانه تحلیلی جزئی نگر در مقایسه با ارزیابی نوشتار کلی نگر را کسب خواهد کرد.
The present study reports the processes of development and use of an Analytic Dichotomous Evaluation Checklist (ADEC) which aims at enhancing both inter- and intra-rater reliability of writing evaluation. The ADEC consists of a total of 68 items that comprises five subscales of content, organization, grammar, vocabulary, and mechanics. Eight raters assessed the writing performance of 20 Iranian EFL students using the ADEC. Also, the raters were asked to rate the same sample of essays holistically based on Test of Written English (TWE) scale. To examine the inter-rater and intra-rater reliability of the ADEC, multiple approaches were employed including correlation coefficient, the dichotomous Rasch Model, and many-faceted Rasch measurement (MFRM). The findings of the study confirmed that the ADEC introduces higher reliability into scoring procedure compared with holistic scoring. Future research with greater number of raters and examinees may provide robust evidence to use analytic scale rather than holistic one.
ارزیابی تحلیلی جزئی نگر , پایایی فردی مصحح , پایایی گروهی مصححان , ارزیابی نوشتار ,
Analytic scoring , Inter-rater reliability , Intra-rater reliability , EFL writing evaluation ,
25
57
http://ijal.khu.ac.ir/browse.php?a_code=A-10-3-22&slc_lang=fa&sid=1
Masoumeh
Ahmadi Shirazi
معصومه
احمدی شیرازی
ahmadim@ut.ac.ir
100319475328460051
100319475328460051
No
استادیار دانشگاه تهران