An investigation of the reliability and validity of EFL students 'vocabulary performans assessment using generalizability theory

Abstract

هدفت الدراسة الى تحليل جودة تقييم الأداء في اختبار يقيس مهارات استخدام المفردات لدى طلاب السنة الأولى من متعلمي اللغة الإنجليزية كلغة اجنبية. تم استخدام نظرية إمكانية التعميم لتحليل مدى اتساق درجات الطلاب المتحصل عليها وتحديد مصادر تباين الخطأ التي تؤثر على الموثوقية. اجري اختبار انتاجي للمفردات من خلال ثماني مهام تواصلية قائمة على سياقات مختلفة، وشارك فيه 113 طالبًا ينتمون الى المدرسة العليا للأساتذة ببوزريعة. قام مصححين (02) بتقييم إجابات الطلاب وتم تحليل البيانات باستخدام برمجية الايديوجي من خلال ثلاث دراسات تعميم وأربع دراسات قرار. أظهرت نتائج دراسات التعميم أن التفاعل بين الطالب والمهمة أو المصحح، بالإضافة إلى المكون المتبقي، يؤثر بشكل كبير على موثوقية الدرجات. أما فيما يخص الصدق التقاربي فقد تأثر بتفاعل الطالب مع المهمة والموضوع. أشارت دراسات القرار إلى أن أربع مهام مع مصححين أو خمس مهام مع مصحح واحد تضمن درجة تعميم مقبولة. تؤكد نتائج البحث أهمية استخدام نظرية إمكانية التعميم لتحسين تصميم أدوات التقييم وتقليل تباين الخطأ ضمان نتائج دقيقة للقياس. The study investigated the quality of performance assessment targeting the vocabulary skills of first-year EFL students. It applied generalizability theory to examine score consistency and identify sources of error variance that threaten reliability. A productive vocabulary test featuring eight vocabulary communicative tasks was administered to 113 students at High Teacher School of Bouzareah. Two raters evaluated students' performance, and the data were analyzed using EduG software through three G-studies and four D-studies. Results showed that student-task and student-rater interactions, along with residual error, significantly influenced score reliability. Validity concerns, specifically convergent validity, were linked to student-task and student-theme interactions. The D-studies indicated that acceptable generalizability could be achieved with either five tasks and one rater or four tasks and two raters. These findings emphasize the importance of using G theory to refine assessment design, reduce measurement error, and ensure reliable evaluation of vocabulary knowledge in communicative contexts