Vesna M. Petrović, University of Kragujevac, Faculty of Technical Sciences, Čačak, Serbia, e-mail: vesna.petrovic@ftn.kg.ac.rs
Ana S. Jovanović, University of Belgrade, The Faculty of Philology, Belgrade, Serbia
Marija R. Đukić, University of Kragujevac, Faculty of Technical Sciences, Čačak, Serbia
Иновације у настави, XXXVII, 2024/4, стр. 64–84

| PDF | | Extended summary PDF |
DOI: 10.5937/inovacije2404064P

Summary: This research develops a multicriteria rating scale for the assessment of oral presentations in language for specific purposes (LSP) in order to make the assessment process easier, more objective, and reliable. For this purpose, the prevailing contemporary theoretical models of communicative competence and specific purpose language ability were explored and five different models of multicriteria rating scales were generated. The criteria with the corresponding descriptors were created based on the distinct characteristics of oral communication and public speaking activities. Subsequently, they were the subject of evaluation by 103 foreign language teachers who teach LSP in higher education institutions and vocational secondary schools in Serbia and Croatia. An online survey was used as a data-collection method. The answers were analysed by the quantitative analysis and fuzzy multicriteria decision-making analysis (MCDC) to obtain a favourable model of the scale suitable for the LSP oral presentation assessment. The results show that the Specific Purpose Communicative Competence Scale is the optimal model recommended for evaluating learners’ oral performance in the context of foreign LSP classroom. A ready-made rating scale for the LSP oral presentation assessment whose validity and reliability are based on theoretically and empirically investigated grounds represents the main contribution of the research. The paper also offers various possibilities for further research, such as testing the
obtained scale’s validity in practice and comparing it with other assessment instruments.

Keywords: language for specific purposes (LSP), assessment, rating scale, oral presentation, multicriteria decision-making analysis

Весна М. Петровић
Марија Р. Ђукић
Универзитет у Крагујевцу, Факултет техничких наука у Чачку, Чачак, Србија
Ана С. Јовановић
Универзитет у Београду, Филолошки факултет, Београд, Србија

РАЗВОЈ ВИШЕКРИТЕРИЈУМСКЕ СКАЛЕ ЗА ОЦЕЊИВАЊЕ КОМУНИКАТИВНЕ
КОМПЕТЕНЦИЈЕ У ОКВИРУ ПРЕЗЕНТАЦИЈЕ НА СТРАНОМ ЈЕЗИКУ СТРУКЕ

У овом раду је развијена вишекритеријумска скала за оцењивање усмених презентација на страном језику струке са намером да се процес оцењивања олакша и учини објективнијим и поузданијим, те да се наставницима омогући да изврше оцењивање у свакодневним реалним условима у учионици на што једноставнији, прецизнији и временски економичнији начин. Стога су истражени преовлађујући теоријски модели комуникативне компетенције и модели комуникативне компетенције на језику струке, а затим је на њиховим основама креирано пет различитих модела скала за оцењивање. Пре свега, у истраживању је осмишљено укупно 19 критеријума са одговарајућим дескрипторима на бази истакнутих карактеристика усмене комуникације и активности јавног говора. Након тога, 103 наставника страног језика струке која раде у високошколским установама и средњим стручним школама у Србији и Хрватској су евалуирала осмишљене критеријуме тако што се од њих захтевало да помоћу Ликертове скале вреднују предложене критеријуме оценом од 1 до 5, у складу са тим колико сматрају да сваки од понуђених критеријума има утицаја на постигнуће ученика приликом њиховог усменог излагања. Циљ нам је био да истражимо да ли наставници подједнако вреднују критеријуме за оцењивање усмених презентација када врше оцењивање или појединим критеријумима дају предност у односу на неке друге. Подаци су прикупљени путем онлајн-анкете, затим подвргнути квантитативној анализи, која је показала да наставници не дају предност ниједном од понуђених критеријума, већ сматрају да их треба вредновати у приближно једнакој мери приликом оцењивања постигнућа студената у оквиру усмене презентације. Будући да 19 критеријума представља велики број параметара које наставници треба да вреднују када оцењују, што их може оптеретити и изазвати забуну, за потребе истраживања оформили смо пет различитих модела скала за оцењивање усмене презентације који садрже различите комбинације предложених критеријума са дескрипторима и подвргли их вишекритеријумској анализи одлучивања како бисмо дошло до одговарајућег модела скале погодног за оцењивање усмене презентације на страном језику струке. Модели скала укључују: 1) скалу засновану на стратегијској компетенцији; 2) скалу засновану на језичком знању; 3) скалу засновану на садржају и структури презентације; 4) скалу засновану на комуникативној компетенцији на страном језику струке и 5) интуитивни модел истраживача. Резултати вишекритеријумске анализе одлучивања су показали да скала за оцењивање комуникативне компетенције на страном језику струке представља најоптималнији модел који се препоручује за оцењивање усмене презентације на страном језику струке у контексту учионице. Главни допринос рада састоји се у формирању готове скале за оцењивање усмене презентације на страном језику струке, чије су валидност и поузданост теоријски и емпиријски утемељене. Поврх тога, с обзиром на то да је вишекритеријумска анализа ових модела показала њихов поредак од најоптималнијег до најмање оптималног, и да се тиме не сугерише искључивање било којег од формираних модела, сматрамо да би за будућа истраживања било корисно извршити оцењивање употребом свих модела, те упоредити исходе таквих оцењивања. Истраживање такође нуди разне могућности за даља испитивања која би се односила на тестирање валидности појединачне скале у пракси кроз њено поређење са другим инструментима за оцењивање. Ограничења овог истраживања односе се на употребу анкете као истраживачког инструмента за прикупљање података која са собом увек носи ризик и оставља могућност да испитаници нису довољно мотивисани да одговоре на питања.

Кључне речи: страни језик струке, оцењивање, скала за оцењивање, усмена презентација, вишекритеријумска анализа одлучивања

References 

• Bachman, L. F. (1990). Fundamental considerations in language testing. Oxford University Press.
• Bachman, L. F., & Palmer, A. S. (1996). Language testing in practice: Designing and developing useful language tests (vol. 1). Oxford University Press.
• Bøhn, H. (2015). Assessing spoken EFL without a common rating scale: Norwegian EFL teachers’ conceptions of construct. SAGE Open, 5(4), 1–12. https://doi.org/10.1177/2158244015621956
• Chen, G. (2016). Developing a model of analytic rating scales to assess college students’ L2 Chinese oral performance. International Journal of Language Testing, 6(2), 50–71.
• Common European Framework of Reference for Languages: Learning, teaching, assessment, CEFR (2001). Council of Europe.
• Common European Framework of Reference for Languages: Learning, teaching, assessment, CEFR. Companion Volume (2018). Council of Europe.
• Douglas, D. (2000). Assessing Language for Specific Purposes. Cambridge University.
• Fairbairn, J., & Dunlea, J. (2017). Speaking and Writing Rating Scales Revision. Aptis Technical Report, TR, 001, 1–36. https://d1wqtxts1xzle7.cloudfront.net/96678963/aptis_scale_revision_layout-libre.pdf?1672660987=&response-content-disposition=inline%3B+filename%3DSPEAKING_AND_WRITING_RATING
• Fulcher, G. (2014). Assessment literacy for the language classroom. Language Assessment Quarterly, 9(2), 113–132. https://doi.org/10.1080/15434303.2011.642041
• Hensen, P., & Devlin, N. (2019). Multi-criteria decision analysis (MCDA) in healthcare decision-making. Oxford Research Encyclopaedia of Economics and Finance. https://oxfordre.com/view/10.1093/acrefore/9780190625979.001.0001/acrefore-9780190625979-e-98
• Heyworth, F. (2004). Why the CEF is important? In K. Morrow (Eds.), Insights from the Common European Framework (pp. 12–22). Oxford University Press.
• Iberri-Shea, G. (2017). Adaptation and assessment of a public speaking rating scale. Cogent Education, 4(1), 1–16.
• Janković, N. (2022). Vrednovanje, ocenjivanje i testiranje u nastavi stranih jezika. Fokus – Forum za interkulturnu komunikaciju.
• Little, D. (2007). The Common European Framework of Reference for Languages: Perspectives on the making of supranational language education policy. The Modern Language Journal, 91(4), 645–655. https://doi.org/10.1111/j.1540-4781.2007.00627_2.x
• Luoma, S. (2004). Assessing speaking. Cambridge University Press.
• Mäkipää, T., & Ouakrim-Soivio, N. (2019). Finnish upper secondary school students’ perceptions of their teachers’ assessment practices. Journal of Teaching and Learning, 13(2), 23–42. https://doi.org/10.22329/jtl.v13i2.5971
• Nakatsuhara, F. (2007). Developing a rating scale to assess English speaking skills of Japanese upper-secondary students. Essex Graduate Student Papers in Language & Linguistics, 9, 83–103.
• North, B. (2003). Scales for rating language performance: Descriptive models, formulation styles, and presentation formats. TOEFL Monograph, 24, 1–96.
• Petrović, V. (2022). Evaluacija i unapređivanje kriterijuma za ocenjivanje usmene prezentacije na engleskom jeziku struke [Unpublished Doctoral Dissertation]. University of Belgrade.
• Petrović, V. (2024). Investigating oral presentation assessment in LSP: Practices, Demands and Challenges. ELOPE: English Language Overseas Perspectives and Enquiries, 21(1), 151–165. https://doi.org/10.4312/elope.21.1.151-165
• Purpura, J. E. (2016). Second and foreign language assessment. The Modern Language Journal, 100(S1), 190– 208. https://doi.org/10.1111/modl.12308
• Radojičić, M., i Žižović, M. (1998). Primena metoda višekriterijumske analize u poslovnom odlučivanju. Tehnički fakultet Čačak.
• Richards, J. C. (2008). Teaching Listening and Speaking: From theory to practice. Cambridge University Press.
• Stiggins, R. (2014). Improve assessment literacy outside of schools too. Phi Delta Kappan, 96(2), 67–72. https://doi.org/10.1177/0031721714553413
• Tagle, T., Etchegaray, P., Díaz, C., Ortiz, M., Quintana, M., & Ramos, L. (2024). How Do In-Service EFL Teachers Assess Student Language Learning? Analysis of English Assessment Instruments Used in Chilean Secondary Schools. ELOPE: English Language Overseas Perspectives and Enquiries, 21(1), 111–127. https://doi.org/10.4312/elope.21.1.111-127
• Vogt, K., & Tsagari, D. (2014). Assessment literacy of foreign language teachers: Findings of a European study. Language Assessment Quarterly, 11(4), 374–402. https://doi.org/10.1080/15434303.2014.960046
• Yildiz, L. M. (2011). English VG1 level oral examinations: how are they designed, conducted and assessed? [Unpublished Master’s Thesis]. Universitetet I Oslo – Institutt for Lærerutdanning og Skoleutvikling.

Copyright © 2024 by the authors, licensee Teacher Education Faculty University of Belgrade, SERBIA. This is an open access article distributed under the terms of the Creative Commons Attribution License (CC BY 4.0) (https://creativecommons.org/licenses/by/4.0/), which permits unrestricted use, distribution, and reproduction in any medium, provided the original paper is accurately cited