Minőségbiztosítás a nyelvvizsgáztatásban: |
Quality assurance in language assessment: |
|
ISMERTETŐ |
||
A projekt rövid leírása |
Brief description of the project |
|
A projekt az emelt szintű (B2) angol mint idegen nyelv érettségi vizsga teszthasználat igazolhatóságát kívánja vizsgálni, ugyanis a magyarországi egyetemi oktatók tapasztalatai, valamint az eddig végzett már publikált és folyamatban levő empirikus kutatások azt mutatják, hogy a vizsga hibásan mér. Ennek közvetlen következménye, hogy az anglisztika alapképzési és mesterképzési szakokra felvett hallgatók egy részének a nyelvtudása nem elegendő a tanulmányaik megkezdéséhez. A felvett hallgatók egy része számára a B2-es szintű angol nyelvismeret elsajátítása egy cél, ami negatív hatással van a képzéseken közvetítetett fogalmak és ismeretek megértésére és elsajátításra. Következésképpen a pontatlan mérés a megfelelő nyelvi szintű hallgatók munkáját, az oktatók tevékenységét, és összességében az oktatás minőségét is negatívan befolyásolja. Ezért a projekt konkrét és konstruktív javaslatokat kíván megfogalmazni a vizsgafejlesztők számára. |
The project aims to examine the justifiability of the use of the advanced level EFL school-leaving examination because based on the experience of university lecturers, as well as on the findings of empirical research studies, some already published and some in progress, the examination does not measure language proficiency accurately. The direct consequence of this is that the language ability of some students enrolled in the BA and MA programmes in English is insufficient to begin their studies. For them, a B2 level English language proficiency is a goal, which negatively impacts their understanding and acquisition of the concepts and knowledge conveyed in the courses. Consequently, the coursework of students with an appropriate language level, the educational activities of teachers, and the quality of the instruction are negatively affected. Consequently, the project will formulate concrete, constructive suggestions for examination developers. |
|
Mi a kutatás alapkérdése? |
Research goals |
|
A kutatási projektet az a megfigyelés indokolja, hogy az emelt szintű angol nyelvi érettségi vizsga nem a kívánt B2 (KER) nyelvi szintet méri. A rendelkezésre álló független empirikus kutatások szerint a pontatlan mérést nagymértékben az objektíven értékelt vizsgarészekben levő feladatok okozzák. A fő kutatási kérdés azt kívánja feltárni, hogy az emelt szintű angol vizsga olvasás és hallás utáni szövegértés, illetve a nyelvhelyesség vizsgarészeiben szereplő feladatok sajátosságai hogyan befolyásolják a vizsga felhasználásának indokolhatóságát (i) a nyelvvizsga bizonyítvány kibocsátása, valamint (ii) a magyar felsőoktatási intézmények által kínált angol vagy amerikanisztika alapképzésekre, illetve az osztatlan angol mint idegen nyelv tanár mesterképzésekre való felvételi döntések meghozatalának tekintetében. A fő kutatási kérdés megválaszolását a Bachman és Palmer (2010) által létrehozott teszthasználat igazolási érvrendszer (Assessment Use Argument) alapján megfogalmazott kilenc alkérdés (AK) segíti: - A három vizsgarész használatának előrelátható következményei várhatóan előnyösek-e a vizsgában érdekeltek számára? (1. AK) |
The research project has been actuated by the problem that the advanced level EFL school-leaving examination fails to measure the B2 level (CEFR) it is intended to target. As the available independent empirical research evidence shows, this is due to the objectively assessed sub-tests that constitute three of the total five sub-tests. The main research question aims to reveal the way the characteristics of the tasks in three sub-tests of the advanced level EFL school-leaving examination (i.e., reading, use of English, and listening) affect the justifiability of the uses of the examination for making (i) certification decisions as well as (ii) admission decisions into the English or American Studies BA programmes, and undivided teacher of English as a foreign language MA programmes offered by Hungarian institutions of tertiary education. To answer the main research question, the nine sub-questions formulated based on the Assessment Use Argument justification framework (Bachman & Palmer, 2010) investigate: - (RQ1) whether the predictable consequences of using the three sub-tests are likely to be beneficial to the stakeholders, |
|
Mi a kutatás jelentősége? |
The significance of the project |
|
A kutatási projekt eredményei várhatóan új korszakot indítanak el a magyarországi nyelvvizsga validálási kutatások terén. Ennek oka a pedagógiai értékelésben paradigmaváltást jelző legátfogóbb és egyben legközérthetőbb, gyakorlati érvelési elméleten alapuló teszthasználat igazolási érvrendszer, amelyet Magyarországon eddig csak egy MA szakdolgozatban és egy előkészítés alatt álló PhD disszertációban alkalmaztak–mindkét esetben a jelen kutatást vezető kutató témavezetésével. Az angol nyelvtanárok és az értékelési szakemberek a projekt során publikált kutatási eredmények segítségével, illetve a projektzárásra tervezett disszeminációs tevékenységek során ismerhetik meg a teszthasználat igazolási érvrendszert. Ez azért fontos, mert az érvrendszer segítségével a nyelvtanárok közérthető módon jutnak olyan hathatós ismeretekhez, amelyek eddig csak az értékelési szakértők számára voltak elérhetőek. Ennek köszönhetően várhatólag javul a tanítási és vizsgafeladatok használata és fejlesztése, valamint a különböző nyelvvizsgák és legfőképp az érettségi vizsga hozzáértő és kritikus használata. Továbbá a projekt során készülő és a korszerű validálási eljárás gyakorlati alkalmazását szemléltető tanulmányok révén a magyarországi validálási kutatások száma előreláthatólag növekedni fog. A tervezett disszeminációs tevékenységek további célja, hogy az vizsgafeladatok fejlesztői megismerjék az ismételten előforduló vizsgafeladatfejlesztési hibák taxonómiáját, amelyet a feladatelemzésekből vett munkapéldákkal mutatunk be. Ez előreláthatólag pozitív visszahatással lesz az angol nyelvtanárok osztálytermi értékelési gyakorlatára, illetve az emelt szintű angol nyelvi érettségi vizsgára tervezett feladatok minőségére, amennyiben a fejlesztők hasznosítják az eredményeinket. Végezetül, az eredményeknek azonnali hasznát veszik majd azok az angoltanár-képző mesterprogramok, amelyek Magyarországon jelenleg felülvizsgálat alatt állnak, és amelyek újragondolt változata a jelenleginél lényegesen nagyobb hangsúlyt fog fektetni a nyelvi értékelési műveltségre. |
The outcomes of the research project are expected to start a new era in assessment validation in Hungary. This is due to the most comprehensive and at the same time most accessible practical argument based justification framework, which heralds a paradigm shift in the field of educational assessment, and which has only been used in Hungary to date in an MA thesis and a PhD research study currently in preparation—both supervised by the principal investigator of this research project. English language teachers and assessment specialists will have the opportunity to familiarise themselves with the justification framework by means of our publications and during the dissemination activities planned to conclude the project. This is important because the framework has the potential to empower language teachers by sharing with them in an accessible way expert knowledge that so far has been available only for assessment experts. This is expected to result in better teaching/learning and assessment task use and development, and in an informed and critical use of language assessments in general and of the school-leaving examination in particular. It is expected that access to the new approach by means of our publications modelling its use in practice will also result in more justification assessment research studies in Hungary. Another goal of the planned dissemination work is to inform assessment task developers about the taxonomy of recurring assessment task development flaws elaborated with concrete worked examples we plan to create based on task analyses. This should have a positive washback effect on the classroom assessment practice of in-service EFL teachers and on the quality of the tasks designed for the advanced level EFL school-leaving examination provided that its developers resolve to take advantage of our outcomes. Finally, the outcomes will be of immediate use for those EFL teacher training tertiary education MA programmes which are currently being revised in Hungary and which will place notably more emphasis on language assessment literacy than the current ones. |
|
Egyszerűsített összefoglaló |
Simplified project summary |
|
A projekt kiindulópontja az a megfigyelés volt, hogy az emelt szintű angol nyelvi érettségi vizsga a nyelvtudást nem az előírt szinten méri. A vizsgáról készült kevés semleges kutatás alapján ennek az a legfőbb okát a megoldókulcs segítségével javítható, a nyelvtanulók olvasás és hallás utáni szövegértési készségét, valamint nyelvtani és szókincsbeli ismereteit mérő feladatok jelentik. A projekt fő célja annak megállapítása, hogy a feladatok hiányosságai milyen módon befolyásolják az érettségi vizsgát, az elért eredmények alapján érdemes-e emelt szintű angol nyelvvizsga bizonyítványt kiadni, illetve alkalmas-e a vizsga arra, hogy egyetemi felvételi vizsgaként használják az angol nyelv és irodalom, valamint az angol nyelvtanári szakokon. A nyelvi mérés és értékelés területén elért legújabb eredményekre támaszkodva a kutatási projekt a fentebb felsorolt feladatok elemzése révén azt kívánja feltárni, hogy: - a vizsga és az annak alapján meghozott döntések milyen mértékben (i) előnyösek az érintett személyek és intézmények számára, illetve (ii) veszik figyelembe a jelenlegi oktatási értékeket, valamint a hatályos vonatkozó törvényeket és rendeleteket,
|
The project is motivated by the problem that the advanced level EFL school-leaving examination does not measure English language proficiency at the proficiency level set for it. The small number of neutral research studies published on the examination have revealed that this is due to a considerable extent to those tasks which test language learners' reading and listening skills and knowledge of grammar and vocabulary, and can be scored with a key. The main aim of the project is to determine the ways in which the flaws of the tasks affect the school-leaving examination, whether advanced level English language certificates should be issued based on it, and whether it is suitable to be used as an entrance examination for university students who want to specialise in English language and literature or become English language teachers. Making use of the latest developments in the field of language assessment and taking into consideration the above listed faulty tasks, the project aims to examine specifically the extent to which the: - examination and the decisions made based on it (i) are beneficial to the affected people and institutions, and (ii) take into consideration existing educational values, relevant laws and regulations,
|