Лингвистика

Объективно ли таким образом оценивать уровень понимания текста (по уровню) на английском? (см. внутри)

Выдаёт ли такой метод более-менее объективную оценку объёму словарного запаса и понимания текста на английском?

1) Берём отрывок текста (1000+ слов). Допустим, какая-нибудь классика, вроде Лавкрафта (пусть мы говорим об уровне B2-C1)

2) Вычисляем количество слов в этом отрывке.

3) Читаем, выписывая и подсчитывая незнакомые слова, либо слова в переводе которых вы не уверены.

4) Считаем сколько слов вам оказались непонятны. Вычисляем процент, который составляют эти слова от общего количества слов в отрывке.

5) Оставшиеся проценты - это и есть процент понимания текста, т. е. сколько процентов текста вам понятны.

Кто разбирается в изучении языков и имеет опыт этого всего, что скажете про такой метод? Чушь или вполне рабочий метод?
Равиль Исмагилов
Равиль Исмагилов
361
Обычно проверяются навыки в четырех видах чтения!
Stas Sorba
Stas Sorba
94 698
Лучший ответ
Экспресс-тест уровня владения иностранным языком

1. Введение

В данной работе описывается тест, позволяющий с достаточной для практического применения точностью определять уровень владения иностранным языком посредством оценки относительного объёма знания экзаменуемым словарного состава этого языка. Уровень определяется путем подсчета процентного соотношения известных тестируемому лицу слов к полному объёму репрезентативной выборки, составленной на материале словаря общей лексики, содержащего основной и наиболее часто используемый корневой лексический состав языка.

2. Изложение проблемы

Тестирование является важнейшим инструментом оценки эффективности обучения. Тестированием определяется также уровень знаний абитуриента при его поступлении на соответствующий курс обучения. Сложившаяся практика тестирования по иностранным языкам не всегда решает эти задачи успешно. Существующие методы тестирования частично обусловлены наследием отечественной (и не только) школы преподавания иностранного языка, суть которой до последнего времени состояла в изучении грамматики мало известного ученикам языка. Эта ситуация складывалась (и во многом такое положение сохраняется и сейчас) по нескольким причинам.
Екатерина Карасева
Екатерина Карасева
60 342
Екатерина Карасева Во-первых, для учителя значительно легче объяснить содержание, а затем проконтролировать знание учениками основного набора формализованных грамматических структур на ограниченном объёме вокабуляра, чем методично и упорно работать над его расширением. Вторая причина: учитель зачастую просто переносит на школу те методы, по которым его обучали в институте, где основательно прорабатывается грамматика. Однако, в прошлом, главную роль играло негативное отношение власти к несанкционированным контактам граждан с иностранцами. Лица, имевшие родственные или дружеские связи за рубежом, находились под пристальным вниманием государственных органов.
Екатерина Карасева Система власти была принципиально не заинтересована в знании иностранных языков широкими слоями советского народа. Немаловажным фактором была и ограниченность возможностей в языковой практике, особенно устной. Недоступны или малодоступны были фильмы, видеозаписи и оригинальная литература на иностранных языках. Хотя, здесь следует отметить, что этот вакуум в некоторой степени заполнялся адаптированными произведениями зарубежной литературы, одобренными властями. Немногочисленные курсы по изучению иностранных языков копировали методы школьного преподавания. При составлении отечественных учебников за основу бралось содержание учебников грамматики, издаваемых в стране изучаемого языка для внутреннего применения, которое предполагало, что учащиеся уже в достаточной мере владеют родным языком.
Екатерина Карасева Основным же препятствием в освоении иностранного языка является существенное отличие корней слов изучаемого языка, то есть группы изучаемого языка от языковой группы, к которой относится язык, которым обучающийся хорошо владеет. Например, подавляющее большинство корней западноевропейских или восточных языков отличаются от славяно-тюркского состава русского языка, эти слова незнакомы восточным славянам. Итальянцы, англичане, немцы, французы, испанцы легко осваивают один, два, три языка своих соседей почти так же, как и русскоговорящие осваивают украинский, белорусский, болгарский или сербский. Однако кросс-континентальное общение представляет значительную трудность именно из-за различия словарного состава этих групп языков.
Екатерина Карасева В силу изложенных причин, обычной ситуацией является, когда студент владеет основными грамматическими правилами, но его словарный запас весьма ограничен; и крайне маловероятен случай владения широким лексиконом при отсутствии знаний, как его правильно употребить. То есть, заученные правила грамматики не являются объективным и основным показателем степени знания языка. В виду этого, для оценки степени владения иностранным языком первоочередной задачей является определение объёма активного и пассивного словарного запаса учащегося.
Екатерина Карасева Большинство тестов, включая и белорусское централизованное тестирование, до сих пор, в основном, сосредотачивались на проверке знания грамматических форм. Объём лексикона студента проверялся в них опосредованно через понимание смысла предложений, содержащихся в упражнениях. Так, типичным случаем при выполнении контрольной работы или теста является непонимание студентом ситуации, передаваемой набором слов в предложении, из-за незнания смысла этих слов и, как следствие, неверный выбор грамматической или лексической формы. Напрямую же, проверка объёма лексикона студента, как основного параметра степени владения языком, не проводится.
Екатерина Карасева 3. Используемый метод

Описываемая методика отрабатывалась на примере пассивного владения вокабуляром английского языка, для которого сложились достаточно определённые градации уровня знаний. При этом предполагалось, что с уровня novice (нулевой), в результате 50-часового курса starter, студент выходит на знание порядка 500 слов, после 120-часового курса starter на 1000 – 1200 слов. Уровень elementary соответствует запасу 2000 - 2500 слов, pre-intermediate – 4500 – 5000, intermediate – 8 - 10 тысяч, upper-intermediate – 15 – 20, advanced – более 25 тысяч слов.
Екатерина Карасева Для определения словарного запаса абитуриента был разработан экспресс-тест, представляющий собой выборку слов из словаря по случайному закону. Первым вариантом теста была выборка объёмом в сто шестьдесят слов из англо-русского словаря (О. П. Бенюх и Г. В. Чернов, “Русский язык”, Москва, 1982), имеющего объём 8000 слов общеупотребительного вокабуляра на 320 страницах. На каждой второй странице бралось первое по порядку слово. Отклонением от случайного закона был отказ от использования широко известных имен собственных, знание которых не является существенным показателем владения иностранным языком, а также слов, которые студент может ошибочно посчитать знакомыми. Например, слова, близкие по написанию, или “ложные друзья переводчика”.
Екатерина Карасева Так, слово curds может быть воспринято как cards со значением «карты», а слово sympathetic - понято как «симпатичный». Такая предварительная обработка репрезентативной выборки не оказывает существенного влияния на точность, так как число подобных слов в словаре общей лексики не превышает одного - двух процентов. В составленной таким образом выборке, каждое слово, содержащееся в ней, условно представляет пятьдесят словарных статей из общего объёма словаря. Вокатест «160» может быть также использован для оценки активного запаса слов изучаемого языка лица, владеющего английским языком не хуже уровня advanced.
Екатерина Карасева Для оценки объёма активного лексикона можно также использовать выборку, приведенную в Приложении 4, содержащую 140 слов из Карманного русско-английского словаря (8000 слов, О. Н. Бенюх и Г. В. Чернов, 9 изд. “Советская энциклопедия”, М. 1971), составленную из часто употребляемых слов русского языка. При этом подсчитывается процентное отношение количества слов, которые студент, хорошо владеющий русским языком, может правильно перевести в эквиваленты изучаемого языка, к общему объёму выборки (х/140*100%). Эта же выборка может использоваться для оценки пассивного запаса слов студента, изучающего русский язык.
Екатерина Карасева 4. Принцип тестирования
Тестируемому выдается список слов (вокатест, например, приведенный в Приложении 3), содержащийся на одной странице формата А4 (четыре колонки по 40 слов в каждой), где испытуемый отмечает слова, значение которых он достаточно легко и уверенно понимает. Сумма помеченных слов, умноженная на 50, дает (с достаточной для решения данной задачи точностью) абсолютное значение количества слов его пассивного лексикона из содержащихся в данном словаре. Это количество близко к реальному словарному запасу студента, имеющего лишь невысокий уровень (novice, starter или elementary).
Екатерина Карасева Однако, на уровне pre-intermediate точность определения абсолютного объёма лексикона учащегося уже невысока, а на уровнях intermediate и выше такое определение становится весьма неточным в виду того, что знания студента уже значительно выходят за пределы объёма краткого словаря.
5. Варианты тестов
С целью проверки достаточности объёма выборки «тест 160» для обеспечения приемлемой точности тестирования, на основе того же словаря (О. П. Бенюх и др.) был создан «вокатест 320», в котором содержалось по одному слову с каждой страницы словаря. При этом каждое слово выборки представляло 25 слов из общего вокабуляра.
Екатерина Карасева Данные, приведенные в Приложении 2, показывают практическую идентичность результатов обоих тестов, а значит, и достаточность «вокатеста 160» для оперативного (в пределах трех - пяти минут) определения уровня знаний студента. Разница результатов «теста 160» и «теста 320» между собой в своих экстремальных значениях не превышала 15%, что фактически не влияет на четкость определения стандартизованных уровней знаний и позволяет успешно использовать более короткий по времени тест.
Екатерина Карасева В процессе разработки теста был опробован также вариант использования словаря большего объёма (36 тысяч слов). Из англо-русского словаря (Аракин В. Д. и др. Изд. 11, “Русский язык”, М. 1980) в соответствии с принципами, изложенными выше, была создана выборка из 360 слов и проведено тестирование тех же студентов. При сравнительном анализе результатов тестирования (Приложение 2) выяснилось, что использование словаря такого объёма тоже возможно и дает сопоставимые с «тестом 160» процентные значения, однако, в силу значительной полисемии английского языка и того, что в словаре такого объёма содержится большое количество однокоренных и составных слов, количественная оценка становится менее четкой.
Екатерина Карасева Для низких уровней абсолютное значение результата представляется несколько завышенным. Для более высоких - точная количественная оценка весьма проблематична, поскольку само понятие словарной единицы становится довольно неопределенным. Кроме того, создание выборки их большого словаря неоправданно из-за трудоемкости процесса; к тому же, задачей тестирования является определение количества известных коренных слов.
Екатерина Карасева В силу вышеизложенного, для самостоятельного составления выборок для вокатеста наиболее оптимальным является использование небольших (8 – 15 тысяч слов) словарей общей лексики, а для получения достаточно четких результатов и сокращения времени, затрачиваемого на тестирование, рекомендуется объём выборки в 100 - 200 слов.
Первой задачей при формировании групп для обучения на курсах иностранного языка является быстрое и четкое определение уровня знаний студента. Краткие грамматические тесты, хотя и дают представление о “багаже” абитуриента, однако не позволяют объективно оценить его словарный запас.
Екатерина Карасева Такие распространенные объёмные экзамены, как например IELTS или TOEFL, достаточно надежно выявляют степень владения языком, однако они требуют значительных затрат времени и материальных средств.
6. Результаты испытания вариантов тестирования
Екатерина Карасева Примеры практических результатов тестирования приведены в Приложениях 1 и 2. Усредненные экспериментально полученные данные представлены в Таблице 1 и на Графике 1.

Таблица 1. Соответствие результата вокатеста и уровня знаний.
Екатерина Карасева В приложениях дополнительно приведены данные об испытуемых студентах, которые позволяют проводить более детальный анализ результатов тестирования с учетом индивидуальных особенностей учащегося и его потенциала в предстоящем процессе обучения.
Результаты пробных тестирований и последующего использования вокатеста показали, что приведенные в Таблице 1 оценки довольно четко соответствуют принятым градациям уровня знания языка. Они также коррелируются с оценками, получаемыми студентами в процессе текущего контроля успеваемости, предусмотренного такими универсальными многоуровневыми курсами, как Headway, Hotline, Streetwise.
Нет
Валентина Горбач
Валентина Горбач
79 819
Нет, не объективно. Для определения словарного запаса такой метод применять можно, только с подбором текста нужно быть осторожным. Я б, например, Лавкрафта в качестве образца не взял.
Но, одно дело словарный запас, другое - понимание текста.
Можно знать по отдельности все слова в предложении, но не понять его смысла (как в старой шутке: угадал все буквы, но не смог прочесть слово). И наоборот, если уловил смысл, не так уж важно, что 1-2 слова оказались неизвестными.
Саид Хадисов
Саид Хадисов
48 325

Похожие вопросы