|
ЦТ можно угадать !!!
Московские математики просчитали, насколько легко угадать ответы в стандартных тестах. Теперь каждый школьник может узнать, как наугад сдать ЦТ. Но для этого он сначала должен наизучить высшую математику.
В России много спорят о тестовых системах оценки знаний учащихся. Однако почти никто не говорит, как сделать эти тесты максимально эффективными с точки зрения оценки знания. Разобраться в ситуации решили московские математики. Владимир Ильюков, старший научный сотрудник Института проблем управления им. В. А. Трапезникова РАН, вывел формулы вероятности угадывания правильного ответа в педагогических тестах и привел некоторые рекомендации по их составлению. Здесь следует оговориться: речь идет именно о тестах, проверяющих знания.
Сам автор приводит пример, когда вопросы в тесте подобраны так, что правильный ответ можно «вычислить», не зная его. В ряде случаев (скажем, оценка уровня образованности школьника) это хорошо, но иногда (например, тестирование водителей, операторов АЭС и тому подобное) тест должен проверить, знает ли человек что-либо или нет. Ученый рассматривал именно такой случай. В помощь составителям тестов он не только выяснил, в общем, интуитивно понятные вещи — какой из типов тестов наименее вероятно сдать наугад, но и получил общие формулы вероятности угадывания ответов. Проще всего, конечно, рассчитать формулу для одиночного типа задания. В нем есть один вопрос и несколько вариантов ответа, из которых лишь один правильный. Если в тесте таких вопросов десять, а ответов четыре, например как в современном варианте первой части ЕГЭ, то угадать все можно с вероятностью 1/410, или чуть менее 0,0001% (0,00000095).
Немногим сложнее оказалось высчитать формулу вероятности угадывания, когда правильных ответов несколько. Если порядок выбора правильных ответов не важен, то сложнее всего угадать правильные ответы, когда их половина. Например, три из шести, как во второй части ЕГЭ. Если же вариантов семь, то хуже всего угадываются все правильные ответы, когда их три или четыре. Когда нужно выбрать несколько ответов в правильном порядке, угадать их сложнее. Но чем больше правильных ответов, тем выше вероятность угадывания. Для одного вопроса с семью вариантами ответов при единственном правильном ответе вероятность угадывания составляет 14,29%. При трех правильных ответах, когда порядок их не важен, – 2,9%, а если порядок важен – всего 0,476%. Дает автор работы и рекомендации, как составить тест для проверки знаний.
Важно, чтобы все вопросы были независимы друг от друга и имели правдоподобные дистракторы (неправильные варианты ответов). Также автор советует психологам рассчитать время, достаточное только для того, чтобы тестируемый прочитал вопрос с экрана компьютера и указал правильный вариант или варианты, но недостаточное для логического анализа дистракторов. Свои расчеты ученый представил на VII Международной конференции «Идентификация систем и задачи управления» SICPRO'08, которая проходила с 28−го по 31 января 2008 года в Москве в Институте проблем управления им. В. А. Трапезникова РАН
