Статья: Качество образования в Республике Казахстан: технология переориентации на результаты
Программа должна также зафиксировать в качестве единиц обучения (и тестирования) практическое освоение всех действий и деятельности в целом (умение выполнять каждое действие в отдельности, выполнять деятельность как целостный процесс, фиксировать ее конечные результаты в заданной форме). При этом обязательно должен быть освоен (и протестирован) каждый элемент. Следовательно, нужен второй тест – для контроля освоения целостной деятельности под контролем сознания (уровень умения). Два указанных теста, при успешном их выполнении (оба с оценкой «усвоено»), выявят приемлемый уровень усвоения деятельности (оценка «удовлетворительно»).
Только после этого можно применить еще один тест для получения более высокой, дифференцированной оценки «хорошо» или «отлично».
Таким образом, тестирование практического курса предполагает наличие и применение трех различных по содержанию тестов. В зависимости от реальных различий в качественной структуре содержания конкретного учебного курса, их может быть и больше трех. В любом случае, формально объединив частные тесты под общим названием курса, получим один комбинированный тест.
2.4. Требования к содержанию и форме теста
Структура теста:
1. Инструкция по назначению и правилам применения.
2. Критерии оценки (предмет оценки по каждой теме или курсу в
целом).
3. Вопросы-задания (закрытые, полуоткрытые, открытые).
4. Ответы-ключи (выбор из списка готовых ответов, ввод ответа из
не предъявляемого списка, ввод свободного ответа).
5. Шкалы оценок (по каждому критерию темы или курса в целом).
Требования к содержанию теста:
1. Критерии оценки:
1.1. По каждой отдельной теме или курсу выделяется предмет оценки (что оценивается – специфическое знание, его качественная характеристика, вид деятельности и т.п.);
1.2. По каждому критерию формируется отдельная база данных («вопросы-задания» - «ответы-ключи») и приводится балльная шкала оценки;
1.3. При частичном тестировании по одному критерию указывается как балльная шкала оценки, так и «процентная доля курса», выделяемая для этой части тестирования.
2. «Вопросы-задания»:
2.1. Обеспечивается полный и равномерный охват содержания курса: не пропущено ничего существенного по каждой теме - теоретические знания, умения и навыки; профессиональные знания, умения, навыки (компетенция). При этом по каждой теме (учебная программа курса) указывается перечень существенных единиц содержания, являющихся одновременно единицами тестирования. Каждая единица тестирования должна быть представлена в тесте одинаковым числом вопросов-заданий.
2.2. Соблюдается простота, однородность и однозначность формулировок: вопросы формулируются короткими простыми предложениями, на одном уровне обобщенности, при равном объеме понятий; один вопрос-задание относится к одному критерию и одной смысловой единице информации – единице тестирования.
2.3. Обеспечивается минимизация и обоснованность формулировок: - вопросы формулируются только по существенным идеям и фактам (должны быть исключены частные и второстепенные аспекты, относящиеся к пояснениям, описаниям контекста, детализации и иллюстрации существенных сообщений);
- существенными идеями (сообщениями) считаются базовые
(стержневые) структурные элементы главной идеи, конкретизирующие назначение курса или темы (целостные смысловые единицы того, что должно быть усвоено);
- существенными фактами считаются сообщения, содержащие конкретные данные о действительном, практическом основании существенных идей, положений (цифры, статистика и другие сведения объективного характера), представляющие собой необходимый и достаточный минимум их доказательства или опровержения.
2.4. Содержание тестовых заданий подбирается с учетом уровня
трудности (сложности). Обоснованность ее градаций должна обязательно проверяться (с коррекцией соответствующих формулировок) в группировках «сильных» – «средних» - «слабых» учащихся.
Для варьирования заданий по трудности можно использовать выделенные системной дидактикой пять уровней усвоения знания:
- Уровень общего знакомства с материалом. Это задания, в
которых требуется опознать единицы знания с помощью опоры (выбрать правильный ответ из нескольких представленных вариантов ответа или установить соответствие элементов одного списка элементам другого).
- Уровень воспроизведения (алгоритмический). Это задания,
требующие вспомнить и воспроизвести материал по памяти без внешней опоры (варианты заданий: подстановки – вставить в заданную структуру ответа недостающие и пропущенные или исправить искаженные элементы; способ конструирования или восстановления по памяти порядка какого-либо действия с последующим его выполнением; способ типовой задачи – выполнение действия по определенному алгоритму, формуле, схеме; способ восстановления алгоритма вспомнить и воспроизвести последовательность какого-то процесса, деятельности).
- Уровень эвристический (частичного поиска). Это задания на
самостоятельный перенос известного алгоритма действий в заданные конкретные условия (варианты заданий: дополнить формулировку вопроса посредством применения общего правила для заданной ситуации; построить ответ, алгоритм с изменением условия; решить задачу, изменив алгоритм типового процесса и применив его в заданной ситуации).
- Уровень творческого применения знаний. Это задания, требующие
самостоятельной рационализации, моделирования или конструирования. Их результатом могут быть алгоритмы, схемы, карты и т.д. К таким заданиям прилагаются требования к форме представления результатов, параметры, условия и другие ограничения, которым должны соответствовать творческие разработки.
- Уровень исследования. Это задания трех видов: на проверку и
уточнение известного знания, на его дополнение и развитие, на получение нового, не имеющего аналогов, знания. Такие задания, помимо знаний конкретного учебного курса, предполагают определенное владение понятийным аппаратом и методологией научного исследования. Как и в предыдущем пункте, здесь тоже задается организующий комплекс необходимых условий и ограничений.
Примечание: материал этого пункта (пять уровней усвоения) представлен Пырлик Л.Я., гуманитарный колледж, г. Астана.
2.5. Вопросы-задания строятся как закрытые (в большинстве), полуоткрытые и открытые. Закрытые предполагают выбор из предъявляемого списка ответов. Полуоткрытые – предлагают самостоятельно ввести ответ, осуществляя выбор из известного, но не предъявляемого списка ответов (например, напечатать перевод слова с иностранного языка по известному словарю). Реже применяется открытый вариант - с произвольной формой развернутого ответа. Хотя он и обладает наилучшими возможностями для выявления результатов усвоения, его трудно оценивать (необходимо создавать специальную шкалу с произвольными ограничениями, которую сложно и не всегда возможно обоснованно формализовать) и приходится использовать трудоемкий способ ручного тестирования.
3. «Ответы-ключи»:
3.1. Обеспечивается однозначное соответствие формулировки ответа и сути задания (вопроса): с одной стороны, - каждый ответ в списке обязательно содержит существенные признаки распознавания идеи (действия) правильного ответа; а с другой, - формулировка ответа в соответствующем списке исключает прямое или косвенное искажение этой идеи (действия), ее двусмысленное толкование.
3.2. Формулировки в списке возможных ответов должны
максимально снижать возможность случайного угадывания правильных ответов и исключать возможность его логического «вычисления» без подлинного знания:
- каждая тестируемая единица темы должна быть представлена
двумя – пятью вопросами (заданиями) с выбором из пяти (или более) возможных ответов для каждого из них;
- все формулировки в списке возможных ответов должны быть
построены на изменении (в тексте правильного ответа) существенных признаков тестируемой идеи (действия), без использования суждений, не относящихся к ней (чтобы было невозможно чисто логически отсеять формулировки, явно не относящиеся к сути вопроса);
- эти формулировки должны иметь одинаковую логическую структуру и состоять из простых по составу и относительно коротких предложений;
- вопросы (задания) должны предъявляться по одному и в
случайном порядке (во избежание запоминания правильных ответов по их привычному расположению в списке вопросов, или их логического «вычисления» посредством сопоставления ответов при использовании печатного бланка). Эти условия легко выполнить при компьютерном тестировании. Для соблюдения указанных условий при использовании ручного тестирования формулировки инструкций и вопросов, их порядок в списке, организация материала в бланках для фиксирования ответов должны отрабатываться с помощью экспертной оценки и не допускать
произвольного изменения в практике тестирования.
4. Шкалы общих оценок:
4.1. Принимается единая базовая шкала оценок, построенная как вычисление процентной доли усвоенного по отношению к числу всех единиц содержания курса (или вопросов-заданий) теста:
________________________________________________________________________
Оценка Значение Процент Средний балл (варианты)
A + замечательно 100 5 5 5 отлично
A отлично 95 – 99 4,75 5 5 отлично
A - почти отлично 90 94 4,5 4 4 очень хорошо
B + очень хорошо 85 – 89 4,25 4 4 хорошо
B хорошо 80 – 84 4,0 4 3 уд-но, (выше ср.)
B почти хорошо 75 – 79 3,75 3 3 уд-но (средне)
C + вполне удов-но 70 – 74 3,5 3 3 удовлетв-но
C удовлетворительно 65 – 69 3,25 3 0 неуд-но (провал)
C почти удов-но 60 - 64 3,0 0 0
F провал 59 - 0 0,0 0 0
P прошел NA NA
(финальный тест)
Эта шкала делает сопоставимыми все результаты, позволяет накапливать и интегрировать (промежуточный и итоговый контроль) оценки любых тестов и форм контроля, в том числе, - тестирование по частям и в разное время. Процентная шкала применяется при любом тестировании.
4.2. Единая процентная шкала дополняется для каждого конкретного критерия и теста собственной шкалой балльной оценки (0; 3; 4; 5 баллов). Шкала баллов применяется при оценке усвоения всего курса в целом (промежуточный и итоговый контроль). Она устанавливает соответствие между достигнутой процентной долей усвоения и ее оценкой в баллах (это необходимо для расчета показателей среднего балла, проходного балла, рейтинга, и т.д.).
4.3. При каждом частичном тестировании (текущий и рубежный контроль) обязательно указывается выделенная для него доля процентной шкалы (для пересчета текущего процента по теме или другой части курса в одну общую долю усвоения курса). Балльная оценка может применяться и в этом случае, однако она не фиксируется в банке данных Регистратора (то есть используется только в текущей работе по усмотрению преподавателя).
4.4. Оценка по тесту производится в три, четыре или пять шагов:
- оценка правильности сделанного выбора ответа на каждый
вопрос теста;
- оценка усвоения каждой единицы тестирования (оценка
«усвоено» по курсу или его части фиксируется при зачете всех тестируемых единиц; оценка «не усвоено», - если не зачтена хотя бы одна единица). Применяется в тех случаях, когда курс может считаться усвоенным только при приемлемом уровне усвоения каждой единицы теста без исключения (пример: деятельность не может считаться освоенной, если не освоено хотя бы одно из составляющих ее действий). Соответственно, если не зачтена хотя бы одна единица, то по тесту выставляется оценка «0»;
- общая оценка как доля правильных ответов на все вопросы теста в процентах (для дифференциации оценки уровня усвоения);
- перевод процентной оценки в баллы;
- суммирование балльных оценок промежуточного и итогового контроля в форме подсчета их средне-арифметического значения (в том случае, когда курс выносится на выпускной экзамен или завершается выпускной работой по специальности).
5. Шкала для оценки усвоения отдельных единиц тестирования:
5.1. Если тест строится из двух или трех вопросов на каждую единицу тестирования (с пятью вариантами ответов), то она считается усвоенной при двух правильных ответах.
5.2. Если тест строится из четырех или пяти вопросов (заданий) на каждую единицу (с пятью вариантами ответов), - то она считается освоенной при трех правильных ответах.
5.3. Если тест конструируется иначе, то должна быть обеспечена вероятность случайного угадывания правильного ответа не более 0,05, а также – статистическое обоснование делений балльной шкалы оценок (различия процентной шкалы для оценок «3», «4» и «5» баллов должны быть не менее статистически значимых).
2.5. Обязательные этапы и процедуры при создании теста и обнаружении его неадекватности
1. Формирование проекта - теоретической модели объекта тестирования и структуры теста:
- формулировка цели и назначения теста; выделение единиц тестирования; принятие решения о построении шкалы для единиц тестирования; формулировка комплекса заданий (вопросов) и закрытых ответов (или интерпретации и оценке открытых ответов) по каждой единице тестирования и тесту в целом; подготовка инструкции о процедуре тестирования. Существенным здесь является требование избыточности на 30- 40 % количества вопросов-заданий по каждой единице тестирования по сравнению с заданным окончательным их числом для последующей отбраковки «плохих», непригодных формулировок;
- экспертная оценка теоретической модели объекта тестирования (целей курса, обоснованности выделения единиц тестирования, валидности и точности тестовых заданий и закрытых ответов, шкал оценки), принятой организации и процедуры тестирования;
- устранение замечаний, отсев и доработка формулировок и процедур.
2. Пилотажное исследование валидности и точности теста, его
заданий и ответов:
- практическое проведение тестирования на достаточной по объему выборке обучающихся для получения статистически достоверных результатов;
- проведение тестирования в той же выборке на основе других способов тестирования (экспертная оценка усвоения каждой тестируемой единицы на основе индивидуального собеседования экспертов с каждым обучающимся; сравнительное тестирование посредством «расщепления» исходного теста; тестирование посредством другого, проверенного теста и т.п.);
- сопоставление результатов (выявление степени совпадения и
расхождения) тестирования по тесту в целом, отдельным единицам тестирования и вопросам-заданиям на основе статистической обработки и проверки гипотез (корреляция и т.д.);
- отсев «плохих» заданий (вопросов) и ответов (при замене заданий или изменении формулировок вся процедура тестирований и сопоставления результатов проводится заново), построение и обоснование оценочных шкал.
