Дипломная работа: Особенности статистической оценки качества теста диагностики индивидуального прогресса учащихся общеобразовательной школы

В учебно-методической литературе появилось большое количество разнообразных тестов, причем не всегда хорошего качества. Как утверждает Шкерина [21], как правило, это является результатом некачественной обработки тестовых заданий. Поэтому в такой ситуации для создателей теста (тестовых заданий) необходимо владеть методами статистической обработки для оценки качества тестовых заданий.

Оценка качества тестовых заданий заключается в расчете таких характеристик, как валидность, надежность, дифференцирующая способность. Рассмотрим эти понятия подробнее.

Валидность одна из важнейших характеристик теста, которая означает соответствие формы и содержания теста тому, что он должен оценивать или измерять по замыслу его создателей. Для различных видов валидности могут быть использованы одни и те же методы определения и, наоборот, одни и те же данные могут быть интерпретированы с точки зрения разных типов валидности [14].

Надежность теста характеризует степень устойчивости результатов тестирования каждого испытуемого. Фактически коэффициент надежности показывает корреляционную связь между результатами измерений, проведенных в одинаковых условиях. При определении надежности исходят из того, что в каждом измерении присутствуют истинный (Т) и искажающий (Е) компоненты. Определение надежности заключается в оценке соотношения этих компонентов в данных проведенного тестирования [21].

Дифференцирующая способность (ДС) - способность тестового задания дифференцировать (различать) сильных (способных) от слабых. Майоров поясняет это понятие на примере. Представим себе, что мы провели тестирование группы учащихся. В составе этой группы были отличники, хорошисты и двоечники. Логично предположить, что отличники справятся с тестом лучше, чем двоечники. Но выясняется, что с одним из заданий и двоечники, и отличники справились одинаково успешно или неуспешно. Оказывается, такое случается, если задание обладает существенными недостатками. Типичными недостатками низкодискриминативных заданий являются: излишняя сложность, запутанность формулировки; очевидность решения; абсурдность, нереальность вариантов ответов; появление двух и более правильных ответов, не оговоренных в условии. Действительно, в том случае, если задания обладают перечисленными недостатками, вероятность того, что с ними одинаково справятся (не справятся) и отличники, и двоечники довольно высока [14].

Существуют различные подходы к описанию и расчету этих характеристик. Все они основаны на статистической теории измерения. Но для расчета этих характеристик необходимо сначала подсчитать и проанализировать различные статистические показатели, которые описаны в классической теории тестирования.

Далее мы рассмотрим основные понятия статистики, для того чтобы при анализе методов оценки качества педагогического теста нам было легче понимать, в чем они заключаются.

2.1.2 Основные понятия статистики

Современную математическую статистику определяют как науку о принятии решений в условиях неопределенности. Задача математической статистики состоит в создании методов сбора и обработки статистических данных для получения научных и практических выводов [7].

Многие авторы [4,14,17,20,21] используют разные обозначения статистических понятий. В этом параграфе мы соотнесем и систематизируем основные понятия статистики, которые мы будем использовать при анализе методов обработки педагогического теста (тестовых заданий).

Исходным понятием статистики является понятие случайной величины. Случайной называют величину, которая в результате испытания примет одно и только одно возможное значение, наперед неизвестное и зависящее от случайных причин, которые заранее не могут быть учтены [7]. При статистической обработке тестов (тестовых заданий) мы используем две случайные величины:

1.  первая случайная величина характеризует испытуемых;

2.  вторая случайная величина характеризует задания.

Далее рассмотрим следующие основные понятия статистики. К ним относятся:

1.  Среднее значение – сумма всех значений, деленная на их количество

;

2.  Дисперсия – среднее значение квадрата отклонения

;

3.  Среднее квадратическое отклонение – квадратный корень из дисперсии

;

4.  Коэффициент корреляции – отношение корреляционного момента к произведению средних отклонений этих величин

 [7].

Мы рассмотрели основные понятия статистической теории измерения, которые мы будем использовать далее при анализе методов статистической обработки качества заданий теста. В следующем пункте рассмотрим первичные и вторичные статистические показатели.

2.1.3 Первичные и вторичные статистические показатели

Условно статистические показатели, описанные в классической теории тестирования, мы можем разделить на две группы: первичные (базовые) и вторичные. К первичным относятся те показатели, которые используются в различных статистических методах оценки качества теста. Вторичные показатели – те, которые вычисляются с помощью первичных. Рассмотрим подробнее первичные и вторичные показатели, и разберем на примере, как они вычисляются. Представим результаты выполнения теста ЕГЭ в виде таблицы (таблица 1).

Первичные:

1.  Общий тестовый балл . Получается сложением всех единиц соответствующей строки;

2.  Средний тестовый балл группы . Вычисляется как частное суммы всех тестовых баллов и количества испытуемых в группе.

,

где  - количество испытуемых. В рассматриваемом примере ;

3.  Достижение -го испытуемого . Находится как частное количества правильно выполненных заданий и общего числа заданий.

 ,

где  - количество правильно выполненных заданий,  - общее число заданий.

4.  Среднее достижение группы  - частное от суммы всех достижений группы на общее число испытуемых.

,

в нашем примере .

5.  Отклонение достижения каждого учащегося от достижения группы  - разность среднего достижения группы и достижения -го испытуемого.

Также первичные показатели характеризуют достижения испытуемых, на основании которых делаются выводы об уровне усвоения материала и качестве его усвоения на этом уровне.

Далее рассмотрим вторичные показатели:

1.  Среднее отклонение достижений испытуемых . Вычисляется по формуле

,

в нашем примере .

Таблица 1. Вычисление первичных и вторичных показателей.

Испы- туемые	Задания										Общий тестовый балл Х	Достижение	Отклонение
	1	2	3	4	5	6	7	8	9	10
1	1	1	0	1	0	0	0	1	1	0	5	0,5	0,06
2	1	1	0	0	0	1	0	0	0	1	4	0,4	0,16
3	0	1	0	1	0	1	0	0	1	1	5	0,5	0,06
4	1	1	1	0	0	1	1	1	1	1	8	0,8	0,24
5	0	0	0	1	1	1	0	0	0	1	4	0,4	0,16
6	1	1	1	1	0	0	1	0	1	1	7	0,7	0,14
7	1	1	1	0	0	0	1	0	1	1	6	0,6	0,04
8	1	1	1	1	1	1	0	0	1	1	8	0,8	0,24
9	1	0	0	0	1	0	1	0	1	0	4	0,4	0,16
10	0	0	1	0	1	0	1	0	1	1	5	0,5	0,06
11	1	0	0	0	1	1	1	1	0	0	5	0,5	0,06
12	1	1	1	1	1	0	0	1	0	0	6	0,6	0,04
Промежуточные вычисления
Расчет первичных показателей
Расчет вторичных показателей

Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9