Контрольная работа: Исследование уровня креативности менеджеров по рекламе
Слишком сложные, как и слишком простые задачи искажают информацию об испытуемых данной выборки. Оптимальное значение индекса трудности равно от 16% до 84%. Таким образом, исходя из полученных данных и предельных значений индекса трудности заданий видно, что из нашего теста удаляются вопросы 35, 37 – как слишком простые, 38, 44, 45, 46, 47, 48 – слишком трудные.
3. Расчет индекса дискриминативности заданий опросника
Показателем дискриминативности задания служит мера соответствия его успешного решения успешному решению всех заданий теста. Он называется коэффициентом дискриминации и вычисляется как коэффициент точечно-бисериальной корреляции между средним первичным результатом задания и средним первичным результатом задания и средним первичным результатом по всем заданиям теста (случай, когда все испытуемые решили все задачи без пропусков). То есть дискриминативность заданий теста способность отдельных пунктов (заданий) теста дифференцировать обследуемых относительно «максимального» или «минимального» результата теста.
Любой ответ испытуемого на конкретное задание можно оценить по двухбалльной шкале – «верно» (1 балл), «неверно» (0 баллов). Сумма баллов по всем пунктам представляет собой первичную оценку. Поэтому первичным результатом одного испытуемого будем называть количество правильно решенных им задач. Мера соответствия успешности выполнения задачи всему тесту является показателем дискриминативности заданий теста для данной выборки испытуемых и вычисляется по формуле:
где 
– среднее
арифметическое оценок по тесту у испытуемых, выполнивших задание в соответствии
с ключом;
– среднее
арифметическое всех индивидуальных оценок по тесту,
среднеквадратическое отклонение индивидуальных оценок по тесту для выборки,
– число
испытуемых, ответ которых соответствует ключу,
– общее
количество испытуемых.
Коэффициент
дискриминации может принимать значения от -1 до +1. Высокий положительный 
свидетельствует
об эффективности деления испытуемых. Высокое отрицательное значение 
свидетельствует
о непригодности данной задачи для теста, о ее несоответствии суммарному
результату. Чем ближе значение 
к 1, тем более
соответствует данная задача всему тесту.
Для того, чтобы вычислить коэффициент дискриминации заданий теста, нужно:
1.
Вычислить
среднеквадратическое отклонение индивидуальных оценок по тесту для выборки по
формуле 
= 
= 
Таким образом, исходя из допустимых значений коэффициента дискриминации заданий теста и проведенным математическим подсчетам из опросника удаляются вопросы под номерами 1, 7, 10, 12, 19, 22, 23, 26, 30, 31, 35, 36, 39, 40, 41, 42, 43, 44.
Индекс дискриминации заданий теста вычисляется с применением метода контрастных групп. Необходимым условием применения метода в этом случае является наличие близкого к нормальному распределению оценок по критерию валидизации. Индекс дискриминации вычисляется как разность между долей лиц, правильно решивших задачу, из «высокопродуктивной» и «низкопродуктивной» групп и обозначается D:
где
и 
число лиц,
правильно решивших задания, по отношению к общему числу обследованных в группе
с максимальным и минимальным результатом соответственно.
= 6; 
=6 - (6×0,27)
= 4,38
= 6; 
=6 - (6×0,27)
= 4,38.
Таким образом, с учетом статистических значений индекса дискриминации (+1 до -1), мы удаляем из теста задания под номерами 14, 15, 24, 27, 28, 29, 46, 47, так как в случаях, когда значение индекса дискриминации приближается к нулю или отрицателен, проверяемый пункт теста должен быть пересмотрен в связи с некорректностью формулировки задания или вариантов ответа на него.
4. Определение надежности теста
4.1 Определение надежности целого теста
Термином «надежность» характеризуется воспроизводимость, или стабильность, результатов тестирования. Если распределение тестовых оценок какой-либо группы, прошедшей тестирование когнитивных способностей, имеет простую среднюю арифметическую, равную 100, а через неделю у той же группы эта мера средней тенденции окажется равной 72, мы вынуждены будем заподозрить что-то неладное. Мы сочтем этот тест ненадежным, потому что его результаты не воспроизводятся. Общеизвестно, что результаты повторного тестирования одной и той же группы людей всегда несколько отличаются от результатов их первого тестирования, но если эта разница существенна, значит либо в самом тесте, либо в методике обсчета его результатов есть какой-то изъян.
Известны три метода определения надежности теста: метод определения ретестовой надежности, метод определения надежности взаимозаменяемых форм теста и метод определения надежности расщеплением. Метод определения ретестовой надежности основан на двукратном тестировании одной и той же группы людей и корреляции двух распределений тестовых оценок. Чем меньше коэффициент корреляции, называемый в данном случае коэффициентом надежности, отличается от +1 — идеального значения для положительной корреляции, — тем более надежным считается тест. В идеале, коэффициент надежности теста, который предполагается использовать в отборочном процессе, должен быть более +0,8, однако на практике приемлемым считается и тест с коэффициентом надежности, равным примерно +0,7. Однако этот метод имеет несколько ограничений. Экономически невыгодно дважды отвлекать людей от работы только для того, чтобы протестировать их. Кроме того, может сказаться и эффект научения: во-первых, люди запоминают вопросы после первого тестирования, а во-вторых, в промежутке между двумя тестированиями они могут приобрести определенный дополнительный опыт, в результате чего тестовые оценки во второй раз будут выше.
