Быстрый поиск

Дипломная работа: Автоматизированная система контроля знаний специалистов по дефектоскопии

Надежность указывает на то, насколько непротиворечиво или надежно тест измеряет (определяет) некоторую характеристику. Если индивид проходит тест вновь, он получает сходные оценки. Вместе с тем, имеется несколько причин, почему индивид, вновь проходящий тест, не получает сходные оценки: временные психологические или физические изменения тестируемого (результаты теста могут зависеть от психологического или физического состояния тестируемого); факторы окружения (различия в окружении, такие как температура комнаты, освещение, уровень шума или даже личность проводящего тест, могут влиять на результаты); форма теста (многие тесты имеют разную форму или версию. Хотя каждая форма предназначена оценивать одно и то же, но может содержать различные оттенки скажем, на бумажном носителе, в электронной версии, в устном исполнении); множественность оценивающих (в определенных тестах сфера оценки обусловлена суждениями оценивающего и его референциальным каркасом).

Указателем надежности теста является степень, в которой сфера оценок теста не подвержена влиянию указанных факторов. Необходимы именно такие тесты, степень надежности которых высока.

Надежность теста определяется его коэффициентом, который может колебаться от 0 до 1. Не следует ожидать, что в вашем распоряжении будет иметься тест с надежностью, равной 1. Обычно говорится, что если надежность теста 0.9 и более, то результаты его превосходны, тест с надежностью 0.8 – 0.89 дает хорошие результаты, тест с надежностью 0.7 – 0.79 дает адекватные результаты, тест с надежностью менее 0.7 может иметь ограниченную приложимость. Вместе с тем, не следует выбирать тест, который полностью базируется на величине его коэффициента надежности. Для оценки надежности теста необходимо принимать во внимание тип теста, тип надежности, контекст использования теста.

Каждый тип обусловлен различными источниками ошибок измерения. Перед каждым тестом, перед принятием решения об его выборе, необходимо внимательно знакомиться с руководством и определить, приемлема ли его надежность. Допустимый уровень надежности будет отличаться в зависимости от типа теста и используемой оценки надежности. Возможно перечислить несколько типов:

- надежность типа «тест – повторный тест» указывает на возможность получения таких же результатов по тесту по прошествии времени. Это указывает также на стабильность измеряемых тестом характеристик (конструктов), при этом следует отметить, что некоторые характеристики более стабильны, чем другие;

- надежность альтернативной, или параллельной, формы. Речь идет о том, что результаты теста подобны, если индивид выбирает одну или несколько его альтернативных форм;

- надежность типа «интер-оценка» указывает, что результаты теста подобны при проведении его двумя или более оценщиками;

- надежность типа «внутренняя непротиворечивость» указывает границы, в которых тест измеряет одно и то же.

1.4.6 Валидность оценочного инструментария

Другой важной характеристикой в избрании теста является его валидность, указывающая, какие именно характеристики определяет тест и насколько хорошо он это делает. Валидность говорит о том, имеет ли отношение измеряемая тестом характеристика к квалификациям и требованиям, относящимися к работе. Валидность придает значение результатам теста, то есть связывает тест и работу, говорит, можно ли сделать какое-либо заключение о ком-то, исходя из результатов его тестирования. Валидность описывает также степень, в какой можно делать специфические заключения относительно людей, основываясь на результатах их тестирования. Естественно, следует проводить различия между валидностью и надежностью: первая говорит о том, насколько хорош тест для отдельной ситуации, вторая – насколько истинные результаты дает тест (тест может быть надежным, но не быть валидным). Тест может оказаться невалидным для различных целей, скажем, он может адекватно показывать технические навыки, но быть бесполезным при определении лидерских качеств. Сходным образом, валидность теста обоснована относительно специфических групп индивидов, называемых референтными группами - тест может оказаться невалидным применительно к различным группам. Вполне реальна ситуация, когда целевая группа может не входить в число референтных групп.

Возможно назвать три условия обоснования валидности: валидность относительно критерия (требующая демонстрации корреляции или иного статистического взаимоотношения между результатами теста и требованиями работы), валидность относительно содержания (требующая демонстрации того, что содержание теста представляет важнейшие относительно работы черты поведения), валидность относительно конструктов (требующая демонстрации того, что тест определяет именно тот конструкт или характеристику, для определения которой он предназначен, и что эта характеристика важна для успешности в работе).

Отдельная работа, для которой выбран тест, должна быть очень сходна с той, для которой тест был построен первоначально. Определение степени сходства требует анализа работы, то есть систематического процесса, предназначенного для идентификации задач, обязанностей, навыков и условий работы, а также знаний, умений, способностей и иных характеристик, необходимых для данного вида деятельности.

1.4.7 Использование проверенных оценочных процедур и инструментов

Разработка и использование собственных оценочных процедур является весьма дорогостоящим и трудоемким делом, и обычно следует предпочесть использовать профессионально развитые орудия и процедуры, при этом, конечно, следует убедиться в пригодности подобных процедур именно в данном случае. Проведение тестирования, оценок требует, с одной стороны, определенной квалификации от тестирующих, с другой – сами предлагаемые процедуры должны быть сертифицированы соответствующим образом. Целесообразнее обратиться в имеющиеся центры тестирования и оценки при условии, что последние имеют необходимый опыт работы, сертифицированный инструментарий, который целенаправленно может быть использован для измерения умственных или физических способностей, уровня и объема знаний, оценки личности и ее характеристик, а также иметь соответствующие рекомендации и свидетельства.

1.4.8 Использование орудий оценки, приемлемых для целевой группы

В оценке валидности важно определить, может ли тест быть использован тем специфическим способом, к которому вы его предназначаете, и подобна ли ваша целевая группа референтной группе. В этом смысле руководство к проведению теста должно описывать свидетельство валидности, поддерживающее использование теста для специфических целей, иначе говоря, руководство должно включать описание процедур, использованных в исследовании валидности, и результатов этих исследований. Руководство к проведению оценочных процедур и программ должно содержать возможные валидные использования теста, описание образчиков групп, для которых тест был построен, а также групп, для которых он может быть использован.

1.4.9 Использование документированных оценочных инструментов

Огромное количество опубликованных тестов как в серьезной, так и в более популярной литературе, не всегда адекватно излагает ограничения по их использованию, их подробное описание, ключи к ним. Разработки, предлагаемые к использованию, зачастую содержат лишь рекламную информацию, более подробная информация скрывается со ссылками на «ноу-хау». Для принятия решения об использовании оценочных инструментов необходимы по меньшей мере подробное описание теста, его наименование, время и место создания, авторство, формы и способы проведения, цена, информация о надежности и валидности, сведения об апробации, отзывы специалистов.

Соответствующая подготовка административного персонала. Речь, в первую очередь, идет о той совокупности требований к проводящим оценку и тестирование, которая объединяется термином «тестовая компетентность» и может содержать, по некоторым оценкам, до 90 элементов. В некоторых странах (США, Великобритания, Германия) требования к подготовке административного персонала закреплены соответствующим нормативным документом. Поскольку в нашей стране этого еще пока нет, требования закрепляются содержательно; при принятии решения об оценке и тестировании руководство должно иметь твердую уверенность в компетентности тех, кому будет поручено осуществление этого.

1.4.10 Создание условий тестирования, приемлемых для всех тестируемых

На надежности и валидности оценочных процедур могут сказываться различные внешние влияния. Негативных внешних влияний полностью избежать невозможно, но можно минимизировать, для чего необходимо выбрать подходящее место для проведения оценочных процедур – с хорошими освещением, вентиляцией, температурой и тишиной. Тестовые материалы и место проведения должны быть подготовлены заранее. Все тестируемые должны быть предварительно извещены, а перед испытанием проинструктированы должны образом, им должны быть заданы вопросы об их внутренней готовности, самочувствии. Важно еще и то, что весь процесс оценки должен проводиться одним и тем же персоналом, поскольку оценочные процедуры предназначены для учета различий между тестируемыми, но не между тестирующими.

1.4.11 Приспособления оценочного процесса для людей с ограничениями

Целый ряд рабочих мест может быть занят как людьми без каких-либо «недостатков», так и людьми, имеющими те или иные ограничения. Любые оценочные программы и используемый в них инструментарий должны быть адаптированы к людям, имеющим ограничения, но с тем, чтобы не страдали критерии оценки и релевантность программ и инструментария. Если адаптация инструментария не может быть осуществлена без нарушения валидности и надежности, следует рассматривать альтернативные оценочные стратегии.

1.4.12 Безопасность оценочного инструментария

Для получения справедливых и валидных результатов ни один из тестируемых не должен иметь доступа к оценочному инструментарию заранее. Иначе говоря, должна быть обеспечена его защита от несанкционированного доступа в полном соответствии с требованиями защиты и безопасности информации.

1.4.13 Конфиденциальность результатов оценки

Требования, аналогичные предыдущим, связаны и с возможностями доступа к полученным результатам, которые должны быть доведены лишь до ограниченного числа руководителей, да и то до некоторых из них лишь в обобщенном виде. При этом, в соответствии с нормативными документами, тестируемый имеет право на ознакомление с продемонстрированными им результатами.

1.4.14 Обеспечение корректной и надлежащей интерпретации оценок

В случае, если результаты тестов делают какие-либо выводы относительно характеристик, способностей и иных черт индивида, которые могут представлять интерес для последующей работы, возникают вопросы их интерпретации, в частности, должны ли результаты тестирования индивида сравниваться с результатами других (другого) тестируемого, с группой тестируемых или с какими-то абсолютными оценками, абсолютным уровнем. Возможны следующие варианты.

- Интерпретация теста со ссылкой на нормы. В данном случае речь идет о сравнении результатов тестирования с результатами, полученными от референтной группы, которая выступает как нормативная группа. Нормативная группа состоит из большого репрезентативного образчика индивидов специфической «популяции», например, чиновников, студентов, людей какой-то одной специальности. Если в тесте предполагается именно такая интерпретация, то руководство к тесту должно давать детализированное описание норм и нормативных групп. Тогда следует убедиться, что тестируемая группа подобна нормативной группе по образовательному, языковому, культурному основанию.

- Интерпретация теста со ссылкой на критерии. Результаты теста в этом случае должны указывать сумму навыков или знаний, которыми должны обладать тестируемые относительно отдельной области или содержательной сферы. Тест устанавливает просто степень компетентности. Такого сорта тесты обычно используются в сертифицировании, установлении образовательного уровня и подобных. Руководство к тесту должно указывать минимальный приемлемый уровень.

Обычно результаты представляются в количественных показателях. Следует понимать систему обсчета и оценки, в которых выделяются следующие типы:

- - «сырая» оценка, то есть оценка невыверенная, не приспособленная к определенным нуждам. Обычно она представляет число корректных оценок, но, поскольку ряд тестов не предусматривает наличие правильных или неправильных ответов, сырые оценки могут представлять просто число позитивных ответов. Сырые оценки обычно не обеспечивают достаточным количеством полезной информации. Предположим, что в математическом тесте тестируемый дал 25 правильных ответов на 50 вопросов. Много это или мало? Может оказаться и так, что после прохождения данного теста группой индивидов такая оценка окажется наивысшей, и тогда важным является контекст сравнения данного индивида с другими;

- - стандартные оценки. Данные оценки являются конвертированными сырыми оценками, они указывают, где находятся оценки индивида в сравнении с референтной группой;

- - процентные оценки. Такие оценки являются другим типом конвертированных оценок. Сырая оценка индивида конвертируется в некоторое число, указывающее процент людей в референтной группе, получивших оценки ниже оценки данного индивида. Например, оценка в 70% значит, что индивидуальная оценка является той же самой или выше, чем оценки 70% тех, кто проходил такое же тестирование.

Следует учитывать также и аналитически выверенное распределение оценок. Большое количество человеческих характеристик таких как вес, рост, математические способности, типичные навыки распределены в популяции в значительной степени типичным образом. Такое распределение на графике даст нормальную кривую, имеющую симметричную колоколовидную форму. Кроме того, обычно в руководствах упоминается две характеристики стандартного распределения оценок: среднее значение (мера основной тенденции) и стандартная девиация (мера вариабельности распределения), подробное рассмотрение которых выходит за рамки данного материала.

1.5 Самарский филиал ОАО "Оргэнергонефть"

1.5.1 Подготовка кадров

Самарский филиал ОАО "Оргэнергонефть" осуществляет подготовку кадров (основных профессий) для производств и объектов нефтяной и газовой промышленности, магистральных трубопроводных систем и объектов котлонадзора:

- обучение проводится по программам, согласованным с Госгортехнадзором России;

- проведение теоретических занятий;

- приемка экзаменов с участием представителя Госгортехнадзора России;

- выдача удостоверений установленного образца;

- практическое обучение на рабочих местах безопасным методам работы.

На сегодняшний день ОАО "Оргэнергонефть" производит обучение специалистов на I, II, III уровни:

1. по вибродиагностике:

1.1 правилам вибродиагностики;

1.2 приемам работы на имеющемся у Заказчика вибродиагностическом оборудовании.

2. по техническому надзору за качеством строительства объектов магистральных трубопроводов по специализациям:

2.1 инспектор по общестроительным работам;

2.2 инспектор изоляционно-укладочных работ;