Основы теории тестов. Характеристика контрольного тестирования в физическом воспитании

Измерение или испытание, проводимое с целью определения состояния или способностей спортсмена, называется тестом . Не всякие измерения могут быть использованы как тесты, а только те, которые отвечают специальным требованиям: стандартность, наличие системы оценок, надежность, информативность, объективность. Тесты, удовлетворяющие требованиям надежности, информативности и объективности, называют добротными .

Процесс испытания называется тестированием , а полученные в итоге измерения числовые значения – результатом тестирования.

Тесты, в основе которых лежат двигательные задачи, называют двигательными или моторными . В зависимости от задания, которое стоит перед исследуемым, различают три группы двигательных тестов.

Разновидности двигательных тестов

Название теста	Задание спортсмену	Результат теста
Контрольное упражнение		Двигательные достижения	Бег на 1500 м, время бега
Стандартные функциональные пробы	Одинаковое для всех, дозируется: 1)по величине выполненной работы; 2) по величине физиологических сдвигов	Физиологические или биохимические показатели при стандартной работе Двигательные показатели при стандартной величине физиологических сдвигов	Регистрация ЧСС при стандартной работе 1000 кГм/мин Скорость бега при ЧСС 160 уд/мин
Максимальные функциональные пробы	Показать максимальный результат	Физиологические или биохимические показатели	Определение максимального кислородного долга или максимального потребления кислорода

Иногда используется не один, а несколько тестов, имеющих единую конечную цель. Такая группа тестов называется батареей тестов .

Известно, что даже при самой строгой стандартизации и точной аппаратуре результаты тестирования всегда несколько варьируют. Поэтому, одним из важным условий подбора добротных тестов является их надежность.

Надежностью теста называется степень совпадения результатов при повторном тестировании одних и тех же людей в одинаковых условиях. Различают четыре основные причины вызывающие внутрииндивидуальной или внутригрупповой вариации результатов тестирования:

изменение состояния испытуемых (утомление, изменение мотивации и т.п.); неконтролируемые изменения внешних условий и аппаратуры;

изменение состояния человека, проводящего или оценивающего тест (самочувствие, замена экспериментатора и т.п.);

несовершенство теста (например, заведомо несовершенные и малонадежные тесты – штрафные броски в баскетбольную корзину до первого промаха и т.п.).

Критерием надежности теста может служить коэффициент надежности, рассчитанный как отношение истинной дисперсии к дисперсии, зарегистрированной в опыте: r = истинная s 2 / зарегистрированная s 2 , где под истинным значением понимают дисперсию, полученную при бесконечно большом числе наблюдений в одинаковых условиях; регистрируемая дисперсия выводится из опытных исследований. Иными словами, коэффициент надежности есть просто доля истинной вариации в той вариации, которая зарегистрирована в опыте.

Кроме этого коэффициента используют еще индекс надежности , который рассматривают как теоретический коэффициент корреляции или связи между зарегистрированным и истинным значениями одного и того же теста. Этот способ наиболее распространен как критерий оценки качества (надежности) теста.

Одной из характеристик надежности теста является его эквивалентность , что отражает степень совпадения результатов тестирования одного и того же качества (например, физического) разными тестами. Отношение к эквивалентности тестов зависит от конкретной задачи. С одной стороны, если два или больше тестов эквивалентны, их совместное применение повышает надежность оценок; с другой – представляется возможным применить только один эквивалентный тест, что упростит тестирование.

Если все тесты, входящие в какую-либо батарею тестов, высокоэквивалентны, они называются гомогенными (например, для оценки качества прыгучести гомогенными, надо полагать, будут прыжки с места в длину, вверх, тройным). Наоборот, если в комплексе нет эквивалентных тестов (как например, для оценки общей физической подготовленности), то все тесты входящие в него, измеряют разные свойства, т.е. по существу комплекс является гетерогенным.

Надежность тестов может быть повышена до определенной степени путем:

более строгой стандартизацией тестирования;

увеличения числа попыток;

увеличение числа оценщиков и повышения согласованности их мнений;

увеличения числа эквивалентных тестов;

лучшей мотивации испытуемых.

Объективность теста есть частный случай надежности, т.е. независимость результатов тестирования от лица, проводящего тест.

Информативность теста – это степень точности, с какой он измеряет свойство (качество спортсмена), для оценки которого используется. В разных случаях одни и те же тесты могут иметь разную информативность. Вопрос об информативности теста распадается на два частных вопроса:

Что изменяет данный тест? Как точно он измеряет?

Например, можно ли по такому показателю, как МПК, судить о подготовленности бегунов-стайеров, и если можно, то с какой степенью точности? Можно ли использовать этот тест в процессе контроля?

Если тест используется для определения состояния спортсмена в момент обследования, то говорят о диагностической информативности теста. Если же на основе результатов тестирования хотят сделать вывод о возможных будущих показателях спортсмена, говорят о прогностической информативности. Тест может быть диагностически информативен, а прогностически нет и наоборот.

Степень информативности может характеризоваться количественно – на основе опытных данных (так называемая эмпирическая информативность) и качественно – на основе содержательного анализа ситуации (логическая информативность). Хотя в практической работе логический, или содержательный анализ всегда должен предшествовать математическому. Показателем информативности теста служит коэффициент корреляции, рассчитанный для зависимости - критерия от результата в тесте, и наоборот (в качестве критерия берется показатель, заведомо отражающий то свойство, которое собираются измерять с помощью теста).

В случаях недостаточности информативности какого-либо теста прибегают к использованию батареи тестов. Однако последнее, даже при наличие высоких раздельных критериев информативности (судя по коэффициентам корреляции), не позволяет получить единое число. Здесь на помощь может прийти более сложный метод математической статистики – факторный анализ. Который позволяет определить, сколько и какие тесты совместно действуют на отдельный фактор и какова степень их вклада в каждый фактор. А затем уже легко выбрать тесты (или их комбинации), которые наиболее точно оценивают отдельные факторы.

1 Что называется тестом?
2 Что называется тестированием?	Количественная оценка какого-либо качества или состояния спортсмена Измерение или испытание, проводимое с целью определения состояния или способностей спортсменаПроцесс испытания, во время которого количественно оценивается какое-либо качество или состояние спортсменаНужного определения нет
3 Что называется результатом теста?	Количественная оценка какого-либо качества или состояния спортсмена Измерение или испытание, проводимое с целью определения состояния или способностей спортсменаПроцесс испытания, во время которого количественно оценивается какое-либо качество или состояние спортсменаНужного определения нет
4 К какой разновидности тестов относится бег на 100 м ?
5 К какой разновидности тестов относится кистевая динамометрия ?	Контрольное упражнение Функциональная пробаМаксимальный функциональный тест
6 К какой разновидности тестов относится проба МПК ?	Контрольное упражнение Функциональная пробаМаксимальный функциональный тест
7 К какой разновидности тестов относится трехминутный бег под метроном ?	Контрольное упражнение Функциональная пробаМаксимальный функциональный тест
8 К какой разновидности тестов относится максимальное количество подтягиваний на перекладине ?	Контрольное упражнение Функциональная пробаМаксимальный функциональный тест
9 В каком случае считается тест информативным?
10 В каком случае считается тест надежным?	Способность теста к воспроизведению результатов при повторном испытании Способность теста измерять интересующее качество спортсменаНезависимость результатов тестирования от лица, проводящего тест
11 В каком случае считается тест объективным?	Способность теста к воспроизведению результатов при повторном испытании Способность теста измерять интересующее качество спортсменаНезависимость результатов тестирования от лица, проводящего тест
12 Какой критерий необходим при оценке теста на информативность?
13 Какой критерий необходим при оценке теста на надежность?	Критерий Т-Стьюдента Критерий F-ФишераКоэффициент корреляцииКоэффициент детерминацииДисперсия
14 Какой критерий необходим при оценке теста на объективность?	Критерий Т-Стьюдента Критерий F-ФишераКоэффициент корреляцииКоэффициент детерминацииДисперсия
15 Как называют информативность теста, если при его помощи оценивают степень тренированности спортсмена?
16 Какой информативностью контрольных упражнений руководствуется тренер, отбирая детей в свою спортивную секцию?	Логической ПрогностическойЭмпирическойДиагностической
17 Нужен ли корреляционный анализ для оценки информативности тестов?
18 Нужен ли факторный анализ для оценки информативности тестов?
19 Можно ли оценить с помощью корреляционного анализа надежность теста?
20 Можно ли оценить с помощью корреляционного анализа объективность теста?
21 Будут ли эквивалентны тесты, предназначенные для оценки общей физической подготовленности?
22 При измерении одного и того же качества разными тестами используют тесты …	Предназначенные для измерения одного и того же качества Имеющие высокую корреляционную связь между собойИмеющие низкую корреляционную связь между собой

ОСНОВЫ ТЕОРИИ ОЦЕНОК

Для оценивания спортивных результатов часто прибегают к специальным таблицам очков. Цель таких таблиц – преобразование показанного спортивного результата (выраженного в объективных мерах) в условные очки. Закон преобразования спортивных результатов в очки называется шкалой оценок . Шкала может быть задана в виде математического выражения, таблицы или графика. Различают 4 основных типа шкал, используемых в спорте и физическом воспитании.

Пропорциональные шкалы

Регрессирующие шкалы

Прогрессирующие шкалы.

Пропорциональные шкалы предполагают начисление одинакового числа очков за равный прирост результатов (например, за каждые 0,1 с улучшения результата в беге на 100 м начисляется 20 очков). Такие шкалы используются в современном пятиборье, конькобежном спорте, гонках на лыжах, лыжном двоеборье, биатлоне и других видах спорта.

Регрессирующие шкалы предполагают начисление, за один и тот же прирост результата по мере возрастания спортивных достижений, все меньшее число очков (например, за улучшение результата в беге на 100 м с 15, 0 до 14.9 с добавляют 20 очков, а за 0,1 с в диапазоне 10,0-9,9 с – только 15 очков).

Прогрессирующие шкалы. Здесь чем выше спортивный результат, тем большей прибавкой очков оценивается его улучшение (например, за улучшение времени в беге от 15,0 до 14,9 с добавляют 10 очков, а от 10,0 до 9,9 с – 100 очков). Прогрессирующие шкалы применяются в плавании, отдельных видах легкой атлетики, тяжелой атлетике.

Сигмовидные шкалы редко используются в спорте, но широко применяются при оценке физической подготовленности (например, так выглядит шкала стандартов физической подготовленности населения США). В этих шкалах улучшение результатов в зоне очень низких и очень высоких достижений поощряются скупо; больше всего очков приносит прирост результатов в средней зоне достижений.

Основными задачами оценивания являются:

сопоставить разные достижения в одном и том же задании;

сопоставить достижения в разных заданиях;

определить нормы.

Нормой в спортивной метрологии называется граничная величина результата, служащая основой для отнесения спортсмена к одной из классификационных групп. Существует три вида норм: сопоставительные, индивидуальные, должные.

Сопоставительные нормы имеют в своей основе сравнение людей, принадлежащих к одной и той же совокупности. Например, разбиение людей на подгруппы по степени устойчивости (высокой, средней, низкой) или реактивности (гиперреактивные, нормореактивные, гипореактивные) к гипоксии.

Разные градации оценок и норм

					Процент испытуемых		Нормы в шкалах
Словесная	в баллах							Перцентильная
Очень низкая		Ниже М - 2
		От М - 2 до М - 1
Ниже средней		От М-1 до М–0,5
		От М–0,5 до М+0,5
Выше средней		От М+0,5 до М+1
		От М+1 до М+2
Очень высокая		Выше М+2

Эти нормы характеризуют лишь сравнительные успехи испытуемых в данной совокупности, но ничего не говорят о совокупности в целом (или в среднем). Поэтому сопоставительные нормы должны сравниваться с данными, полученными на других совокупностях, и использоваться в сочетании с индивидуальными и должными нормами.

Индивидуальные нормы основаны на сравнении показателей одного и того же спортсмена в разных состояниях. Например, во многих видах спорта нет зависимости между собственным весом тела и спортивным результатом. У каждого спортсмена есть индивидуально оптимальный вес, соответствующий состоянию спортивной формы. Эту норму можно контролировать на разных этапах спортивной подготовки.

Должные нормы основаны на анализе того, что должен уметь человек, чтобы успешно справляться с задачами, которые перед ним ставит жизнь. Примером этому могут служить нормативы отдельных комплексов по физической подготовке, должные величины ЖЕЛ, основного обмена, массы и роста тела, и т.п.

1 Можно ли прямым методом измерить качество выносливости?
2 Можно ли прямым методом измерить качество быстроты?
3 Можно ли прямым методом измерить качество ловкости?
4 Можно ли прямым методом измерить качество гибкости?
5 Можно ли прямым методом измерить силу отдельных мышц?
6 Может ли оценка выражаться в качественной характеристике (хорошо, удовлетворительно, плохо, зачет и т.п.)?
7 Есть ли разница между шкалой измерений и шкалой оценок?
8 Что называется шкалой оценок?	Система измерения спортивного результата Закон преобразования спортивных результатов в очкиСистема оценивания норм
9 Шкала предполагает начисление одинакового числа очков за равный прирост результатов. Это …
10 За один и тот же прирост результата начисляют по мере возрастания спортивных достижений всё меньшее число очков. Это …	Прогрессирующая шкала Регрессирующая шкалаПропорциональная шкалаСигмовидная шкала
11 Чем выше спортивный результат, тем большей прибавкой очков оценивается его улучшение. Это …	Прогрессирующая шкала Регрессирующая шкалаПропорциональная шкалаСигмовидная шкала
12 Улучшение результатов в зонах очень низких и очень высоких достижений поощряется скупо; больше всего очков приносит прирост результатов в средней зоне достижений. Это …	Прогрессирующая шкала Регрессирующая шкалаПропорциональная шкалаСигмовидная шкала
13 Нормы, имеющие в своей основе сравнение людей, принадлежащих к одной и той же совокупности, называются …
14 Нормы, основанные на сравнении показателей одного и того же спортсмена в разных состояниях, называются …	Индивидуальными нормами Должными нормамиСопоставительными нормами
15 Нормы, основанные на анализе того, что должен уметь делать человек, чтобы справляться с поставленными перед ним задачами, называются …	Индивидуальными нормами Должными нормамиСопоставительными нормами

ОСНОВНЫЕ ПОНЯТИЯ КВАЛИМЕТРИИ

Квалиметрия (лат. qualitas – качество, metron – мера) изучает и разрабатывает количественные методы оценки качественных признаков.

В основе квалиметрии лежит несколько исходных положений:

Любое качество можно измерить;

Качество зависит от ряда свойств, образующих “древо качества” (например, древо качества исполнения упражнений в фигурном катании состоит из трех уровней – высшего, среднего, низшего);

Каждое свойство определяется двумя числами: относительным показателем и весомостью; сумма весомостей свойств на каждом уровне равна единице (или 100%).

Методические приемы квалиметрии делятся на две группы:

Эвристические (интуитивные), основанные на экспертных оценках и анкетировании;

Инструментальные.

Экспертной называется оценка, получаемая путем выяснения мнений специалистов. Характерные примеры экспертизы: судейство в гимнастике и фигурном катании на коньках, конкурс на лучшую научную работу и т.п.

Проведение экспертизы включает следующие основные этапы: формирование ее цели, подбор экспертов, выбор методики, проведение опроса и обработку полученной информации, в том числе оценку согласованности индивидуальных экспертных оценок. При экспертизе большое значение имеет степень согласованности мнений экспертов, оцениваемая по величине рангового коэффициента корреляции (в случае нескольких экспертов). Следует заметить, что ранговая корреляция лежит в основе решения многих задач квалиметрии, поскольку позволяет осуществлять математические расчеты с качественными признаками.

На практике показателем квалификации эксперта часто служит отклонение его оценок от средних оценок группы экспертов.

Анкетированием называется метод сбора мнений посредством заполнения анкет. Анкетирование наряду с интервью и беседой относится к методам опроса. В отличие от интервью и беседы анкетирование предполагает письменные ответы лица, заполняющего анкету – респондента, - на систему стандартизированных вопросов. Оно позволяет изучать мотивы поведения, намерения, мнения и т.п.

С помощью анкетирования можно решать многие практические задачи в спорте: оценка психологического статуса спортсмена; его отношение к характеру и направленности тренировочных занятий; межличностные отношения в команде; собственная оценка технико-тактической подготовленности; оценка рациона питания и многие другие.

1 Что изучает квалиметрия?	Изучает качества тестов Изучает качественные свойства признакаИзучает и разрабатывает количественные методы оценки качества
2 Математические методы, применяемые в квалиметрии?	Парная корреляция Ранговая корреляцияДисперсионный анализ
3 С помощью каких методов оценивается уровень работоспособности?
4 С помощью каких методов оценивается разнообразие технических элементов?	Метод анкетирования Метод экспертных оценокМетод не указан
5 С помощью каких методов оценивается сложность технических элементов?	Метод анкетирования Метод экспертных оценокМетод не указан
6 С помощью каких методов оценивается психологическое состояние спортсмена?	Метод анкетирования Метод экспертных оценокМетод не указан

Первый компонент, теория тестов, содержит описание статистических моделей обработки диагностических дан­ных. Здесь содержатся модели анализа ответов в тестовых заданиях и модели подсчета суммарных результатов теста. Мелленберг (1980, 1990) назвал это «психометрией». Клас­сическая теория тестов, современная теория тестов (или модель анализа ответов на задания тестов - IRT) и модель

выборки заданий составляют три наиболее важных типа моделей теории тестов. Предметом рассмотрения психоди­агностики являются первые две модели.

Классическая теория тестов. На основе этой теории раз­работано большинство интеллектуальных и личностных те­стов. Центральным понятием этой теории является понятие «надежности». Под надежностью понимается согласован­ность результатов при повторном оценивании. В справоч­ных пособиях это понятие обычно представляется очень кратко, а затем дается подробное описание аппарата мате­матической статистики. В этой, вводной, главе мы предста­вим сжатое описание основного значения отмеченного понятия. В классической теории тестов под надежностью понимается повторяемость результатов нескольких проце­дур измерения (преимущественно измерений при помощи тестов). Понятие надежности предполагает вычисление ошибки измерения. Результаты, полученные в процессе тестирования, могут быть представлены как сумма истин­ного результата и ошибки измерения:

Xi = Ti + Еj

где Xi - оценка полученных результатов, Ti - истин­ный результат, а Еj - ошибка измерения.

Оценка полученных результатов - это, как правило, количество правильных ответов на задания теста. Истин­ный результат можно рассматривать как истинную оценку в платоновском смысле (Gulliksen, 1950). Широко распро­страненным является понятие ожидаемых результатов, т.е. представлений о баллах, которые могут быть получены в результате большого числа повторений процедур измере­ния (Lord & Novich, 1968). Но проведение одной и той же процедуры оценивания с одним человеком не представля­ется возможным. Поэтому необходим поиск других вариан­тов решения проблемы (Witlman, 1988).

В рамках этой концепции делаются некоторые допуще­ния относительно истинных результатов и ошибок измере­ния. Последние принимаются в качестве независимого фактора, что, конечно, является вполне обоснованным предположением, так как случайные колебания результа­тов не дают ковариаций: r ЕЕ =0.

Предполагается, что корреляции между истинными бал­лами и ошибками измерения не существует: r EE =0.

Суммарная ошибка равна 0, т.к. в качестве истинной оценки берется среднее арифметическое значение:

Эти допущения приводят нас в итоге к известному опре­делению надежности как отношения истинного результата к общей дисперсии или выражению: 1 минус отношение, в числителе которого ошибка измерения, а в знаменателе - общая дисперсия:

, ИЛИ

Из этой формулы определения надежности получаем, что дисперсия ошибки S 2 (E) равна общей дисперсии в числе случаев (1 – r XX "); таким образом, стандартная ошибка из­мерения определяется по формуле:

После теоретического обоснования надежности и его производных необходимо определить индекс надежности того или иного теста. Существуют практические процедуры оценивания надежности тестов, такие как использование взаимозаменяемых форм (параллельные тесты), расщепле­ние заданий на две части, повторное тестирование и изме­рение внутренней согласованности. Каждый справочник содержит индексы постоянства тестовых результатов:

r XX ’ =r(x 1 , x 2)

где r XX ’ - коэффициент стабильности, а x 1 и x 2 - результаты двух измерений.

Понятие надежности взаимозаменяемых форм введено и разработано Гулликсеном (1950). Данная процедура до­статочно трудоемка, поскольку связана с необходимостью создания параллельной серии заданий

r XX ’ =r(x 1 , x 2)

где r XX ’ - коэффициент эквивалентности, а x 1 и x 2 - два параллельных теста.

Следующая процедура - расщепление основного теста на две части А и В - более проста в использовании. Пока­затели, полученные по обеим частям теста, коррелируются. С помощью формулы Спирмена-Брауна оценивается на­дежность теста в целом:

где А и В - две параллельные части теста.

Следующий метод - определение внутренней согласо­ванности выполнения заданий теста. Этот метод основан на определении ковариаций отдельных заданий. Sg - диспер­сия произвольно выбранного задания, и Sgh - ковариация двух произвольно выбранных заданий. Наиболее часто ис­пользуемый коэффициент для определения внутренней со­гласованности - это «коэффициент альфа» Кронбаха. Используются также формула КР20 и λ-2 (лямбда-2).

В классической концепции надежности определяются ошибки измерения, возникающие как в процессе тестиро­вания, так и в процессе наблюдений. Источники этих оши­бок различны: это могут быть и личностные особенности, и особенности условий тестирования, и сами тестовые зада­ния. Существуют конкретные методы вычисления ошибок. Мы знаем, что наши наблюдения могут оказаться ошибоч­ными, наши методические инструменты несовершенны так же, как несовершенны и сами люди. (Как не вспомнить Шекспира: «Ненадежен ты, чье имя человек»). То, что в классической теории тестов ошибки измерения эксплици­руются и объясняются, является важным положительным моментом.

Классическая теория тестов имеет ряд существенных особенностей, которые можно рассматривать и как ее недо­статки. Некоторые из этих характеристик отмечаются в справочниках, но их значение (с житейской точки зрения) подчеркивается нечасто, как не отмечается и то, что с тео­ретической или методической точки зрения их следует счи­тать недостатками.

Первое. Классическая теория тестов и понятие надежно­сти ориентированы на подсчет суммарных тестовых пока­зателей, представляющих собой результат сложения оценок, полученных в отдельных заданиях. Так, при работе

Второе. Коэффициент надежности предполагает оценку величины разброса измеряемых показателей. Отсюда сле­дует, что коэффициент надежности будет ниже, если (при равенстве других показателей) выборка является более од­нородной. Не существует единого коэффициента внутрен­ней согласованности заданий теста, этот коэффициент всегда «контекстуален». Крокер и Альджина (1986), напри­мер, предлагают специальную формулу «коррекции для гомогенной выборки», предназначенную для самых высо­ких и самых низких результатов, полученных проходящи­ми тестирование. Для диагноста важно знать характеристики вариаций в выборочной совокупности, иначе он не сможет использовать коэффициенты внутрен­ней согласованности, указанные в руководстве к данному тесту.

Третье. Феномен сведения к показателю среднего ариф­метического является логическим следствием классической концепции надежности. Если оценка в тесте колеблется (т.е. она недостаточно надежна), то вполне возможно, что при повторении процедуры субъекты, имеющие низкие по­казатели, получат более высокие баллы, и наоборот, субъ­екты с высокими показателями - низкие. Этот артефакт процедуры измерения нельзя ошибочно принять за истин­ное изменение или проявление процессов развития. Но в то же время разграничить их нелегко, т.к. никогда нельзя исключить возможность изменения в ходе развития. Для полной уверенности необходимо"сравнение с контрольной группой.

Четвертая характеристика тестов, разработанных в со­ответствии с принципами классической теории,- это на­личие нормативных данных. Знание тестовых норм позволяет исследователю адекватно интерпретировать ре­зультаты тестируемых. Вне норм тестовые оценки лишены смысла. Выработка тестовых норм - это достаточно доро­гостоящее предприятие, поскольку психолог должен пол­учить результаты тестирования на репрезентативной выборке.

2 Я. тер Лаак

Если говорить о недостатках классической концепции надежности, то здесь уместно привести высказывание Сий-тсма (1992, р. 123-125). Он отмечает, что первое и главное предположение классической теории тестов состоит в том, что тестовые результаты подчиняются интервальному принципу. Однако никаких исследований, подтверждаю­щих это предположение, нет. По сути, это «измерение по произвольно установленному правилу». Данная особен­ность ставит классическую теорию тестов в менее выгодное положение по сравнению со шкалами измерения установок и, конечно же, по сравнению с современной теорией тестов. Многие методы анализа данных (дисперсионный анализ. регрессионный анализ, корреляционный и факторный ана­лиз) основаны на допущении существования интервальной шкалы. Однако оно не имеет твердого обоснования. Рас­сматривать шкалу истинных результатов как шкалу значе­ний психологических характеристик (например, арифметических способностей, интеллекта, нейротизма) можно только предположительно.

Второе замечание касается того, что результаты выпол­нения теста - это не абсолютные показатели той или иной психологической характеристики тестируемого, их необхо­димо рассматривать лишь как результаты выполнения того или иного теста. Два теста могут претендовать на изучение одних и тех же психологических характеристик (например, интеллекта, вербальных способностей, экстраверсии), но это не означает, что эти два теста равноценны и обладают одинаковыми возможностями. Сравнение показателей двух людей, прошедших тестирование разными тестами, некорректно. То же относится и к заполнению двух разных тестов одним испытуемым. Третье замечание относится к предположению, что стандартная ошибка измерения оди­накова применительно к любому уровню измеряемых спо­собностей индивида. Однако не существует эмпирической проверки этого предположения. Так, например, нет гаран­тии того, что тестируемый с хорошими математическими способностями при работе с относительно простым арифме­тическим тестом получит высокие баллы. В этом случае высокую оценку скорее получит человек с низкими или средними способностями.

В рамках современной теории тестов или теории анализа ответов в заданиях теста содержится описание большого

количества моделей возможных ответов респондентов. Эти модели различаются положенными в их основу допущени­ями, а также требованиями по отношению к получаемым данным. Модель Раша часто рассматривается в качестве синонима теорий анализа ответов в заданиях теста (1RT). На самом деле это только одна из моделей. Представленная в ней формула для описания характеристической кривой задания g выглядит следующим образом:

где g - отдельное задание теста; ехр - функция экспо­ненты (нелинейная зависимость); δ («дельта») - уровень трудности теста.

Другие задания теста, например h, также получают соб­ственные характеристические кривые. Выполнение условия δ h >δ g (g означает, что h - более трудное задание. Следовательно, для любого значения показателя Θ («тета» - латентные свойства способностей тестируемых) вероят­ность успешного выполнения задания h меньше. Эта модель называется строгой, поскольку очевидно, что при низкой степени выраженности черты вероятность выполнения за­дания близка к нулю. В этой модели нет места угадыванию и предположениям. Для заданий с вариантами выбора нет необходимости делать предположения о вероятности успе­ха. Кроме того, эта модель строга в том смысле, что все задания теста должны иметь одинаковую дискриминатив-ную способность (высокая дискриминативность отражается в крутизне кривой; здесь возможно построение шкалы Гут-тмана, согласно которой в каждой точке характеристиче­ской кривой вероятность выполнения задания меняется от О до 1). Из-за этого условия не все задания могут быть включены в тесты, созданные на основе модели Раша.

Существует несколько вариантов этой модели (напри­мер, Birnbaura, 1968, См. Lord & Novik). Она допускает существование заданий с различной дискриминативной

способностью.

Голландский исследователь Моккен (1971) разработал две модели анализа ответов в заданиях теста, требования которых не так строги, как в модели Раша, и поэтому, возможно, более реалистичны. В качестве основного усло-

вия Моккен выдвигает положение о том, что характеристи­ческая кривая задания должна следовать монотонно, без обрывов. Все задания теста при этом направлены на изуче­ние одной и той же психологической характеристики, из­мерять которую должна в. Допускается любая форма этой зависимости, пока она не прервется. Следовательно, форма характеристической кривой не определяется какой-либо специфической функцией. Такая «свобода» позволяет ис­пользовать больше заданий теста, и уровень оценивания при этом оказывается не выше, чем обычный.

Методология моделей ответов на задания теста (IRT) отличается от методологии большинства эксперименталь­ных и корреляционных исследований. Математическая мо­дель предназначена для изучения поведенческих, когнитивных, эмоциональных характеристик, а также фе­номенов развития. Эти рассматриваемые феномены часто ограничиваются ответами на задания, что позволило Мел-ленбергу (1990) назвать теорию IRT «мини-теорией о ми­ни-поведении». Результаты исследования могут быть в определенной степени представлены как кривые согласо­ванности, особенно в тех случаях, когда теоретические представления об изучаемых характеристиках отсутству­ют. До сих пор в нашем распоряжении имеются лишь еди­ницы тестов интеллекта, способностей и личностных тестов, созданных на основе многочисленных моделей тео­рии IRT. Варианты модели Раша чаще используются при разработке тестов достижений (Verhelst, 1993), а модели Моккена больше подходят для феноменов развития (см. также гл. 6).

Ответ тестируемого на задания теста является основной единицей моделей IRT. Тип ответа определяется степенью выраженности у человека изучаемой характеристики. Та­кой характеристикой могут быть, например, арифметиче­ские или пространственные способности. В большинстве случаев это тот или иной аспект интеллекта, характеристи­ки достижений или личностные особенности. Предполага­ется, что между положением данного конкретного человека в некотором диапазоне изучаемой характеристики и веро­ятностью успешного выполнения того или иного задания существует нелинейная зависимость. Нелинейность этой зависимости в определенном смысле интуитивно понятна. Известные фразы «Всякое начало трудно» (медленный не-

линейный старт) и «Стать святым не так просто», означают что дальнейшее совершенствование после достижения оп­ределенного уровня идет трудно. Кривая медленно прибли­жается, но почти никогда не достигает 100%-го уровня успеха.

Некоторые модели скорее противоречат нашему интуи­тивному пониманию. Возьмем такой пример. Человек с ин­дексом выраженности произвольной характеристики равным 1,5 имеет 60-процентную вероятность успеха при выполнении задания. Это противоречит нашему интуитив­ному пониманию такой ситуации, ведь можно либо успеш­но справиться с заданием, либо не справиться с ним вообще. Возьмем такой пример: 100 раз человек пытается взять высоту 1м 50 см. Успех сопутствует ему 60 раз, т.е. он имеет 60-процентную вероятность успеха.

Для оценки степени выраженности характеристики не­обходимо, по крайней мере, два задания. Модель Раша предполагает определение выраженности характеристик вне зависимости от трудности задания. Это также противо­речит нашему интуитивному пониманию: предположим, что человек имеет 80-процентную вероятность прыгнуть выше 1,30 м. Если это так, то в соответствии с характери­стической кривой заданий он имеет 60-процентную веро­ятность прыгнуть выше 1,50 м и 40-процентную вероятность прыгнуть выше 1,70 м. Следовательно, вне за­висимости от значения независимой переменной (высоты) можно оценить способность человека прыгать в высоту.

Существует около 50 моделей IRT (Goldstein & Wood, 1989).Имеется множество нелинейных функций, описыва­ющих (объясняющих) вероятность успеха в выполнении задания или группы заданий. Требования и ограничения этих моделей различны, и эти различия могут быть обнару­жены при сопоставлении модели Раша и шкалы Моккена. К требованиям этих моделей можно отнести:

1) необходимость определения исследуемой характеристи­ки и оценку позиции человека в диапазоне этой черты;

2) оценку последовательности заданий;

3) проверку конкретных моделей. В психометрии разрабо­тано множество процедур для проверки модели.

В некоторых справочных пособиях теория IRT рассмат­ривается как форма анализа заданий теста (см., например,

Croker& Algina, J 986). Можно, однако, отстаивать ту точку зрения, что теория IRT - это «мини-теория о мини-пове­дении». Сторонники теории IRT замечают, что если-несо­вершенны концепции (модели) среднего уровня, то что же можно сказать о более сложных конструктах в психологии?

Классическая и современная теории тестов. Люди не мо­гут не сравнивать вещи, которые выглядят почти одинако­во. (Возможно, житейский эквивалент психометрии и состоит, главным образом, в сравнении людей по значимым характеристикам и выборе между ними). Каждая из пред­ставленных теорий - и теория измерения ошибок оцени­вания, и математическая модель ответов на задания теста - имеет своих сторонников (Goldstein & Wood, 1986).

Модели IRT не вызывают упреков в том, что это «оцени­вание по правилам», в отличие от классической теории те­стов. Модель IRT ориентирована на анализ оцениваемых характеристик. Характеристики личности и характеристи­ки заданий оцениваются с помощью шкал (порядковых или интервальных). Более того, возможно сопоставление пока­зателей выполнения разных тестов, направленных на изу­чение сходных характеристик. Наконец, надежность неодинакова для каждого значения на шкале, а средние показатели обычно являются более надежными, чем пока­затели, расположенные в начале и в конце шкалы. Таким образом, модели IRT в теоретическом отношении представ­ляются более совершенными. Существует и различия в практическом использовании современной теории тестов и классической теории (Sijstma, 1992, стр. 127-130). Совре­менная теория тестов более сложна по сравнению с класси­ческой, поэтому она реже используется неспециалистами. Более того, IRT предъявляет особые требования к задани­ям. Это означает, что задания должны быть исключены из теста, если они не удовлетворяют требованиям модели. Данное правило относится далее к тем заданиям, которые входили в состав широко используемых тестов, построен­ных по принципам классической теории. Тест становится короче, и, следовательно, надежность его снижается.

IRT предлагает математические модели для изучения реальных феноменов. Модели должны помочь нам понять ключевые аспекты этих феноменов. Однако здесь кроется основной теоретический вопрос. Модели можно рассматри-

ватькак подход к изучению сложной реальности, в которой мы живем. Но модель и реальность - не одно и то же. Согласно пессимистическому взгляду, возможно моделиро­вание лишь единичных (и притом не самых интересных) типов поведения. Также можно встретить утверждение, что реальность вообще не подлежит моделированию, т.к. она подчиняется не одним лишь причинно-следственным зако­нам. В лучшем случае возможно моделирование отдельных (идеальных) поведенческих феноменов. Существует и дру­гой, более оптимистичный, взгляд на возможности модели-рования. Приведенная выше позиция блокирует возможность глубокого постижения природы феноменов человеческого поведения. Применение той или иной моде­ли поднимает некоторые обшие, фундаментальные вопро­сы. На наш взгляд, не подлежит сомнению, что IRT является концепцией теоретически и технически превосхо­дящей классическую теорию тестов.

Практическим назначением тестов, на какой бы теоре­тической основе они не создавались, является определение значимых критериев и установление на их основе характе­ристик тех или иных психологических конструктов. Имеет ли модель IRT преимущества и в этом отношении? Вполне возможно, что тесты, созданные на основе этой модели, не дают более точного прогноза по сравнению с тестами, со­зданными на основе классической теории, и возможно, что их вклад в разработку психологических конструктов не яв­ляется более весомым. Диагносты предпочитают такие кри­терии, которые непосредственно относятся к отдельному человеку, институту или сообществу. Модель, более совер­шенная в научном отношении, «ipso facto»* не определяет более подходящий критерий и в определенной степени ог­раничена в объяснении научных конструктов. Очевидно, что разработка тестов на основе классической теории будет продолжаться, но вместе с тем будут создаваться и новые модели IRT, распространяющиеся на изучение большего числа психологических феноменов.

В классической теории тестов различаются понятия «на­дежности» и «валидности». Тестовхяе результаты должны быть надежны, т.е. результаты первоначального и повтор­ного тестировании должны согласовываться. Кроме того,

* ipso facto (лак) - сама по себе (прим. перев.).

результаты должны быть свободны (насколько это возмож­но) от ошибок оценивания. Наличие валидности - одно из требований, предъявляемых к полученным результатам. При этом надежность рассматривается как необходимое, но еще не достаточное условие валидности теста.

Понятие валидности предполагает, что полученные ре­зультаты относятся к чему-либо важному в практическом или теоретическом отношении. Выводы, сделанные на ос­нове тестовых оценок, должны быть валидными. Наиболее часто говорят о двух видах валидности: прогностической (критериальной) и конструктной. Существуют также и другие виды валидности (см. гл. 3). Кроме того, валидность может быть определена и в случае квазиэкспериментов (Cook & Campbell, 1976, Cook & Shadish, 1994). Однако основным видом валидности все же является прогностиче­ская валидность, под которой понимается возможность предсказывать по тестовому результату нечто существен­ное о поведении в будущем, а также возможность более глубокого понимания того или иного психологического свойства или качества.

Представленные типы валидности обсуждаются в каж­дом справочнике и сопровождаются описанием методов анализа валидности теста. Факторный анализ более подхо­дит для определения конструктной валидизации, а уравне­ния линейной регрессии используются для анализа прогностической валидности. Те или иные характеристики (успеваемость, эффективность терапии) могут быть пред­сказаны на основе одного или нескольких показателей, пол-ученных при работе с интеллектуальными или личностными тестами. Такие техники обработки данных, как корреляционный, регрессионный, дисперсионный ана­лиз, анализ частичных корреляций и дисперсий, служат для определения прогностической валидности теста.

Также часто описывается содержательная валидность. Предполагается, что все задачи и задания теста должны принадлежать специфической области (психических свойств, поведения и т.д.). Понятие содержательной валид­ности характеризует соответствие каждого задания теста измеряемой области. Содержательная валидность иногда рассматривается как часть надежности или «обобщаемость» (Cronbach, Gleser, Nanda & Rajaratnam, 1972). Однако при

выборе заданий для тестов достижений в конкретной пред­метной области важно также обращать внимание на прави­ла включения заданий в тест.

В классической теории тестов надежность и валидность рассматриваются относительно независимо друг от друга. Но существует и другое понимание соотношения этих по­нятий. Современная теория тестов основывается на приме­нении моделей. Параметры оцениваются внутри некоторой модели. Если задание не соответствует требованиям моде­ли, то в рамках этой модели оно признается невалидным. Конструктная валидизации представляет собой часть про­верки самой модели. Эта валидизации относится главным образом к проверке существования одномерной латентной исследуемой черты с известными шкальными характери­стиками. Шкальные оценки, несомненно, могут быть ис­пользованы для определения соответствующих критериев, и возможна их корреляция с показателями других конст­руктов для сбора информации о конвергентной и диверген­тной валидности конструкта.

Психодиагностика аналогична языку, описываемому как единство четырех компонентов, представленных на трех уровнях. Первый компонент, теория тестов, аналогичен синтаксису, грамматике языка. Порождающая (генератив­ная) грамматика - это, с одной стороны, остроумная мо­дель, с другой - система, подчиняющаяся правилам. С помощью этих правил на основе простых утвердительных предложений строятся сложные. При этом, однако, данная модель оставляет в стороне описание того, как организован процесс коммуникации (что передается и что воспринима­ется), и с какими целями он осуществляется. Для понима­ния этого требуются дополнительные знания. То же можно сказать и о теории тестов: она является необходимой в пси­ходиагностике, но она не способна объяснить, что психоди­агност делает и каковы его цели.

1.3.2. Психологические теории и психологические конструкты

Психодиагностика - это всегда диагностика чего-то конкретного: личностных характеристик, поведения, мыш­ления, эмоций. Тесты предназначены оценивать индивиду­альные различия. Существует несколько концепций

индивидуальных различий, каждая из которых имеет свои отличительные особенности. Если признается, что психо­диагностика не ограничивается только оценкой индивиду­альных различий, то тогда и другие теории приобретают существенное значение для психодиагностики. Примером является оценка различий процессов психического разви­тия и различий в социальном окружении. Хотя оценка ин­дивидуальных различий не является непременным атрибутом психодиагностики, тем не менее существуют оп­ределенные традиции исследования в этой области. Психо­диагностика начиналась с оценки различий интеллекта. Основной задачей тестов было «определение наследствен­ной передачи гениальности» (Gallon) или отбор детей для обучения (Binet, Simon). Измерение коэффициента интел­лектуальности получило теоретическое осмысление и прак-тическую разработку в трудах Спирмена (Великобритания) и Терстоуна (США). Раймонд Б.Кеттел сделал подобное для оценки личностных характеристик. Психодиагностика становится неразрывно связанной с тео­риями и представлениями об индивидуальных различиях в достижениях (оценка предельных возможностей) и формах поведения (уровень типичного функционирования). Эта традиция продолжает оставаться эффективной и сегодня. В учебных пособиях по психодиагностике гораздо реже оце­ниваются различия в социальном окружении по сравнению с рассмотрением особенностей самих процессов развития. Для этого не существует каких-либо разумных объяснений. С одной стороны, диагностика не ограничивается опреде­ленными теориями и понятиями. С другой стороны, она нуждается в теориях, поскольку именно в них определяется диагностируемое содержание (т.е. «что» диагностируется). Так, например, интеллект может рассматриваться и как общая характеристика, и как основание для множества не­зависимых друг от друга способностей. Если психодиагно­стика пытается «уйти» от той или иной теории, то тогда основой психодиагностического процесса становятся пред­ставления здравого смысла. В исследованиях применяются различные способы анализа данных, и общая логика иссле­дований определяет выбор той или иной математической модели и определяет структуру используемых психологи­ческих понятий. Такие методы математической статисти-

ки, как дисперсионный анализ, регрессионный анализ, факторный анализ, подсчет корреляций предполагают су­ществование линейных зависимостей. В случае некоррект­ного применения этих методов они «привносят» свою структуру в полученные данные и используемые конструк­ты.

Представления о различиях в социальном окружении и о развитии личности почти не оказали влияния на психоди­агностику. В учебных пособиях (см., например, Murphy & Davidshofer, 1988) рассматривается классическая теория тестов и обсуждаются соответствующие методы статисти­ческой обработки, описываются известные тесты, рассмат­риваются вопросы использования психодиагностики в практике: в психологии управления, при отборе персонала, при оценке психологических характеристик человека.

Теории индивидуальных различий (а также представле­ния о различиях между социальным окружением и о психи­ческом развитии) аналогичны изучению семантики языка. Это изучение и сущности, и содержания, и значения. Зна­чения структурируются определенным образом (подобно психологическим конструктам), например, по сходству или контрасту (аналогия, конвергенция, дивергенция).

1.3.3. Психологические тесты и другие методические средства

Третий компонент предложенной схемы - тесты, про­цедуры и методические средства, с помощью которых про­исходит сбор информации о характеристиках личности. Дрене и Сийтсма (1990, стр. 31) дают следующее определе­ние тестам: «Психологический тест рассматривается как классификация согласно определенной системе или как процедура измерения, которая позволяет вынести опреде­ленное суждение об одной или нескольких эмпирически выделенных или теоретически обоснованных характери­стиках конкретной стороны поведения человека (за рамка­ми тестовой ситуации). При этом рассматривается реакция респондентов на определенное число тщательно подобран­ных стимулов, а полученные ответы сравниваются с тесто­выми нормами».

Диагностике необходимы тесты и методики для сбора надежной, точной и валидной информации об особенностях

и характерных чертах личности, о мышлении, эмоциях и поведении человека. Помимо разработки тестовых проце­дур в этот компонент входят также следующие вопросы: как создаются тесты, как формулируются и отбираются зада­ния, как протекает процесс тестирования, каковы требова­ния к условиям проведения тестирования, как учитываются ошибки измерения, как подсчитываются и интерпретиру­ются тестовые результаты.

В процессе разработки тестов различаются рациональ­ная и эмпирическая стратегии. Применение рациональной стратегии начинается с определения основных понятий (на­пример, понятия интеллекта, экстраверсии), и в соответст­вии с этими представлениями формулируются задания теста. Примером такой стратегии может служить концеп­ция аспектного анализа (the facet theory) Гуттмана (1957, 1968, 1978). Сначала определяются различные аспекты ос­новных конструктов, затем подбираются задачи и задания таким образом, чтобы был учтен каждый из этих аспектов. Вторая стратегия состоит в том, что задания подбираются на эмпирической основе. Например, если исследователь попытается создать тест профессиональных интересов, ко­торый бы позволял дифференцировать медиков от инжене­ров, то процедура должна быть такой. Обе группы респондентов должны ответить на все задания теста, и те пункты, в ответах на которые обнаружены статистически значимые различия, входят в окончательный вариант тес­та. Если, например, между группами существуют различия в ответах на утверждение «Я люблю ловить рыбу», то это утверждение становится элементом теста. Основным поло­жением этой книги является то, что тест связан с концеп­туальной или таксономической теорией, определяющей эти характеристики.

Назначение теста обычно определено в инструкции по его применению. Тест должен быть стандартизирован для того, чтобы с его помощью можно было оценить различия между людьми, а не между условиями тестирования. Суще­ствуют, однако, отклонения от стандартизации в процеду­рах, называемых «тестированием границ возможностей» (testing the limits) и «тесты оценки потенциальных возмож­ностей в обучении» (learning potential tests). В этих услови­ях респонденту оказывается помощь в процессе

тестирования и затем оценивается влияние такой процеду­ры на результат. Подсчет баллов за ответы на задания объ­ективен, т.е. осуществляется в соответствии со стандартной процедурой. Интерпретация полученных результатов так­же строго определена и осуществляется на основе тестовых норм.

Третий компонент психодиагностики - психологиче­ские тесты, инструменты, процедуры - содержит опреде­ленные задания, которые являются наименьшими единицами психодиагностики и в этом смысле задания ана­логичны фонемам языка. Число возможных сочетаний фо­нем ограничено. Лишь определенные фонематические структуры могут образовывать слова и предложения, обес­печивающие доведение информации до слушателя. Также и тестовые задания: лишь в определенном сочетании друг с другом они могут стать эффективным средством оценки соответствующего конструкта.

Что такое тестирование

В соответствие с IEEE Std 829-1983 Тестирование - это процесс анализа ПО, направленный на выявление отличий между его реально существующими и требуемыми свойствами (дефект) и на оценку свойств ПО.

По ГОСТ Р ИСО МЭК 12207-99 в жизненном цикле ПО определены среди прочих вспомогательные процессы верификации, аттестации, совместного анализа и аудита. Процесс верификации является процессом определения того, что программные продукты функционируют в полном соответствии с требованиями или условиями, реализованными в предшествующих работах. Данный процесс может включать анализ, проверку и испытание (тестирование). Процесс аттестации является процессом определения полноты соответствия установленных требований, созданной системы или программного продукта их функциональному назначению. Процесс совместного анализа является процессом оценки состояний и, при необходимости, результатов работ (продуктов) по проекту. Процесс аудита является процессом определения соответствия требованиям, планам и условиям договора. В сумме эти процессы и составляют то, что обычно называют тестированием.

Тестирование основывается на тестовых процедурах с конкретными входными данными, начальными условиями и ожидаемым результатом, разработанными для определенной цели, такой, как проверка отдельной программы или верификация соответствия на определенное требование. Тестовые процедуры могут проверять различные аспекты функционирования программы - от правильной работы отдельной функции до адекватного выполнения бизнес-требований.

При выполнении проекта необходимо учитывать, в соответствии с какими стандартами и требованиями будет проводиться тестирование продукта. Какие инструментальные средства будут (если будут) использоваться для поиска и для документирования найденных дефектов. Если помнить о тестировании с самого начала выполнения проекта, тестирование разрабатываемого продукта не доставит неприятных неожиданностей. А значит и качество продукта, скорее всего, будет достаточно высоким.

Жизненный цикл продукта и тестирование

Все чаще в наше время используются итеративные процессы разработки ПО, в частности, технология RUP - Rational Unified Process (Рис. 1). При использовании такого подхода тестирование перестает быть процессом «на отшибе», который запускается после того, как программисты написали весь необходимый код. Работа над тестами начинается с самого начального этапа выявления требований к будущему продукту и тесно интегрируется с текущими задачами. И это предъявляет новые требования к тестировщикам. Их роль не сводится просто к выявлению ошибок как можно полнее и как можно раньше. Они должны участвовать в общем процессе выявления и устранения наиболее существенных рисков проекта. Для этого на каждую итерацию определяется цель тестирования и методы ее достижения. А в конце каждой итерации определяется, насколько эта цель достигнута, нужны ли дополнительные испытания, и не нужно ли изменить принципы и инструменты проведения тестов. В свою очередь, каждый обнаруженный дефект должен пройти через свой собственный жизненный цикл.

Рис. 1. Жизненный цикл продукта по RUP

Тестирование обычно проводится циклами, каждый из которых имеет конкретный список задач и целей. Цикл тестирования может совпадать с итерацией или соответствовать ее определенной части. Как правило, цикл тестирования проводится для конкретной сборки системы.

Жизненный цикл программного продукта состоит из серии относительно коротких итераций (Рис. 2). Итерация - это законченный цикл разработки, приводящий к выпуску конечного продукта или некоторой его сокращенной версии, которая расширяется от итерации к итерации, чтобы, в конце концов, стать законченной системой.

Каждая итерация включает, как правило, задачи планирования работ, анализа, проектирования, реализации, тестирования и оценки достигнутых результатов. Однако соотношения этих задач может существенно меняться. В соответствие с соотношением различных задач в итерации они группируются в фазы. В первой фазе - Начало - основное внимание уделяется задачам анализа. В итерациях второй фазы - Разработка - основное внимание уделяется проектированию и опробованию ключевых проектных решений. В третьей фазе - Построение - наиболее велика доля задач разработки и тестирования. А в последней фазе - Передача - решаются в наибольшей мере задачи тестирования и передачи системы Заказчику.

Рис. 2. Итерации жизненного цикла программного продукта

Каждая фаза имеет свои специфические цели в жизненном цикле продукта и считается выполненной, когда эти цели достигнуты. Все итерации, кроме, может быть, итераций фазы Начало, завершаются созданием функционирующей версии разрабатываемой системы.

Категории тестирования

Тесты существенно различаются по задачам, которые с их помощью решаются, и по используемой технике.

Категории тестирования	Описание категории	Виды тестирования
Текущее тестирование	Набор тестов, выполняемый для определения работоспособности добавленных новых возможностей системы.	нагрузочное тестирование; тестирование бизнес циклов; стрессовое тестирование.
Регрессионное тестирование	Цель регрессионного тестирования заключается в проверке того, что добавления к системе не уменьшили ее возможностей, т.е. тестирование проводится согласно требованиям, которые уже были выполнены перед добавлением новых возможностей.	нагрузочное тестирование; тестирование бизнес циклов; стрессовое тестирование.

Подкатегории тестирования

Подкатегории тестирования	Описание вида тестирования	Подвиды тестирования
Нагрузочное тестирование	Применяется для тестирования всех без исключения функций приложения. В данном случае последовательность тестирования функций не имеет значения.	функциональное тестирование; тестирование интерфейса; тестирование БД
Тестирование бизнес циклов	Применяется для тестирования функций приложения в последовательности их вызова пользователем. Например, имитация всех действия бухгалтера за 1 квартал.	unit-тестирование (модульное тестирование); функциональное тестирование; тестирование интерфейса; тестирование БД.
Стрессовое тестирование	Применяется для тестирования Производительности приложения. Цель данного тестирования - определить рамки стабильной работы приложения. При данном тестирование производится вызов всех доступных функций.	unit-тестирование (модульное тестирование); функциональное тестирование; тестирование интерфейса; тестирование БД.

Виды тестирования

Unit-тестирование (модульное тестирование) - данный вид подразумевает тестирование отдельных модулей приложения. Для получения максимального результата тестирование проводится одновременно с разработкой модулей.

Функциональное тестирование - цель данного тестирования состоит в том, чтобы убедиться в надлежащем функционировании объекта тестирования. Тестируется правильность навигации по объекту, а также ввод, обработка и вывод данных.

Тестирование БД - проверка работоспособности БД при нормальной работе приложения, в моменты перегрузок и многопользовательском режиме.

Unit-тестирование

Для ООП обычная организация модульного тестирования заключается в тестировании методов каждого класса, затем класса каждого пакета и.т.д. Постепенно мы переходим к тестированию всего проекта, а предыдущие тесты носят вид регрессионных.

В выходную документацию данных тестов входят тестовые процедуры, входные данные, код, исполняющий тест, выходные данные. Далее представлен вид выходной документации.

Функциональное тестирование

Функциональное тестирование объекта тестирования планируется и проводится на основе требований к тестированию, заданных на этапе определения требований. В качестве требований выступают бизнес-правила, диаграммы use-case, бизнес-функции, а также при наличии, диаграммы активности. Цель функциональных тестов состоит в том, чтобы проверить соответствие разработанных графических компонентов установленным требованиям.

Данный вид тестирования не может быть полностью автоматизирован. Следовательно, он подразделяется на:

• Автоматизированное тестирование (будет использоваться в случае, где можно проверить выходную информацию).

Цель: протестировать ввод, обработку и вывод данных;

• Ручное тестирование (в остальных случаях).

Цель: тестируется правильность выполнения пользовательских требований.

Необходимо исполнить (проиграть) каждый из use-case, используя как верные значения, так и заведомо ошибочные, для подтверждения правильного функционирования, по следующим критериям:

• продукт адекватно реагирует на все вводимые данные (выводятся ожидаемые результаты в ответ на правильно вводимые данные);
• продукт адекватно реагирует на неправильно вводимые данные (появляются соответствующие сообщения об ошибках).

Тестирование БД

Цель данного тестирования - убедиться в надежности методов доступа к базам данных, в их правильном исполнении, без нарушения целостности данных.

Необходимо последовательно использовать максимально возможное число обращений к базе данных. Используется подход, при котором тест составляется таким образом, чтобы «нагрузить» базу последовательностью, как верных значений, так и заведомо ошибочных. Определяется реакция БД на ввод данных, оцениваются временные интервалы их обработки.

ГЛАВА 3. СТАТИСТИЧЕСКАЯ ОБРАБОТКА РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ

Статистическая обработка результатов тестирования позволяет с одной стороны, объективно определить результаты испытуемых, с другой – оценить качество самого теста, тестовых заданий, в частности оценить его надежность. Проблеме надежности уделено много внимания в классической теории тестов. Эта теория не потеряла своей актуальности и в настоящее время. Несмотря на появление, более современных теорий, классическая теория продолжает сохранять свои позиции.

3.1. ОСНОВНЫЕ ПОЛОЖЕНИЯ КЛАССИЧЕСКОЙ ТЕОРИИ ТЕСТОВ

3.2. МАТРИЦА РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ

3.3. ГРАФИЧЕСКОЕ ПРЕДСТАВЛЕНИЕ ТЕСТОВЫХ БАЛЛОВ

3.4. МЕРЫ ЦЕНТРАЛЬНОЙ ТЕНДЕНЦИИ

3.5. НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ

3.6. ДИСПЕРСИЯ ТЕСТОВЫХ БАЛЛОВ ИСПЫТУЕМЫХ

3.7. КОРРЕЛЯЦИОННАЯ МАТРИЦА

3.8. НАДЕЖНОСТЬ ТЕСТА

3.9. ВАЛИДНОСТЬ ТЕСТА

ЛИТЕРАТУРА

ОСНОВНЫЕ ПОЛОЖЕНИЯ КЛАССИЧЕСКОЙ ТЕОРИИ ТЕСТОВ

Создателем классической теории тестов (Classical Theory of mental tests) является известный британский психолог, автор факторного анализа, Чальз Эдвард Спирмен (Charles Edward Spearman) (1863-1945 г.) 1 . Он родился 10 сентября 1863 года, и четверть своей жизни прослужил в британской армии. По этой причине, степень доктора философии он получил только в возрасте 41 года 2 . Диссертационное исследование Ч.Спирмен выполнял в Лейпцигской лаборатории экспериментальной психологии под руководством Вильгельма Вундта (Wilhelm Wundt). В тот период на Ч.Спирмена сильное влияние оказали работы Фрэнсиса Гальтона (Francis Galton) по тестированию интеллекта человека. Учениками Ч.Спирмена были R.Cattell и D.Wechsler. В числе его последователей можно назвать A.Anastasi, J. P. Guilford, P.Vernon, C.Burt, A.Jensen.

Большой вклад в развитие классической теории тестов внес Льюис Гуттман (Louis Guttman, 1916-1987) 3 .

Всесторонне и полно классическая теория тестов впервые изложена в фундаментальном труде Гарольда Гулликсена (Gulliksen H., 1950 г.) 4 . С тех пор теория несколько видоизменялась, в частности совершенствовался математический аппарат. Классическая теория тестов в современном изложении приведена в книге Crocker L., Aligna J. (1986 г.) 5 . Из отечественных исследователей впервые описание этой теории дал В.Аванесов (1989 г.) 6 . В работе Челышковой М.Б. (2002 г.) 7 приведены сведения о статистическом обосновании качества теста.

Классическая теория тестов основывается на следующих пяти основных положениях.

1. Эмпирически полученный результат измерения (X) представляет собой сумму истинного результата измерения (T) и ошибки измерения (E) 8:

X = T + E (3.1.1)

Величины T и E обычно неизвестны.

2. Истинный результат измерения можно выразить как математическое ожидание E(X):

3. Корреляция истинных и ошибочных компонентов по множеству испытуемых равна нулю, то есть ρ TE = 0.

4. Ошибочные компоненты двух любых тестов не коррелируют:

5. Ошибочные компоненты одного теста не коррелируют с истинными компонентами любого другого теста:

Кроме этого, основу классической теории тестов составляют два определения – параллельных и эквивалентных тестов.

ПАРАЛЛЕЛЬНЫЕ тесты должны соответствовать требованиям (1-5), истинные компоненты одного теста (T 1) должны быть равны истинным компонентам другого теста (T 2) в каждой выборке испытуемых, отвечающих на оба теста. Предполагается, что T 1 =T 2 и, кроме того, равны дисперсии s 1 2 = s 2 2 .

Эквивалентные тесты должны соответствовать всем требованием параллельных тестов за исключением одного: истинные компоненты одного теста не обязательно должны равняться истинным компонентам другого параллельного теста, но отличаться они должны на одну и ту же константу с .

Условие эквивалентности двух тестов записывается в следующем виде:

где c 12 - константа различий результатов первого и второго тестов.

На основе приведенных положений построена теория надежности тестов 9,10 .

то есть, дисперсия полученных тестовых баллов равна сумме дисперсий истинных и ошибочных компонентов.

Перепишем это выражение в следующем виде:

(3.1.3)

Правая часть этого равенства представляет собой надежность теста (r ). Таким образом надежность теста можно записать в виде:

На основе этой формулы в последующем были предложены различные выражения для нахождения коэффициента надежности теста. Надежность теста представляет собой его важнейшую характеристику. Если неизвестна надежность, то результаты тестирования невозможно интерпретировать. Надежность теста характеризует его точность как измерительного инструмента. Высокая надежность означает высокую повторяемость результатов тестирования в одинаковых условиях.

В классической теории тестов важнейшей проблемой является определение истинного тестового балла испытуемого (T). Эмпирический тестовый балл (X) зависит от многих условий – уровня трудности заданий, уровня подготовленности испытуемых, количества заданий, условий проведения тестирования и т.д. В группе сильных, хорошо подготовленных испытуемых, результаты тестирования будут как правило, лучше,. чем в группе слабо подготовленных испытуемых. В этой связи остается открытым вопрос о величине меры трудности заданий на генеральной совокупности испытуемых. Проблема заключается в том, что реальные эмпирические данные получают на вовсе не случайных выборках испытуемых. Как правило, это учебные группы, представляющие собой множество учащихся достаточно сильно взаимодействующих между собой в процессе учения и обучающиеся в условиях, часто не повторяющихся для других групп.

Найдем s E из уравнения (3.1.4)

Здесь в явной форме показана зависимость точности измерения от величины стандартного отклонения s X и от надежности теста r .

Области применения, цели и задачи тестирования ПО разнообразны, поэтому тестирование оценивается и объясняется по-разному. Иногда и самим тестировщикам бывает сложно объяснить, что такое тестирование ПО "as is". Возникает путаница.

Для распутывания этой путаницы Алексей Баранцев (практик, тренер и консалтер в тестировании ПО; выходец из Института системного программирования Российской академии наук) предваряет свои тренинги по тестированию вводным видео про основные положения тестирования.

Мне кажется, что в этом докладе лектор смог наиболее адекватно и взвешенно объяснить «что такое тестирование» с точки зрения ученого и программиста. Странно, что этот текст еще не появлялся на хабре.

Привожу здесь сжатый пересказ этого доклада. В конце текста есть линки на полную версию, а также на упомянутое видео.

Основные положения тестирования

Уважаемые коллеги,

Сначала попробуем понять, чем тестирование НЕ является.

Тестирование не разработка ,

Даже если тестировщики умеют программировать, в том числе и тесты (автоматизация тестирование = программирование), могут разрабатывать какие-то вспомогательные программы (для себя).

Тем не менее, тестирование - это не деятельность по разработке программного обеспечения.

Тестирование не анализ ,

И не деятельность по сбору и анализу требований.

Хотя, в процессе тестирования иногда приходится уточнять требования, а иногда приходится их анализировать. Но эта деятельность не основная, скорее, это приходится делать просто по необходимости.

Тестирование не управление ,

Несмотря на то, что во многих организациях есть такая роль, как «тест-менеджер». Конечно же, тестировщиками надо управлять. Но само по себе тестирование управлением не является.

Тестирование не техписательство ,

Однако тестировщикам приходится документировать свои тесты и свою работу.

Тестирование нельзя считать ни одной из этих деятельностей просто потому, что в процессе разработки (или анализа требований, или написания документации для своих тестов) всю эту работу тестировщики делают для себя , а не для кого-то другого.

Деятельность значима только тогда, когда она востребована, то есть тестировщики должны что-то производить «на экспорт». Что они делают «на экспорт»?

Дефекты, описания дефектов, или отчеты о тестировании? Частично это правда.

Но это не вся правда.

Главная деятельность тестировщиков

заключается в том, что они предоставляют участникам проекта по разработке программного обеспечения отрицательную обратную связь о качестве программного продукта.

«Отрицательная обратная связь» не несет какой-то негативный оттенок, и не означает, что тестировщики делают что-то плохое, или что они делают что-то плохо. Это просто технический термин, который обозначает достаточно простую вещь.

Но эта вещь очень значимая, и, наверное, единственная наиболее значимая составляющая деятельности тестировщиков.

Существует наука - «теория систем ». В ней определяется такое понятие как «обратная связь».

«Обратная связь» это некоторые данные, которые с выхода попадают обратно на вход, или какая-то часть данных, которые с выхода попадают обратно на вход. Эта обратная связь может быть положительной и отрицательной.

И та, и другая разновидности обратной связи равноценно важны.

В разработке программных систем положительной обратной связью, конечно же, является какая-то информация, которую мы получаем от конечных пользователей. Это запросы на какую-то новую функциональность, это увеличение объема продаж (если мы выпускаем качественный продукт).

Отрицательная обратная связь тоже может поступать от конечных пользователей в виде каких-то негативных отзывов. Либо она может поступать от тестировщиков.

Чем раньше предоставляется отрицательная обратная связь, тем меньше энергии необходимо для модификации этого сигнала. Именно поэтому тестировать нужно начинать как можно раньше, на самых ранних стадиях проекта, и предоставлять эту обратную связь и на этапе проектирования, и еще, может быть, раньше, еще на этапе сбора и анализа требований.

К слову, отсюда и произрастает понимание того, что тестировщики не отвечают за качество. Они помогают тем, кто за него отвечает.

Синонимы термина «тестирование»

С точки зрения того, что тестирование - это предоставление отрицательной обратной связи, всемирно известная аббревиатура QA (англ. Quality Assurance - Обеспечение качества) синонимом термина «тестирование» уж совершенно точно НЕ является.

Нельзя считать обеспечением качества простое предоставление отрицательной обратной связи, ведь Обеспечение - это некоторые позитивные меры. Подразумевается, что в этом случае мы именно обеспечиваем качество, своевременно предпринимаем какие-то меры для того, чтобы качество разработки ПО повысилось.

А вот «контроль качества» - Quality Control, можно считать в широком смысле синонимом для термина «тестирование», потому что контроль качества это и есть предоставление обратной связи в самых разных ее разновидностях, на самых разных этапах программного проекта.

Иногда тестирование подразумевается как некоторая отдельная форма контроля качества.

Путаница приходит из истории развития тестирования. В разное время под термином «тестирование» подразумевались различные действия, которые можно разделить на 2 больших класса: внешние и внутренние.

Внешние определения

Определения, которые в разное время дали Майерс, Бейзер, Канер, описывают тестирование как раз с точки зрения его ВНЕШНЕЙ значимости. То есть, с их точки зрения, тестирование - это деятельность, которая предназначена ДЛЯ чего-то, а не состоит из чего-то. Все три этих определения можно обобщить как предоставление отрицательной обратной связи.

Внутренние определения

Это определения, которые приведены в стандарт терминологии, используемой в программной инженерии, например, в стандарт де-факто, который называется SWEBOK.

Такие определения конструктивно объясняют, ЧТО представляет из себя деятельность по тестированию, но не дают ни малейшего представления о том, ДЛЯ ЧЕГО нужно тестирование, для чего потом будут использоваться все полученные результаты проверки соответствия между реальным поведением программы и ее ожидаемым поведением.

тестирование - это

• проверка соответствия программы требованиям,
• осуществляемая путем наблюдения за ее работой
• в специальных, искусственно созданных ситуациях, выбранных определенным образом.

Отсюда и далее будем считать это рабочим определением «тестирования».

Общая схема тестирования примерно следующая:

1. Тестировщик на входе получает программу и/или требования.
2. Он с ними что-то делает, наблюдает за работой программы в определенных, искуственно созданных им ситуациях.
3. На выходе он получает информацию о соответствиях и несоответствиях.
4. Далее эта информация используется для того, чтобы улучшить уже существующую программу. Либо для того, чтобы изменить требования к еще только разрабатываемой программе.

Что такое тест

• Это специальная, искусственно созданная ситуация, выбранная определенным образом,
• и описание того, какие наблюдения за работой программы нужно сделать
• для проверки ее соответствия некоторому требованию.

Не нужно считать, что ситуация – это нечто одномоментное. Тест может быть достаточно длинным, например, при тестировании производительности вот эта искусственно созданная ситуация это может быть продолжающаяся в течение достаточно продолжительного времени нагрузка на систему. А наблюдения, которые нужно при этом делать, это набор различных графиков или метрик, которые мы измеряем в процессе выполнения этого теста.

Разработчик тестов занимается тем, что он из огромного потенциально бесконечного набора тестов выбирает некоторый ограниченный набор.

Ну и таким образом мы можем заключить, что тестировщик делает в процессе тестирования две вещи.

1.Во-первых, он управляет выполнением программы и создает эти самые искусственные ситуации, в которых мы собираемся проверять поведение программы.

2.И, во-вторых, он наблюдает за поведением программы и сравнивает то, что он видит с тем, что ожидается.

Если тестировщик автоматизирует тесты, то он не сам наблюдает за поведением программы - он делегирует эту задачу специальному инструменту или специальной программе, которую он сам написал. Именно она наблюдает, она сравнивает наблюдаемое поведение с ожидаемым, а тестировщику выдает только некоторый конечный результат - совпадает ли наблюдаемое поведение с ожидаемым, или не совпадает.

Любая программа представляет собой механизм по переработке информации. На вход поступает информация в каком-то одном виде, на выходе информация в некотором другом виде. При этом входов и выходов у программы может быть много, они могут быть разными, то есть у программы может быть несколько разных интерфейсов, и эти интерфейсы могут иметь разные виды:

• Пользовательский интерфейс (UI)
• Программный интерфейс (API)
• Сетевой протокол
• Файловая система
• Состояние окружения
• События

Наиболее распространенные интерфейсы это

• пользовательский,
• графический,
• текстовый,
• консольный,
• и речевой.

Используя все эти интерфейсы, тестировщик:

• каким-то образом создает искусственные ситуации,
• и проверяет в этих ситуациях как программа себя ведет.

Вот это и есть тестирование.

Другие классификации видов тестирования

Чаще всего используется разбиение на три уровня, это

1. модульное тестирование,
2. интеграционное тестирование,
3. системное тестирование.

Под модульным тестированием обычно подразумевается тестирование на достаточно низком уровне, то есть тестирование отдельных операций, методов, функций.

Под системным тестированием подразумевается тестирование на уровне пользовательского интерфейса.

Иногда используются также некоторые другие термины, такие, как «компонентное тестирование», но я предпочитаю выделять именно эти три, по причине того, что технологическое разделение на модульное и системное тестирование не имеет большого смысла. На разных уровнях могут использоваться одни и те же инструменты, одни и те же техники. Разделение условно.

Практика показывает, что инструменты, которые позиционируются производителем как инструменты модульного тестирования, с равным успехом могут применяться и на уровне тестирования всего приложения в целом.

А инструменты, которые тестируют все приложение в целом на уровне пользовательского интерфейса иногда хотят заглядывать, например, в базу данных или вызывать там какую-то отдельную хранимую процедуру.

То есть разделение на системное и модульное тестирование вообще говоря чисто условное, если говорить с технической точки зрения.

Используются одни и те же инструменты, и это нормально, используются одни и те же техники, на каждом уровне можно говорить о тестировании различного вида.

Комбинируем:

То есть, можно говорить о модульном тестировании функциональности.

Можно говорить о системном тестировании функциональности.

Можно говорить о модульном тестировании, например, эффективности.

Можно говорить о системном тестировании эффективности.

Либо мы рассматриваем эффективность какого-то отдельно взятого алгоритма, либо мы рассматриваем эффективность всей системы в целом. То есть технологическое разделение на модульное и системное тестирование не имеет большого смысла. Потому что на разных уровнях могут использоваться одни и те же инструменты, одни и те же техники.

Наконец, при интеграционном тестировании мы проверяем, если в рамках какой-то системы модули взаимодействуют друг с другом корректно. То есть, мы фактически выполняем те же самые тесты, что и при системном тестировании, только еще дополнительно обращаем внимание на то, как именно модули взаимодействуют между собой. Выполняем некоторые дополнительные проверки. Это единственная разница.

Давайте еще раз попытаемся понять разницу между системным и модульным тестированием. Поскольку такое разделение встречается достаточно часто, эта разница должна быть.

И разница эта проявляется тогда, когда мы выполняем не технологическую классификацию, а классификацию по целям тестирования.

Классификацию по целям удобно выполнять с использованием «магического квадрата», который был изначально придуман Брайаном Мариком и потом улучшен Эри Тенненом.

В этом магическом квадрате все виды тестирования располагаются по четырем квадрантам в зависимости от того, чему в этих тестах больше уделяется внимания.

По вертикали - чем выше располагается вид тестирования, тем больше внимания уделяется некоторым внешним проявлениям поведения программы, чем ниже он находится, тем больше мы внимания уделяем ее внутреннему технологическому устройству программы.

По горизонтали - чем левее находятся наши тесты, тем больше внимания мы уделяем их программированию, чем правее они находятся, тем больше внимания мы уделяем ручному тестированию и исследованию программы человеком.

В частности, в этот квадрат можно легко вписать такие термины как приемочное тестирование, Acceptance Testing, модульное тестирование именно в том понимании, в котором оно чаще всего употребляется в литературе. Это низкоуровневое тестирование с большой, с подавляющей долей программирования. То есть это все тесты программируются, полностью автоматически выполняются и внимание уделяется в первую очередь именно внутреннему устройству программы, именно ее технологическим особенностям.

В правом верхнем углу у нас окажутся ручные тесты, нацеленные на внешнее какое-то поведение программы, в частности, тестирование удобства использования, а в правом нижнем углу у нас, скорее всего, окажутся проверки разных нефункциональных свойств: производительности, защищенности и так далее.

Так вот, исходя из классификации по целям, модульное тестирование у нас оказывается в левом нижнем квадранте, а все остальные квадранты - это системное тестирование.

Спасибо за внимание.