Срок действия теста - Test validity

Срок действия теста степень, в которой тест (например, химический, физический, или же учебный тест ) точно измеряет то, что предполагается измерить. В полях психологическое тестирование и образовательное тестирование, «валидность относится к степени, в которой доказательства и теория поддерживают интерпретацию результатов тестов в результате предполагаемого использования тестов».[1] Хотя классические модели разделили концепцию на различные «валидности» (например, Содержание действия, критерий действительности, и конструировать действительность ),[2] в настоящее время преобладает точка зрения, согласно которой действительность - это единая унитарная конструкция.[3]

Валидность обычно считается самым важным вопросом в психологическом и образовательном тестировании.[4] потому что это касается значения результатов тестирования.[3] Хотя многие учебники представляют достоверность как статическую конструкцию,[5] Со времени первых опубликованных рекомендаций по построению психологических и педагогических тестов возникли различные модели валидности.[6] Эти модели можно разделить на две основные группы: классические модели, которые включают несколько типов валидности, и современные модели, которые представляют валидность как единую конструкцию. Современные модели реорганизуют классические «валидности» в «аспекты» валидности.[3] или «типы» доказательств, подтверждающих действительность[1]

Валидность теста может быть проверена / подтверждена с помощью тестов межэкспертная надежность, внутриэкспертная надежность, повторяемость (надежность повторного тестирования) и другие характеристики, обычно через несколько запусков теста, результаты которых сравниваются. статистический анализ помогает определить, являются ли различия между различными результатами достаточно большими, чтобы стать проблемой, или приемлемо малыми.

Историческое прошлое

Хотя психологи и педагоги знали о нескольких аспектах обоснованности до Второй мировой войны, их методы установления достоверности обычно ограничивались корреляции результатов тестов с некоторым известным критерием.[7] Под руководством Ли Кронбах, 1954 г. Технические рекомендации по психологическим тестам и диагностическим методам[6] попытался прояснить и расширить сферу действия, разделив ее на четыре части: (а) одновременное действие, (б) прогностическая достоверность, (в) Содержание действия, и (г) конструировать действительность. Последующая публикация Кронбаха и Мила[8] сгруппировали предсказательную и параллельную валидность в «критериальную ориентацию», которая в конечном итоге стала критерий действительности.

В течение следующих четырех десятилетий многие теоретики, включая самого Кронбаха,[9] выразили свое недовольство этой моделью достоверности три в одном.[10][11][12] Их аргументы завершились Самуэля Мессика Статья 1995 года, описывающая валидность как единую конструкцию, состоящую из шести «аспектов».[3] По его мнению, для различных выводов, сделанных на основе результатов тестов, могут потребоваться разные типы доказательств, но не разные значения их достоверности.

1999 год Стандарты образовательного и психологического тестирования[1] в значительной степени кодифицированная модель Мессика. Они описывают пять типов подтверждающих валидность свидетельств, которые включают каждый из аспектов Мессика, и не упоминают о содержании, критериях и конструктивных валидностях классических моделей.

Процесс проверки

Согласно Стандарты 1999 г.,[1] валидация - это процесс сбора доказательств, обеспечивающих «прочную научную основу» для интерпретации результатов, предложенных разработчиком теста и / или пользователем теста. Таким образом, валидация начинается с структуры, которая определяет объем и аспекты (в случае многомерных шкал) предлагаемой интерпретации. Структура также включает рациональное обоснование, связывающее интерпретацию с рассматриваемым тестом.

Затем исследователи валидности перечисляют ряд предложений, которые должны быть выполнены, чтобы интерпретация была валидной. Или, наоборот, они могут составить список вопросов, которые могут поставить под угрозу обоснованность интерпретаций. В любом случае исследователи приступают к сбору доказательств - будь то оригинальное эмпирическое исследование, метаанализ или обзор существующей литературы, или логический анализ проблем - чтобы поддержать или подвергнуть сомнению предложения интерпретации (или угрозы валидности интерпретации). . Акцент делается на качестве, а не количестве доказательств.

Для единственной интерпретации любого результата теста может потребоваться, чтобы несколько утверждений были верными (или может быть поставлено под сомнение любой из множества угроз его действительности). Убедительные доказательства в поддержку одного утверждения не уменьшают требования в поддержку других утверждений.

Доказательства, подтверждающие (или ставящие под сомнение) обоснованность интерпретации, можно разделить на одну из пяти категорий:

  1. Доказательства, основанные на содержании теста
  2. Доказательства, основанные на процессах реагирования
  3. Доказательства, основанные на внутренней структуре
  4. Доказательства, основанные на отношениях с другими переменными
  5. Доказательства, основанные на последствиях тестирования

Методы сбора доказательств каждого типа следует использовать только в том случае, если они дают информацию, которая поддерживает или ставит под сомнение утверждения, необходимые для рассматриваемой интерпретации.

Каждое свидетельство наконец объединяется в аргумент о достоверности. Аргумент может потребовать пересмотра теста, протокола его администрирования или теоретических построений, лежащих в основе интерпретаций. Если тест и / или интерпретация результатов каким-либо образом пересматриваются, новый процесс проверки должен собрать доказательства для поддержки новой версии.

Смотрите также

Рекомендации

  1. ^ а б c d Американская ассоциация исследований в области образования, Американская психологическая ассоциация и Национальный совет по измерениям в образовании. (1999) Стандарты образовательного и психологического тестирования. Вашингтон, округ Колумбия: Американская ассоциация исследований в области образования.
  2. ^ Гион Р. М. (1980). О тринитарных доктринах действительности. Профессиональная психология, 11, 385-398.
  3. ^ а б c d Мессик, С. (1995). Достоверность психологической оценки: подтверждение выводов, сделанных на основе ответов и действий людей, в качестве научного исследования значения баллов. Американский психолог, 50 лет, 741-749.
  4. ^ Попхэм, У. Дж. (2008). Все об оценке / Непонятый Грааль. Образовательное лидерство, 66(1), 82-83.
  5. ^ См. Отличный текст: Nitko, J.J., Brookhart, S.M. (2004). Образовательная оценка студентов. Река Аппер Сэдл, Нью-Джерси: Меррил-Прентис Холл.
  6. ^ а б Американская психологическая ассоциация, Американская ассоциация исследований в области образования и Национальный совет по измерениям в образовании. (1954). Технические рекомендации по психологическим тестам и диагностическим методикам. Вашингтон, округ Колумбия: Ассоциация.
  7. ^ Ангофф, В. Х. (1988). Действительность: развивающаяся концепция. В Х. Вайнер И Х. Браун (ред.), Срок действия теста (стр. 19-32). Хиллсдейл, Нью-Джерси: Лоуренс Эрлбаум.
  8. ^ Cronbach, L. J., & Meehl, P. E. (1955). Постройте валидность в психологических тестах. Психологический вестник, 52, 281-302.
  9. ^ Кронбах, Л. Дж. (1969). Утверждение воспитательных мероприятий. Труды Приглашающей конференции 1969 г. по задачам тестирования. Принстон, Нью-Джерси: Служба образовательного тестирования, 35-52.
  10. ^ Loevinger, J. (1957). Объективные тесты как инструменты психологической теории. Психологические отчеты, 3, 634-694.
  11. ^ Тенопир, М. Л. (1977). Путаница в построении содержания. Психология персонала, 30, 47-54.
  12. ^ Гион Р. М. (1977). Достоверность содержания - источник моего недовольства. Прикладное психологическое измерение, 1, 1-10.