Когнитивное предварительное тестирование - Cognitive pretesting

Когнитивное предварительное тестирование, или же когнитивное интервью, это полевые исследования метод, при котором собираются данные о том, как испытуемый отвечает на вопросы интервью. Это оценка теста или вопросника перед его проведением.[1] Это позволяет исследователям опроса собирать отзывы об ответах на опрос и используется для оценки того, измеряет ли вопрос конструкцию, которую предполагает исследователь. Собранные данные затем используются для корректировки проблемных вопросов в анкете перед тем, как провести опрос среди всей выборки людей.[2][3][4][5][6]

Когнитивное интервью обычно собирает от участников следующую информацию: оценки того, как испытуемый построил свои ответы; объяснения того, что субъект интерпретирует значение вопросов; сообщение о любых трудностях, с которыми испытуемый отвечал на вопросы; и все остальное, что раскрывает обстоятельства ответам испытуемого.

Когнитивное предварительное тестирование считается важным при проверке достоверности интервью, теста или анкеты.[7]

Цель

Целью этих предварительных испытаний является:

  • убедитесь, что тест или собеседование понятны
  • решить любые проблемы, которые могли возникнуть у участников при тестировании
  • измерить внимание участников и их любопытство к вопросам
  • измерить шкалу ответов (например: используется ли вся шкала или ответы слишком сильно различаются)
  • оценить порядок вопросов и другие эффекты контекста
  • проблемы с интервьюерами
  • устраните любые технические проблемы с тестом (например, глюки с какой-либо технологией или грамматические ошибки)
  • и сколько времени нужно для прохождения теста или собеседования. [1][4][8][6]

Типы

В целом, при проведении когнитивного предварительного тестирования практикуются многие методы. Включая: обычное предварительное тестирование, когнитивное интервью, кодирование поведения, опрос респондентов, групповое обсуждение, экспертный обзор, отслеживание взглядов и веб-зондирование.[1]

Обычное предварительное тестирование-Это похоже на репетицию, которая пытается имитировать и моделировать то, что будет похоже на настоящий тест или интервью. Имитация реального теста или собеседования, которое проводится до настоящего. Какой бы метод ни использовался в реальном собеседовании или тесте, следует использовать в этом методе предварительного тестирования.[1][9]

Когнитивное предварительное тестирование (когнитивное интервью)- очень похоже на обычное предварительное тестирование. Однако участникам активно задают вопросы во время прохождения теста. Это проводится во время собеседования или теста. [1][6]

Они также могут быть представлены разными способами, в том числе: письменные опросы, устные опросы, электронные опросы.[10]

Методы

Существуют определенные методы, которые интервьюер применяет в когнитивном предварительном тестировании для извлечения информации, необходимой для проведения хорошего интервью или анкеты.

Техника мыслей вслух Это происходит, когда интервьюер просит интервьюируемого озвучить свои мысли и то, как они пришли к своему ответу. Это может быть одновременное (во время) или ретроспективное (после) интервью. [1][11]

Техника зондирования- Это происходит, когда интервьюер задает интервьюируемому один или несколько дополнительных вопросов. Они «исследуют» задаваемые вопросы, используемую терминологию или даже ответы. [1][11]

Перефразируя- Это происходит, когда интервьюер просит интервьюируемого повторить вопрос своими словами. Это проверка, чтобы убедиться, что вопросы понятны. [1]

Рейтинг уверенности- Это происходит, когда интервьюер спрашивает интервьюируемого об их уверенности в том, насколько правильно он ответил на вопрос. [1]

Сортировка- Это происходит, когда интервьюер спрашивает интервьюируемого или пытается понять, как интервьюируемый классифицирует определенные ситуации или даже термины. [1]

Участники и набор

Размер выборки - очень важная тема в предварительных тестах. Обычны небольшие выборки из 5-15 участников. Однако лучше всего, если размер выборки будет не менее 30 человек. Больше всегда лучше. [12]

Наличие небольшого образца может привести к тому, что проблемы в тесте не будут обнаружены.

Есть два разных метода рассказать участникам об анкете: предварительное тестирование с участием участников и необъявленное предварительное тестирование.[4]

Участвуя в предварительных тестах, они должны убедиться, что участники знают, что тест, который они выполняют, - это просто тренировка. Это используется в основном в технике зондирования и обдумывания вслух или когнитивном предварительном тестировании и интервью.[4]

необъявленные предварительные тесты - это тесты, в которых участники не знают, что это пробный запуск. Это больше всего похоже на обычное предварительное тестирование. Если в одном исследовании проводится более одного предварительного тестирования, рекомендуется сначала проводить предварительное тестирование, а затем - не объявленное вторым. [4][6]

Использование исследователями опросов

Когнитивные собеседования регулярно практикуются федеральными агентствами США, в том числе Бюро переписи населения,[13] Национальный центр статистики здравоохранения [14] и Бюро статистики труда.[15]

Рекомендации

  1. ^ а б c d е ж грамм час я j Ленцнер, Тимо; Нойерт, Корнелия; Отто, Ванда (2016). «Претестинг когнитивов». Руководство Gesis Survey. Дои:10.15465 / gesis-sg_en_010.
  2. ^ Тилли, Барбара С .; LaPelle, Nancy R .; Goetz, Christopher G .; Стеббинс, Гленн Т. (2014). «Использование когнитивного предварительного тестирования в развитии шкалы для болезни Паркинсона: пример унифицированной шкалы оценки болезни Паркинсона Общества двигательных расстройств (MDS-UPDRS)». Журнал болезни Паркинсона. 4 (3): 395–404. Дои:10.3233 / JPD-130310. ISSN  1877-7171. ЧВК  5086096. PMID  24613868.
  3. ^ «Предварительное тестирование - Рекомендации по межкультурному опросу». ccsg.isr.umich.edu. Получено 2020-07-18.
  4. ^ а б c d е "Writing @ CSU". Writing.colostate.edu. Получено 2020-07-18.
  5. ^ Гримм, Памела (2010), «Предварительное тестирование анкеты», Международная энциклопедия маркетинга Wiley, Американское онкологическое общество, Дои:10.1002 / 9781444316568.wiem02051, ISBN  978-1-4443-1656-8
  6. ^ а б c d ВОЙКУ, МИРЕЛА-КРИСТИНА. «АНКЕТЫ ПРЕТЕСТИРОВАНИЯ В МАРКЕТИНГОВЫХ ИССЛЕДОВАНИЯХ». Цитировать журнал требует | журнал = (помощь)
  7. ^ "GESIS - Институт социальных наук имени Лейбница". www.gesis.org. Получено 2020-07-18.
  8. ^ "Writing @ CSU". Writing.colostate.edu. Получено 2020-07-18.
  9. ^ Ху, Шу (2014), «Предварительное тестирование», в Michalos, Alex C. (ed.), Энциклопедия исследований качества жизни и благополучия, Дордрехт: Springer, Нидерланды, стр. 5048–5052, Дои:10.1007/978-94-007-0753-5_2256, ISBN  978-94-007-0753-5
  10. ^ "Writing @ CSU". Writing.colostate.edu. Получено 2020-07-18.
  11. ^ а б Тилли, Барбара С .; LaPelle, Nancy R .; Goetz, Christopher G .; Стеббинс, Гленн Т. (2014). «Использование когнитивного предварительного тестирования в развитии шкалы для болезни Паркинсона: пример унифицированной шкалы оценки болезни Паркинсона Общества двигательных расстройств (MDS-UPDRS)». Журнал болезни Паркинсона. 4 (3): 395–404. Дои:10.3233 / JPD-130310. ISSN  1877-7171. ЧВК  5086096. PMID  24613868.
  12. ^ Perneger, Thomas V .; Курвуазье, Дельфина С .; Hudelson, Patricia M .; Гайе-Ажерон, Анжель (01.01.2015). «Размер выборки для предварительного тестирования анкет». Исследование качества жизни. 24 (1): 147–151. Дои:10.1007 / s11136-014-0752-2. ISSN  1573-2649. PMID  25008261. S2CID  22314144.
  13. ^ Вирджил, Кац, Таттл, Терри, Грабер (2019). «Когнитивное предварительное тестирование модулей американского жилищного обследования 2019 года». Бюро переписи населения США. Получено 2020-05-20.CS1 maint: несколько имен: список авторов (ссылка на сайт)
  14. ^ «Q-Bank - узнайте о стандартах когнитивного собеседования OMB». wwwn.cdc.gov. Получено 2020-05-20.
  15. ^ К., Шварц, Лиза. «Исследование использования времени в Америке: предварительное когнитивное тестирование: ежемесячный обзор труда: Бюро статистики труда США». www.bls.gov. Получено 2020-05-27.