Оценка на основе консенсуса - Consensus-based assessment

Оценка на основе консенсуса расширяет общую практику принятие консенсусных решений и теоретическое наблюдение о том, что опыт может быть точно оценен большим количеством новичков или мастеров. Создает метод определения эталоны для очень неоднозначных областей знаний, таких как Эмоциональный интеллект, политика, религия, ценности и культура в целом. С этой точки зрения общие знания, формирующие культурный консенсус, можно оценивать во многом так же, как опыт или общий интеллект.

Стандарты измерения общего интеллекта

Оценка на основе консенсуса основана на простом выводе: выборки лиц с разной компетенцией (например, экспертов и учеников) оценивают соответствующие сценарии, используя Весы Лайкерта, с похожими средними рейтингами. Таким образом, с точки зрения структуры CBA, культурные стандарты для балльных ключей могут быть получены от оцениваемой совокупности. Питер Легри и Джозеф Псотка, работая вместе на протяжении последних десятилетий, предложили, чтобы психометрический грамм можно ненавязчиво измерить с помощью шкал, подобных опросу, требующей суждений. Здесь можно использовать либо балл отклонения для каждого человека из группы, либо среднее значение эксперта; или Корреляции Пирсона между их суждениями и групповым средним. Эти две техники прекрасно сочетаются друг с другом. Легри и Псотка впоследствии создали шкалы, которые просили людей оценить частоту слов; судить о бинарных вероятностях хорошего продолжения; определить значение знаний; и приблизительное распределение занятости. Пункты были тщательно определены, чтобы избежать объективной референции, и поэтому шкалы требовали от респондентов высказывать суждения, которые выставлялись в соответствии с широко разработанными согласованными стандартами. Эффективность этой батареи оценок коррелировала приблизительно 0,80 с обычными психометрическими показателями. грамм. Ключи ответа были получены согласованно. В отличие от вопросов по математике или физике, выбор предметов, сценариев и вариантов для оценки психометрических грамм руководствовались примерно теорией, которая подчеркивала комплексное суждение, но явные ключи были неизвестны до тех пор, пока не были сделаны оценки: они были определены на основе среднего значения ответов каждого с использованием оценок отклонений, корреляций или факторных оценок.

Стандарты измерения культурных знаний

Один из способов понять связь между экспертными знаниями и консенсусом - это учесть, что для многих областей производительности экспертиза в значительной степени отражает знания, полученные из опыта. Поскольку новички, как правило, имеют меньше опыта, их мнения ошибаются в разных направлениях. Однако по мере накопления опыта мнения подмастерьев и экспертов становятся более последовательными. Согласно этой точке зрения, ошибки случайны. Таким образом, рейтинговые данные, собранные из больших выборок респондентов с разным опытом, можно использовать для приблизительного расчета средних оценок, которые могло бы дать значительное число экспертов, если бы было много экспертов. Поскольку стандартное отклонение среднего будет приближаться к нулю по мере того, как количество наблюдений станет очень большим, оценки, основанные на группах различной компетентности, предоставят сходящиеся оценки наилучших стандартов эффективности. Средства ответов этих групп могут быть использованы для создания эффективных оценок рубрики, или стандарты измерения для оценки производительности. Этот подход особенно актуален для оценки субъективных областей знаний, которые масштабируются с использованием шкал ответов Лайкерта, и этот подход был применен для разработки стандартов оценки для нескольких областей, в которых мало экспертов.

Результаты экспериментов

На практике анализы продемонстрировали высокий уровень конвергенции между экспертными стандартами и стандартами CBA, при этом значения, количественно определяющие эти стандарты, сильно коррелируют (Пирсон рs в диапазоне от 0,72 до 0,95), и оценки, основанные на этих стандартах, также сильно коррелировали (рs в диапазоне от 0,88 до 0,99) при условии, что размер выборки в обеих группах велик (Legree, Psotka, Tremble & Bourne, 2005). Эта конвергенция между оценками CBA и оценками экспертов и соответствующими данными о валидности указывает на то, что CBA и оценка на основе экспертов могут использоваться взаимозаменяемо при условии, что данные рейтингов собираются с использованием больших выборок экспертов, новичков или подмастерьев.

Факторный анализ

CBA часто вычисляется с использованием метода Пирсона. р соотношение каждого человека Шкала Лайкерта суждения по набору пунктов против среднего суждения всех людей по тем же самым пунктам. Тогда корреляция является мерой близости этого человека к консенсусу. Иногда он также рассчитывается как стандартизированный балл отклонения от согласованных средних значений групп. Эти две процедуры математически изоморфны. Если культура считается общим знанием; а среднее значение оценок группы в определенной области знаний считается мерой культурного консенсуса в этой области; затем обе процедуры оценивают CBA как меру понимания культуры отдельным человеком.

Однако может случиться так, что консенсус не распределяется равномерно по всем подчиненным элементам по теме. Возможно, содержание элементов знаний распределено по доменам с различным консенсусом. Например, консерваторы, являющиеся либертарианцами, могут иначе относиться к вторжению в частную жизнь, чем консерваторы, которые серьезно относятся к закону и порядку. Фактически, стандартный факторный анализ ставит этот вопрос на первый план.

В центроиде или анализ основных компонентов (PCA) оценки первого фактора создаются путем умножения каждой оценки на корреляцию фактора (обычно среднего значения всех стандартизованных оценок для каждого человека) с оценками каждого элемента. Это умножение взвешивает каждый элемент на основе корреляции модели индивидуальных различий по каждому пункту (оценки компонентов). Если консенсус по этим вопросам распределен неравномерно, некоторые вопросы могут быть больше сосредоточены на общих вопросах общего фактора. Если элемент сильно коррелирует с характером общих индивидуальных различий, то он имеет больший вес в общих оценках факторов. Это взвешивание неявно также взвешивает балл CBA, поскольку именно те элементы, которые имеют общий шаблон консенсуса CBA, имеют больший вес в факторном анализе.

Транспонированный или Q методология факторный анализ, сделано Уильям Стивенсон (психолог) явно демонстрирует это отношение. Оценки CBA статистически изоморфны оценкам компонентов в PCA для анализа Q-фактора. Они являются загрузкой ответов каждого человека на среднее значение ответов всех людей. Таким образом, анализ Q-фактора может обеспечить превосходную меру CBA, если его можно использовать сначала для выбора людей, которые представляют доминирующее измерение, по сравнению с элементами, которые лучше всего представляют измерение подчиненных атрибутов области (например, либерализм в политической области). Факторный анализ может затем предоставить CBA отдельных лиц вдоль этой конкретной оси домена.

На практике, когда элементы нелегко создать и упорядочить для обеспечения высоконадежной шкалы, анализ Q-фактора не нужен, поскольку исходный факторный анализ должен также выбирать те элементы, которые имеют общий консенсус. Так, например, в шкале пунктов для политических взглядов пункты могут спрашивать об отношении к большому правительству; закон и порядок; экономические вопросы; трудовые вопросы; или либертарианские проблемы. Какой из этих пунктов наиболее сильно влияет на политические установки опрошенных групп, может быть трудно определить априори. Однако, поскольку факторный анализ является симметричным вычислением матрицы элементов и людей, исходный факторный анализ элементов (когда это шкала Лайкерта) выбирает не только те элементы, которые находятся в аналогичной области, но и в более общем плане те элементы, которые есть аналогичный консенсус. Дополнительным преимуществом этого метода факторного анализа является то, что элементы автоматически упорядочиваются по фактору, так что наивысшие рейтинги Лайкерта также являются наивысшими стандартными баллами CBA. После выбора этот фактор определяет баллы CBA (компонент).

Критика

Наиболее распространенная критика стандартов CBA - это вопрос, как среднее может быть максимальным стандартом. В этой критике утверждается, что CBA не подходит для тестов на максимальную производительность психологических характеристик, особенно интеллекта. Тем не менее, методы CBA обычно используются для различных измерений нетрадиционного интеллекта (например, практического, эмоционального, социального и т. Д.). Подробная критика представлена ​​в Gottfredson (2003) и MacCann, Roberts, Matthews, & Zeidner (2004), а также в других местах научной литературы.

Смотрите также

Рекомендации

  • Готфредсон, Л. С. (2003). Анализ практической теории интеллекта: его утверждения и доказательства. Интеллект, 31 (4), 343–397.
  • Легри, П. Дж., Псотка Дж., Трембл, Т. Р. и Борн, Д. (2005). Использование измерения на основе консенсуса для оценки эмоционального интеллекта. В R. Schulze & R. Roberts (Eds.), International Handbook of Emotional Intelligence. (стр 99–123). Берлин, Германия: Hogrefe & Huber.
  • Макканн, К., Робертс, Р. Д., Мэтьюз, Г., и Зейднер, М. (2004). Оценка консенсуса и эмпирическое взвешивание вариантов тестов эмоционального интеллекта (EI) на основе результатов. Личность и индивидуальные различия, 36, 645–662.

внешняя ссылка