Автоматическая генерация предметов - Automatic Item Generation

Автоматическая генерация предметов (AIG) или автоматическое создание элементов данных - это процесс, связывающий психометрия с компьютерным программированием. Он использует компьютерный алгоритм для автоматического создания тестовых заданий, которые являются основными строительными блоками психологический тест. Метод был впервые описан Джоном Р. Бормутом.[1] в 1960-х годах, но не был разработан до недавнего времени. AIG использует двухэтапный процесс: сначала специалист по тестированию создает шаблон, который называется моделью элемента; затем разрабатывается компьютерный алгоритм для создания тестовых заданий.[2] Таким образом, вместо того, чтобы специалист по тестированию писал каждый отдельный элемент, компьютерные алгоритмы генерируют семейства элементов из меньшего набора моделей родительских элементов.[3][4][5]

Контекст

В психологическое тестирование, ответы испытуемого на тестовые задания предоставляют объективные данные об измерении различных характеристик человека.[6] Некоторые характеристики, измеряемые психологическими и образовательными тестами, включают академические способности, успеваемость в школе, интеллект, мотивация и т. д., и эти тесты часто используются для принятия решений, которые имеют серьезные последствия для отдельных лиц или групп лиц. Достижение стандартов качества измерений, таких как валидность теста, является одной из важнейших задач психологов и педагогов.[7] AIG - это подход к разработке тестов, который можно использовать для поддержания и повышения экономичного качества тестирования в современной среде, где компьютеризированное тестирование увеличило потребность в большом количестве элементов тестирования.[5]

Льготы

AIG снижает стоимость производства стандартизированные тесты,[8] поскольку алгоритмы могут сгенерировать гораздо больше элементов за заданный промежуток времени, чем специалист по тестированию. Он может быстро и легко создавать параллельные тестовые формы, которые позволяют различным участникам тестирования знакомиться с разными группами тестовых заданий с одинаковым уровнем сложности или сложности, тем самым повышая безопасность тестирования.[3] В сочетании с компьютеризированное адаптивное тестирование, AIG может генерировать новые задания или выбирать, какие из уже сгенерированных заданий следует выполнять дальше, в зависимости от способностей тестируемого во время проведения теста. Также ожидается, что AIG будет производить элементы с широким диапазоном сложности, с меньшим количеством ошибок в конструкции и, как ожидается, позволит более высокую сопоставимость элементов из-за более систематического определения модели прототипа элемента.[3][9][10]

Радикалы, побочные эффекты и изоморфы

Разработка тестов (включая AIG) может быть улучшена, если она основана на какой-либо когнитивной теории. Когнитивные процессы, взятые из данной теории, часто сопоставляются с характеристиками предметов во время их построения. Целью этого является предопределение заданного психометрического параметра, такого как сложность предмета (с этого момента: β). Позволять радикалы[9] быть теми структурными элементами, которые существенно влияют на параметры предмета и обеспечивают предмету определенные когнитивные требования. Одним или несколькими радикалами модели элемента можно манипулировать для создания моделей родительского элемента с различными параметрами (например, β) уровней. Затем каждый родитель может вырастить свою семью, манипулируя другими элементами, которые Ирвин[9] называется случайные. Случайные явления - это поверхностные элементы, которые случайным образом меняются от предмета к предмету в пределах одного семейства. Предметы, которые имеют одинаковую структуру радикалов и отличаются только второстепенными, обычно обозначаются как изоморфы[11] или клоны.[12][13] Может быть два вида клонирования элемента: с одной стороны, модель элемента может состоять из элемента с одним или несколькими открытыми местами, а клонирование выполняется путем заполнения каждого места элементом, выбранным из списка возможностей. С другой стороны, модель предмета может быть неповрежденным предметом, который клонируется путем внесения преобразований, например изменения угла объекта тестов пространственных способностей.[14] Вариации характеристик поверхности этих предметов не должны существенно влиять на ответы испытуемого. Это причина, по которой считается, что побочные эффекты вызывают лишь небольшие различия между параметрами предметов изоморфов.[3]

Текущие события

Ряд генераторов элементов был подвергнут объективному валидационному тестированию.

MathGen - это программа, которая генерирует элементы для проверки математических достижений. В статье 2018 г. Журнал образовательных измерений Авторы Эмбретсон и Кингстон провели обширный качественный обзор и эмпирические испытания для оценки качественных и психометрических свойств сгенерированных заданий, заключив, что задания были успешными и что задания, созданные из одной и той же структуры заданий, обладали предсказуемыми психометрическими свойствами.[15][16]

Тест на мелодическую дискриминацию, разработанный с помощью вычислительной модели Rachman-Jun 2015[17] был назначен участникам испытания 2017 года. По данным P.M. Харрисон и др., Результаты демонстрируют сильную валидность и надежность.[18]

Феррейра и Бакхофф-Эскудеро[19] сгенерировали две параллельные версии экзамена на базовые компетенции (Excoba), общего теста образовательных навыков, используя разработанную ими программу под названием GenerEx. Затем они изучили внутреннюю структуру, а также психометрическую эквивалентность созданных тестов. Эмпирические результаты психометрического качества в целом благоприятны, а тесты и задания согласуются, что измеряется несколькими психометрическими показателями.

Гирль и его коллеги[20][21][22][23] использовал программу AIG под названием «Генератор элементов» (IGOR[24]) для создания заданий с множественным выбором для проверки медицинских знаний. Предметы, созданные IGOR, даже по сравнению с предметами, созданными вручную, показали хорошие психометрические свойства.

Арендаси, Соммер и Майр[25] использовали AIG для создания вербальных заданий для проверки владения немецким и английским языками и раздавали их участникам, говорящим на немецком и английском языках соответственно. Сгенерированные компьютером задания показали приемлемые психометрические свойства. Наборы заданий, назначенные этим двум группам, были основаны на общем наборе межъязыковых якорных заданий, что облегчало межъязыковые сравнения результатов.

Холлинг, Бертлинг и Цойх[26] использовал теорию вероятностей для автоматического создания математических задач с ожидаемыми трудностями. Они достигли Раша[27] соответствие модели и трудности элемента могут быть объяснены с помощью модели линейного логистического тестирования (LLTM[28]), а также с помощью Random-Effects LLTM. Холлинг, Бланк, Кухенбекер и Кун[29] провел аналогичное исследование со статистическими задачами со словами, но без использования AIG. Арендаси и его коллеги[30][31] представил исследования по автоматически генерируемым задачам алгебры слов и изучил, как система контроля качества AIG может повлиять на качество измерения элементов.

Автоматическое создание фигурных предметов

Основа фигуральной аналогии на основе четырех правил, автоматически сгенерированная с помощью пакета IMak (дополнительную информацию см. В Blum & Holling, 2018).

Item Maker (IMak) - это программа, написанная на Язык программирования R для построения фигурных аналогий. Психометрические свойства 23 заданий, сгенерированных IMak, были признаны удовлетворительными, а сложность задания на основе генерации правил можно было предсказать с помощью линейной логистической тестовой модели (LLTM).[3]

MazeGen - еще одна программа, написанная на R, которая автоматически генерирует лабиринты. Оптимальными оказались психометрические свойства 18 таких лабиринтов, в том числе Модель Раша соответствие и предсказание LLTM сложности лабиринта.[32]

GeomGen - это программа, которая генерирует фигурные матрицы.[33] Исследование, которое выявило источники систематической ошибки измерения, связанной со стратегиями исключения ответов для элементов фигуральной матрицы, пришло к выводу, что значимость отвлекающих факторов способствует реализации стратегий исключения ответов и что это знание может быть включено в AIG для повышения конструктивной достоверности таких элементов.[34] Эта же группа использовала AIG для изучения функционирование дифференциального элемента (DIF) и гендерные различия, связанные с умственное вращение. Они манипулировали особенностями дизайна предметов, которые демонстрировали гендерный DIF в предыдущих исследованиях, и показали, что оценки размера эффекта гендерных различий были скомпрометированы наличием разных видов гендерного DIF, которые могли быть связаны с конкретными особенностями дизайна предмета.[35][36]

Арендаси также изучила возможные нарушения психометрического качества, выявленные с помощью теория ответа элемента (IRT) автоматически сгенерированных элементов визуально-пространственного мышления. Для этого он представил две программы, а именно: уже упомянутую GeomGen[33] и Генератор бесконечных циклов (EsGen). Он пришел к выводу, что GeomGen больше подходит для AIG, потому что принципы IRT могут быть включены во время генерации элементов.[37] В параллельном исследовательском проекте с использованием GeomGen, Arendasy и Sommer[38] обнаружили, что вариация перцептивной организации заданий может влиять на производительность респондентов в зависимости от уровня их способностей и что это влияет на несколько психометрических показателей качества. Получив эти результаты, они подвергли сомнению предположение об одномерности элементов фигуральной матрицы в целом.

MatrixDeveloper[39] был использован для автоматического создания двадцати пяти элементов квадратной матрицы 4x4. Эти предметы были переданы 169 лицам. По результатам исследования, товары показывают хорошую Модель Раша соответствие и генерация на основе правил может объяснить сложность предмета.[40]

Первый известный генератор матриц элементов был разработан Эмбретсоном,[41][12] и ее автоматически сгенерированные элементы продемонстрировали хорошие психометрические свойства, как это показали Эмбретсон и Райз.[42] Она также предложила модель для создания адекватных онлайн-товаров.

использованная литература

  1. ^ Бормут, Дж. (1969). По тестовым заданиям теории достижений. Чикаго, Иллинойс: Издательство Чикагского университета.
  2. ^ Гирль, М.Дж., и Халадина, Т.М. (2012). Автоматическая генерация предметов, теория и практика. Нью-Йорк, штат Нью-Йорк: Routledge Chapman & Hall.
  3. ^ а б c d е Блюм, Диего; Холлинг, Хайнц (6 августа 2018 г.). «Автоматическое создание образных аналогий с пакетом IMak». Границы в психологии. 9: 1286. Дои:10.3389 / fpsyg.2018.01286. ЧВК  6087760. PMID  30127757. CC-BY icon.svg Материал был скопирован из этого источника, который доступен под Международная лицензия Creative Commons Attribution 4.0.
  4. ^ Глас, C.A.W., ван дер Линден, W.J., & Geerlings, H. (2010). Оценка параметров в модели клонирования элементов для адаптивного тестирования. В W.J. van der Linden и C.A.W. Глас (Ред.). Элементы адаптивного тестирования (стр. 289-314). DOI: 10.1007 / 978-0-387-85461-8_15.
  5. ^ а б Гирл, М.Дж., и Лай, Х. (2012). Роль моделей предметов в автоматическом создании предметов. Международный журнал тестирования, 12(3), 273-298. DOI: 10.1080 / 15305058.2011.635830.
  6. ^ Ван дер Линден, W.J., & Hambleton, R.K. (1997). Теория отклика предмета: краткая история, общие модели и расширения. В R.K. Hambleton, & W.J. van der Linden (Eds.). Справочник по современной теории отклика на предмет (стр. 1-31). Нью-Йорк: Спрингер.
  7. ^ Эмбретсон, С. (1999). Проблемы измерения когнитивных способностей. В S.E. Эмбретсон и С. Hershberger (ред.). Новые правила измерения (стр. 1-15). Махвах: Лоуренс Эрлбаум Ассошиэйтс.
  8. ^ Руднер, Л. (2010). Внедрение компьютерного адаптивного теста для поступления в магистратуру. В W.J. van der Linden и C.A.W. Глас (Ред.). Элементы адаптивного тестирования (стр. 151-165). DOI: 10.1007 / 978-0-387-85461-8_15.
  9. ^ а б c Ирвин, С. (2002). Основы генерации предметов для массового тестирования. В S.H. Ирвин и П. Киллонен (ред.). Генерация предметов для разработки тестов (стр. 3-34). Махвах: Лоуренс Эрлбаум Ассошиэйтс.
  10. ^ Лай, Х., Алвес, К., и Гирл, М.Дж. (2009). Использование автоматической генерации номенклатуры для удовлетворения требований к номенклатуре CAT. В D.J. Вайс (ред.), Материалы конференции GMAC по компьютеризированному адаптивному тестированию 2009 г.. Веб: www.psych.umn.edu/psylabs/CATCentral.
  11. ^ Бежар, И. И. (2002). Генеративное тестирование: от концепции до внедрения в Генерация предметов для разработки тестов, ред. С. Х. Ирвин и П. К. Киллонен (Махва, Нью-Джерси: Lawrence Erlbaum Associates), 199–217.
  12. ^ а б Эмбретсон, С. (1999). Создание элементов во время тестирования: психометрические проблемы и модели. Психометрика, 64(4), 407-433.
  13. ^ Арендаси М. Э., Соммер М. (2012). Использование автоматической генерации заданий для удовлетворения растущих требований заданий высокоуровневой оценки образования и профессиональной подготовки. Обучение и индивидуальные различия, 22, 112–117. DOI: 10.1016 / j.lindif.2011.11.005.
  14. ^ Глас, К. А. У., и ван дер Линден, В. Дж. (2003). Компьютеризированное адаптивное тестирование с клонированием элементов. Прикладное психологическое измерение, 27, 247–261. DOI: 10.1177 / 0146621603027004001.
  15. ^ Эмбретсон, С.Е., Кингстон, Н.М. (2018). Автоматическая генерация заданий: более эффективный процесс разработки заданий по математике? Журнал педагогических измерений, 55(1), 112-131. DOI: 10.1111 / jedm.12166
  16. ^ Уилсон, Дж., Моррисон, К., и Эмбретсон, С.Е. (2014). Автоматический генератор предметов для математических достижений: MathGen3.0. Технический отчет IES1005A-2014 по гранту Института педагогических наук R305A100234. Атланта, Джорджия: Лаборатория когнитивных измерений, Джорджия, Технологический институт.
  17. ^ Коллинз, Т., Лэйни, Р., Уиллис, А., и Гартуэйт, П. (2016). Разработка и оценка компьютерных моделей музыкального стиля. Искусственный интеллект для инженерного проектирования, анализа и производства, 30, 16-43. DOI: 10.1017 / S0890060414000687.
  18. ^ Харрисон П.М., Коллинз Т. и Мюллензифен Д. (2017). Применение современных психометрических методов к тестированию мелодической дискриминации: теория ответов на вопросы, компьютеризированное адаптивное тестирование и автоматическая генерация элементов. Научные отчеты, 7(3618), 1-18.
  19. ^ Феррейра, М.Ф., и Бэкхофф-Эскудеро, Э. (2016). Validez del Generador Automático de Ítems del Examen de Competencias Básicas (Excoba). Рельеф, 22(1), ст. 2, 1-16. DOI: 10.7203 / relieve.22.1.8048.
  20. ^ Гиерл, М.Дж., Лай, Х., Пью, Д., Тучи, К., Буле, А.П., и Де Шамплен, А. (2016). Оценка психометрических характеристик сгенерированных тестовых заданий с множественным выбором. Прикладные измерения в образовании, 29(3), 196-210. DOI: 10.1080 / 08957347.2016.1171768.
  21. ^ Лай, Х., Гирл, М.Дж., Бирн, Б.Е., Шпильман, А.И., и Вальдшмидт, Д.М. (2016). Три приложения для моделирования для автоматического создания заданий для стоматологических обследований. Журнал стоматологического образования, 80(3), 339-347.
  22. ^ Гирл, М.Дж., и Лай, Х. (2013). Оценка качества медицинских изделий с множественным выбором, созданных с помощью автоматизированных процессов. Медицинское образование, 47, 726-733. DOI: 10.1111 / medu.12202.
  23. ^ Gierl, M.J., Lai, H., & Turner, S.R. (2012). Использование автоматического создания элементов для создания тестовых заданий с множественным выбором. Медицинское образование, 46(8), 757-765. DOI: 10.1111 / j.1365-2923.2012.04289.x.
  24. ^ Гиерл, М.Дж., Чжоу, Дж., И Алвес, К. (2008). Разработка таксономии типов режимов задания для продвижения инженерной оценки. J технол учиться оценивать, 7(2), 1-51.
  25. ^ Арендаси М.Е., Соммер М. и Майр Ф. (2011). Использование автоматического создания элементов для одновременного создания немецкой и английской версий теста на беглость слов. Журнал кросс-культурной психологии, 43(3), 464-479. DOI: 10.1177 / 0022022110397360.
  26. ^ Холлинг, Х., Бертлинг, Дж. П. и Цойх, Н. (2009). Автоматическая генерация элементов вероятностных словесных проблем. Исследования по оценке образования, 35(2-3), 71-76.
  27. ^ Раш, Г. (1960). Вероятностные модели для некоторых тестов интеллекта и достижений. Чикаго: Издательство Чикагского университета.
  28. ^ Фишер, Г. (1973). Модель линейного логистического теста как инструмент педагогического исследования. Acta Psychological, 37, 359-374. DOI: 10.1016 / 0001-6918 (73) 90003-6.
  29. ^ Холлинг, Х., Бланк, Х., Kuchenbäcker, К., & Kuhn, J.T. (2008). Дизайн статистических текстовых задач на основе правил: обзор и первая реализация. Психология наука ежеквартально, 50(3), 363-378.
  30. ^ Арендаси М.Е., Соммер М., Гиттлер Г. и Хергович А. (2006). Автоматическая генерация количественных аргументов. Пилотное исследование. Журнал индивидуальных различий, 27(1), 2-14. DOI: 10.1027 / 1614-0001.27.1.2.
  31. ^ Арендаси, М.Е., и Соммер, М. (2007). Использование психометрической технологии в образовательном оценивании: пример изоморфного подхода на основе схем к автоматической генерации количественных аргументов. Обучение и индивидуальные различия, 17(4), 366-383. DOI: 10.1016 / j.lindif.2007.03.005.
  32. ^ Ло, Б.С., & Раст, Дж. (2017). Пересмотр теста перцептивного лабиринта: оценка сложности автоматически созданных лабиринтов. Оценка, 1-16. DOI: 10.1177 / 1073191117746501.
  33. ^ а б Арендасы, М. (2002). Geom-Gen-Ein Itemgenerator für Matrizentestaufgaben. Вена: Айгенверлаг.
  34. ^ Арендаси М.Э., Соммер М. (2013). Уменьшение количества стратегий исключения ответов повышает конструктивную достоверность фигурных матриц. Интеллекта, 41, 234-243. DOI: 10.1016 / j.intell.2013.03.006.
  35. ^ Арендаси, М.Е., и Соммер, М. (2010). Оценка вклада различных характеристик предмета в размер эффекта гендерных различий в трехмерном мысленном вращении с использованием автоматической генерации предмета. Интеллекта, 38(6), 574-581. DOI: 10.1016 / j.intell.2010.06.004.
  36. ^ Арендаси М.Е., Соммер М. и Гиттлер Г. (2010). Сочетание автоматической генерации заданий и экспериментального дизайна для изучения вклада когнитивных компонентов в гендерные различия в умственном вращении. Интеллекта, 38(5), 506-512. DOI: 10.1016 / j.intell.2010.06.006.
  37. ^ Арендасы, М. (2005). Автоматическая генерация откалиброванных по Рашу элементов: тест фигурных матриц GEOM и Endless-Loops Test EC. Международный журнал тестирования, 5(3), 197-224.
  38. ^ Арендаси, М.Е., и Соммер, М. (2005). Влияние различных типов перцептивных манипуляций на размерность автоматически генерируемых фигуральных матриц. Интеллект, 33(3), 307-324. DOI: 10.1016 / j.intell.2005.02.002.
  39. ^ Хофер, С. (2004). MatrixDeveloper. Мюнстер, Германия: Психологический институт IV. Westfälische Wilhelms-Universität.
  40. ^ Фройнд, П.А., Хофер, С., и Холлинг, Х. (2008). Объяснение и контроль психометрических свойств сгенерированных компьютером элементов фигуральной матрицы. Прикладное психологическое измерение, 32(3), 195-210. DOI: 10.1177 / 0146621607306972.
  41. ^ Эмбретсон, С. (1998). Системный подход когнитивного проектирования к созданию валидных тестов: приложение к абстрактным рассуждениям. Психологические методы, 3(3), 380-396.
  42. ^ Embretson, S.E., & Reise, S.P. (2000). Пункт Теория отклика для психологов. Махвах: Лоуренс Эрлбаум Ассошиэйтс.