Лучшее – худшее масштабирование - Best–worst scaling - Wikipedia

Лучшее – худшее масштабирование (BWS)[1] методы включают моделирование выбора (или эксперимент с дискретным выбором - «DCE») и были изобретены Джорданом Лувьером в 1987 году, когда он работал на факультете Университет Альберты. Как правило, с помощью BWS респондентам показывают подмножество элементов из основного списка и просят указать лучшие и худшие элементы (или наиболее и наименее важные, или наиболее и наименее привлекательные и т. Д.). Задача повторяется несколько раз, систематически изменяя конкретное подмножество элементов, обычно в соответствии со статистическим планом. Анализ обычно проводится, как и в случае с АКД в более общем плане, исходя из предположения, что респонденты делают выбор в соответствии со случайной полезной моделью (RUM). RUM предполагают, что оценка того, сколько респондент предпочитает пункт A по сравнению с элементом B определяется тем, как часто элемент A выбирается вместо элемента B при повторном выборе. Таким образом, частоты выбора оценивают полезности в соответствующей скрытой шкале. BWS, по сути, стремится предоставить больше информации о выборе в нижней части этой шкалы без необходимости задавать дополнительные вопросы, относящиеся к элементам с более низким рейтингом.

История

Лувьер связывает идею с ранней работой Энтони А. Дж. Марли в его докторской диссертации, который вместе с Дункан Люс в 1960-х годах произвела большую часть новаторских исследований в математическая психология и психофизика аксиоматизировать теорию полезности. Марли столкнулся с проблемами аксиоматизации определенных типов данных ранжирования и при обсуждении своего тезиса предположил, что изучение «низших» и «высших» пунктов в списке могло бы стать плодотворной темой для будущих исследований. Затем идея томилась в течение трех десятилетий, пока в начале 1990-х не появились первые рабочие документы и публикации. Полный учебник с описанием теории, методов и приложений был опубликован в сентябре 2015 г. (Издательство Кембриджского университета ) Джордан Лувьер (Университет Южной Австралии ), Терри Н. Флинн (TF Choices Ltd.) и Энтони А. Дж. Марли (Университет Виктории и Университет Южной Австралии).[1] В книге собраны разрозненные исследования по различным академическим и практическим дисциплинам в надежде, что удастся избежать повторений и ошибок в реализации. Три автора (по отдельности и вместе) уже опубликовали многие ключевые научные рецензируемые статьи, описывающие теорию BWS,[2][3][4] упражняться,[5][6] и ряд приложений в области здравоохранения,[5] социальная помощь,[7] маркетинг[6] транспорт, голосование,[8] и экономика окружающей среды.[9] Однако в настоящее время этот метод стал популярным в более широком сообществе исследователей и практиков, и другие исследователи изучают его использование в столь разных областях, как оценка студента преподавания,[10] маркетинг вина,[11] количественная оценка опасений по поводу СДВГ медикамент,[12] важность экологической устойчивости,[13] и установление приоритетов в генетическое тестирование.[14]

Цели

BWS преследует две разные цели - как метод сбора данных и / или как теория того, как люди делают выбор, когда сталкиваются с тремя или более предметами. Это различие имеет решающее значение, учитывая продолжающееся неправильное употребление термина maxdiff описать метод. Как отмечают Марли и Лувьер, maxdiff - это давно устоявшаяся академическая математическая теория с очень конкретными предположениями о том, как люди делают выбор:[2] предполагается, что респонденты оценивают все возможные пары элементов в отображаемом наборе и выбирают ту пару, которая отражает максимальное различие в предпочтениях или важности.

Как теория процесса (теория принятия решений)

Рассмотрим набор, в котором респондент оценивает четыре пункта: A, B, C и D. Если респондент говорит, что A - лучший, а D - худший, эти два ответа сообщают нам о пяти из шести возможных подразумеваемых парных сравнений:

А> В, А> С, А> D, В> D, С> D

Единственное парное сравнение, которое невозможно вывести, - это сравнение B и C. При выборе одного из пяти пунктов опрос MaxDiff дает информацию о семи из десяти подразумеваемых парных сравнений. Таким образом, BWS можно рассматривать как разновидность метода Парные сравнения.

Тем не менее, респонденты могут получить наилучшие-наихудшие данные любым из множества способов. Вместо того, чтобы оценивать все возможные пары ( maxdiff model), они могут выбрать лучшее из n элементов, худшее из оставшихся n-1 или наоборот. Или, действительно, они могут использовать совершенно другой метод. Таким образом, должно быть ясно, что maxdiff - это подмножество BWS. Модель maxdiff оказалась полезной для доказательства свойств ряда оценок в BWS.[2][3][4] Однако его реализм как описание того, как люди могут на самом деле предоставлять лучшие и худшие данные, может быть подвергнут сомнению по следующей причине. По мере увеличения количества элементов количество возможных пар увеличивается в мультипликативной манере: n элементов дает n (n-1) пар (где имеет значение порядок наилучший-наихудший). Предположить, что респонденты делать Оценка всех возможных пар - сильное предположение, и за 14 лет презентаций трое соавторов практически не нашли ни одного курса или участника конференции, которые признались бы, что использовали этот метод для принятия решения о своем лучшем и худшем выборе.[1] Практически все признали, что используют последовательные модели (лучшее - худшее, худшее - лучшее).[15]

Ранние работы (включая работу самого Лувьера) действительно использовали термин maxdiff для обозначения BWS, но с привлечением Марли в команду, разрабатывающую метод, правильная академическая терминология распространилась по всей Европе и Азиатско-Тихоокеанскому региону (если не в Северной Америке, который продолжает использовать термин maxdiff). Действительно, остается открытым вопрос, действительно ли основные производители программного обеспечения, использующие процедуры maxdifff с дискретным выбором, реализуют maxdiff. модели в оценке параметров, несмотря на продолжающуюся рекламу возможностей maxdiff.

Как метод сбора данных

Второе использование BWS - это метод сбора данных (а не теория того, как люди производят лучший и худший продукт). BWS может, особенно в эпоху интернет-опросов, использоваться для систематического сбора данных, что (1) вынуждает всех респондентов предоставлять лучшие и худшие данные одинаково (например, спрашивая сначала лучшее, затем выбрал выбранный вариант, то спрашиваю худший); (2) Обеспечивает сбор полного рейтинга, если реализован повторный опрос BWS для сбора «внутреннего рейтинга». Во многих контекстах BWS для сбора данных рассматривается просто как способ получения таких данных, чтобы облегчить расширение данных (для оценки условных логит-моделей с гораздо большим количеством наборов выбора) или для оценки обычных ранговых упорядоченных логит-моделей.[16]

Типы («дела»)

Переименование метода, чтобы прояснить, что масштабирование maxdiff - это BWS, но BWS не обязательно является maxdiff, было принято Лувьером в консультации с двумя его ключевыми участниками (Флинном и Марли) при подготовке книги и было представлено в статье Флинн.[17] В этом документе также использовалась возможность прояснить, что на самом деле существует три типа («случаев») BWS: Случай 1 («объектный случай»), Случай 2 («профильный случай») и Случай 3 ( «многопрофильный корпус»). Эти три случая в значительной степени различаются сложностью выбора предлагаемых товаров.

Случай 1 («случай объекта»)

В примере 1 представлены элементы, которые могут быть позиционными заявлениями, политическими целями, маркетинговыми лозунгами или элементами любого типа, которые не имеют атрибутов и структуры уровней. Он в первую очередь используется, чтобы избежать ошибок шкалы, которые, как известно, влияют на рейтинг (Likert ) масштабировать данные.[18][19] Это особенно полезно при выявлении степени важности или согласия, которую респонденты приписывают из набора утверждений, и когда исследователь хочет убедиться, что элементы конкурируют друг с другом (так, чтобы респонденты не могли легко оценить несколько элементов как имеющие одинаковую важность) .

Случай 2 («профильный случай»)

Ситуация 2 преобладает в отношении здоровья, и элементы представляют собой уровни атрибутов, описывающие один профиль типа, знакомого разработчикам моделей выбора. Вместо того чтобы делать выбор между профилями, респондент должен делать лучший и худший (наибольший и наименьший) выбор в рамках профиля. Таким образом, для примера мобильного (сотового) телефона выбор будет наиболее приемлемыми и наименее приемлемыми характеристиками данного телефона. Случай 2 оказался мощным в выявлении предпочтений среди уязвимых групп, таких как пожилые люди,[20][21] старшие опекуны,[22] и дети,[23] которые считают традиционные многопрофильные эксперименты с дискретным выбором трудными. Действительно, первое сравнение Сценария 2 с DCE в одной модели показало, что, хотя подавляющее большинство (старших) респондентов предоставили пригодные для использования данные из задачи BWS, только около половины сделали это для DCE.[20]

Случай 3 («Многопрофильный случай»)

Случай 3, пожалуй, наиболее знаком разработчикам моделей выбора, поскольку он является просто расширением модели дискретного выбора: количество профилей должно быть не менее трех, и вместо того, чтобы просто выбирать тот, который респондент купил бы, он выбирает лучшее. и худший профиль.

Конструкции для учебы

Случай 1 BWS-исследованиях обычно используют Сбалансированные конструкции неполных блоков (BIBDs). Это заставляет каждый элемент появляться одинаковое количество раз, а также заставляет каждый элемент конкурировать друг с другом одинаковое количество раз. Эти особенности привлекательны, так как респондент не может получить ошибочную информацию о предметах (какие предметы "действительно" интересуют дизайнера).[1] Они также гарантируют, что не может быть никакой «связи» по важности / значимости на самом верху или внизу шкалы.

В исследованиях случая 2 BWS могут использоваться ортогональные планы основных эффектов (OMEP) или эффективные планы, хотя первые на сегодняшний день преобладают.

Случай 3 В исследованиях BWS может использоваться любой из типов дизайна, обычно используемых для DCE, при условии, что количество профилей (альтернатив) в наборе выбора должно быть не менее трех, чтобы задача BWS имела смысл.

Недавняя история

Стив Коэн представил BWS миру маркетинговых исследований в статье, представленной на ESOMAR Конференция в Барселоне в 2002 году под названием «Обновление сегментации рынка: некоторые новые инструменты для решения старых проблем». Эта статья была номинирована на лучшую статью на этой конференции. В 2003 г. на латиноамериканской конференции ESOMAR в г. Пунта-дель-Эсте, Уругвай, Стив и его соавтор, доктор Леоплдо Нейра, сравнили результаты BWS с результатами, полученными с помощью методов рейтинговой шкалы. Эта статья выиграла лучший методологический доклад на этой конференции. Позже в том же году она была выбрана лауреатом Премии Джона и Мэри Гудиер за лучшую работу на всех конференциях ESOMAR в 2003 году, а затем была опубликована в качестве ведущей статьи в «Excellence in International Research 2004», опубликованном ESOMAR. На конференции по программному обеспечению Sawtooth в 2003 году доклад Стива Коэна «Максимальное масштабирование разницы: улучшенные показатели важности и предпочтения для сегментации» был выбран как лучший доклад. Коэн и Программное обеспечение Sawtooth Президент Брайан Орм согласился, что MaxDiff должен быть частью пакета Sawtooth, и он был представлен позже в том же году. Позже в 2004 году Коэн и Орм выиграли премию Дэвида К. Хардина от AMA за свою статью, которая была опубликована в журнале Marketing Research Magazine под названием «Каковы ваши предпочтения? Спрашивание респондентов об их предпочтениях приводит к новым решениям о масштабировании».

Параллельно с этим Эмма Макинтош и Джордан Лувьер представили медицинскому сообществу BWS (случай 2) на конференции исследовательской группы экономистов здравоохранения в 2002 году. Это побудило к сотрудничеству с Флинном и, в конечном итоге, к установлению связи с Марли, который начал работать с Лувьером независимо, чтобы доказать свойства оценщиков BWS. Популярность этих трех случаев в значительной степени варьировалась в зависимости от академической дисциплины: случай 1 оказался популярным в маркетинге и исследованиях пищевых продуктов, случай 2 в основном применялся в здравоохранении, а случай 3 использовался в различных дисциплинах, которые уже используют DCE. Отчасти именно из-за непонимания многих дисциплин на самом деле существует три случая BWS, которые побудили трех основных разработчиков написать учебник.

Книга содержит вводную главу, в которой резюмируется история BWS и трех случаев, а также объясняется, почему респондент должен подумать, хочет ли он (а) использовать ее для понимания теории (процессов) принятия решений и / или просто для сбора данных в систематический способ. Далее следуют три главы, по одной для каждого случая, в которых подробно рассказывается об интуиции и применении каждой. Затем следует глава, объединяющая работы Марли, доказывающие свойства основных оценщиков и излагающие некоторые нерешенные вопросы. После изложения открытых вопросов для дальнейшего анализа следуют девять глав (по три на случай - с описанием приложений из различных дисциплин).

Проведение исследования

Основные этапы проведения всех видов исследования BWS:

  • Проведите надлежащее качественное или иное исследование, чтобы правильно определить и описать все интересующие вас элементы.[24]
  • Составьте статистический план, который указывает, какие элементы должны быть представлены в каждом наборе элементов («выборочный набор») - рисунки могут происходить из общедоступных каталогов, создаваться вручную или создаваться из коммерчески доступного программного обеспечения.
  • Используйте дизайн для создания наборов вариантов, которые содержат актуальные элементы (текстовые или визуальные).
  • Получить данные ответов, в которых респонденты выбирают лучшее и худшее из каждой задачи; повторение лучшего-худшего (для получения второго лучшего, второго худшего и т. д.) может быть проведено, если аналитик желает получить больше данных.
  • Введите данные в статистическую программу и проанализируйте. Программное обеспечение будет создавать служебные функции для каждой из функций. В дополнение к оценкам полезности вы также можете запросить необработанные подсчеты, которые просто суммируют общее количество раз, когда продукт был выбран как лучший и худший. Эти функции полезности указывают на воспринимаемую ценность продукта на индивидуальном уровне и насколько чувствительны восприятия и предпочтения потребителей к изменениям в характеристиках продукта.

Анализ

Оценка функции полезности выполняется с использованием любого из множества методов.

  1. полиномиальный анализ дискретного выбора, в частности полиномиальный логит (строго говоря условный логит, хотя теперь эти два термина используются как синонимы). Модель полиномиального логита (MNL) часто является первым этапом анализа и обеспечивает меру средней полезности для уровней атрибутов или объектов (в зависимости от случая).
  2. Во многих случаях, особенно в случаях 1 и 2, простое наблюдение и построение графика частот выбора фактически должно быть первым шагом, поскольку это очень полезно для выявления неоднородности предпочтений и респондентов, использующих правила принятия решений, основанные на одном атрибуте.
  3. В этом процессе оценки можно использовать несколько алгоритмов, в том числе максимальная вероятность, нейронные сети, а иерархическая байесовская модель. Иерархическая байесовская модель полезна, потому что она позволяет заимствовать данные, хотя, поскольку BWS часто позволяет оценивать модели индивидуального уровня, преимущества байесовских моделей сильно ослабляются. Недавно было показано, что модели времени отклика воспроизводят оценки полезности BWS, что представляет собой важный шаг вперед в проверке заявленных предпочтений в целом и предпочтений BWS в частности.[25][26]

Преимущества

Анкеты BWS относительно просты для понимания большинством респондентов. Более того, люди намного лучше оценивают предметы по крайним признакам, чем различая предметы средней важности или предпочтения.[нужна цитата ]. А поскольку ответы включают выбор предметов, а не выражение силы предпочтений, нет возможности для предвзятость использования масштаба.

Респонденты считают эти шкалы оценок очень простыми, но они, как правило, дают результаты, которые указывают на то, что все «довольно важно», что делает данные не особенно полезными.[нужна цитата] BWS, с другой стороны, заставляет респондентов делать выбор между вариантами, в то же время предоставляя рейтинги, показывающие относительную важность оцениваемых пунктов. Также производит:

  • Распределение «баллов» (рассчитанных как лучшая частота минус худшая частота) для всех пунктов, которые позволяют исследователю наблюдать эмпирическое распределение оцененных полезностей. Это дает информацию о том, насколько реалистичными могут быть результаты традиционных методов анализа, предполагающих стандартные непрерывные распределения. Потребители, как правило, образуют отдельные группы с часто очень разными предпочтениями, что приводит к мультимодальному распределению.
  • Данные, которые позволяют исследовать правило принятия решения (функциональную форму функции полезности) на различной глубине ранжирования (проще говоря, «правило наилучшего решения против правила наихудшего решения»). Новые исследования показывают, что в некоторых контекстах респонденты не используют одно и то же правило, что ставит под сомнение использование таких методов оценки, как логит-модель с упорядоченным ранжированием.
  • Оценка влияния атрибута, мера общего влияния атрибута на выбор, недоступная в традиционных моделях дискретного выбора.
  • Больше данных, которые позволяют лучше понять варианты выбора для заданного количества наборов вариантов. Ту же информацию можно получить, просто представив больше наборов вариантов, но это чревато риском, что респондентам станет скучно и они перестанут заниматься задачей.
  • Количественная оценка явлений сдвига реакции и адаптации к плохому состоянию здоровья.[20]

Недостатки

Масштабирование от наилучшего до наихудшего включает в себя сбор как минимум двух наборов данных: как минимум, первый лучший и первый худший, а в некоторых случаях дополнительные ранги (второй лучший, второй худший и т. Д.). объединить эти данные уместно. Ранняя работа, предполагавшая наилучшее, была просто противоположностью наихудшего: респонденты имели внутреннее ранжирование всех элементов и просто выбирали элемент с самым высоким / самым низким рейтингом в данном вопросе. В более поздних работах было высказано предположение, что в некоторых контекстах это не так: человек может (например) выбрать в соответствии с традиционной экономической теорией лучшее (торговля по атрибутам), но выбрать худшее, используя стратегию исключения по атрибутам (выбирая как худший элемент что просто недопустимо по одному признаку). При наличии таких разных правил принятия решений становится невозможным узнать, как объединить данные: в какой момент человек, двигаясь вниз в рейтинге, переходит от «экономической торговли» к «исключению по аспектам».

Это представляет собой явную проблему для увеличение данных мотивация для BWS, но не обязательно для BWS, когда используется как способ понимания процесса (принятия решений). В частности, психологов особенно интересуют различные типы принятия решений. Маркетологи также могут захотеть узнать, есть ли у данного продукта неприемлемые характеристики. В настоящее время ведется работа по выяснению того, когда возникают разные правила принятия решений, а также по возможности объединения данных из таких разных источников.

BWS также страдает теми же недостатками, что и все заявленные методы предпочтения. Неизвестно, согласуются ли предпочтения с выбором, сделанным в реальном мире (выявленными предпочтениями). В некоторых случаях доступны выявленные предпочтения (как правило, реальные рыночные решения), что дает возможность проверить выбор BWS. В других случаях, довольно часто в отношении здоровья, данные о предпочтениях не выявлены, и проверка оказывается невозможной. Совсем недавно были предприняты попытки подтвердить данные SP с использованием физиологических данных, таких как отслеживание взгляда и время реакции.[25] Ранние исследования показывают, что модели времени отклика согласуются с результатами моделей BWS в здравоохранении, но в других контекстах требуются дополнительные исследования.

Рекомендации

  1. ^ а б c d «Лучшее-худшее масштабирование». Издательство Кембриджского университета. Получено 2015-10-01.
  2. ^ а б c Марли, А. А. Дж .; Лувьер, Дж. Дж. (01.12.2005). «Некоторые вероятностные модели наилучшего, наихудшего и наилучшего – наихудшего выбора». Журнал математической психологии. Специальный выпуск, посвященный Жан-Клоду Фальманю: Часть 1 Специальный выпуск, посвященный Жан-Клоду Фальманю: Часть 1. 49 (6): 464–480. Дои:10.1016 / j.jmp.2005.05.003.
  3. ^ а б Марли, А. А. Дж .; Флинн, Терри Н .; Лувьер, Дж. Дж. (01.10.2008). «Вероятностные модели выбора наилучшего-наихудшего на уровне множества и атрибутов». Журнал математической психологии. 52 (5): 281–296. Дои:10.1016 / j.jmp.2008.02.002. HDL:10453/8292.
  4. ^ а б Марли, А. А. Дж .; Пихленс, Д. (01.02.2012). «Модели выбора наилучшего – наихудшего и ранжирование среди вариантов (профилей) с множеством атрибутов». Журнал математической психологии. 56 (1): 24–34. Дои:10.1016 / j.jmp.2011.09.001.
  5. ^ а б Флинн, Терри Н .; Лувьер, Джордан Дж .; Питерс, Тим Дж .; Побережье, Джоанна (01.01.2007). «Лучшее – худшее масштабирование: что оно может сделать для исследований в области здравоохранения и как это сделать». Журнал экономики здравоохранения. 26 (1): 171–189. Дои:10.1016 / j.jhealeco.2006.04.002. PMID  16707175.
  6. ^ а б Лувьер, Иордания; Лингс, Ян; Ислам, Товидул; Гудерган, Зигфрид; Флинн, Терри (01.09.2013). «Введение в применение (случай 1) наилучшего – наихудшего масштабирования в маркетинговых исследованиях» (PDF). Международный журнал исследований в области маркетинга. 30 (3): 292–303. Дои:10.1016 / j.ijresmar.2012.10.002.
  7. ^ Потоглов, Димитрис; Бердж, Питер; Флинн, Терри; Неттен, Энн; Малли, Джульетта; Фордер, Жюльен; Брейзер, Джон Э. (01.05.2011). «Лучшее – худшее масштабирование и эксперименты с дискретным выбором: эмпирическое сравнение с использованием данных социальной помощи» (PDF). Социальные науки и медицина. 72 (10): 1717–1727. Дои:10.1016 / j.socscimed.2011.03.027. PMID  21530040.
  8. ^ Гарсиа-Лапреста, Хосе Луис; Марли, А.А. J .; Мартинес-Панеро, Мигель (12 сентября 2009 г.). «Характеристика лучших – худших систем голосования в контексте подсчета очков». Социальный выбор и благосостояние. 34 (3): 487–496. Дои:10.1007 / s00355-009-0417-1. ISSN  0176-1714.
  9. ^ Скарпа, Риккардо; Нотаро, Сандра; Лувьер, Иордания; Рафаэлли, Роберта (19.06.2011). «Изучение масштабных эффектов упорядоченных данных о выборе наилучшего / наихудшего ранга для оценки выгод от туризма в альпийских пастбищах». Американский журнал экономики сельского хозяйства. 93 (3): 813–828. Дои:10.1093 / ajae / aaq174. ISSN  0002-9092.
  10. ^ Хайберс, Тван (19 мая 2014 г.). «Студенческая оценка преподавания: использование шкалы« лучший – худший »». Оценка и оценка в высшем образовании. 39 (4): 496–513. Дои:10.1080/02602938.2013.851782. ISSN  0260-2938.
  11. ^ Коэн, Эли (20 марта 2009 г.). «Применение шкалы наилучшего-худшего к винному маркетингу». Международный журнал исследований винного бизнеса. 21 (1): 8–23. Дои:10.1108/17511060910948008. ISSN  1751-1062.
  12. ^ Росс, Мелисса; Бриджес, Джон Ф. П .; Нг, Синьи; Вагнер, Лорен Д .; Фрош, Эмили; Ривз, Глория; dosReis, Сьюзан (17 ноября 2014 г.). «Самый худший эксперимент по масштабированию, направленный на уделение первоочередного внимания опасениям опекунов по поводу лекарств от СДВГ для детей». Психиатрические службы. 66 (2): 208–211. Дои:10.1176 / appi.ps.201300525. ISSN  1075-2730. ЧВК  5294953. PMID  25642618.
  13. ^ Мюллер Луз, Симона; Локшин, Ларри (2013-03-01). «Проверка устойчивости наилучшего наихудшего масштабирования для межнациональной сегментации с различным количеством наборов выбора». Качество еды и предпочтения. Девятый симпозиум по сенсорной науке в Пэнгборне. 27 (2): 230–242. Дои:10.1016 / j.foodqual.2012.02.002.
  14. ^ Северин, Франциска; Шмидтке, Йорг; Мюльбахер, Аксель; Роговски, Вольф Х. (01.11.2013). «Выявление предпочтений для установки приоритетов в генетическом тестировании: пилотное исследование, сравнивающее лучшие-худшие эксперименты с масштабированием и дискретным выбором». Европейский журнал генетики человека. 21 (11): 1202–1208. Дои:10.1038 / ejhg.2013.36. ISSN  1018-4813. ЧВК  3798841. PMID  23486538.
  15. ^ Флинн, Терри Н .; Лувьер, Джордан Дж .; Питерс, Тим Дж .; Побережье, Джоанна (18 ноября 2008 г.). «Оценка предпочтений в отношении консультации дерматолога с использованием шкалы Best-Worst Scaling: Сравнение различных методов анализа». BMC Методология медицинских исследований. 8 (1): 76. Дои:10.1186/1471-2288-8-76. ISSN  1471-2288. ЧВК  2600822. PMID  19017376. открытый доступ
  16. ^ Лувьер, Джордан Дж .; Улица, Дебора; Берджесс, Леони; Васи, Нада; Ислам, Товидул; Марли, Энтони А. Дж. (01.01.2008). «Моделирование выбора отдельных лиц, принимающих решения, путем объединения эффективных экспериментов по выбору с дополнительной информацией о предпочтениях». Журнал моделирования выбора. 1 (1): 128–164. Дои:10.1016 / S1755-5345 (13) 70025-3.
  17. ^ Флинн, Терри Н. (01.06.2010). «Оценка предпочтений граждан и пациентов в отношении здоровья: последние достижения в трех типах шкалы наилучшего – наихудшего». Экспертный обзор фармакоэкономических исследований и результатов исследований. 10 (3): 259–267. Дои:10.1586 / erp.10.29. ISSN  1473-7167. PMID  20545591.
  18. ^ Баумгартнер, Ганс; Стинкамп, Ян-Бенедикт Э.М. (01.05.2001). «Стили ответа в маркетинговых исследованиях: межнациональное исследование». Журнал маркетинговых исследований. 38 (2): 143–156. Дои:10.1509 / jmkr.38.2.143.18840. ISSN  0022-2437. S2CID  11304067.
  19. ^ Стинкамп, Ян-Бенедикт Э. М .; Баумгартнер, Ханс (1998-06-01). «Оценка инвариантности измерений в межнациональных исследованиях потребителей». Журнал потребительских исследований. 25 (1): 78–107. Дои:10.1086/209528. JSTOR  10.1086/209528.
  20. ^ а б c Н. Флинн, Терри; Дж. Петерс, Тим; Побережье, Джоанна (2013-03-01). «Количественная оценка сдвига реакции или эффектов адаптации в качестве жизни путем синтеза наилучшего-худшего масштабирования и данных дискретного выбора». Журнал моделирования выбора. 6: 34–43. Дои:10.1016 / j.jocm.2013.04.004.
  21. ^ Побережье, Джоанна; Флинн, Терри Н .; Натараджан, Люси; Спростон, Керри; Льюис, Джейн; Лувьер, Джордан Дж .; Питерс, Тим Дж. (1 сентября 2008 г.). «Оценка индекса возможностей ICECAP для пожилых людей». Социальные науки и медицина. Часть Спецвыпуска: Этика и этнография медицинских исследований в Африке. 67 (5): 874–882. Дои:10.1016 / j.socscimed.2008.05.015. HDL:10453/9747. PMID  18572295.
  22. ^ Аль-Джанаби, Харет; Флинн, Терри Н .; Побережье, Джоанна (01.05.2011). «Оценка шкалы опыта опекуна на основе предпочтений». Принятие медицинских решений. 31 (3): 458–468. Дои:10.1177 / 0272989X10381280. ISSN  0272-989X. PMID  20924044.
  23. ^ Рэтклифф, профессор Джули; Флинн, Терри; Терлих, Фрэнсис; Стивенс, Кэтрин; Брейзер, Джон; Сойер, Майкл (2012-12-23). «Разработка показателей состояния здоровья подростков для экономической оценки». Фармакоэкономика. 30 (8): 713–727. Дои:10.2165/11597900-000000000-00000. ISSN  1170-7690. PMID  22788261.
  24. ^ Побережье, Джоанна; Аль-Джанаби, Харет; Саттон, Эйлин Дж .; Хоррокс, Сьюзен А .; Воспер, А. Джейн; Swancutt, Dawn R .; Флинн, Терри Н. (2012-06-01). «Использование качественных методов для разработки атрибутов для экспериментов с дискретным выбором: проблемы и рекомендации». Экономика здравоохранения. 21 (6): 730–741. Дои:10.1002 / hec.1739. ISSN  1099-1050. PMID  21557381.
  25. ^ а б Хокинс, Гай Э .; Марли, A.a.j .; Хиткот, Эндрю; Флинн, Терри Н .; Лувьер, Джордан Дж .; Браун, Скотт Д. (2014-05-01). «Интеграция когнитивного процесса и описательных моделей отношений и предпочтений». Наука о мышлении. 38 (4): 701–735. Дои:10.1111 / винтики.12094. ISSN  1551-6709. PMID  24124986. S2CID  15328149.
  26. ^ «Лучшие времена и худшие времена взаимозаменяемы». APA PsycNET. Получено 2015-10-01.