Неправильное использование статистики - Misuse of statistics

Статистика, когда используется вводящим в заблуждение образом, может обмануть случайного наблюдателя, чтобы он поверил не во что данные показывает. Это неправильное использование статистики происходит, когда статистический аргумент утверждает ложь. В некоторых случаях неправильное использование может быть случайным. В других случаях это сделано целенаправленно и для выгоды преступника. Когда задействованная статистическая причина ложна или неверно применена, это составляет статистический заблуждение.

Ловушка ложной статистики может нанести серьезный ущерб поиску знаний. Например, в медицинской науке исправление фальши может занять десятилетия и стоить жизни.

Неправильное использование может быть легким. Профессиональных ученых, даже математиков и профессиональных статистиков, можно обмануть даже некоторыми простыми методами, даже если они тщательно все проверяют. Известно, что ученые обманывают себя статистикой из-за незнания теория вероятности и отсутствие стандартизация от их тесты.

Важность

Статистика может быть принципиальным средством обсуждения с возможностью достижения согласия,^[1][2] но это верно только в том случае, если стороны согласны с набором правил. Неправильное использование статистики нарушает правила.

Другими словами:

Ложные факты очень вредны для прогресса науки, поскольку они часто сохраняются надолго; но ложные взгляды, если они поддерживаются какими-либо доказательствами, не причиняют большого вреда, поскольку каждый получает благотворное удовольствие, доказывая свою ложность; и когда это делается, один путь к ошибке закрывается, и часто одновременно открывается путь к истине.

- Чарльз Дарвин, Происхождение человека (1871), т. 2, 385.

Определение, ограничения и контекст

Одно из применимых определений: «Злоупотребление статистикой: использование чисел таким образом, что - либо намеренно, либо из-за незнания или небрежности - выводы являются необоснованными или неверными».^[3] "Цифры" включают вводящая в заблуждение графика обсуждается в другом месте. Этот термин не часто встречается в статистических текстах, и его авторитетное определение неизвестно. Это обобщение ложь со статистикой который был подробно описан статистиками 60 лет назад.

Это определение вызывает некоторые проблемы (некоторые из них решены источником):^[4]

1. Статистика обычно производит вероятности; выводы являются предварительными
2. В предварительных выводах есть ошибки и процент ошибок. Обычно 5% предварительных выводов проверки значимости неверны
3. Статистики не полностью согласны с идеальными методами.
4. Статистические методы основаны на допущениях, которые редко полностью выполняются.
5. Сбор данных обычно ограничен этическими, практическими и финансовыми ограничениями.

Как лгать со статистикой признает, что статистика может законно принимать разные формы. Независимо от цифр, можно спорить о том, является ли продукт «легким и экономичным» или «хрупким и дешевым». Некоторые возражают против подмены морального лидерства (например) статистической корректностью в качестве цели. Винить в злоупотреблениях часто сложно, потому что ученые, социологи, статистики и репортеры часто являются сотрудниками или консультантами.

Коварное злоупотребление (?) Статистикой завершается слушателем / наблюдателем / аудиторией / присяжным заседателем. Поставщик предоставляет «статистику» в виде чисел или графиков (или фотографий до / после), позволяя потребителю сделать (возможно, необоснованные или неверные) выводы. Плохое состояние общественности статистическая грамотность а нестатистический характер человеческой интуиции позволяет вводить в заблуждение, не приводя к явным ошибочным выводам. Это слабое определение ответственности потребителя статистики.

Историк перечислил более 100 заблуждений по дюжине категорий, включая те, которые связаны с обобщением и причинно-следственной связью.^[5] Некоторые из ошибок являются явно или потенциально статистическими, включая выборку, статистическую бессмыслицу, статистическую вероятность, ложную экстраполяцию, ложную интерполяцию и коварное обобщение. Все технические / математические проблемы прикладной вероятности укладываются в единственное перечисленное заблуждение статистической вероятности. Многие из заблуждений могут быть связаны со статистическим анализом, что допускает возможность ложного вывода, вытекающего из безупречного статистического анализа.

Пример использования статистики - анализ медицинских исследований. Процесс включает^[6][7] планирование эксперимента, проведение эксперимента, анализ данных, логические выводы и представление / отчет. Отчет подготовлен популярной прессой и рекламодателями. Неправильное использование статистики может быть результатом проблем на любом этапе процесса. Статистические стандарты, которые в идеале налагаются на научный отчет, сильно отличаются от тех, которые навязываются популярной прессе и рекламодателям; однако существуют случаи реклама замаскированная под науку. Определение неправомерного использования статистики является слабым в отношении требуемой полноты статистической отчетности. Высказывается мнение, что газеты должны давать хотя бы источник публикуемой статистики.

Простые причины

Многие злоупотребления статистикой происходят из-за

• Источник - предметный эксперт, а не статистик.^[8] Источник может неправильно использовать метод или интерпретировать результат.
• Источник - статистик, а не предметный эксперт.^[9] Эксперт должен знать, когда сравниваемые числа описывают разные вещи. Цифры меняются, в отличие от реальности, когда меняются юридические определения или политические границы.
• Изучаемый предмет четко не определен.^[10] Пока IQ тесты доступны и числовые, сложно определить, что они измеряют; Интеллект - понятие неуловимое. Публикация "воздействия" имеет ту же проблему.^[11] На первый взгляд простой вопрос о количестве слов в английском языке сразу же встречает вопросы об архаичных формах, учете префиксов и суффиксов, множественных определениях слова, вариантах написания, диалектах, причудливых творениях (например, эктопластике из эктоплазмы и статистике).^[12] технический словарь ...
• Качество данных низкое.^[13] Примером может служить компания Apparel. Люди имеют широкий диапазон размеров и форм тела. Очевидно, что размеры одежды должны быть многомерными. Вместо этого он сложен в неожиданном смысле. Немного одежда продается только по размеру (без явного учета формы тела), размеры зависят от страны и производителя и некоторые размеры намеренно вводят в заблуждение. Хотя размеры являются числовыми, возможен только самый грубый статистический анализ с использованием чисел размера с осторожностью.
• Популярная пресса имеет ограниченный опыт и неоднозначные мотивы.^[14] Если факты не заслуживают освещения в печати (что может потребовать преувеличения), они не могут быть опубликованы. Мотивы рекламодателей еще более неоднозначны.
• «Политики используют статистику так же, как пьяный использует фонарные столбы - для поддержки, а не для освещения» - Эндрю Лэнг (WikiQuote) «Чему мы учимся из этих двух способов взглянуть на одни и те же числа? Мы узнаем, что умный пропагандист , направо или налево, почти всегда может найти способ представить данные об экономическом росте, которые, кажется, подтверждают ее аргументы. И поэтому мы также учимся брать любой статистический анализ из сильно политизированного источника с горстью соли ".^[15] Термин «статистика» происходит от цифр, генерируемых и используемых государством. Хорошее правительство может требовать точных цифр, но популярное правительство может требовать дополнительных цифр (не обязательно одинаковых). «Использование и неправильное использование статистики правительствами - древнее искусство».^[16]

Типы неправомерного использования

Отказ от неблагоприятных наблюдений

Смотрите также: Предвзятость публикации

Все, что нужно сделать компании для продвижения нейтрального (бесполезного) продукта, - это найти или провести, например, 40 исследований с уровнем достоверности 95%. Если продукт действительно бесполезен, в среднем будет проведено одно исследование, показывающее, что продукт полезен, одно исследование, показывающее, что он был вреден, и тридцать восемь безрезультатных исследований (38 - 95% из 40). Эта тактика становится тем эффективнее, чем больше доступно исследований. Организации, которые не публикуют все исследования, которые они проводят, например, табачные компании, отрицающие связь между курением и раком, группы по защите интересов курения и СМИ, пытающиеся доказать связь между курением и различными заболеваниями, или продавцы чудодейственных таблеток, скорее всего, используйте эту тактику.

Рональд Фишер рассмотрел этот вопрос в своем знаменитом дама дегустирует чай пример эксперимента (из его книги 1935 г., Планирование экспериментов ). Что касается повторных экспериментов, он сказал: «Это было бы явно незаконным и лишило бы наших расчетов его основы, если бы не все неудачные результаты были учтены».

Еще один термин, связанный с этой концепцией: сбор вишни.

Игнорирование важных функций

В наборах данных с несколькими переменными есть два или более особенности / размеры. Если для анализа выбрано слишком мало из этих функций (например, если выбрана только одна функция и простая линейная регрессия выполняется вместо множественная линейная регрессия ) результаты могут ввести в заблуждение. Это делает аналитика уязвимым для любого из различных статистические парадоксы, или в некоторых (не во всех) случаях ложной причинности, как показано ниже.

Загруженные вопросы

Основная статья: Загруженный вопрос

Ответами на опросы часто можно манипулировать, формулируя вопрос таким образом, чтобы вызвать преобладание определенного ответа респондента. Например, при опросе в поддержку войны вопросы:

• Поддерживаете ли вы попытку США принести свободу и демократию в другие места в мире?
• Вы поддерживаете неспровоцированные военные действия США?

вероятно, приведет к искажению данных в разные стороны, хотя они оба опрашивают о поддержке войны. Лучше сформулировать вопрос: «Поддерживаете ли вы нынешние военные действия США за рубежом?» Еще более нейтральный способ задать этот вопрос: «Как вы относитесь к текущим военным действиям США за рубежом?» Дело должно быть в том, что человек, которого спрашивают, не может догадаться по формулировке, что спрашивающий, возможно, хотел бы услышать.

Другой способ сделать это - поставить перед вопросом перед вопросом информацию, которая поддерживает «желаемый» ответ. Например, больше людей, скорее всего, ответят «да» на вопрос «Учитывая растущее налоговое бремя для семей среднего класса, поддерживаете ли вы снижение подоходного налога?» чем на вопрос «Учитывая растущий дефицит федерального бюджета и острую потребность в увеличении доходов, поддерживаете ли вы сокращение подоходного налога?»

Правильная формулировка вопросов может быть очень тонкой. Ответы на два вопроса могут сильно различаться в зависимости от порядка, в котором они задаются.^[17] «Опрос, в котором задавался вопрос о« владении акциями », показал, что большинство техасских владельцев ранчо владеют акциями, хотя, вероятно, не такими, которые торгуются на Нью-Йоркской фондовой бирже».^[18]

Чрезмерное обобщение

Чрезмерное обобщение является ошибкой, возникающей, когда утверждается, что статистические данные об определенной совокупности имеют место среди членов группы, для которой исходная совокупность не является репрезентативной выборкой.

Например, предположим, что летом 100% яблок красные. Утверждение «Все яблоки красные» было бы примером чрезмерного обобщения, потому что исходная статистика была верна только для определенного подмножества яблок (летом), которое, как ожидается, не будет репрезентативным для популяции яблок в целом.

Реальный пример заблуждения сверхобобщения можно наблюдать как артефакт современных методов опроса, которые запрещают звонить на сотовые телефоны для политических опросов по телефону. Поскольку молодые люди чаще, чем другие демографические группы, не имеют обычного «стационарного» телефона, телефонный опрос, в ходе которого опрашиваются исключительно респонденты, звонящие на стационарные телефоны, может привести к тому, что результаты опроса не будут отражать мнения молодых людей, если не будут приняты другие меры. чтобы учесть этот перекос в выборке. Таким образом, опрос, изучающий предпочтения молодых людей при голосовании с использованием этого метода, может не дать совершенно точного представления об истинных предпочтениях молодых людей при голосовании в целом без чрезмерного обобщения, поскольку использованная выборка исключает молодых людей, у которых есть только мобильные телефоны, которые могут или могут не иметь предпочтений при голосовании, которые отличаются от предпочтений остального населения.

Чрезмерное обобщение часто происходит, когда информация передается через нетехнические источники, в частности через средства массовой информации.

Предвзятые образцы

Основная статья: Предвзятая выборка

Ученые ценой больших затрат поняли, что собрать хорошие экспериментальные данные для статистического анализа сложно. Пример: плацебо эффект (разум над телом) очень мощный. У 100% субъектов появилась сыпь при контакте с инертным веществом, которое ошибочно назвали ядовитым плющом, в то время как у немногих появилась сыпь на "безвредном" предмете, которым на самом деле был ядовитый плющ.^[19] Исследователи борются с этим эффектом с помощью двойного слепого рандомизированного сравнительного анализа. эксперименты. Статистики обычно больше беспокоятся о достоверности данных, чем об анализе. Это отражено в области исследований в статистике, известной как дизайн экспериментов.

Опросники ценой больших затрат узнали, что сбор хороших данных опросов для статистического анализа затруднен. Селективное влияние сотовых телефонов на сбор данных (обсуждается в разделе «Обобщение») является одним из возможных примеров; Если молодые люди с традиционными телефонами не являются репрезентативными, выборка может быть необъективной. Выборочные опросы имеют множество подводных камней и требуют большой осторожности при проведении.^[20] Одно усилие потребовало почти 3000 телефонных звонков, чтобы получить 1000 ответов. Простая случайная выборка населения «непроста и не может быть случайной».^[21]

Неправильное сообщение или неправильное понимание предполагаемой ошибки

Если исследовательская группа хочет знать, что 300 миллионов человек думают об определенной теме, было бы непрактично спрашивать их всех. Однако, если команда выберет случайную выборку из примерно 1000 человек, они могут быть достаточно уверены, что результаты, данные этой группой, являются репрезентативными для того, что сказала бы большая группа, если бы их всех спросили.

Эта уверенность фактически может быть определена количественно Центральная предельная теорема и другие математические результаты. Уверенность выражается как вероятность того, что истинный результат (для большей группы) находится в пределах определенного диапазона оценки (показатель для меньшей группы). Это показатель «плюс-минус», который часто приводится в статистических обследованиях. Вероятностная часть уровня уверенности обычно не упоминается; если да, то предполагается, что это стандартное число, например 95%.

Эти два числа связаны. Если обследование имеет оценочную ошибку ± 5% при доверительной вероятности 95%, она также имеет расчетную ошибку ± 6,6% при достоверности 99%. ±${\displaystyle x}$% при доверительной вероятности 95% всегда ±${\displaystyle 1.32x}$% при достоверности 99% для нормально распределенного населения.

Чем меньше расчетная ошибка, тем больше требуется выборка при заданном уровне достоверности.

в 95.4% уверенность:

± 1% потребует 10 000 человек.
± 2% потребуется 2500 человек.
± 3% потребуется 1111 человек.
± 4% потребуется 625 человек.
± 5% потребуется 400 человек.
± 10% потребует 100 человек.
± 20% потребует 25 человек.
± 25% потребуется 16 человек.
± 50% потребуется 4 человека.

Люди могут предположить, поскольку показатель достоверности опущен, что существует 100% уверенность в том, что истинный результат находится в пределах предполагаемой ошибки. Это неверно с математической точки зрения.

Многие люди могут не осознавать, что случайность выборки очень важна. На практике многие опросы общественного мнения проводятся по телефону, что искажает выборку по нескольким причинам, включая исключение людей, у которых нет телефонов, поддержку включения людей, у которых есть более одного телефона, и поддержку включения людей, которые готовы участвовать в телефонном опросе тех, кто отказывается, и т. д. Неслучайная выборка делает оценку ошибки ненадежной.

С другой стороны, люди могут посчитать статистику ненадежной по своей природе, потому что не все звонят или потому что их самих никогда не опрашивают. Люди могут подумать, что невозможно получить данные о мнении десятков миллионов людей, просто опросив несколько тысяч. Это тоже неточно.^[а] Опрос с идеальной беспристрастной выборкой и правдивыми ответами имеет математически определенный погрешность, который зависит только от количества опрошенных.

Однако часто в опросе указывается только одна погрешность. Когда результаты сообщаются для подгрупп населения, будет применяться большая погрешность, но это может быть неясно. Например, опрос 1000 человек может включать 100 человек из определенной этнической или экономической группы. Результаты, ориентированные на эту группу, будут намного менее надежными, чем результаты для всего населения. Если допустимая погрешность для полной выборки составляет 4%, то погрешность для такой подгруппы может составлять около 13%.

Есть также много других проблем измерения при обследованиях населения.

Упомянутые выше проблемы относятся ко всем статистическим экспериментам, а не только к опросам населения.

Дальнейшая информация: Опрос общественного мнения и Статистический обзор

Ложная причинность

Основная статья: Корреляция не подразумевает причинно-следственной связи

Когда статистический тест показывает корреляцию между A и B, обычно существует шесть возможностей:

1. А вызывает Б.
2. B вызывает A.
3. A и B оба частично вызывают друг друга.
4. И A, и B вызваны третьим фактором C.
5. B вызван C, который коррелирует с A.
6. Наблюдаемая корреляция возникла чисто случайно.

Шестую возможность можно количественно оценить с помощью статистических тестов, которые могут вычислить вероятность того, что наблюдаемая корреляция будет такой же большой, как и случайность, если на самом деле нет взаимосвязи между переменными. Однако, даже если такая возможность имеет небольшую вероятность, есть еще пять других.

Если количество людей, покупающих мороженое на пляже, статистически связано с количеством людей, которые тонут на пляже, тогда никто не станет утверждать, что мороженое вызывает утопление, потому что очевидно, что это не так. (В этом случае и утопление, и покупка мороженого явно связаны третьим фактором: количеством людей на пляже).

Это заблуждение можно использовать, например, для доказательства того, что воздействие химического вещества вызывает рак. Замените «количество людей, покупающих мороженое» на «количество людей, подвергшихся воздействию химического вещества X», а «количество утонувших» на «количество людей, заболевших раком», и многие люди вам поверят. В такой ситуации может быть статистическая корреляция, даже если нет реального эффекта. Например, если есть мнение, что химический объект «опасен» (даже если это действительно не так), стоимость собственности в этом районе будет уменьшаться, что побудит больше малообеспеченных семей переехать в этот район. Если в семьях с низким доходом больше шансов заболеть раком, чем в семьях с высоким доходом (это может произойти по многим причинам, например, из-за плохого питания или ограниченного доступа к медицинскому обслуживанию), то уровень заболеваемости раком возрастет, даже если само химическое вещество является безопасно. Считается^[24] что именно это и произошло с некоторыми из ранних исследований, показывающих связь между ЭМП (электромагнитные поля ) от линий электропередач и рак.^[25]

В хорошо спланированных исследованиях эффект ложной причинно-следственной связи может быть устранен путем случайного отнесения некоторых людей к «экспериментальной группе», а некоторых - к «контрольной группе», а также проведения лечения в экспериментальной группе и отказа от контрольной группы лечение. В приведенном выше примере исследователь может подвергнуть одну группу людей воздействию химического вещества X и оставить вторую группу незащищенной. Если первая группа имела более высокий уровень заболеваемости раком, исследователь знает, что не существует третьего фактора, влияющего на то, подвергся ли человек воздействию, потому что он контролировал, кто подвергался воздействию или нет, и он произвольно распределил людей в группы, подвергшиеся и не подвергавшиеся воздействию. Однако во многих приложениях на самом деле проведение эксперимента таким способом либо чрезмерно дорого, либо невозможно, неэтично, незаконно или совершенно невозможно. Например, маловероятно, что IRB согласился бы на эксперимент, в котором намеренно подвергали людей воздействию опасного вещества, чтобы проверить его токсичность. Очевидные этические последствия таких экспериментов ограничивают возможности исследователей эмпирически проверить причинно-следственную связь.

Доказательство нулевой гипотезы

В статистическом тесте нулевая гипотеза (${\displaystyle H_{0}}$) считается действительным, пока достаточное количество данных не подтвердит, что это неверно. потом ${\displaystyle H_{0}}$ отвергается и альтернативная гипотеза (${\displaystyle H_{A}}$) считается правильным. Случайно такое может случиться, хотя ${\displaystyle H_{0}}$ верно, с вероятностью, обозначенной ${\displaystyle \alpha }$ (уровень значимости). Это можно сравнить с судебным процессом, в котором обвиняемый считается невиновным (${\displaystyle H_{0}}$) до тех пор, пока виновность не будет доказана (${\displaystyle H_{A}}$) при отсутствии обоснованного сомнения (${\displaystyle \alpha }$).

Но если данные не дают нам достаточно доказательств, чтобы отклонить это ${\displaystyle H_{0}}$, это не означает автоматически, что ${\displaystyle H_{0}}$ верно. Если, например, производитель табака хочет продемонстрировать, что его продукция безопасна, он может легко провести тест с небольшой выборкой курильщиков по сравнению с небольшой выборкой некурящих. Маловероятно, что у кого-либо из них разовьется рак легких (и даже если они это сделают, разница между группами должна быть очень большой, чтобы ${\displaystyle H_{0}}$). Следовательно, вероятно, даже если курение опасно, наш тест не отклонит ${\displaystyle H_{0}}$. Если ${\displaystyle H_{0}}$ Принято считать, что это автоматически не означает, что курение безвредно. У теста недостаточно мощности для отклонения ${\displaystyle H_{0}}$, поэтому тест бесполезен и ценность «доказательства» ${\displaystyle H_{0}}$ также равно нулю.

Это можно - используя приведенный выше судебный аналог - сравнить с истинно виновным обвиняемым, освобожденным только потому, что доказательств недостаточно для вынесения обвинительного приговора. Это не доказывает невиновность подсудимого, а только то, что доказательств недостаточно для обвинительного приговора.

«... нулевая гипотеза никогда не доказывается и не устанавливается, но она, возможно, опровергается в ходе экспериментов. Можно сказать, что каждый эксперимент существует только для того, чтобы дать фактам шанс опровергнуть нулевую гипотезу». (Фишер в Планирование экспериментов Существует множество причин для путаницы, включая использование двойной отрицательной логики и терминологии в результате слияния «проверки значимости» Фишера (где нулевая гипотеза никогда не принимается) с «проверкой гипотез» (где всегда принимается некоторая гипотеза).

Заблуждение статистической значимости с практической значимостью

Статистическая значимость - это мера вероятности; практическое значение - это мера эффекта.^[26] Лекарство от облысения является статистически значимым, если редкий персиковый пушок обычно покрывает ранее обнаженную кожу головы. Вылечить можно практически, когда шляпа больше не требуется в холодную погоду и парикмахер спрашивает, сколько снять ее. Лысые хотят лечения, которое является статистически и практически значимым; Вероятно, это сработает, и если это так, это будет иметь большой эффект волосатости. Для научных публикаций часто требуется только статистическая значимость. Это привело к жалобам (за последние 50 лет), что тестирование статистической значимости является неправильным использованием статистики.^[27]

Дноуглубительные работы

Основная статья: Дноуглубительные работы

Дноуглубительные работы злоупотребление сбор данных. При выемке данных изучаются большие подборки данных, чтобы найти корреляцию, без какого-либо заранее определенного выбора гипотеза для тестирования. Поскольку требуется доверительный интервал для установления взаимосвязи между двумя параметрами обычно выбирается 95% (это означает, что существует 95% -ная вероятность того, что наблюдаемая взаимосвязь не является случайной), таким образом, существует 5% -ная вероятность обнаружения корреляции между любыми двумя наборами полностью случайных величин. Учитывая, что при углублении данных обычно исследуются большие наборы данных со многими переменными и, следовательно, с даже большим количеством пар переменных, при любом таком исследовании почти наверняка будут получены ложные, но очевидно статистически значимые результаты.

Обратите внимание, что извлечение данных - допустимый способ находка возможная гипотеза, но эта гипотеза должен затем пройти испытания с данными, которые не использовались при первоначальной дноуглубительной работе. Неправильное использование происходит тогда, когда эта гипотеза констатируется как факт без дальнейшего подтверждения.

«Вы не можете законно проверить гипотезу на тех же данных, которые впервые предложили эту гипотезу. Средство очевидное. Как только у вас появится гипотеза, спланируйте исследование для поиска именно того эффекта, который, по вашему мнению, имеет место. Если результат этого теста статистически значимо, у вас наконец-то есть реальные доказательства ".^[28]

Манипуляция данными

Не путать с Обработка данных, Подготовка данных, или же Обработка данных, частично совпадающие термины, которые часто называют «манипуляцией с данными».

Эта практика, неофициально называемая «подделкой данных», включает выборочную отчетность (см. Также предвзятость публикации ) и даже просто выдумывание ложных данных.

Примеров выборочной отчетности предостаточно. Самые простые и распространенные примеры включают выбор группы результатов, соответствующих шаблону. последовательный с предпочтительным гипотеза игнорируя другие результаты или "прогоны данных", которые противоречат гипотезе.

Психологи давно оспаривают исследования, показывающие, что люди с ESP способность. Критики обвиняют сторонников ESP в том, что они публикуют только эксперименты с положительными результатами и откладывают в долгий ящик те, которые показывают отрицательные результаты. «Положительный результат» - это тестовый прогон (или прогон данных), в котором испытуемый угадывает скрытую карту и т. Д. С гораздо большей частотой, чем случайный шанс.^{[нужна цитата ]}

Ученые, как правило, сомневаются в достоверности результатов исследования, которые не могут быть воспроизведены другими исследователями. Однако некоторые ученые отказываются публиковать свои данные и методы.^[29]

Манипуляция данными - серьезная проблема / серьезная проблема для самого честного статистического анализа. Выбросы, недостающие данные и ненормальность могут отрицательно повлиять на достоверность статистического анализа. Перед началом анализа целесообразно изучить данные и устранить реальные проблемы. «[В] любой диаграмме рассеяния будут некоторые точки, более или менее отделенные от основной части облака: эти точки должны быть отклонены только по причине».^[30]

Другие заблуждения

Псевдорепликация техническая ошибка, связанная с дисперсионный анализ. Сложность скрывает тот факт, что статистический анализ проводится на единственной выборке (N = 1). Для этого вырожденного случая невозможно вычислить дисперсию (деление на ноль). Значение (N = 1) всегда дает исследователю наивысшую статистическую корреляцию между намеренной систематической ошибкой и фактическими результатами.

В заблуждение игрока предполагает, что событие, для которого можно измерить вероятность в будущем, имело такую ​​же вероятность наступления, когда оно уже произошло. Таким образом, если кто-то уже подбросил 9 монет, и каждая из них выпала орлом, люди склонны предполагать, что вероятность того, что десятый бросок также будет орлом, составляет 1023 к 1 против (что было до того, как была подброшена первая монета), хотя на самом деле шанс выпадения десятой головы составляет 50% (при условии, что монета беспристрастна).

В ошибка прокурора^[31] привел в Великобритании к Салли Кларк ошибочно признана виновной в убийстве двух ее сыновей. В суде низкая статистическая вероятность (1 из 73 миллионов) смерти двух детей женщины от Синдром внезапной детской смерти дано профессором сэром Рой Мидоу были неверно истолкованы как предполагающие низкую вероятность ее невиновности. Даже если предполагаемая вероятность двойного СВДС, которая позже была поставлена ​​под сомнение Королевское статистическое общество,^[32] были правильными, нужно сопоставить все возможные объяснения друг с другом, чтобы сделать вывод, который, скорее всего, явился причиной необъяснимой смерти двух детей. Имеющиеся данные предполагают, что вероятность двойного СВДС выше, чем двойного убийства, в девять раз. ^[33]". Убеждение Салли Кларк в конечном итоге был отменен.

В нелепое заблуждение. Вероятности основаны на простых моделях, которые игнорируют реальные (если и отдаленные) возможности. Игроки в покер не считают, что противник может вытащить пистолет, а не карту. Страхователи (и правительства) предполагают, что страховщики останутся платежеспособными, но видят AIG и системный риск.

Другие виды неправильного использования

Другие злоупотребления включают сравнение яблоки и апельсины, используя неправильное среднее значение,^[34] регресс к среднему,^[35] и зонтичная фраза мусор на входе, мусор на выходе.^[36] Некоторые статистические данные просто не имеют отношения к проблеме.^[37]

Квартет анскомба это выдуманный набор данных, который иллюстрирует недостатки простых описательная статистика (и ценность построение графиков данных перед численным анализом).

Смотрите также

• Обман
• Этика в математике
• Метанаука
• Неправильное использование p-значений
• Вводящий в заблуждение график
• Постфактум анализ
• Парадокс Симпсона
• Statcheck

Рекомендации

Примечания

1. Некоторые данные о точности опросов доступны. Что касается одного важного опроса правительства США: "Условно говоря, оба ошибка выборки и ошибка [смещения], не связанная с выборкой, очень мала ".^[22]Разница между голосами, предсказанными одним частным опросом, и фактическим подсчетом голосов на президентских выборах в США доступна для сравнения на "Предпочтения президента в год выборов: данные о точности опроса Гэллапа: 1936–2012 гг.". Прогнозы обычно рассчитывались на основе менее чем 5000 мнений вероятных избирателей.^[23]

Источники

1. Абельсон, Роберт П. (1995). Статистика как главный аргумент. Лоуренс Эрлбаум Ассошиэйтс. ISBN  0-8058-0528-1. ... цель статистики состоит в том, чтобы организовать полезный аргумент на основе количественных свидетельств, используя форму принципиальной риторики.
2. Портер, Теодор (1995). Доверие к числам: стремление к объективности в науке и общественной жизни. Принстон, Нью-Джерси: Издательство Принстонского университета. ISBN  0-691-03776-0. Портер рассмотрел историю анализа затрат и выгод. Хотя этот метод, возможно, более экономичен, чем статистический, это метод количественного принятия решений, относящийся к статистической области.
3. Spirer, Spirer & Jaffe 1998 г., п. 1.
4. Гарденье, Джон; Резник, Дэвид (2002). «Злоупотребление статистикой: концепции, инструменты и программа исследований». Подотчетность в исследованиях: политика и обеспечение качества. 9 (2): 65–74. Дои:10.1080/08989620212968. PMID  12625352.
5. Фишер, Дэвид (1979). Заблуждения историков: к логике исторической мысли. Нью-Йорк: Харпер и Роу. С. 337–338. ISBN  978-0060904982.
6. Страсак, Александр М .; Камруз Заман; Карл П. Пфайффер; Георг Гёбель; Ханно Ульмер (2007). «Статистические ошибки в медицинских исследованиях - обзор распространенных ошибок». Швейцарский медицинский еженедельник. 137 (3–4): 44–49. PMID  17299669. В этой статье все, что не соответствует лучшей статистической практике, приравнивается к потенциальному злоупотреблению статистикой. На нескольких страницах обсуждается 47 потенциальных статистических ошибок; ошибки в дизайне исследования, анализе данных, документации, представлении и интерпретации. «[S] татистов следует вовлекать в разработку дизайна исследования на раннем этапе, поскольку ошибки на этом этапе могут иметь серьезные последствия, отрицательно влияя на все последующие этапы медицинского исследования».
7. Индраян, Абхая (2007). «Статистические ошибки в ортопедических исследованиях». Индийский журнал ортопедии. 41 (1): 37–46. Дои:10.4103/0019-5413.30524. ЧВК  2981893. PMID  21124681. Содержит богатый список медицинских злоупотреблений статистикой всех типов.
8. Spirer, Spirer & Jaffe 1998 г., главы 7 и 8.
9. Spirer, Spirer & Jaffe 1998 г., Глава 3.
10. Spirer, Spirer & Jaffe 1998 г., Глава 4.
11. Адлер, Роберт; Джон Юинг; Питер Тейлор (2009). «Статистика цитирования». Статистическая наука. 24 (1): 1–14. Дои:10.1214 / 09-STS285. Научные статьи и журналы часто оцениваются по «влиянию» - количеству цитирований в более поздних публикациях. Математики и статистики приходят к выводу, что воздействие (хотя и относительно объективное) не является очень значимой мерой. «Опора исключительно на данные цитирования обеспечивает в лучшем случае неполное и часто поверхностное понимание исследования - понимание, которое действительно только тогда, когда оно подкреплено другими суждениями. Цифры по своей сути не превосходят здравые суждения».
12. Spirer, Spirer & Jaffe 1998 г., название главы.
13. Spirer, Spirer & Jaffe 1998 г., глава 5.
14. Уэзерберн, Дон (ноябрь 2011 г.), «Использование и злоупотребления статистикой преступности» (PDF), Бюллетень по преступности и правосудию: современные проблемы преступности и правосудия, Бюро статистики и исследований преступности Нового Южного Уэльса, 153, ISBN  9781921824357, ISSN  1030-1046, архивировано 21 июня 2014 г. В этом австралийском отчете о статистике преступности приводятся многочисленные примеры интерпретации и неверной интерпретации данных. «Расширение доступа СМИ к информации о преступности не сопровождалось повышением качества освещения преступлений в СМИ. Неправильное использование статистических данных о преступности в средствах массовой информации препятствует рациональным дебатам о правопорядке». Среди предполагаемых злоупотреблений СМИ: выборочное использование данных, выборочное сообщение фактов, вводящие в заблуждение комментарии, искажение фактов и вводящие в заблуждение заголовки. Милиция и политики также злоупотребляли статистикой.
15. Кругман, Пол (1994). Торговля процветанием: экономический смысл и чепуха в эпоху заниженных ожиданий. Нью-Йорк: W.W. Нортон. п.111. ISBN  0-393-03602-2.
16. Spirer, Spirer & Jaffe 1998 г..
17. Канеман 2013, п. 102.
18. Мур и Нотц 2006, п. 59.
19. Мур и Нотц 2006, п. 97.
20. Мур и Маккейб 2003 С. 252–254.
21. Мур и Нотц 2006, п. 53. Выборочные опросы в реальном мире.
22. Фридман, Пизани и Первес 1998, глава 22: Измерение занятости и безработицы, стр. 405.
23. Фридман, Пизани и Первес 1998 С. 389–390.
24. Фарли, Джон В. (2003). Барретт, Стивен (ред.). «Линии электропередач и рак: нечего бояться». Quackwatch.
25. Винс, Гайя (2005-06-03). «Большое исследование связывает линии электропередач с детским раком». Новый ученый. Архивировано 16 августа 2014 года. Цитирует: Дрейпер, Г. (2005). «Детский рак в зависимости от расстояния от высоковольтных линий электропередач в Англии и Уэльсе: исследование случай-контроль». BMJ. 330 (7503): 1290. Дои:10.1136/bmj.330.7503.1290. ЧВК  558197. PMID  15933351.
26. Moore & McCabe 2003, с. 463.
27. Rozeboom, William W. (1960). "The fallacy of the null-hypothesis significance test". Психологический бюллетень. 57 (5): 416–428. Дои:10.1037/h0042040. PMID  13744252.
28. Moore & McCabe 2003, п. 466.
29. Neylon, C (2009). "Scientists lead the push for open data sharing". Информация об исследовании. Европа Наука. 41: 22–23. ISSN  1744-8026. Archived from the original on December 3, 2013.
30. Freedman, Pisani & Purves 1998, chapter 9: More about correlations, §3: Some exceptional cases
31. Seife, Charles (2011). Proofiness: how you're being fooled by the numbers. Нью-Йорк: Пингвин. pp. 203–205 and Appendix C. ISBN  9780143120070. Discusses the notorious British case.
32. Королевское статистическое общество (23 октября 2001 г.). "«Королевское статистическое общество обеспокоено проблемами, поднятыми в деле Салли Кларк» (PDF). Архивировано из оригинал (PDF) на 24.08.2011. (28,0 КБ)"
33. Hill, R. (2004). "Multiple sudden infant deaths – coincidence or beyond coincidence?". Детская и перинатальная эпидемиология. 18 (5): 320–6. Дои:10.1111/j.1365-3016.2004.00560.x. PMID  15367318.
34. Huff 1954, chapter 2.
35. Kahneman 2013, глава 17.
36. Hooke 1983, §50.
37. Campbell 1974, chapter 3: Meaningless statistics.

дальнейшее чтение

• Campbell, Stephen (1974). Flaws and fallacies in statistical thinking. Прентис Холл. ISBN  0-486-43598-9.
• Christensen, R.; Reichert, T. (1976). "Unit Measure Violations in Pattern Recognition, Ambiguity and Irrelevancy". Распознавание образов. 8 (4): 239–245. Дои:10.1016/0031-3203(76)90044-3.
• Ercan I, Yazici B, Yang Y, Ozkaya G, Cangur S, Ediz B, Kan I (2007). "Misusage of Statistics in Medical Researches" (PDF). Европейский журнал общей медицины. 4 (3): 127–133. Дои:10.29333/ejgm/82507. Archived from the original on November 13, 2014.
• Ercan I, Yazici B, Ocakoglu G, Sigirli D, Kan I (2007). "Review of Reliability and Factors Affecting the Reliability" (PDF). InterStat. Archived from the original on August 28, 2013.
• Freedman, David; Pisani, Robert; Purves, Roger (1998). Статистика (3-е изд.). W.W. Нортон. ISBN  978-0-393-97083-8.
• Hooke, Robert (1983). How to tell the liars from the statisticians. Нью-Йорк: М. Деккер. ISBN  0-8247-1817-8.
• Huff, Darrell (1954). Как лгать со статистикой. W. W. Norton & Company. LCCN  53013322. ПР  6138576M.
• Kahneman, Daniel (2013). Thinking, fast and slow. Нью-Йорк: Фаррар, Штраус и Жиру. ISBN  9780374533557.
• Мур, Дэвид; McCabe, George P. (2003). Introduction to the practice of statistics (4-е изд.). Нью-Йорк: W.H. Freeman and Co. ISBN  0716796570.
• Мур, Дэвид; Notz, William I. (2006). Statistics: concepts and controversies (6-е изд.). Нью-Йорк: W.H. Фримен. ISBN  9780716786368.
• Spirer, Herbert; Spirer, Louise; Jaffe, A. J. (1998). Misused statistics (переработанное и дополненное 2-е изд.). Нью-Йорк: М. Деккер. ISBN  978-0824702113. The book is based on several hundred examples of misuse.
• Oldberg, T. and R. Christensen (1995) "Erratic Measure" in NDE for the Energy Industry 1995, The American Society of Mechanical Engineers. ISBN  0-7918-1298-7 (pages 1–6) Republished on the Web by ndt.net
• Oldberg, T. (2005) "An Ethical Problem in the Statistics of Defect Detection Test Reliability," Speech to the Golden Gate Chapter of the Американское общество неразрушающего контроля. Published on the Web by ndt.net
• Stone, M. (2009) Failing to Figure: Whitehall's Costly Neglect of Statistical Reasoning, Civitas, London. ISBN  1-906837-07-4
• Galbraith, J .; Stone, M. (2011). "The abuse of regression in the National Health Service allocation formulae: Response to the Department of Health's 2007 'resource allocation research paper'". Journal of the Royal Statistical Society, Series A. 174 (3): 517–528. Дои:10.1111/j.1467-985X.2010.00700.x.