Слова оценочной вероятности - Words of estimative probability

Слова оценочной вероятности (WEP или же WEPs) термины, используемые аналитики разведки при составлении аналитических отчетов, чтобы передать вероятность возникновения будущего события. Правильно выбранный WEP дает лицу, принимающему решение, ясную и недвусмысленную оценку, на которой основывается решение. Неэффективные WEP нечеткие или вводящие в заблуждение относительно вероятности события. Неэффективный WEP отводит лицу, принимающему решения, роль аналитика, повышая вероятность принятия неверных или поспешных решений. Немного интеллект а провалы политики, по-видимому, связаны с неточным использованием оценочных слов.

История

Интеллект

В 1964 г. Шерман Кент, один из первых участников формальной дисциплины анализа интеллекта обратился к проблеме вводящего в заблуждение выражения шансов в Оценки национальной разведки (NIE). В Слова оценочной вероятности, Кент отличал «поэтов» (тех, кто предпочитает многословные вероятностные утверждения) от «математиков» (тех, кто предпочитает количественные оценки). Чтобы преодолеть разрыв между ними и лицами, принимающими решения, Кент разработал парадигму, связывающую оценочные термины с шансами. Его цель состояла в том, чтобы «... изложить выводы сообщества таким образом, чтобы дать читателю понять, что является определенным знанием, а что является аргументированным суждением, и в рамках этой обширной области суждений, какие степени достоверности лежат в основе каждого ключа. приговор ".[1]Инициатива Кента не была принята, хотя идея была хорошо принята и остается актуальной сегодня.

Таблица 1: Kent’s Слова оценочной вероятности[2]
Определенный100%Плюс-минус 0%
Общая область возможностей
Почти наверняка93%Плюс-минус около 6%
Вероятно75%Плюс-минус около 12%
Шансы на равенство50%Плюс-минус около 10%
Возможно нет30%Плюс-минус около 10%
Почти наверняка нет7%Плюс-минус около 5%
Невозможно0Плюс-минус 0%

Ошибки политик и аналитики, связанные с WEP

Пример ущерба, который могут нанести отсутствующие или нечеткие WEP, можно найти в Ежедневная записка президента (PDB) под названием Бен Ладен намерен нанести удар в США. Ежедневный бюллетень президента, возможно, является вершиной лаконичных, актуальных и действенных аналитических статей в Разведывательное сообщество США (IC). PDB предназначен для информирования президента по широкому кругу вопросов, его пишут лучшие аналитики, а его рассматривают высшие руководители. Это «6 августа PDB», находится в центре многих споров для USIC. PDB 6 августа начался не только с расплывчатого предупреждения в заголовке, но и продолжился неопределенными предупреждениями:

  • «Бен Ладен с 1997 года хотел совершить теракты в США» (ЦРУ, 2001, п. 1);
  • «Бен Ладен подразумевал ... что его последователи« принесут войну в Америку »» (ЦРУ, 2001, пункт 1);
  • «Нападения бен Ладена на ... посольства США ... в 1998 году демонстрируют, что он готовит операции на много лет вперед, и его не останавливают неудачи» (CIA, 2001, параграф 6);
  • «Информация ФБР ... указывает на образцы подозрительной деятельности в этой стране, соответствующие приготовлениям к угонам самолетов или другим типам атак» (CIA, 2001, параграф 10);
  • «Звонок в посольство [США] в ОАЭ в мае [сообщил], что группа сторонников бен Ладена находится в США, планируя теракты с использованием взрывчатых веществ» (ЦРУ, 2001, п. 11).[3]

PDB описала предыдущую деятельность бен Ладена. Он не предоставил президенту критически важную четкую оценку вероятной деятельности бен Ладена в ближайшие месяцы:

Источники сообщили, что Буш специально попросил провести разведывательный анализ возможных атак Аль-Каиды в Соединенных Штатах, поскольку большая часть информации, представленной ему летом об Аль-Каиде, была сосредоточена на угрозах против американских целей за рубежом. Но один источник сказал, что Белый дом разочарован тем, что анализу не хватало целенаправленности и не было свежей информации.[4]

Отсутствие подходящих WEP приведет к путанице в отношении вероятности атаки и к предположениям о периоде, в который она может произойти.

В формулировке меморандума отсутствуют слова оценочной вероятности, которые уменьшают неопределенность, что мешает президенту и лицам, принимающим решения, принять меры, направленные на пресечение действий Аль-Каиды.[5]

Последствия 9/11 и провалов разведки Ирака / ОМУ, 9/11 Комиссия и Комиссия по разведке Ирака, были двигателями структурной реформы разведывательного сообщества. Хотя эти реформы были направлены на улучшение функционирования ИК, особенно в том, что касается межведомственного сотрудничества и обмена информацией, они уделяли мало внимания повышению качества анализа и составления разведданных. Существует повсеместное ощущение, что это улучшение необходимо. Тем не менее, похоже, что в ИК существует сопротивление, отчасти из-за привычки, отчасти из-за реалий политики и понятного предпочтения «правдоподобного отрицания», которое предлагает менее точный жаргон.[5]

Лекарство

Врачи и ученые-клиницисты сталкиваются с очень похожей проблемой при получении информированное согласие для пациентов, для которых такие слова, как «редко» или «нечасто» действительно имеют определенную фактическую вероятность. Однако числовая информация такого типа редко предоставляется пациентам.

Представительное руководство для получения информированное согласие от людей, участвующих в социальных науках или поведенческих исследованиях, или о потенциальных рисках медицинской процедуры, предлагает дать типичные числовые шансы неблагоприятного события, когда сначала используются слова оценочной вероятности.

СловоВероятность
Скорее всегоОжидается, что это произойдет более чем с 50% испытуемых
ЧастыйВероятно, случится с 10-50% испытуемых
СлучайныйПроизойдет с 1-10% испытуемых
РедкийПроизойдет менее чем с 1% испытуемых

Руководство продолжается,

Для исследований с участием исследуемых агентов или экспериментальных доз или комбинаций лекарств и / или методов лечения субъектов следует предупредить о том, что могут существовать еще неизвестные риски, связанные с препаратом / лечением, но что они будут уведомлены, если появится какая-либо новая информация, которая может повлиять на их желание участвовать в исследовании.[6]

Реформы методологии

Оценочные утверждения можно улучшить четырьмя способами; либо по:

  1. Добавление количественной достоверности источника и мер доверия к оценочным заявлениям
  2. Дополнение оценочных утверждений стохастическим анализом
  3. Стандартизация WEP
  4. Стандартизация WEP и дополнение оценочных заявлений рейтингами надежности источников и аналитическая уверенность

Количественная оценка надежности источника и аналитической уверенности

Майкл Шраге,[7] советник программы исследований безопасности Массачусетского технологического института (MIT) написал в редакционной статье Washington Post, что требование к аналитикам производить и включать количественные показатели надежности и уверенности источников вместе с их выводами уменьшит двусмысленность.[8] Однако Шраге также сообщил, что бывший временный Директор Центральной разведки Джон Э. Маклафлин Пытались ввести это в действие в ЦРУ, но, как и инициатива Кента, это не было принято.

Бывший исполняющий обязанности директора ЦРУ и многолетний аналитик Джон Маклафлин пытался активизировать внутренние усилия по определению вероятностей для оценок разведки в течение 1990-х, но они так и не сделали. Аналитики разведки «предпочли бы использовать слова, чем цифры, чтобы описать, насколько мы уверены в нашем анализе», - сказал мне старший офицер ЦРУ, проработавший более 20 лет. Более того, «большинство потребителей разведданных не особенно искушены, когда дело доходит до вероятностного анализа. Им тоже нравятся слова и картинки. Мой опыт показывает, что [они] предпочитают брифинги, которые не сосредоточены на числовых расчетах. Это не значит, что мы не может этого сделать, но на это не так много спроса ".[9]

Стохастический анализ

Поскольку объединение количественной, вероятностной информации с оценками является успешным в бизнес-прогнозировании, маркетинге, медицине и эпидемиологии, это также должно быть реализовано разведывательным сообществом. Эти поля использовали теория вероятности и Байесовский анализ как инструменты прогнозирования. Использование теории вероятностей и других стохастических методов привлекательно, потому что они полагаются на рациональность и математическую строгость, менее подвержены аналитической предвзятости, и такие результаты кажутся однозначными. В качестве противоположного аргумента, бесспорно, что некоторые аналитики или потребители разведки имеют желудок для численного расчета. Кроме того, Брюс Блэр, Директор Центр оборонной информации, сторонник количественных методов для IC, указывает; разведывательная информация из секретных источников часто бывает туманной, и применения продвинутой математики недостаточно, чтобы сделать ее более надежной. Однако он видит место для стохастического анализа в течение очень длительного периода, «это указывает на довольно медленную кривую обучения, которая также ставит под сомнение мудрость превращения упреждения в краеугольный камень стратегии безопасности США».[10]Заявленные оговорки имеют большое значение: математический и статистический анализ требует большого объема работы без быстрого и обязательно соразмерного повышения точности, скорости или понимания.

Стандартизация

В рекомендациях Национального разведывательного совета описывается использование парадигмы WEP (таблица 2) в сочетании с оценкой уровней достоверности («высокий, средний, низкий») на основе объема и качества вспомогательной информации:

Таблица 2: WEP из Национального разведывательного совета[11]
Почти наверняка
Вероятно / Вероятно
Даже шанс
Вряд ли
Удаленный

Однако обсуждение этой парадигмы в NIC, похоже, снижает ее шансы на эффективность:

Суждения разведки о вероятности призваны отразить понимание Сообществом вероятности развития или события. [...] Мы не подразумеваем, что термин «маловероятный» означает, что событие не произойдет. Мы используем «вероятно» и «вероятно», чтобы указать, что вероятность больше, чем даже. Мы используем такие слова, как «мы не можем отклонить», «мы не можем исключать» и «мы не можем сбрасывать со счетов», чтобы отразить маловероятное - или даже отдаленное - событие, последствия которого таковы, что оно заслуживает упоминания. Такие слова, как «может быть» и «предложить» используются для отражения ситуаций, в которых мы не можем оценить вероятность в целом, потому что соответствующая информация отсутствует, отрывочна или фрагментирована.[12]


Это объяснение - «полшага вперед, полшага назад». Парадигма WEP, спонсируемая агентством. является прогресс. Однако - оценочное заявление, в котором используется «может быть», «предложить» или другое ласковые слова является расплывчатым и симптоматическим для рассматриваемой проблемы, а не ее решением. В 1964 году Кент выступил против «возврата к выражениям избегания ... которые передают определенный смысл, но в то же время либо полностью освобождают нас от ответственности, либо делают оценку достаточно удаленной ... чтобы не вовлекать самих себя».[13]

Опыт Mercyhurst со стандартизованными WEP

В Институт разведки колледжа Мерсихерст провел несколько экспериментов по изучению интерпретации WEPs[14] (результаты разные)[15][16] использование ими WEP в NIE за последние три десятилетия] для определения значительных изменений в способах формулирования аналитических суждений NIC с течением времени.[16] Видеть Анализ конкурирующих гипотез

Парадигма WEP Мерсихерста сводит схему Кента к наименее двусмысленным словам:

Таблица 3: WEP Mercyhurst [5]
Почти наверняка
Очень вероятно
Вероятно / Вероятно
Вряд ли
Почти наверняка нет


Аналитическая уверенность и надежность источника выражаются по шкале от 1 до 10, с высокой 10.

Ласки слова

Таблица 4 содержит неисчерпывающий список наиболее расплывчатых общих терминов, уничижительно известных как Слова ласки. Их использование в оценочных заявлениях почти наверняка сбивает с толку; их следует избегать любой ценой.[нужна цитата ]

Таблица 4: WEP, вводящие в заблуждение: Избегайте!
Мог быЭто мыслимо
МогМай
ВозможноМы верим, что ... (... или нет)
Может быть...оцените, что ... (... или нет)
Шанс...не могу исключить
...не могу уволить...не могу сбрасывать со счетов
предложитьвозможно

Рекомендации

  1. ^ Шерман Кент и профессия интеллектуального анализа, Центр изучения интеллекта, Центральное Разведывательное Управление, Ноябрь 2002 г., стр. 50
  2. ^ Шерман Кент и профессия интеллектуального анализа, Центр изучения интеллекта, Центральное Разведывательное Управление, Ноябрь 2002 г., стр. 55
  3. ^ Возны, J.L. (2005), Оптимизация коммуникации между лицами, принимающими решения, и аналитиками разведки: прекращение "хлопающих данков" и избежание "мертвой ошибки" (Магистерская диссертация), Эри, Пенсильвания: Колледж Мерсихерст, стр. 192 Внешняя ссылка в | название = (помощь)
  4. ^ Woodward, B .; Эгген, Д. (18 мая 2002 г.), "Августовская записка о нападениях в США", Вашингтон Пост, получено 2008-04-21
  5. ^ а б c Уитон, К .; Чидо, Дайан (2008), «Слова оценочной вероятности», Журнал Competitive Intelligence Magazine, Александрия, Вирджиния: Сообщество профессионалов в области конкурентной разведки, ISSN  1521-5881
  6. ^ Университет Теннесси в Чаттануге, институциональный наблюдательный совет (2008 г.), Институциональный контрольный совет Часто задаваемые вопросы
  7. ^ Шраге, Майкл, Домашняя страница Майкла Шраге в Массачусетском технологическом институте, заархивировано из оригинал 19 апреля 2008 г.
  8. ^ Шраге, Майкл (20 февраля 2005 г.), «Каков процент« Slam Dunk »? Дайте нам шансы на эти оценки», Вашингтон Пост: B01
  9. ^ Шраге, 2003 г.
  10. ^ Блэр, Брюс (2004), Логика ошибки интеллекта (PDF), Центр оборонной информации, стр. 11, получено 2008-04-21
  11. ^ «Перспективы стабильности Ирака: впереди трудный путь» (PDF), Что мы имеем в виду, когда говорим: объяснение оценочного языка, Национальный совет разведки, п. 5, 2007, получено 2008-04-21
  12. ^ Национальный совет разведки, 2007, стр. 5
  13. ^ Шерман Кент и профессия интеллектуального анализа, Центр изучения интеллекта, Центральное Разведывательное Управление, Ноябрь 2002 г., стр. 63
  14. ^ http://sourcesandmethods.blogspot.com/2008/03/what-do-words-of-estimative-probability.html
  15. ^ Уитон, К. (24 марта 2008 г.), Что означают слова оценочной вероятности? Упражнение в области аналитического образования, получено 2008-04-24
  16. ^ а б Кессельман, Рэйчел (26 марта 2008 г.), «Оценочные слова вероятностных тенденций в оценках национальной разведки», 49-я ежегодная конференция Ассоциации международных исследований: устранение множественных разногласий

дальнейшее чтение