Аудит чувствительности - Sensitivity auditing

Аудит чувствительности является продолжением Анализ чувствительности для использования в исследованиях моделирования, связанных с политикой. Рекомендуется его использование - например, в руководящих принципах Европейской комиссии по оценке воздействия[1] и Европейскими академиями наук[2]- когда Анализ чувствительности (SA) исследования, основанного на модели, призвано продемонстрировать надежность доказательств, предоставляемых моделью, но в контексте, когда вывод учитывается в политике или процессе принятия решений.[3]

Подход

В условиях, когда научная работа является частью политики, формирование анализа, его институциональный контекст и мотивация его автора могут стать весьма актуальными, и чистой SA - с ее акцентом на параметрическую (то есть количественную) неопределенность - может оказаться недостаточно. Акцент на фрейминге может, среди прочего, проистекать из релевантности исследования политики для различных групп, для которых характерны разные нормы и ценности, и, следовательно, из другой истории о том, "в чем проблема" и, прежде всего, о том, "кто есть проблема". рассказывая историю ». Чаще всего фрейм включает неявные предположения, которые могут быть политическими (например, какая группа должна быть защищена) вплоть до технических (например, какую переменную можно рассматривать как константу).

Чтобы должным образом учесть эти опасения, аудит чувствительности расширяет инструменты Анализ чувствительности для обеспечения оценки всего процесса создания знаний и моделей. Это черпает вдохновение из NUSAP,[4] метод, используемый для оценки ценности (качества) количественной информации с генерацией "Родословных" чисел. Аналогичным образом, аудит чувствительности был разработан, чтобы предоставить родословные моделей и выводы, основанные на моделях.[3] Аудит чувствительности особенно подходит в контексте противоборства, когда не только характер доказательства, но также степень уверенности и неопределенности, связанной с доказательствами, является предметом партийных интересов. Эти настройки рассматриваются в Постнормальная наука[5] или в Режим 2[6] наука. Постнормальная наука (PNS) - это концепция, разработанная Сильвио Фунтович и Джером Равец,[5][7][8] который предлагает методологию расследования, которая подходит, когда «факты сомнительны, ценности спорны, ставки высоки, а решения неотложны» (Funtowicz and Ravetz, 1992:[8] 251–273). Режим 2 Наука, изобретенная в 1994 году Гиббонсом и др., Относится к способу производства научного знания, которое зависит от контекста, ориентировано на проблемы и является междисциплинарным. Карроцца (2015)[9] предлагает обсуждение этих концепций и подходов. Аудит чувствительности - вместе с постнормальная наука линзы рекомендуются для изучения устойчивости в[10].

Аудит чувствительности рекомендуется Европейская комиссия для использования в оценки воздействия для повышения качества основанных на моделях доказательств, используемых для поддержки политических решений.[1] Аналогичные рекомендации можно найти в отчете Ассоциации науки для политики Европейских академий. SAPEA[2].

Правила

Аудит чувствительности резюмируется семью правилами или руководящими принципами:

  1. Сверьтесь с риторическим использованием математического моделирования. Заданный вопрос: используется ли модель для выяснения или запутывания ?;
  2. Примите позицию "охоты на предположения". Задавался вопрос: что было "допущено"? Какие неявные, доаналитические, возможно, нормативные допущения лежат в основе анализа ?;
  3. Обнаружение мусора в мусоре вне (GIGO). Рассматриваемая проблема: искусственное снижение неопределенности использовалось для достижения желаемого вывода на желаемом уровне уверенности. Он также работает с обратной практикой, искусственным раздуванием неопределенностей, например. сдерживать регулирование;
  4. Найдите деликатные предположения, прежде чем они найдут вас. Решенная проблема: ожидайте критики, тщательно выполняя домашнюю работу с помощью анализа чувствительности и неопределенности, прежде чем публиковать результаты.
  5. Стремитесь к прозрачности. Рассматриваемая проблема: заинтересованные стороны должны быть в состоянии понять и, возможно, воспроизвести результаты анализа;
  6. Делайте правильные суммы, что более важно, чем «Делайте правильные суммы». Решенный вопрос: игнорируется ли точка зрения соответствующей заинтересованной стороны? Кто решил, что возникла проблема и в чем проблема?
  7. Сосредоточьте анализ на ключевом вопросе, на который отвечает модель, исследуя все пространство допущений целостно. Решенная проблема: не выполняйте поверхностный анализ, который лишь "царапает поверхность" потенциальных неопределенностей системы.

Первое правило рассматривает инструментальное использование математического моделирования для продвижения своей цели. Это использование называется риторическим или стратегическим, как использование латыни, чтобы сбить с толку или запутать собеседника.

Второе правило «охоты на предположения» - это напоминание о том, что нужно искать то, что предполагалось при первоначальной разработке модели. Режимы полны при прочих равных условиях предположения. Например, в экономике модель может предсказать результат шока для данной системы уравнений, предполагая, что все остальное - все другие входные переменные и входные данные - остаются равными, но в реальной жизни «при прочих равных» никогда не являются «парибусом». , что означает, что переменные имеют тенденцию быть связаны друг с другом, поэтому они не могут реально измениться независимо друг от друга.

Правило третье касается искусственного преувеличения или преуменьшения неопределенностей там, где это удобно. Табачные лобби преувеличивали сомнения в отношении воздействия курения на здоровье, согласно Орескесу и Конвею,[11] в то время как сторонники смертной казни преуменьшают неопределенность в отрицательных отношениях между смертной казнью и уровнем преступности.[12] Очевидно, последние хотели политики, в данном случае смертной казни, и были заинтересованы в том, чтобы показать, что подтверждающие доказательства были убедительны. В первом случае лобби не желало регулирования (например, запрета на курение табака в общественных местах) и, следовательно, было заинтересовано в усилении неопределенности причинно-следственной связи между курением и здоровьем.

Правило четвертое заключается в том, чтобы "признать" неопределенность перед публикацией анализа. Это правило также является одной из заповедей прикладной эконометрики по Кеннеди:[13] `Ты должен признаться в присутствии чуткости. Следствие: предвидеть критику ». Согласно этому правилу, Анализ чувствительности должны быть выполнены до публикации результатов исследования моделирования. Для этого есть много веских причин, одна из которых состоит в том, что Анализ чувствительности часто выявляет простые ошибки в коде или несоответствия модели. Во-вторых, чаще всего анализ выявляет неопределенности, которые больше, чем ожидаемые разработчиками модели.

Правило пять касается прозрачного представления результатов исследования моделирования. Оба правила исходят из практики оценки воздействия, когда исследование моделирования, представленное без надлежащей SA, или исходящее из модели, которая на самом деле является черным ящиком, может в конечном итоге быть отвергнуто заинтересованными сторонами.[14] Оба правила четыре и пять предполагают, что воспроизводимость может быть условием прозрачности, а последнее - условием легитимности.[15]

Правило шестое о правильной сумме не далеко от правила «охоты на предположения»; это просто более общий характер. Он связан с тем фактом, что часто аналитик приступает к работе над анализом, произвольно оформленным в пользу стороны. Иногда это происходит путем выбора дисциплины, выбранной для проведения анализа. Таким образом, проблема воздействия на окружающую среду может быть сформулирована через призму экономики и представлена ​​как анализ затрат и выгод или рисков, в то время как проблема имеет мало общего с затратами, выгодами или рисками, а во многом связана с прибылью, контролем и нормами. Пример можно найти в Marris et al.[16] по проблеме ГМО, которая в основном представлена ​​в общественном дискурсе как проблема безопасности пищевых продуктов, в то время как спектр опасений противников ГМО, в том числе непрофессионалов, кажется шире. Подход, расширяющий это конкретное правило на спектр правдоподобных фреймов, - это так называемый Количественное повествование.

Правило седьмое - избегать небрежного Анализ чувствительности. SA, в которой каждый неопределенный вход перемещается за один раз, а все остальные входы остаются неизменными, является формальным.[17] Настоящая SA должна приложить честные усилия для одновременного исследования всех неопределенностей, позволяя модели свободно отображать свое полное нелинейное и, возможно, неаддитивное поведение. Аналогичное замечание сделано в книге Сэма Л. Сэвиджа "Ошибка средних значений".[18]

Вопросы, рассмотренные с помощью аудита чувствительности

В заключение, эти правила призваны помочь аналитику предвидеть критику, в частности, касающуюся основанных на модели логических выводов, используемых при оценке воздействия. Какие вопросы и возражения могут возникнуть у моделиста? Вот возможный список:

  • Вы относились к X как к константе, хотя мы знаем, что она неопределенна как минимум на 30%
  • Достаточно ошибки в 5% в X, чтобы ваше утверждение о Z хрупкое.
  • Ваша модель - всего лишь одна из правдоподобных моделей - вы пренебрегли неопределенностью модели
  • Вы инструментально повысили уровень уверенности в результатах
  • Ваша модель черный ящик - почему я должен доверять вашим результатам?
  • Вы искусственно раздули неопределенность
  • Ваше обрамление не является социально устойчивым
  • Вы отвечаете не на тот вопрос

Аудит чувствительности в Руководстве Европейской комиссии

Аудит чувствительности описан в Руководстве Европейской комиссии по оценке воздействия.[1]. Соответствующие выдержки (стр. 392):

«[…] Там, где есть серьезные разногласия между заинтересованными сторонами по поводу характера проблемы,… тогда аудит чувствительности более подходит, но анализ чувствительности по-прежнему рекомендуется как один из шагов аудита чувствительности».
«Аудит чувствительности […] - это более широкое рассмотрение влияния всех типов неопределенности, включая структурные допущения, заложенные в модели, и субъективные решения, принимаемые при постановке проблемы».
«Конечная цель - открыто и честно сообщить, в какой степени можно использовать определенные модели для поддержки политических решений и каковы их ограничения».
«В целом аудит чувствительности подчеркивает идею честного информирования о степени, в которой результатам модели можно доверять, принимая во внимание как можно больше всех форм потенциальной неопределенности, и предвидеть критику со стороны третьих сторон».

Отчет SAPEA

Ассоциация европейских академий науки для политики SAPEA подробно описывает аудит чувствительности в своем отчете за 2019 год, озаглавленном «Смысл науки в политике в условиях сложности и неопределенности ”[2].

Приложения

Применение концепций аудита чувствительности к исследованию OECD-PISA[19], Продовольственная безопасность[20], питание[21], экологический след[22].

События

Аудит чувствительности - один из инструментов, рекомендуемых в контексте возможных этика количественной оценки,[23][24] который направлен на выявление общих этических элементов в различных проблемах, наблюдаемых при количественной оценке, таких как фиксация показателей[25], злоупотребление статистикой[26], плохое моделирование[27] и неэтичные алгоритмы[28].

Рекомендации

  1. ^ а б c Европейская комиссия. (2015). Руководство по оценке воздействия - Европейская комиссия Рекомендации Европейской комиссии по лучшему регулированию
  2. ^ а б c Научные советы по политике европейских академий, Смысл науки в политике в условиях сложности и неопределенности, Берлин, 2019.
  3. ^ а б Сальтелли, А., ван дер Слуис, Дж., Гимарайнш Перейра, А., 2013, Фунтовиз, С.О., Что я могу сказать о вашем Latinorum? Аудит чувствительности математического моделирования, Международный журнал Foresight and Innovation Policy, 9 (2/3/4), 213–234.
  4. ^ Ван дер Слуйс Дж. П., Крей М., Фунтович С., Клопрогге П., Равец Дж., Рисби Дж. (2005) Сочетание количественных и качественных мер неопределенности в оценке окружающей среды на основе моделей: система NUSAP. Анализ рисков 25 (2): 481-492
  5. ^ а б Фунтович, С. О. и Равец, Дж. Р. 1993. Наука для постнормального возраста. Фьючерсы, 25 (7), 739–755.
  6. ^ Гиббонс, Майкл; Камилла Лимож; Хельга Новотны; Саймон Шварцман; Питер Скотт; Мартин Троу (1994). Новое производство знаний: динамика науки и исследований в современных обществах. Лондон: Мудрец. ISBN  0-8039-7794-8.
  7. ^ Фунтович, С.О. и Джером Р. Равец (1991). «Новая научная методология решения глобальных экологических проблем». В экологической экономике: наука и управление устойчивостью. Эд. Роберт Костанца. Нью-Йорк: издательство Колумбийского университета: 137–152.
  8. ^ а б Фунтович, С. О., и Равец, Дж. Р. 1992. Три типа оценки риска и появление постнормальной науки. В С. Крымски и Д. Голдинг (ред.), Социальные теории риска (стр. 251–273). Вестпорт, Коннектикут: Гринвуд.
  9. ^ Карроцца, К., 2015. «Демократизация экспертных знаний и экологического управления: различные подходы к научной политике и их значимость для анализа политики», Журнал экологической политики и планирования, 17 (1), 108-126.
  10. ^ Сальтелли, А., Бенини, Л., Фунтович, С., Джампьетро, ​​М., Кайзер, М., Райнерт, Э. С., и ван дер Слуис, Дж. П. (2020). Техника никогда не бывает нейтральной. Как выбор методологии обуславливает формирование нарративов устойчивости. Экологическая наука и политика, том 106, апрель 2020 г., страницы 87-98, https://doi.org/10.1016/j.envsci.2020.01.008
  11. ^ Орескес Н., Конвей Е.М. (2010) Торговцы сомнениями: как горстка ученых скрыла правду о проблемах, от табачного дыма до глобального потепления. Bloomsbury Press, Нью-Йорк.
  12. ^ Лимер Э.Е. (2010) Тантал на пути к асимптопии. Журнал экономических перспектив 4 (2): 31-46.
  13. ^ Кеннеди, П. (2007) Руководство по эконометрике, 5-е изд., Стр. 396, Blackwell Publishing, Oxford.
  14. ^ Saltelli, A., Funtowicz, S., 2014, Когда все модели ошибочны: необходимы более строгие критерии качества для моделей, используемых в интерфейсе науки и политики, Issues in Science and Technology, Winter 2014, 79–85.
  15. ^ Салтелли А., Фунтович С., 2015 г. Политика, основанная на доказательствах, в конце картезианской мечты: случай математического моделирования, в «Конец картезианской мечты», под редакцией Ангелы Гимарайнш Перейра и Сильвио Фунтовича, Routledge , п. 147-162.
  16. ^ Маррис, К., Винн, Б., Симмонс, П., и Велдон, Сью. 2001. Заключительный отчет исследовательского проекта PABE, финансируемого Комиссией Европейских сообществ, номер контракта: FAIR CT98-3844 DG12-SSMI) декабрь, Ланкастер: Университет Ланкастера.
  17. ^ Сальтелли, А., Аннони, П., 2010, Как избежать поверхностного анализа чувствительности, Экологическое моделирование и программное обеспечение, 25, 1508-1517 https://doi.org/10.1016/j.envsoft.2010.04.012.
  18. ^ Savage SL (2009) Ошибка средних значений: почему мы недооцениваем риск перед лицом неопределенности, Wiley.
  19. ^ Л. Араужо, А. Салтелли и С. В. Шнепф, «Оправдывают ли данные PISA образовательную политику, основанную на PISA?», Int. J. Comp. Educ. Дев., Т. 19, нет. 1. С. 20–34, 2017. https://doi.org/10.1108/IJCED-12-2016-0023.
  20. ^ А. Сальтелли и С. Ло Пиано, «Проблемные количественные оценки: критическая оценка сценария создания глобального« устойчивого »производства продуктов питания», Food Ethics, vol. 1, вып. 2. С. 173–179, 2017. https://doi.org/10.1007/s41055-017-0020-6.
  21. ^ С. Ло Пиано и М. Робинсон, «Экономические оценки питания и общественного здравоохранения через призму постнормальной науки», Futures, vol. 112, стр. 102436, сентябрь 2019 https://doi.org/10.1016/j.futures.2019.06.008.
  22. ^ А. Галли и др., «Вопрос об экологическом следе», Ecol. Инд., Т. 69, стр. 224–232, октябрь 2016 г.
  23. ^ Сальтелли, А. (2019). Статистическое моделирование против математического: краткий комментарий. Nature Communications, 10, 1–3. https://doi.org/10.1038/s41467-019-11865-8.
  24. ^ Сальтелли, А. (2020). Этика количественной оценки или количественная оценка этики? Фьючерсы, https://doi.org/10.1016/j.futures.2019.102509.
  25. ^ Мюллер, Дж. З. (2018). Тирания метрик. Издательство Принстонского университета.
  26. ^ Вассерштейн, Р. Л., и Лазар, Н. А. (2016). Заявление ASA о p-значениях: контекст, процесс и цель. Американский статистик, 70 (2), 129–133.
  27. ^ Сальтелли, А. (2018). Должна ли статистика спасать математическое моделирование? ArXiv, arXiv: 1712 (06457.
  28. ^ О’Нил, К. (2016). Оружие разрушения математики: как большие данные увеличивают неравенство и угрожают демократии. Издательская группа Random House.