Алгоритмический уклон - Algorithmic bias - Wikipedia

Часть серии по
Искусственный интеллект
Блок-схема, показывающая решения, принятые механизм рекомендаций, около 2001 г.[1]

Алгоритмический уклон описывает систематические и повторяющиеся ошибки в компьютерной системе, которые приводят к несправедливым результатам, например, привилегия одной произвольной группы пользователей над другими. Предвзятость может возникать из-за многих факторов, включая, помимо прочего, дизайн алгоритма или непреднамеренное или непредвиденное использование или решения, касающиеся того, как данные кодируются, собираются, выбираются или используются для обучения алгоритма. Алгоритмическая предвзятость встречается на разных платформах, включая, помимо прочего, результаты поисковой системы и платформы социальных сетей, и могут иметь различные последствия, от непреднамеренного нарушения конфиденциальности до усиления социальные предубеждения расы, пола, сексуальности и этнической принадлежности. Изучение алгоритмической предвзятости больше всего касается алгоритмов, отражающих «систематическую и несправедливую» дискриминацию. Эта предвзятость только недавно была рассмотрена в правовых рамках, таких как Европейский союз 2018 г. Общие правила защиты данных.

По мере того, как алгоритмы расширяют свои возможности по организации общества, политики, институтов и поведения, социологов стали интересовать способы, которыми непредвиденные результаты и манипуляции с данными могут повлиять на физический мир. Поскольку алгоритмы часто считаются нейтральными и беспристрастными, они могут неточно демонстрировать больший авторитет, чем человеческий опыт, а в некоторых случаях полагаться на алгоритмы может смещать человеческую ответственность за их результаты. Предвзятость может проникнуть в алгоритмические системы в результате уже существующих культурных, социальных или институциональных ожиданий; из-за технических ограничений их конструкции; или в результате использования в непредвиденных контекстах или аудиторией, не учтенной при первоначальном дизайне программного обеспечения.

Алгоритмическая предвзятость упоминалась в самых разных случаях, от результатов выборов до распространения язык вражды в Интернете. Проблемы с пониманием, исследованием и обнаружением алгоритмической предвзятости проистекают из патентованной природы алгоритмов, которые обычно считаются коммерческой тайной. Даже когда обеспечивается полная прозрачность, сложность некоторых алгоритмов создает препятствие для понимания их функционирования. Более того, алгоритмы могут изменяться или реагировать на ввод или вывод таким образом, который невозможно предвидеть или легко воспроизвести для анализа. Во многих случаях, даже в пределах одного веб-сайта или приложения, нет единого «алгоритма» для изучения, а есть сеть из множества взаимосвязанных программ и входных данных, даже между пользователями одного и того же сервиса.

Определения

Диаграмма 1969 года, показывающая, как простая компьютерная программа принимает решения, иллюстрирующая очень простой алгоритм.

Алгоритмы сложно определить,[2] но в целом может пониматься как списки инструкций, которые определяют, как программы читают, собирают, обрабатывают и анализируют данные для генерации вывода.[3]:13 Подробное техническое введение см. Алгоритмы. Достижения в области компьютерного оборудования привели к увеличению возможностей обработки, хранения и передачи данных. Это, в свою очередь, стимулировало разработку и внедрение таких технологий, как машинное обучение и искусственный интеллект.[4]:14–15 Анализируя и обрабатывая данные, алгоритмы являются основой поисковых систем,[5] сайты социальных сетей,[6] рекомендательные механизмы,[7] онлайн-розница,[8] он-лайн реклама,[9] и больше.[10]

Современный социологи связаны с алгоритмическими процессами, встроенными в аппаратные и программные приложения из-за их политического и социального воздействия, и ставят под сомнение основные предположения о нейтральности алгоритма.[11]:2[12]:563[13]:294[14] Период, термин алгоритмический уклон описывает систематические и повторяющиеся ошибки, которые приводят к несправедливым результатам, например, привилегия одной произвольной группы пользователей над другими. Например, кредитный рейтинг алгоритм может отказать в выдаче ссуды без несправедливости, если он последовательно взвешивает соответствующие финансовые критерии. Если алгоритм рекомендует ссуды одной группе пользователей, но отказывает в ссуде другой группе почти идентичных пользователей на основании несвязанных критериев, и если такое поведение может повторяться в нескольких случаях, алгоритм можно описать как пристрастный.[15]:332 Эта предвзятость может быть преднамеренной или непреднамеренной (например, она может исходить из предвзятых данных, полученных от работника, который ранее выполнял работу, которую алгоритм будет выполнять с этого момента).

Методы

Смещение может быть внесено в алгоритм несколькими способами. Во время сборки набора данных данные могут быть собраны, оцифрованы, адаптированы и введены в база данных в соответствии с созданным человеком каталогизация критерии.[16]:3 Затем программисты назначают приоритеты, или иерархии, о том, как программа оценивает и сортирует эти данные. Это требует человеческих решений о том, как данные классифицируются, и какие данные должны быть включены или отброшены.[16]:4 Некоторые алгоритмы собирают собственные данные на основе критериев, выбранных людьми, которые также могут отражать предвзятость разработчиков.[16]:8 Другие алгоритмы могут усиливать стереотипы и предпочтения при обработке и отображении «релевантных» данных для пользователей-людей, например, путем выбора информации на основе предыдущих выборов аналогичного пользователя или группы пользователей.[16]:6

Помимо сборки и обработки данных, предвзятость может возникнуть в результате дизайна.[17] Например, алгоритмы, которые определяют распределение ресурсов или тщательную проверку (например, определение места в школе), могут непреднамеренно дискриминировать категорию при определении риска на основе схожих пользователей (как в кредитных рейтингах).[18]:36 Между тем, системы рекомендаций, которые работают, связывая пользователей с похожими пользователями или использующие предполагаемые маркетинговые черты, могут полагаться на неточные ассоциации, отражающие широкие этнические, гендерные, социально-экономические или расовые стереотипы. Другой пример связан с определением критериев включения и исключения из результатов. Этот критерий может привести к неожиданным результатам для результатов поиска, например, с программным обеспечением рекомендаций по рейсам, которое не учитывает рейсы, которые не следуют по маршрутам полета спонсирующей авиакомпании.[17] Алгоритмы также могут отображать систематическая ошибка неопределенности, предлагая более уверенные оценки при больших наборы данных доступны. Это может смещать алгоритмические процессы в сторону результатов, которые более точно соответствуют более крупным выборкам, что может не учитывать данные из недостаточно представленных групп населения.[19]:4

История

Ранняя критика

Эта карта использовалась для загрузки программного обеспечения в старый универсальный компьютер. Каждый байт (например, буква «А») вводится путем пробивки отверстий. Хотя современные компьютеры более сложны, они отражают этот процесс принятия решений человеком при сборе и обработке данных.[20]:70[21]:16

Самые ранние компьютерные программы были разработаны для имитации человеческих рассуждений и умозаключений и считались работоспособными, если они успешно и последовательно воспроизводили эту человеческую логику. В своей книге 1976 г. Компьютерная мощь и человеческий разум, Искусственный интеллект пионер Йозеф Вайценбаум предположил, что предвзятость может возникать как из-за данных, используемых в программе, так и из-за способа написания программы.[20]:149

Вайценбаум писал, что программы представляют собой последовательность правил, созданных людьми для компьютера. Последовательное следование этим правилам делает такие программы «воплощением закона»,[20]:40 то есть применять определенный способ решения проблем. Правила, которым следует компьютер, основаны на предположениях программиста о том, как эти проблемы могут быть решены. Это означает, что код может включать в себя представление программиста о том, как устроен мир, включая его или ее предубеждения и ожидания.[20]:109 В то время как компьютерная программа может включать предвзятость таким образом, Вейценбаум также отметил, что любые данные, передаваемые в машину, дополнительно отражают «процессы принятия решений человеком» по мере того, как данные выбираются.[20]:70, 105

Наконец, он отметил, что машины также могут передавать полезную информацию с помощью непреднамеренные последствия если пользователи не понимают, как интерпретировать результаты.[20]:65 Вайценбаум предостерег от доверчивых решений, принимаемых компьютерными программами, которые пользователь не понимает, сравнивая такую ​​веру с туристом, который может найти свой путь в гостиничный номер, только повернув налево или направо при подбрасывании монеты. Важно отметить, что у туриста нет оснований понимать, как и почему он прибыл в пункт назначения, и успешное прибытие не означает, что процесс является точным или надежным.[20]:226

Один из первых примеров алгоритмической предвзятости привел к тому, что до 60 женщин и представителей этнических меньшинств были лишены доступа к Медицинская школа больницы Святого Георгия в год с 1982 по 1986 год на основе внедрения новой компьютерной системы оценки, которая запрещала въезд женщинам и мужчинам с «иностранными именами» на основе исторических тенденций в приеме на учет.[22] В то время как многие школы в то время использовали аналогичные предубеждения в процессе отбора, Сент-Джордж был наиболее известен тем, что автоматизировал указанную предвзятость с помощью алгоритма, что позволило привлечь внимание людей в гораздо более широком масштабе.

Современная критика и ответы

Хотя хорошо разработанные алгоритмы часто определяют результаты, которые в равной степени (или более) справедливы, чем решения людей, случаи предвзятости все же имеют место, и их трудно предсказать и проанализировать.[23] Сложность анализа алгоритмической ошибки выросла вместе со сложностью программ и их дизайна. Решения, принятые одним дизайнером или командой дизайнеров, могут быть не видны среди множества фрагментов кода, созданных для одной программы; Со временем об этих решениях и их коллективном влиянии на результаты программы можно забыть.[24]:115 Теоретически эти предубеждения могут создавать новые модели поведения или «сценарии» по отношению к конкретным технологиям в качестве кода. взаимодействует с другими элементами общества.[25] Предубеждения также могут повлиять на то, как общество формируется вокруг точки данных этого требуют алгоритмы. Например, если данные показывают большое количество арестов в определенном районе, алгоритм может назначить больше полицейских патрулей в этот район, что может привести к большему количеству арестов.[26]:180

Решения алгоритмических программ можно рассматривать как более авторитетные, чем решения людей, которым они призваны помогать.[27]:15 процесс, описанный автором Клэй Ширки как «алгоритмический авторитет».[28] Ширки использует этот термин для описания «решения считать авторитетным неуправляемый процесс извлечения ценности из различных, ненадежных источников», таких как результаты поиска.[28] Этот нейтралитет также может быть искажен языком, используемым экспертами и средствами массовой информации при представлении результатов общественности. Например, список новостей, выбранных и представленных как «актуальные» или «популярные», может быть создан на основе значительно более широких критериев, чем просто их популярность.[16]:14

Из-за их удобства и авторитета алгоритмы рассматриваются как средство делегирования ответственности от людей.[27]:16[29]:6 Это может привести к сокращению альтернативных вариантов, компромиссов или гибкости.[27]:16 Социолог Скотт Лэш критиковал алгоритмы как новую форму «генеративной силы», поскольку они являются виртуальным средством достижения реальных целей. Там, где ранее человеческое поведение генерировало данные для сбора и изучения, мощные алгоритмы все чаще могли формировать и определять человеческое поведение.[30]:71

Обеспокоенность влиянием алгоритмов на общество привело к созданию рабочих групп в таких организациях, как Google и Microsoft, которые создали рабочую группу под названием "Справедливость, подотчетность и прозрачность в машинном обучении".[31]:115 Идеи от Google включают группы сообщества, которые следят за результатами алгоритмов и голосуют, чтобы контролировать или ограничивать результаты, которые, по их мнению, имеют негативные последствия.[31]:117 В последние годы изучение принципов справедливости, подотчетности и прозрачности (FAT) алгоритмов стало отдельной междисциплинарной областью исследований с ежегодной конференцией под названием FAT *.[32] Критики предположили, что инициативы FAT не могут эффективно служить в качестве независимых наблюдателей, когда многие из них финансируются корпорациями, создающими изучаемые системы.[33]

Типы

Ранее существовавшие

Предвзятость в алгоритме является следствием лежащих в основе социальных и институциональных идеологии. Такие идеи могут влиять или создавать личные предубеждения в отдельных дизайнерах или программистах. Такие предрассудки могут быть явными и сознательными или неявными и бессознательными.[15]:334[13]:294 Плохо выбранные входные данные или просто данные из предвзятого источника повлияют на результаты, создаваемые машинами.[21]:17 Кодирование существующей предвзятости в программном обеспечении может сохранить социальную и институциональную предвзятость и, без исправлений, может быть воспроизведено во всех будущих применениях этого алгоритма.[24]:116[29]:8

Примером такой формы предвзятости является Программа Закона о британском гражданстве, разработанная для автоматизации оценки новых граждан Великобритании после 1981 г. Закон о британском гражданстве.[15]:341 Программа точно отражала положения закона, который гласил, что «мужчина является отцом только своих законных детей, а женщина - матерью всех своих детей, законных или незаконнорожденных».[15]:341[34]:375 Пытаясь преобразовать конкретную логику в алгоритмический процесс, BNAP вписал логику Закона о британском гражданстве в свой алгоритм, который увековечил бы его, даже если бы закон был в конечном итоге отменен.[15]:342

Технический

Программное обеспечение для распознавания лиц, используемое вместе с камерами наблюдения, показало предвзятость при распознавании азиатских и черных лиц поверх белых.[26]:191

Техническая предвзятость возникает из-за ограничений программы, вычислительной мощности, ее дизайна или других ограничений системы.[15]:332 Подобная предвзятость также может быть ограничением дизайна, например, можно понять, что поисковая машина, которая показывает три результата на экране, имеет преимущество перед тремя первыми результатами, чем следующими тремя, как при отображении цен на авиабилеты.[15]:336 Другой случай - программное обеспечение, использующее случайность для справедливого распределения результатов. Если генерация случайных чисел Механизм не является действительно случайным, он может вносить систематическую ошибку, например, смещая выборку в сторону элементов в конце или начале списка.[15]:332

А деконтекстуализированный алгоритм использует несвязанную информацию для сортировки результатов, например, алгоритм ценообразования на авиабилеты, который сортирует результаты в алфавитном порядке, будет смещен в пользу American Airlines, а не United Airlines.[15]:332 Может также применяться противоположное, когда результаты оцениваются в контексте, отличном от того, в котором они собираются. Данные могут быть собраны без критического внешнего контекста: например, когда распознавание лиц Программное обеспечение используется камерами наблюдения, но оценивается удаленным персоналом в другой стране или регионе или оценивается нечеловеческими алгоритмами, не осознавая, что происходит за пределами камеры поле зрения. Это может привести к неполному пониманию места преступления, например, из-за того, что случайные прохожие будут ошибочно приняты за тех, кто совершает преступление.[12]:574

Наконец, техническая предвзятость может быть вызвана попытками формализовать решения в виде конкретных шагов, исходя из предположения, что человеческое поведение работает таким же образом. Например, программное обеспечение взвешивает точки данных, чтобы определить, должен ли обвиняемый согласиться на сделку о признании вины, игнорируя при этом влияние эмоций на присяжных.[15]:332 Еще один непреднамеренный результат такой формы предвзятости был обнаружен в программном обеспечении для обнаружения плагиата. Turnitin, который сравнивает написанные учащимся тексты с информацией, найденной в Интернете, и возвращает оценку вероятности того, что работа учащегося скопирована. Поскольку программа сравнивает длинные строки текста, она с большей вероятностью идентифицирует носителей английского языка, для которых английский язык не является родным, чем носителей языка, поскольку последняя группа может лучше изменять отдельные слова, разбивать строки плагиата или скрывать скопированные отрывки. синонимы. Поскольку носителям языка легче избежать обнаружения из-за технических ограничений программного обеспечения, это создает сценарий, в котором Turnitin выявляет иностранцев, говорящих на английском языке, на предмет плагиата, позволяя большему количеству носителей языка избежать обнаружения.[27]:21–22

Emergent

Emergent предвзятость - это результат использования алгоритмов в новых или неожиданных контекстах и ​​зависимости от них.[15]:334 Алгоритмы, возможно, не были настроены для учета новых форм знаний, таких как новые лекарства или медицинские открытия, новые законы, бизнес-модели или изменение культурных норм.[15]:334,336 Это может исключать группы с помощью технологий без предоставления четкого описания, чтобы понять, кто несет ответственность за их исключение.[26]:179[13]:294 Точно так же проблемы могут возникнуть, когда данные обучения (образцы, «подаваемые» в машину, с помощью которой она моделирует определенные выводы) не соответствуют контекстам, с которыми алгоритм сталкивается в реальном мире.[35]

В 1990 году пример внезапной предвзятости был выявлен в программном обеспечении, используемом для размещения студентов-медиков в США в ординатуре, Национальной программе выбора места жительства (NRMP).[15]:338 Алгоритм был разработан в то время, когда несколько супружеских пар хотели вместе искать жилье. По мере того, как все больше женщин поступали в медицинские вузы, все больше студентов, вероятно, запрашивали место жительства вместе со своими партнерами. Процесс требовал, чтобы каждый кандидат предоставил список предпочтений для размещения в США, который затем сортировался и назначался, когда больница и кандидат соглашались на совпадение. В случае супружеских пар, в которых оба стремились получить постоянное место жительства, алгоритм в первую очередь взвешивал выбор местоположения партнера с более высоким рейтингом. Результатом стало частое назначение наиболее предпочтительных школ первому партнеру и менее предпочтительных школ второму партнеру, а не поиск компромиссов в предпочтении размещения.[15]:338[36]

Дополнительные возникающие предубеждения включают:

Корреляции

Непредсказуемые корреляции могут возникать при сравнении больших наборов данных друг с другом. Например, данные, собранные о шаблонах просмотра веб-страниц, могут совпадать с сигналами, указывающими на конфиденциальные данные (такие как раса или сексуальная ориентация). При выборе в соответствии с определенным поведением или шаблонами просмотра конечный эффект будет почти идентичен дискриминации с использованием прямых данных о расе или сексуальной ориентации.[19]:6 В других случаях алгоритм делает выводы из корреляций, не будучи в состоянии понять эти корреляции. Например, в одной программе сортировки астматикам с пневмонией уделялось меньше внимания, чем астматикам без пневмонии. Алгоритм программы сделал это, потому что он просто сравнил выживаемость: астматики с пневмонией находятся в группе наибольшего риска. Исторически сложилось так, что по той же причине больницы обычно оказывают таким астматикам самую лучшую и самую немедленную помощь.[37]

Непредвиденное использование

Возникающая предвзятость может возникнуть, когда алгоритм используется непредвиденной аудиторией. Например, машинам может потребоваться, чтобы пользователи могли читать, писать или понимать числа или относиться к интерфейсу, используя метафоры, которые они не понимают.[15]:334 Эти исключения могут усугубляться по мере того, как предвзятые или исключающие технологии все более глубоко интегрируются в общество.[26]:179

Помимо исключения, непредвиденное использование может возникнуть из-за того, что конечный пользователь полагается на программное обеспечение, а не на свои собственные знания. В одном примере непредвиденная группа пользователей привела к алгоритмической предвзятости в Великобритании, когда Британская национальная программа действий была создана как доказательство концепции компьютерными учеными и иммиграционными юристами для оценки пригодности для Британское гражданство. Дизайнеры имели доступ к юридическим знаниям помимо конечных пользователей в иммиграционных офисах, чье понимание программного обеспечения и иммиграционного законодательства, вероятно, было бы простым. Агенты, отвечающие за вопросы, полностью полагались на программное обеспечение, которое исключало альтернативные пути к гражданству, и использовали программное обеспечение даже после того, как новое прецедентное право и юридические интерпретации привели к тому, что алгоритм устарел. В результате разработки алгоритма для пользователей, которые, как предполагается, разбираются в иммиграционном законодательстве, алгоритм программного обеспечения косвенно привел к предвзятости в пользу кандидатов, которые соответствуют очень узкому набору юридических критериев, установленных алгоритмом, а не более широким критериям. иммиграционного законодательства Великобритании.[15]:342

Петли обратной связи

Возникающая предвзятость может также создать Обратная связь или рекурсия, если данные, собранные для алгоритма, приводят к реальным ответам, которые передаются обратно в алгоритм.[38][39] Например, моделирование предсказательная полицейская деятельность программное обеспечение (PredPol), развернутое в Окленде, штат Калифорния, на основании данных о преступности, сообщаемых общественностью, предположило увеличение присутствия полиции в чернокожих районах.[40] Моделирование показало, что общественность сообщала о преступлении, основываясь на виде полицейских машин, независимо от того, что делала полиция. Симуляция интерпретировала наблюдения полицейских машин при моделировании прогнозов преступности и, в свою очередь, указала на еще большее увеличение присутствия полиции в этих районах.[38][41][42] В Группа анализа данных по правам человека, проводившая моделирование, предупредила, что в местах, где расовая дискриминация является фактором арестов, такие петли обратной связи могут усилить и увековечить расовую дискриминацию в полицейской деятельности.[39] Другой хорошо известный пример такого алгоритма, демонстрирующего такое поведение, - это КОМПАС, программное обеспечение, которое определяет вероятность того, что человек станет преступником. Программное обеспечение часто критикуют за то, что оно гораздо чаще называет чернокожих преступниками, чем другие, а затем возвращает данные себе в случае, если отдельные лица становятся зарегистрированными преступниками, еще больше усиливая предвзятость, созданную набором данных, на который действует алгоритм.

Системы рекомендаций, например те, которые используются для рекомендации онлайн-видео или новостных статей, могут создавать петли обратной связи.[43] Когда пользователи нажимают на контент, предложенный алгоритмами, это влияет на следующий набор предложений.[44] Со временем это может привести к тому, что пользователи будут вводить Пузырьковый фильтр и незнание важного или полезного контента.[45][46]

Влияние

Коммерческое влияние

Корпоративные алгоритмы могут быть искажены, чтобы незаметно благоприятствовать финансовым договоренностям или соглашениям между компаниями, без ведома пользователя, который может ошибочно принять алгоритм за беспристрастность. Например, американские авиалинии создал алгоритм поиска полета в 1980-х. Программа показывала клиентам ряд рейсов различных авиакомпаний, но при этом учитывала факторы, которые увеличивали количество полетов, независимо от цены или удобства. В свидетельство Конгресс США, президент авиакомпании прямо заявил, что система была создана с намерением получить конкурентное преимущество за счет преференциального режима.[47]:2[15]:331

В статье 1998 г., описывающей Google, основатели компании приняли политику прозрачности результатов поиска в отношении платного размещения, утверждая, что «поисковые системы, финансируемые за счет рекламы, по своей природе будут предвзято относиться к рекламодателям, а не к потребностям потребителей».[48] Эта предвзятость была бы «невидимой» манипуляцией пользователя.[47]:3

Поведение при голосовании

Серия исследований неопределившихся избирателей в США и Индии показала, что результаты поисковых систем могут изменить результаты голосования примерно на 20%. Исследователи пришли к выводу, что кандидаты «не имеют возможности конкурировать», если алгоритм, намеренно или без намерения, увеличивал количество страниц для конкурирующего кандидата.[49] Пользователи Facebook, которые видели сообщения, связанные с голосованием, голосовали с большей вероятностью. 2010 г. рандомизированное испытание пользователей Facebook показали рост на 20% (340 000 голосов) среди пользователей, которые видели сообщения, призывающие к голосованию, а также изображения своих проголосовавших друзей.[50] Ученый-правовед Джонатан Зиттрейн предупредил, что это может создать эффект «цифровой подделки» на выборах, «выборочное представление информации посредником для выполнения своей повестки дня, а не для обслуживания пользователей», в случае преднамеренных манипуляций.[51]:335

Дискриминация по полу

В 2016 году профессиональный сетевой сайт LinkedIn было обнаружено, что он рекомендовал мужские варианты женских имен в ответ на поисковые запросы. Сайт не давал подобных рекомендаций по поиску мужских имен. Например, «Андреа» вызовет подсказку, спрашивающую, имели ли пользователи в виду «Эндрю», но запросы «Эндрю» не спрашивали, хотели ли пользователи найти «Андреа». Компания заявила, что это результат анализа взаимодействия пользователей с сайтом.[52]

В 2012 году франшиза универмага Цель был использован для сбора данных, позволяющих определить, когда женщины-покупательницы были беременны, даже если они не объявили об этом, а затем поделиться этой информацией с партнерами по маркетингу.[53]:94[54] Поскольку данные были предсказаны, а не непосредственно наблюдались или сообщались, у компании не было юридических обязательств по защите конфиденциальности этих клиентов.[53]:98

Алгоритмы веб-поиска также обвиняли в предвзятости. Результаты Google может приоритеты порнографического содержания в поисковых терминов, связанных с сексуальностью, например, «лесбиянка». Это предубеждение распространяется и на поисковую систему, показывающую популярный, но сексуализированный контент в нейтральных поисковых запросах. Например, статьи «25 самых сексуальных спортсменок» отображаются на первой странице при поиске по запросу «спортсменки».[55]:31 В 2017 году Google скорректировал эти результаты вместе с другими, которые появились группы ненависти, Виды расистские, жестокое обращение с детьми и порнография, а также другими расстроить и оскорбительное содержание.[56] Другие примеры включают отображение более высокооплачиваемой работы для кандидатов-мужчин на сайтах поиска работы.[57] Исследователи также установили, что машинный перевод демонстрирует сильную тенденцию к мужским дефолтам.[58] В частности, это наблюдается в областях, связанных с несбалансированным гендерным распределением, в том числе КОРЕНЬ профессии.[59] Фактически нынешний системы машинного перевода не могут воспроизвести реальное распределение работающих женщин.

В 2015 г. Amazon.com отключили систему искусственного интеллекта, разработанную для проверки заявлений о приеме на работу, когда они поняли, что она настроена против женщин.[60] Инструмент приема на работу исключал соискателей, которые посещали женские колледжи и резюме, в котором было слово «женский».[61] В сервисах стриминга музыки произошло то же самое. В 2019 году Spotify было обнаружено, что его алгоритм рекомендательной системы был предвзятым против женщин-художников.[62] В рекомендациях Spotify к песням предлагалось больше исполнителей-мужчин, чем исполнителей-женщин.

Расовая и этническая дискриминация

Алгоритмы подвергались критике как метод сокрытия расовых предрассудков при принятии решений.[63][64][65]:158 Из-за того, как в прошлом обращались с определенными расами и этническими группами, данные часто могут содержать скрытые предубеждения. Например, чернокожие люди могут получить более длительные сроки заключения, чем белые люди, совершившие то же преступление.[66][67] Это потенциально может означать, что система усиливает исходные искажения данных.

В 2015 году Google извинился, когда чернокожие пользователи пожаловались, что алгоритм идентификации изображений в приложении «Фото» идентифицировал их как гориллы.[68] В 2010, Nikon камеры подверглись критике, когда алгоритмы распознавания изображений постоянно спрашивали азиатских пользователей, моргают ли они.[69] Такие примеры являются продуктом предвзятости биометрические данные наборы.[68] Биометрические данные извлекаются из аспектов тела, включая наблюдаемые или предполагаемые расовые особенности, которые затем могут быть перенесены в точки данных.[65]:154 Технология распознавания речи может иметь разную точность в зависимости от акцента пользователя. Это может быть вызвано отсутствием обучающих данных для говорящих с таким акцентом.[70]

Биометрические данные о расе также могут быть предполагаемыми, а не наблюдаемыми. Например, исследование 2012 года показало, что имена, обычно связанные с чернокожими, с большей вероятностью дадут результаты поиска, подразумевающие записи об арестах, независимо от того, есть ли какие-либо полицейские записи на имя этого человека.[71]

В 2019 году исследование показало, что алгоритм здравоохранения, продаваемый Optum предпочитал белых пациентов более больным черным пациентам. Алгоритм предсказывает, сколько пациенты будут стоить системе здравоохранения в будущем. Однако стоимость не является нейтральной для расы, так как черные пациенты несут медицинские расходы примерно на 1800 долларов в год меньше, чем белые пациенты с таким же количеством хронических заболеваний, что привело к алгоритму, который оценивал белых пациентов как равных подверженных риску будущих проблем со здоровьем, как и черных. пациенты, перенесшие значительно большее количество заболеваний.[72]

Исследование, проведенное исследователями из Калифорнийского университета в Беркли в ноябре 2019 года, показало, что алгоритмы ипотеки были дискриминационными по отношению к латиноамериканцам и афроамериканцам, которые дискриминировали меньшинства на основе «кредитоспособности», которая коренится в законе США о справедливом кредитовании, который позволяет кредиторам использовать меры идентификации. чтобы определить, достойно ли физическое лицо получать ссуды. Эти конкретные алгоритмы присутствовали в компаниях FinTech и, как было показано, дискриминируют меньшинства.[73][неосновной источник необходим ]

Правоохранительные органы и судопроизводство

Алгоритмы уже нашли множество применений в правовых системах. Примером этого является КОМПАС, коммерческая программа, широко используемая Суды США оценить вероятность ответчик становясь рецидивист. ProPublica утверждает, что средний уровень риска рецидивов, установленный Компасом для черных подсудимых, значительно выше, чем средний уровень риска, установленный Компасом для белых подсудимых.[74][75]

Одним из примеров является использование Рискованные оценки в вынесение уголовного приговора в США и слушания по условно-досрочному освобождению судьям был выставлен алгоритм, рассчитанный для отражения риска повторения преступления заключенным.[76] В течение периода времени, начиная с 1920 года и заканчивая 1970 годом, национальность отца преступника учитывалась в этих оценках риска.[77]:4 Сегодня эти оценки делятся с судьями в Аризоне, Колорадо, Делавэре, Кентукки, Луизиане, Оклахоме, Вирджинии, Вашингтоне и Висконсине. Независимое расследование ProPublica обнаружили, что оценки были неточными в 80% случаев и непропорционально искажены, чтобы предположить, что чернокожие подвержены риску рецидива, на 77% чаще, чем белые.[76]

Одно исследование, посвященное изучению «Риск, раса и рецидивизм: предвзятость в прогнозе и несопоставимое влияние», утверждает, что двойная (45% против 23%) неблагоприятная вероятность того, что обвиняемые чернокожие и белые, будут ошибочно классифицированы как представляющие более высокий риск несмотря на то, что объективно оставался без каких-либо документально подтвержденных рецидивов за двухлетний период наблюдения.[78]

Язык вражды в Интернете

В 2017 г. Facebook Согласно внутренним документам Facebook, алгоритм, разработанный для удаления языка ненависти в Интернете, дает преимущество белым мужчинам перед черными детьми при оценке нежелательного контента.[79] Алгоритм, который представляет собой комбинацию компьютерных программ и рецензентов контента, был создан для защиты широких категорий, а не конкретных подмножеств категорий. Например, сообщения, осуждающие «мусульман», будут заблокированы, а сообщения, осуждающие «радикальных мусульман», будут разрешены. Неожиданным результатом алгоритма является разрешение языка вражды в отношении чернокожих детей, поскольку они осуждают подмножество чернокожих «детей», а не «всех черных», тогда как «все белые люди» инициируют блокировку, потому что белые и мужчины не считается подмножеством.[79] Было также обнаружено, что Facebook позволяет покупателям рекламы нацеливать на «ненавистников евреев» как категорию пользователей, что, по словам компании, было непреднамеренным результатом алгоритмов, используемых для оценки и категоризации данных. Дизайн компании также позволял покупателям рекламы блокировать афроамериканцев от просмотра рекламы жилья.[80]

Хотя для отслеживания и блокирования языка вражды используются алгоритмы, некоторые из них в 1,5 раза чаще отмечают информацию, опубликованную чернокожими пользователями, и в 2,2 раза чаще отмечают информацию как разжигающую ненависть, если они написаны на Ebonics.[81] Без контекста для оскорблений и эпитетов, даже когда они используются сообществами, которые повторно присвоили их, были помечены.[82]

Наблюдение

Программное обеспечение камеры наблюдения может считаться политическим по своей сути, поскольку оно требует алгоритмов, позволяющих отличать нормальное поведение от ненормального, а также определять, кто принадлежит в определенное место в определенное время.[12]:572 Было показано, что способность таких алгоритмов распознавать лица разных расовых групп ограничена расовым разнообразием изображений в их обучающей базе данных; если большинство фотографий принадлежит к одной расе или полу, программа лучше распознает других представителей этой расы или пола.[83] Однако даже аудит этих систем распознавания изображений является этически сложным, и некоторые ученые предполагают, что контекст технологии всегда будет иметь непропорциональное влияние на сообщества, действия которых чрезмерно контролируются.[84] Например, анализ программного обеспечения, проведенного в 2002 году для идентификации лиц в Кабельное телевидение images обнаружили несколько примеров предвзятости при работе с криминальными базами данных. Было оценено, что программа выявляет мужчин чаще, чем женщин, пожилых людей чаще, чем молодых, и выявляет азиатов, афроамериканцев и представителей других рас чаще, чем белых.[26]:190 Дополнительные исследования программного обеспечения для распознавания лиц показали, что при обучении на некриминальных базах данных верно обратное, при этом программное обеспечение наименее точно определяет темнокожих женщин.[85]

Сексуальная дискриминация

В 2011 году пользователи приложения для геев Grindr сообщил, что Магазин Android Алгоритм рекомендаций связывал Grindr с приложениями, предназначенными для поиска сексуальных преступников, которые, по словам критиков, неверно связывали гомосексуализм с педофилией. Писатель Майк Ананни раскритиковал эту ассоциацию в Атлантический океан, утверждая, что такие ассоциации еще больше стигматизировались геи.[86] В 2009 году интернет-магазин Amazon 57 000 книг исключены из списка после того, как алгоритм изменил свой черный список, включив в него любые книги, посвященные сексуальности или гей-тематике, например, получивший признание критиков роман Горбатая гора.[87][16]:5[88]

В 2019 году было обнаружено, что поисковые запросы «фотографии моих подруг» на Facebook давали подсказки типа «в бикини» или «на пляже». Напротив, поисковые запросы "фотографии моих друзей-мужчин" не дали результатов.[89]

Было замечено, что технология распознавания лиц вызывает проблемы у трансгендеров. В 2018 году поступали сообщения о том, что водители Uber, которые были трансгендерами или перешли на другую сторону, испытывали трудности с программным обеспечением для распознавания лиц, которое Uber реализует в качестве встроенной меры безопасности. В результате этого некоторые учетные записи водителей-транснациональных водителей были заблокированы, что стоило им проездных и потенциально стоило им работы, и все из-за того, что программное обеспечение для распознавания лиц испытывало трудности с распознаванием лица транс-водителя, который выполнял переход.[90] Хотя решение этой проблемы может заключаться в включении трансгендеров в обучающие наборы для моделей машинного обучения, экземпляр транс-видео на YouTube, которые были собраны для использования в обучающих данных, не получил согласия трансгендерных лиц, включенных в видео. , что создало проблему нарушения конфиденциальности.[91]

В 2017 году в Стэнфордском университете также было проведено исследование, в ходе которого тестировались алгоритмы в системе машинного обучения, которая, как утверждается, способна определять сексуальную ориентацию людей на основе их изображений лиц.[92] Модель в исследовании предсказывала правильное различие между геями и гетеросексуалами в 81% случаев и правильное различие между геями и гетеросексуалами в 74% случаев. Это исследование вызвало негативную реакцию со стороны сообщества ЛГБТКИА, которое опасалось возможных негативных последствий, которые эта система искусственного интеллекта может иметь для лиц из сообщества ЛГБТКИА, подвергая людей риску быть «раскрытым» против их воли.[93]

Поиск Гугл

Хотя пользователи генерируют результаты, которые «заполняются» автоматически, Google не удалось удалить сексистский и расистский текст автозаполнения. Например, Алгоритмы подавления: как поисковые системы усиливают расизм Сафия Noble отмечает пример поиска «черных девочек», который был представлен в результате порнографических изображений. Google утверждает, что не может удалить эти страницы, если они не будут признаны незаконными.[94]

Препятствия для исследования

Некоторые проблемы препятствуют изучению крупномасштабных алгоритмических предвзятостей, препятствуя применению академически строгих исследований и общественного понимания.[11]:5

Определение справедливости

Литература об алгоритмической предвзятости сосредоточена на средствах справедливости, но определения справедливости часто несовместимы друг с другом и с реалиями оптимизации машинного обучения. Например, определение справедливости как «равенства результатов» может просто относиться к системе, дающей один и тот же результат для всех людей, в то время как справедливость, определяемая как «равенство обращения», может прямо учитывать различия между людьми.[95]:2 В результате справедливость иногда описывается как противоречащая точности модели, предполагая врожденную напряженность между приоритетами социального обеспечения и приоритетами поставщиков, разрабатывающих эти системы.[96]:2 В ответ на это противоречие исследователи предложили более внимательно подходить к проектированию и использованию систем, использующих потенциально предвзятые алгоритмы, с определением «справедливости» для конкретных приложений и контекстов.[97]

Сложность

Алгоритмические процессы сложный, часто превышающие понимание людей, которые их используют.[11]:2[98]:7 Крупномасштабные операции могут быть непонятны даже тем, кто их создает.[99] Методы и процессы современных программ часто неясны из-за невозможности узнать каждую перестановку ввода или вывода кода.[26]:183 Социолог Бруно Латур идентифицировал этот процесс как черный бокс, процесс, в котором "научная и техническая работа становится невидимой из-за ее собственного успеха. Когда машина работает эффективно, когда факт решен, нужно сосредоточиться только на ее входах и выходах, а не на ее внутренней сложности. Таким образом, как это ни парадоксально, но чем больше преуспевают наука и технологии, тем более непрозрачными и непонятными они становятся ».[100] Другие критиковали метафору черного ящика, предполагая, что текущие алгоритмы - это не один черный ящик, а сеть взаимосвязанных.[101]:92

Пример такой сложности можно найти в диапазоне входных данных для настройки обратной связи. Сайт социальной сети Facebook учел не менее 100000 точек данных для определения макета ленты пользователя в социальной сети в 2013 году.[102] Более того, большие команды программистов могут работать относительно изолированно друг от друга и не осознавать совокупный эффект небольших решений в связанных сложных алгоритмах.[24]:118 Не весь код является оригинальным и может быть заимствован из других библиотек, создавая сложный набор взаимосвязей между системами обработки и ввода данных.[103]:22

Дополнительная сложность возникает через машинное обучение а также персонализация алгоритмов на основе взаимодействий пользователей, таких как клики, время, проведенное на сайте, и другие показатели. Эти личные настройки могут сбить с толку общие попытки понять алгоритмы.[104]:367[98]:7 Одна неопознанная служба потокового радио сообщила, что использовала пять уникальных алгоритмов выбора музыки, которые выбрала для своих пользователей в зависимости от их поведения. Это создает различный опыт использования одних и тех же потоковых сервисов между разными пользователями, что затрудняет понимание того, что делают эти алгоритмы.[11]:5Компании также часто работают A / B тесты для точной настройки алгоритмов на основе ответа пользователя. Например, поисковая система Bing может запускать до десяти миллионов тонких вариаций своего сервиса в день, создавая различный опыт использования сервиса для каждого использования и / или пользователя.[11]:5

Отсутствие прозрачности

Коммерческие алгоритмы являются собственностью и могут рассматриваться как коммерческие секреты.[11]:2[98]:7[26]:183 Обработка алгоритмов как коммерческой тайны защищает такие компании, как поисковые системы, где прозрачный алгоритм может выявить тактику манипулирования рейтингом в поиске.[104]:366 Это затрудняет для исследователей проведение интервью или анализ, чтобы выяснить, как работают алгоритмы.[103]:20 Критики предполагают, что такая секретность может также скрыть возможные неэтичные методы, используемые при производстве или обработке алгоритмического вывода.[104]:369 Другие критики, такие как юрист и активистка Катаржина Шимелевич, предположили, что отсутствие прозрачности часто маскируется из-за сложности алгоритмов, что защищает компании от раскрытия или расследования собственных алгоритмических процессов.[105]

Отсутствие данных о деликатных категориях

Существенным препятствием для понимания того, как бороться с предвзятостью на практике, является то, что категории, такие как демографические данные лиц, защищенных антидискриминационный закон, часто явно не учитываются при сборе и обработке данных.[106] В некоторых случаях существует небольшая возможность собрать эти данные в явном виде, например, в дактилоскопия устройства, повсеместные вычисления и Интернет вещей. В других случаях контролер данных может не захотеть собирать такие данные из соображений репутации или потому, что это представляет повышенную ответственность и риск для безопасности. Также может случиться так, что, по крайней мере, в отношении Европейского Союза Общие правила защиты данных такие данные подпадают под положения «особой категории» (статья 9) и, следовательно, имеют больше ограничений на потенциальный сбор и обработку.

Некоторые специалисты-практики пытались оценить и вменять эти недостающие чувствительные категории, чтобы позволить смягчить предвзятость, например, построив системы для определения этнической принадлежности по именам,[107] однако это может привести к другим формам предвзятости, если не предпринять осторожных действий.[108] Исследователи машинного обучения использовали криптографические технологии повышения конфиденциальности Такие как безопасные многосторонние вычисления предложить методы, с помощью которых можно оценить или смягчить алгоритмическую погрешность без того, чтобы эти данные были доступны разработчикам моделей в открытый текст.[109]

Алгоритмическая предвзятость не только включает защищенные категории, но может также касаться характеристик, которые менее легко наблюдаемы или кодифицируемы, например, политические точки зрения. В этих случаях редко можно найти легко доступный или не вызывающий споров наземная правда, и устранить предвзятость в такой системе сложнее.[110] Кроме того, ложные и случайные корреляции могут возникать из-за недостаточного понимания защищаемых категорий, например, страховых тарифов, основанных на исторических данных об автомобильных авариях, которые могут совпадать, строго по совпадению, с жилыми кластерами этнических меньшинств.[111]

Решения

Изучение 84 руководящих принципов в отношении этического ИИ показало, что справедливость и «смягчение нежелательной предвзятости» были общей проблемой и решались с помощью сочетания технических решений, прозрачности и мониторинга, права на исправление и усиление надзора, а также разнообразия и усилия по включению.[112]

Технический

Было предпринято несколько попыток создать методы и инструменты, которые могут обнаруживать и наблюдать ошибки в алгоритме. Эти новые поля сосредоточены на инструментах, которые обычно применяются к (обучающим) данным, используемым программой, а не к внутренним процессам алгоритма. Эти методы могут также анализировать вывод программы и ее полезность и, следовательно, могут включать анализ ее матрица путаницы (или таблица путаницы).[113][114][115][116][117][118][119][120][121] Объяснимый ИИ для обнаружения смещения алгоритма - это предлагаемый способ обнаружить наличие смещения в алгоритме или модели обучения.[122] Использование машинного обучения для обнаружения предвзятости называется «проведением аудита ИИ», где «аудитор» - это алгоритм, который просматривает модель ИИ и обучающие данные для выявления смещений.[123]

В настоящее время новый Стандарт IEEE разрабатывается проект, направленный на определение методологий, которые помогут создателям алгоритмов устранить проблемы предвзятости и сформулировать прозрачность (т.е. для властей или конечные пользователи ) о функциях и возможных эффектах их алгоритмов. Проект утвержден в феврале 2017 г. и спонсируется Комитет по стандартам программной и системной инженерии, комитет, учрежденный IEEE Computer Society. Ожидается, что проект стандарта будет представлен на голосование в июне 2019 года.[124][125]

Прозрачность и мониторинг

Руководящие принципы по этике ИИ указывают на необходимость подотчетности и рекомендуют предпринять шаги для улучшения интерпретируемости результатов.[126] Такие решения включают учет «права на понимание» в алгоритмах машинного обучения и сопротивление развертыванию машинного обучения в ситуациях, когда решения невозможно объяснить или проанализировать.[127] С этой целью движение за "Объяснимый ИИ "уже ведется в таких организациях, как DARPA по причинам, выходящим за рамки предвзятости.[128] Прайс Уотерхаус Куперс, например, также предполагает, что мониторинг результатов означает проектирование систем таким образом, чтобы гарантировать, что отдельные компоненты системы могут быть изолированы и отключены, если они искажают результаты.[129]

Первоначальный подход к прозрачности включал использование алгоритмов с открытым кодом.[130] Однако такой подход не обязательно дает желаемый эффект. Компании и организации могут совместно использовать всю возможную документацию и код, но это не обеспечивает прозрачности, если аудитория не понимает предоставленную информацию. Поэтому стоит изучить роль заинтересованной критической аудитории в отношении прозрачности. Алгоритмы нельзя привлекать к ответственности без критической аудитории.[131]

Право на исправление

С нормативной точки зрения Торонтская декларация призывает применять рамки прав человека к ущербу, причиненному алгоритмической предвзятостью.[132] Это включает законодательное закрепление требований должной осмотрительности от имени разработчиков этих алгоритмов и создание подотчетности, когда частные субъекты не могут защитить общественные интересы, с учетом того, что такие права могут быть скрыты сложностью определения ответственности в сети сложных, взаимосвязанных процессов.[133] Другие предлагают четкие механизмы страхования ответственности.[134]

Разнообразие и инклюзивность

На фоне опасений по поводу того, что проектированием систем ИИ занимаются в первую очередь белые инженеры-мужчины,[135] Ряд ученых предположили, что алгоритмическую предвзятость можно свести к минимуму, расширив число разработчиков систем искусственного интеллекта.[127][112] Например, женщины составляют всего 12% инженеров по машинному обучению.[136] с черными лидерами ИИ, указывающими на «кризис разнообразия» в этой области.[137] Критика простых усилий по инклюзивности свидетельствует о том, что программы разнообразия не могут устранять перекрывающиеся формы неравенства, и призвали к применению более осознанной точки зрения пересечение к проектированию алгоритмов.[138][139]:4 Исследователи из Кембриджского университета утверждают, что решению проблемы расового разнообразия препятствует «белизна» культуры ИИ.[140]

Регулирование

Европа

В Общие правила защиты данных (GDPR), Евросоюз пересмотренный режим защиты данных, введенный в 2018 году, касается «автоматизированного принятия индивидуальных решений, включая профилирование» в статье 22. Эти правила запрещают «исключительно» автоматизированные решения, которые имеют «существенные» или «правовые» последствия для человека, если они явно не разрешены соглашением, контрактом или государство-член закон. Там, где они разрешены, должны быть предусмотрены гарантии, такие как право на человек-в-петле, и необязательный право на объяснение достигнутых решений. Хотя эти правила обычно считаются новыми, почти идентичные положения существуют в Европе с 1995 г. в статье 15 Директива о защите данных. Первоначальные автоматизированные правила принятия решений и гарантии, принятые во французском законодательстве с конца 1970-х годов.[141]

GDPR рассматривает алгоритмическую предвзятость в системах профилирования, а также статистические подходы, которые можно исправить, непосредственно в сольный концерт 71,[142] отмечая, что

... контролер должен использовать соответствующие математические или статистические процедуры для профилирования, принимать соответствующие технические и организационные меры ... которые предотвращают, среди прочего, дискриминационное воздействие на физических лиц на основе расового или этнического происхождения, политических убеждений, религии или убеждения, членство в профсоюзах, генетическое состояние или состояние здоровья или сексуальная ориентация, или которые приводят к мерам, имеющим такой эффект.

Как необязательный право на объяснение в декларации 71 проблема заключается в необязательном характере сольные концерты.[143] Хотя это было рассмотрено как требование Статья 29 Рабочая группа который консультировал по вопросам применения закона о защите данных,[142] его практические размеры неясны. Утверждалось, что оценка воздействия на защиту данных для профилирования данных с высоким риском (наряду с другими превентивными мерами в рамках защиты данных) может быть лучшим способом решения проблем алгоритмической дискриминации, поскольку она ограничивает действия тех, кто развертывает алгоритмы, а не требование к потребителям подавать жалобы или запрашивать изменения.[144]

Соединенные Штаты

В Соединенных Штатах нет общего законодательства, регулирующего алгоритмическую предвзятость, подход к проблеме с помощью различных государственных и федеральных законов, которые могут варьироваться в зависимости от отрасли, сектора и способа использования алгоритма.[145] Многие политики осуществляются самостоятельно или контролируются Федеральная торговая комиссия.[145] В 2016 году администрация Обамы выпустила Национальный стратегический план исследований и развития искусственного интеллекта,[146] который был предназначен для руководства политиками к критической оценке алгоритмов. Исследователям рекомендовалось «спроектировать эти системы так, чтобы их действия и принятие решений были прозрачными и легко интерпретируемыми людьми, и, таким образом, их можно было исследовать на предмет любых предвзятостей, которые они могут содержать, а не просто изучать и повторять эти предубеждения». Задуманный только в качестве руководства, отчет не создал никаких юридических прецедентов.[147]:26

В 2017 г. Нью-Йорк принял первый законопроект об алгоритмической ответственности в США.[148] Законопроект, вступивший в силу 1 января 2018 г., требовал «создания целевой группы, которая будет предоставлять рекомендации о том, как информация об автоматизированных системах принятия решений агентства может быть передана общественности, и как агентства могут реагировать на случаи, когда людям причиняют вред. агентские автоматизированные системы принятия решений ".[149] Целевая группа должна представить выводы и рекомендации для дальнейших регулирующих действий в 2019 году.[150]

Индия

31 июля 2018 года был представлен проект закона о персональных данных.[151] В проекте предлагаются стандарты хранения, обработки и передачи данных. Хотя в нем не используется термин «алгоритм», в нем предусмотрены положения о «... вреде, причиненном любой обработкой или любыми видами обработки, предпринятыми фидуциаром». Это определяет «любой отказ или отказ в предоставлении услуги, выгоды или товара в результате оценочного решения в отношении субъекта данных» или же "любое дискриминационное обращение" как источник вреда, который может возникнуть в результате неправильного использования данных. В нем также предусмотрены специальные положения для людей с «статусом интерсексуалов».[152]

Смотрите также

дальнейшее чтение

  • Баер, Тобиас (2019). Понимание, управление и предотвращение алгоритмической предвзятости: руководство для бизнес-пользователей и специалистов по данным. Нью-Йорк: Апресс. ISBN  9781484248843.
  • Благородный, Сафия Умоджа (2018). Алгоритмы притеснения: как поисковые системы усиливают расизм. Нью-Йорк: Издательство Нью-Йоркского университета. ISBN  9781479837243.
  • Справедливость (машинное обучение)

Рекомендации

  1. ^ Якоби, Дженнифер (13 сентября 2001 г.). "Патент № US2001021914". Espacenet. Получено 4 июля 2018.
  2. ^ Стрипхас, Тед. «Что такое алгоритм? - Культура в цифровом виде». culturedigitally.org. Получено 20 ноября 2017.
  3. ^ Cormen, Thomas H .; Leiserson, Charles E .; Ривест, Рональд Л .; Стейн, Клиффорд (2009). Введение в алгоритмы (3-е изд.). Кембридж, Массачусетс: MIT Press. п.5. ISBN  978-0-262-03384-8.
  4. ^ Китчин, Роб (25 февраля 2016 г.). «Критическое мышление и исследование алгоритмов» (PDF). Информация, коммуникация и общество. 20 (1): 14–29. Дои:10.1080 / 1369118X.2016.1154087. S2CID  13798875. Получено 19 ноября 2017.
  5. ^ Google. "Как работает поиск Google". Получено 19 ноября 2017.
  6. ^ Лакерсон, Виктор. «Вот как на самом деле работает ваша новостная лента Facebook». TIME.com. Получено 19 ноября 2017.
  7. ^ Вандербильт, Том (2013-08-07). «Наука, лежащая в основе алгоритмов Netflix, которые определяют, что вы будете смотреть дальше». Проводной. Получено 19 ноября 2017.
  8. ^ Ангвин, Джулия; Матту, Сурья (20 сентября 2016 г.). «Amazon утверждает, что ставит на первое место клиентов. Но ее алгоритм ценообразования - нет - ProPublica». ProPublica. Получено 19 ноября 2017.
  9. ^ Ливингстон, Роб. «Будущее интернет-рекламы - это большие данные и алгоритмы». Разговор. Получено 19 ноября 2017.
  10. ^ Хикман, Лео (1 июля 2013 г.). «Как алгоритмы правят миром». Хранитель. Получено 19 ноября 2017.
  11. ^ а б c d е ж Сивер, Ник. «Знание алгоритмов» (PDF). Media in Transition 8, Кембридж, Массачусетс, апрель 2013 г.. Получено 18 ноября 2017.
  12. ^ а б c Грэм, Стивен Д.Н. (июль 2016 г.). "Географии с программной сортировкой" (PDF). Прогресс в человеческой географии (Представлена ​​рукопись). 29 (5): 562–580. Дои:10.1191 / 0309132505ph568oa. S2CID  19119278.
  13. ^ а б c Тьюэлл, Иамон (4 апреля 2016 г.). «К Устойчив чтения информации: Google, резистентного вуайеризм и критической информационной грамотности». Портал: Библиотеки и Академия. 16 (2): 289–310. Дои:10.1353 / pla.2016.0017. ISSN  1530-7131. S2CID  55749077. Получено 19 ноября 2017.
  14. ^ Кроуфорд, Кейт (1 апреля 2013 г.). «Скрытые предубеждения в больших данных». Harvard Business Review.
  15. ^ а б c d е ж грамм час я j k л м п о п q Фридман, Батья; Ниссенбаум, Хелен (июль 1996 г.). «Предвзятость в компьютерных системах» (PDF). ACM-транзакции в информационных системах. 14 (3): 330–347. Дои:10.1145/230538.230561. S2CID  207195759. Получено 10 марта 2019.
  16. ^ а б c d е ж Гиллеспи, Тарлтон; Бочковски, Пабло; Нога, Кристин (2014). Медиа Технологии. Кембридж: MIT Press. С. 1–30. ISBN  9780262525374.
  17. ^ а б Диакопулос, Николай. «Алгоритмическая ответственность: расследование черных ящиков |». Towcenter.org. Получено 19 ноября 2017.
  18. ^ Липартито, Кеннет (6 января 2011 г.). «Повествование и алгоритм: жанры кредитной отчетности с девятнадцатого века до наших дней» (PDF) (Представлена ​​рукопись). Дои:10.2139 / ssrn.1736283. S2CID  166742927. Цитировать журнал требует | журнал = (помощь)
  19. ^ а б Гудман, Брайс; Флаксман, Сет (2017). «Правила ЕС по алгоритмическому принятию решений и» право на объяснение"". Журнал AI. 38 (3): 50. arXiv:1606.08813. Дои:10.1609 / aimag.v38i3.2741. S2CID  7373959.
  20. ^ а б c d е ж грамм Вайценбаум, Джозеф (1976). Компьютерная мощь и человеческий разум: от суждения к расчету. Сан-Франциско: W.H. Фримен. ISBN  978-0-7167-0464-5.
  21. ^ а б Гоффри, Эндрю (2008). "Алгоритм". В Фуллере, Мэтью (ред.). Исследования программного обеспечения: лексика. Кембридж, Массачусетс: MIT Press. стр.15 –20. ISBN  978-1-4356-4787-9.
  22. ^ Лоури, Стелла; Макферсон, Гордон (5 марта 1988 г.). «Клякса о профессии». Британский медицинский журнал. 296 (6623): 657–8. Дои:10.1136 / bmj.296.6623.657. ЧВК  2545288. PMID  3128356. Получено 17 ноября 2017.
  23. ^ Миллер, Алекс П. (26 июля 2018 г.). «Хотите менее предвзятые решения? Используйте алгоритмы». Harvard Business Review. Получено 31 июля 2018.
  24. ^ а б c Интрона, Лукас Д. (2 декабря 2011 г.). «Обрамление кода». Теория, культура и общество. 28 (6): 113–141. Дои:10.1177/0263276411418131. S2CID  145190381.
  25. ^ Богост, Ян (15.01.2015). "Вычислительный собор". Атлантический океан. Получено 19 ноября 2017.
  26. ^ а б c d е ж грамм Интрона, Лукас; Вуд, Дэвид (2004). «Изображение алгоритмического наблюдения: политика систем распознавания лиц». Наблюдение и общество. 2: 177–198. Получено 19 ноября 2017.
  27. ^ а б c d Интрона, Лукас Д. (21 декабря 2006 г.).«Сохранение обратимости сворачивания: сделать этику (политику) информационных технологий видимой». Этика и информационные технологии. 9 (1): 11–25. CiteSeerX  10.1.1.154.1313. Дои:10.1007 / s10676-006-9133-z. S2CID  17355392.
  28. ^ а б Ширки, Клэй. "Спекулятивный пост об идее алгоритмического авторитета Клэя Ширки". www.shirky.com. Получено 20 ноября 2017.
  29. ^ а б Зевиц, Мальте (1 января 2016 г.). «Управляющие алгоритмы: миф, беспорядок и методы». Наука, технологии и человеческие ценности. 41 (1): 3–16. Дои:10.1177/0162243915608948. ISSN  0162-2439. S2CID  148023125.
  30. ^ Лэш, Скотт (30 июня 2016 г.). «Власть после гегемонии». Теория, культура и общество. 24 (3): 55–78. Дои:10.1177/0263276407075956. S2CID  145639801.
  31. ^ а б Гарсия, Меган (1 января 2016 г.). «Расист в машине». Журнал мировой политики. 33 (4): 111–117. Дои:10.1215/07402775-3813015. S2CID  151595343.
  32. ^ «ACM FAT * - 2018 Информация для прессы». fatconference.org. Получено 2019-02-26.
  33. ^ Очигаме, Родриго (20 декабря 2019 г.). «Изобретение« этического ИИ »: как крупные технологии манипулируют академическим сообществом, чтобы избежать регулирования». Перехват. Получено 11 февраля 2020.
  34. ^ Серго, MJ; Садри, Ф; Ковальский, Р.А.; Кривачек, Ф; Hammond, P; Кори, HT (май 1986 г.). «Акт о британском гражданстве как логическая программа» (PDF). Коммуникации ACM. 29 (5): 370–386. Дои:10.1145/5689.5920. S2CID  5665107. Получено 18 ноября 2017.
  35. ^ Гиллеспи, Тарлтон. "Алгоритм [черновик] [#digitalkeywords] - Культура в цифровом виде". culturedigitally.org. Получено 20 ноября 2017.
  36. ^ Рот А.Э. 1524–1528 гг. (14 декабря 1990 г.). «Новые врачи: естественный эксперимент в рыночной организации». Наука. 250 (4987): 1524–1528. Bibcode:1990Научный ... 250.1524R. Дои:10.1126 / science.2274783. PMID  2274783. S2CID  23259274. Получено 18 ноября 2017.
  37. ^ Куанг, Клифф (21 ноября 2017 г.). «Можно ли научить ИИ объяснять себя?». Нью-Йорк Таймс. Получено 26 ноября 2017.
  38. ^ а б Жувеналь, Джастин (17 ноября 2016 г.). «Полиция использует программное обеспечение для прогнозирования преступлений. Это« Святой Грааль »или предвзятое отношение к меньшинствам?». Вашингтон Пост. Получено 25 ноября 2017.
  39. ^ а б Чамма, Морис (2016-02-03). «Полицейский в будущем». Проект Маршалла. Получено 25 ноября 2017.
  40. ^ Лам, Кристиан; Исаак, Уильям (октябрь 2016 г.). "Прогнозировать и служить?". Значимость. 13 (5): 14–19. Дои:10.1111 / j.1740-9713.2016.00960.x.
  41. ^ Смит, Джек. «Прогнозирующая работа полиции только усиливает расовые предубеждения, как показывают исследования». Микрофон. Получено 25 ноября 2017.
  42. ^ Лам, Кристиан; Исаак, Уильям (1 октября 2016 г.). «Часто задаваемые вопросы о прогнозировании полицейской деятельности и предвзятости». HRDAG. Получено 25 ноября 2017.
  43. ^ Солнце, Вэньлун; Насрауи, Ольфа; Шафто, Патрик (2018). «Итерированный алгоритмический уклон в процессе интерактивного машинного обучения фильтрации информации». Материалы 10-й Международной совместной конференции по открытию знаний, инженерии знаний и управлению знаниями. Севилья, Испания: SCITEPRESS - Научно-технические публикации: 110–118. Дои:10.5220/0006938301100118. ISBN  9789897583308.
  44. ^ Синха, Аян; Gleich, Дэвид Ф .; Рамани, Картик (2018-08-09). «Закон Гаусса для сетей прямо показывает границы сообщества». Научные отчеты. 8 (1): 11909. Bibcode:2018НатСР ... 811909S. Дои:10.1038 / s41598-018-30401-0. ISSN  2045-2322. ЧВК  6085300. PMID  30093660.
  45. ^ Хао, Карен; Хао, Карен. "Google наконец-то признает, что у него есть проблема с фильтром". Кварцевый. Получено 2019-02-26.
  46. ^ «Facebook тестирует эту новую функцию для борьбы с« пузырями фильтров »'". Удача. Получено 2019-02-26.
  47. ^ а б Сандвиг, Кристиан; Гамильтон, Кевин; Карахалиос, Кэрри; Лангборт, Седрик (22 мая 2014 г.). «Алгоритмы аудита: методы исследования для выявления дискриминации на интернет-платформах» (PDF). 64-е ежегодное собрание Международной ассоциации коммуникаций. Получено 18 ноября 2017.
  48. ^ Брин, Сергей; Пейдж, Лоуренс. «Анатомия поисковой системы». www7.scu.edu.au. Архивировано из оригинал 2 июля 2019 г.. Получено 18 ноября 2017.
  49. ^ Эпштейн, Роберт; Робертсон, Рональд Э. (18 августа 2015 г.). «Эффект манипулирования поисковой системой (SEME) и его возможное влияние на результаты выборов». Труды Национальной академии наук. 112 (33): E4512 – E4521. Bibcode:2015PNAS..112E4512E. Дои:10.1073 / pnas.1419828112. ЧВК  4547273. PMID  26243876.
  50. ^ Бонд, Роберт М .; Фарисс, Кристофер Дж .; Джонс, Джейсон Дж .; Kramer, Adam D. I .; Марлоу, Кэмерон; Settle, Jaime E .; Фаулер, Джеймс Х. (13 сентября 2012 г.). «61-миллионный эксперимент по социальному влиянию и политической мобилизации». Природа. 489 (7415): 295–8. Bibcode:2012Натура 489..295Б. Дои:10.1038 / природа11421. ISSN  0028-0836. ЧВК  3834737. PMID  22972300.
  51. ^ Зиттрейн, Джонатан (2014). "Подготовка к выборам" (PDF). Форум Harvard Law Review. 127: 335–341. Получено 19 ноября 2017.
  52. ^ Дэй, Мэтт (31 августа 2016 г.). «Как поисковая система LinkedIn может отражать гендерные предубеждения». Сиэтл Таймс. Получено 25 ноября 2017.
  53. ^ а б Кроуфорд, Кейт; Шульц, Джейсон (2014). «Большие данные и надлежащая правовая процедура: на пути к системе устранения прогнозируемого ущерба конфиденциальности». Обзор права Бостонского колледжа. 55 (1): 93–128. Получено 18 ноября 2017.
  54. ^ Дахигг, Чарльз (16 февраля 2012 г.). «Как компании узнают ваши секреты». Нью-Йорк Таймс. Получено 18 ноября 2017.
  55. ^ Благородная, Сафия (2012). "Пропущенные контакты: что поисковые системы говорят о женщинах" (PDF). Bitch Magazine. 12 (4): 37–41.
  56. ^ Гинн, Джессика (16 марта 2017 г.). "Google начинает отмечать оскорбительный контент в результатах поиска". США СЕГОДНЯ. USA Today. Получено 19 ноября 2017.
  57. ^ Симонит, Том. "Исследование показывает, что система рекламного таргетинга Google может дискриминировать". Обзор технологий MIT. Массачусетский Институт Технологий. Получено 17 ноября 2017.
  58. ^ Prates, Marcelo O.R .; Avelar, Pedro H.C .; Лэмб, Луис (2018). «Оценка гендерных предубеждений в машинном переводе - пример использования Google Translate». arXiv:1809.02208 [cs.CY ].
  59. ^ Prates, Marcelo O.R .; Avelar, Pedro H .; Лэмб, Луис К. (2019). «Оценка гендерной предвзятости в машинном переводе: пример использования Google Translate». Нейронные вычисления и приложения. 32 (10): 6363–6381. arXiv:1809.02208. Дои:10.1007 / s00521-019-04144-6. S2CID  52179151.
  60. ^ Дастин, Джеффри (9 октября 2018 г.). «Amazon отказывается от секретного инструмента найма ИИ, который показал предвзятое отношение к женщинам». Рейтер.
  61. ^ Винсент, Джеймс (10 октября 2018 г.). «Сообщается, что Amazon отказывается от внутреннего инструмента найма ИИ, который был настроен против женщин». Грани.
  62. ^ «Размышляя о рекомендательной системе Spotify - SongData». Получено 2020-08-07.
  63. ^ Буоламвини, Радость; Гебру, Тимнит. "Буоламвини, Джой и Тимнит Гебру." Гендерные оттенки: межсекторные различия в точности в коммерческой гендерной классификации. "FAT (2018)". Труды исследований в области машинного обучения. 81 (2018): 1–15. Получено 27 сентября 2020.
  64. ^ Благородный, Сафия Умоджа (20 февраля 2018 г.). Алгоритмы притеснения: как поисковые системы усиливают расизм. Нью-Йорк: NYU Press. ISBN  978-1479837243.
  65. ^ а б Накамура, Лиза (2009). Магнит, Шошана; Гейтс, Келли (ред.). Новые средства наблюдения. Лондон: Рутледж. С. 149–162. ISBN  978-0-415-56812-8.
  66. ^ Александр, Рудольф; Гьямера, Жаклин (сентябрь 1997 г.). «Дифференциальное наказание афроамериканцев и белых, владеющих наркотиками: справедливая политика или продолжение прошлого?». Журнал черных исследований. 28 (1): 97–111. Дои:10.1177/002193479702800106. ISSN  0021-9347. S2CID  152043501.
  67. ^ Петерсилия, Жанна (январь 1985 г.). «Расовые различия в системе уголовного правосудия: резюме». Преступность и правонарушения. 31 (1): 15–34. Дои:10.1177/0011128785031001002. ISSN  0011-1287. S2CID  146588630.
  68. ^ а б Гинн, Джессика (1 июля 2015 г.). "Google Фото назвал чернокожих горилл"'". США СЕГОДНЯ. USA Today. USA Today. Получено 18 ноября 2017.
  69. ^ Роуз, Адам (22 января 2010 г.). «Являются ли камеры с распознаванием лиц расистскими?». Время. Получено 18 ноября 2017.
  70. ^ «Алекса не понимает вашего акцента». Вашингтон Пост.
  71. ^ Суини, Латания (28 января 2013 г.). «Дискриминация при доставке рекламы в Интернете». СИОЗС. arXiv:1301.6822. Bibcode:2013arXiv1301.6822S. Дои:10.2139 / ssrn.2208240.
  72. ^ Джонсон, Кэролайн Ю. (24 октября 2019 г.). «Расовая предвзятость в медицинском алгоритме отдает предпочтение белым пациентам, а не более больным черным». Вашингтон Пост. Получено 2019-10-28.
  73. ^ Бартлетт, Роберт; Морс, Адэр; Стэнтон, Ричард; Уоллес, Нэнси (июнь 2019 г.). «Дискриминация в сфере потребительского кредитования в эпоху финансовых технологий». Рабочий документ NBER № 25943. Дои:10.3386 / w25943.
  74. ^ Джефф Ларсон, Джулия Ангвин (23 мая 2016 г.). «Как мы анализировали алгоритм рецидивизма КОМПАС». ProPublica. В архиве из оригинала 29 апреля 2019 г.. Получено 2020-06-19.
  75. ^ «Комментарий: Плохие новости. Искусственный интеллект предвзят». CNA. 2019-01-12. В архиве с оригинала 12 января 2019 г.. Получено 2020-06-19.
  76. ^ а б Ангвин, Джулия; Ларсон, Джефф; Матту, Сурья; Киршнер, Лорен (23 мая 2016 г.). "Смещение машины - ProPublica". ProPublica. Получено 18 ноября 2017.
  77. ^ Харкорт, Бернар (16 сентября 2010 г.). «Риск как показатель гонки». Криминология и государственная политика, готовятся к публикации. SSRN  1677654.
  78. ^ Ским Дж., Ловенкамп С. Риск, раса и рецидивизм: предиктивная предвзятость и несопоставимое влияние (14 июня 2016 г.). Доступно в SSRN: https://ssrn.com/abstract=2687339 или же https://doi.org/10.2139/ssrn.2687339
  79. ^ а б Ангвин, Джулия; Грассеггер, Ханнес (28 июня 2017 г.). «Секретные правила цензуры Facebook защищают белых мужчин от языка вражды, но не чернокожих детей - ProPublica». ProPublica. Получено 20 ноября 2017.
  80. ^ Ангвин, Джулия; Варнер, Мадлен; Тобин, Ариана (14 сентября 2017 г.). «Facebook позволил рекламодателям обращаться к« ненавистникам евреев »- ProPublica». ProPublica. Получено 20 ноября 2017.
  81. ^ Сап, Маартен. «Риск расовой предвзятости при выявлении языка вражды» (PDF).
  82. ^ Гаффари, Ширин. «Алгоритмы, обнаруживающие язык вражды в Интернете, ориентированы на чернокожих». Vox. Получено 19 февраля 2020.
  83. ^ Furl, N (декабрь 2002 г.). «Алгоритмы распознавания лиц и эффект другой расы: вычислительные механизмы для гипотезы развития контакта». Наука о мышлении. 26 (6): 797–815. Дои:10.1207 / с15516709cog2606_4.
  84. ^ Раджи, Иниолува Дебора; Гебру, Тимнит; Митчелл, Маргарет; Буоламвини, Радость; Ли, Джунсок; Дентон, Эмили (7 февраля 2020 г.). «Спасение лица: исследование этических проблем аудита распознавания лиц». Материалы конференции AAAI / ACM по ИИ, этике и обществу. Ассоциация вычислительной техники: 145–151. arXiv:2001.00964. Дои:10.1145/3375627.3375820. S2CID  209862419.
  85. ^ Буоламвини, Радость; Гебру, Тимнит (2018). «Гендерные оттенки: межсекторные различия в точности в коммерческой гендерной классификации» (PDF). Труды исследования машинного обучения. 81: 1 - через MLR Press.
  86. ^ Ананни, Майк (2011-04-14). «Любопытная связь между приложениями для геев и сексуальных преступников». Атлантический океан. Получено 18 ноября 2017.
  87. ^ Кафка, Петр. «Действительно ли Amazon провалила эти выходные?» Twittersphere говорит: «Да, - говорит интернет-магазин».'". ВсеВещиD. Получено 22 ноября 2017.
  88. ^ Кафка, Петр. "Amazon приносит свои извинения за грубую ошибку каталогизации'". ВсеВещиD. ВсеВещиD. Получено 22 ноября 2017.
  89. ^ Мацакис, Луиза (22.02.2019). «Поисковая ошибка« сексиста »говорит о нас больше, чем Facebook». Проводной. ISSN  1059-1028. Получено 2019-02-26.
  90. ^ «Некоторых ИИ просто не должно существовать». 2019-04-19.
  91. ^ Самуэль, Сигал (19.04.2019). «Некоторых ИИ просто не должно существовать». Vox. Получено 2019-12-12.
  92. ^ Ван, Илунь; Косинский, Михал (15.02.2017). «Глубокие нейронные сети точнее людей определяют сексуальную ориентацию по изображениям лиц». OSF.
  93. ^ Левин, Сэм (09.09.2017). «ЛГБТ-группы осуждают« опасный »ИИ, который использует ваше лицо, чтобы угадывать сексуальность». Хранитель. ISSN  0261-3077. Получено 2019-12-12.
  94. ^ Благородный, Сафия Умоджа (20.02.2018). Алгоритмы подавления: как поисковые системы усиливают расизм. Нью-Йорк. ISBN  9781479837243. OCLC  987591529.
  95. ^ Friedler, Sorelle A .; Шайдеггер, Карлос; Венкатасубраманян, Суреш (2016). «О (не) возможности справедливости». arXiv:1609.07236. Цитировать журнал требует | журнал = (помощь)
  96. ^ Ху, Лили; Чен, Илин (2018). «Влияние справедливой классификации на благосостояние и распределение». arXiv:1807.01134. Цитировать журнал требует | журнал = (помощь)
  97. ^ Дворк, Синтия; Хардт, Мориц; Питасси, Тониан; Рейнгольд, Омер; Земель, Рич (28 ноября 2011 г.). «Справедливость через осведомленность». arXiv:1104.3913. Цитировать журнал требует | журнал = (помощь)
  98. ^ а б c Сандвиг, Кристиан; Гамильтон, Кевин; Карахалиос, Кэрри; Лэнгборт, Седрик (2014). Гангадхаран, Сита Пена; Юбэнкс, Вирджиния; Барокас, Солон (ред.). «Аудит алгоритма» (PDF). Данные и дискриминация: сборник статей.
  99. ^ ЛаФранс, Эдриенн (18 сентября 2015 г.). «Алгоритмы, лежащие в основе Интернета, становятся только более загадочными». Атлантический океан. Получено 19 ноября 2017.
  100. ^ Бруно Латур (1999). Надежда Пандоры: очерки о реальности научных исследований. Кембридж, Массачусетс: Издательство Гарвардского университета.
  101. ^ Кубичко, Себастьян; Каун, Энн (2016). Инновационные методы в исследованиях СМИ и коммуникаций. Springer. ISBN  978-3-319-40700-5. Получено 19 ноября 2017.
  102. ^ Макги, Мэтт (16 августа 2013 г.). «EdgeRank мертв: алгоритм новостной ленты Facebook теперь имеет около 100 000 весовых коэффициентов». Маркетинговая земля. Получено 18 ноября 2017.
  103. ^ а б Китчин, Роб (25 февраля 2016 г.). «Критическое мышление и исследование алгоритмов» (PDF). Информация, коммуникация и общество. 20 (1): 14–29. Дои:10.1080 / 1369118X.2016.1154087. S2CID  13798875.
  104. ^ а б c Гранка, Лаура А. (27 сентября 2010 г.). "Политика поиска: ретроспектива десятилетия" (PDF). Информационное общество. 26 (5): 364–374. Дои:10.1080/01972243.2010.511560. S2CID  16306443. Получено 18 ноября 2017.
  105. ^ Шимелевич, Катажина (20.01.2020). "Политика черного ящика". Середина. Получено 2020-02-11.
  106. ^ Вил, Майкл; Биннс, Рубен (2017). «Более справедливое машинное обучение в реальном мире: снижение дискриминации без сбора конфиденциальных данных». Большие данные и общество. 4 (2): 205395171774353. Дои:10.1177/2053951717743530. SSRN  3060763.
  107. ^ Elliott, Marc N .; Моррисон, Питер А .; Фремонт, Аллен; McCaffrey, Daniel F .; Пантоха, Филипп; Лурье, Николь (июнь 2009 г.). «Использование списка фамилий Бюро переписи для улучшения оценок расовой / этнической принадлежности и связанных с ними различий». Медицинские услуги и методология исследования результатов. 9 (2): 69–83. Дои:10.1007 / s10742-009-0047-1. ISSN  1387-3741. S2CID  43293144.
  108. ^ Чен, Цзяхао; Каллус, Натан; Мао, Сяоцзе; Свача, Джеффри; Уделл, Мадлен (2019). «Справедливость в условиях незнания: оценка несоответствия, когда охраняемый класс не наблюдается». Материалы конференции по справедливости, подотчетности и прозрачности - FAT * '19. Атланта, Джорджия, США: ACM Press: 339–348. arXiv:1811.11154. Дои:10.1145/3287560.3287594. ISBN  9781450361255. S2CID  58006233.
  109. ^ Килбертус, Ники; Гасконец, Адрия; Куснер, Мэтт; Вил, Майкл; Гуммади, Кришна; Веллер, Адриан (2018). «Слепое правосудие: справедливость с зашифрованными конфиденциальными атрибутами». Международная конференция по машинному обучению: 2630–2639. arXiv:1806.03281. Bibcode:2018arXiv180603281K.
  110. ^ Биннс, Рувим; Вил, Майкл; Клик, Макс Ван; Шедболт, Найджел (13 сентября 2017 г.). Как трейнер, как бот? Наследование смещения при алгоритмической модерации контента. Социальная информатика. Конспект лекций по информатике. 10540. С. 405–415. arXiv:1707.01477. Дои:10.1007/978-3-319-67256-4_32. ISBN  978-3-319-67255-7. S2CID  2814848.
  111. ^ Клэберн, Томас. «Закон ЕС о защите данных может положить конец непостижимому алгоритму - InformationWeek». Информационная неделя. Получено 25 ноября 2017.
  112. ^ а б Джобин, Анна; Йенка, Марчелло; Вайена, Эффи (2 сентября 2019 г.). «Глобальный ландшафт руководящих принципов этики ИИ». Природа Машинный интеллект. 1 (9): 389–399. arXiv:1906.11668. Дои:10.1038 / с42256-019-0088-2. S2CID  201827642.
  113. ^ https://research.google.com/bigpicture/attacking-discrimination-in-ml/ Противодействие дискриминации с помощью интеллектуального машинного обучения
  114. ^ Хардт, Мориц; Прайс, Эрик; Сребро, Натан (2016). «Равенство возможностей в обучении с учителем». arXiv:1610.02413 [cs.LG ].
  115. ^ https://venturebeat.com/2018/05/25/microsoft-is-developing-a-tool-to-help-engineers-catch-bias-in-algorithms/ Microsoft разрабатывает инструмент, который поможет инженерам выявить предвзятость в алгоритмах
  116. ^ https://qz.com/1268520/facebook-says-it-has-a-tool-to-detect-bias-in-its-artificial-intelligence/ Facebook заявляет, что у него есть инструмент для обнаружения предвзятости в его искусственном интеллекте
  117. ^ Открытый исходный код Pymetrics audit-ai
  118. ^ https://venturebeat-com.cdn.ampproject.org/c/s/venturebeat.com/2018/05/31/pymetrics-open-sources-audit-ai-an-algorithm-bias-detection-tool/amp/ Pymetrics Audit AI с открытым исходным кодом, инструмент обнаружения смещения алгоритмов
  119. ^ https://github.com/dssg/aequitas Aequitas с открытым исходным кодом: инструментарий аудита предвзятости и справедливости
  120. ^ https://dsapp.uchicago.edu/aequitas/ Аудит AI с открытым исходным кодом, Aequitas в Чикагском университете
  121. ^ https://www.ibm.com/blogs/research/2018/02/mitigating-bias-ai-models/ Снижение предвзятости в моделях ИИ
  122. ^ С. Сен, Д. Дасгупта и К. Д. Гупта, «Эмпирическое исследование алгоритмической предвзятости», 44-я Ежегодная конференция по компьютерам, программному обеспечению и приложениям (COMPSAC) IEEE 2020 г., Мадрид, Испания, 2020 г., стр. 1189-1194, Дои:10.1109 / COMPSAC48688.2020.00-95.
  123. ^ Дзо, Джеймс; Шибингер, Лонда (июль 2018 г.). «ИИ может быть сексистским и расистским - пора сделать это честно». Природа. 559 (7714): 324–326. Дои:10.1038 / d41586-018-05707-8.
  124. ^ Коэн, Ансгар (июнь 2017 г.). "Алгоритмический уклон: решение растущих проблем [передовой край]" (PDF). Журнал IEEE Technology and Society. 36 (2): 31–32. Дои:10.1109 / mts.2017.2697080. ISSN  0278-0097.
  125. ^ «P7003 - Соображения алгоритмического смещения». standard.ieee.org. Получено 2018-12-03.
  126. ^ The Internet Society (18 апреля 2017 г.). «Искусственный интеллект и машинное обучение: программный документ». Интернет-общество. Получено 11 февраля 2020.
  127. ^ а б «Белая книга: как предотвратить дискриминационные результаты в машинном обучении». Всемирный Экономический Форум. 12 марта 2018 г.. Получено 11 февраля 2020.
  128. ^ «Объяснимый искусственный интеллект». www.darpa.mil. Получено 2020-02-11.
  129. ^ PricewaterhouseCoopers. «Ответственный фреймворк ИИ». PwC. Получено 2020-02-11.
  130. ^ Хилд, Дэвид (2007-09-07). Прозрачность: ключ к лучшему управлению?. Британская академия. Дои:10.5871 / bacad / 9780197263839.003.0002. ISBN  978-0-19-726383-9.
  131. ^ Кемпер, Якко; Колкман, Даан (06.12.2019). «Прозрачный для кого? Никакой алгоритмической ответственности без критической аудитории». Информация, коммуникация и общество. 22 (14): 2081–2096. Дои:10.1080 / 1369118X.2018.1477967. ISSN  1369–118X.
  132. ^ «Торонтская декларация: защита прав на равенство и недискриминацию в системах машинного обучения». Хьюман Райтс Вотч. 2018-07-03. Получено 2020-02-11.
  133. ^ Хьюман Райтс Вотч (2018). Торонтская декларация: защита права на равенство и недискриминацию в системах машинного обучения (PDF). Хьюман Райтс Вотч. п. 15.
  134. ^ Флориди, Лучано; Cowls, Джош; Бельтраметти, Моника; Чатила, Раджа; Хазеранд, Патрис; Дигнум, Вирджиния; Люэдж, Кристоф; Мадлен, Роберт; Пагалло, Уго; Росси, Франческа; Шафер, Буркхард (2018-12-01). «AI4People - этические рамки для хорошего общества искусственного интеллекта: возможности, риски, принципы и рекомендации». Умы и машины. 28 (4): 703. Дои:10.1007 / s11023-018-9482-5. ISSN  1572-8641. ЧВК  6404626. PMID  30930541.
  135. ^ Кроуфорд, Кейт (25.06.2016). "Мнение | Проблема белого парня искусственного интеллекта". Нью-Йорк Таймс. ISSN  0362-4331. Получено 2020-02-11.
  136. ^ «AI - это будущее - но где женщины?». Проводной. ISSN  1059-1028. Получено 2020-02-11.
  137. ^ Снег, Джеки. ""Мы находимся в кризисе разнообразия ": соучредитель Black in AI о том, что отравляет алгоритмы в нашей жизни". Обзор технологий MIT. Получено 2020-02-11.
  138. ^ Систон, Сара (29 декабря 2019). «Важен межсекторный ИИ». Журнал науки и технологий искусств. 11 (2): 3–8. Дои:10.7559 / citarj.v11i2.665. ISSN  2183-0088.
  139. ^ Д'Игнацио, Катерина; Кляйн, Лорен Ф. (2020). Феминизм данных. MIT Press. ISBN  978-0262044004.
  140. ^ Пещера, Стивен; Дихал, Канта (06.08.2020). «Белизна AI». Философия и технологии. Дои:10.1007 / s13347-020-00415-6. ISSN  2210-5441.
  141. ^ Бигрейв, Ли А. (2001). «Автоматизированное профилирование». Обзор компьютерного права и безопасности. 17 (1): 17–24. Дои:10.1016 / s0267-3649 (01) 00104-2.
  142. ^ а б Вил, Майкл; Эдвардс, Лилиан (2018). «Ясность, неожиданности и дополнительные вопросы в проекте руководства Рабочей группы по статье 29 по автоматизированному принятию решений и профилированию» (PDF). Обзор компьютерного права и безопасности. Дои:10.2139 / ssrn.3071679. SSRN  3071679.
  143. ^ Вахтер, Сандра; Миттельштадт, Брент; Флориди, Лучано (1 мая 2017 г.). «Почему право на разъяснение автоматизированного принятия решений не существует в Общем регламенте защиты данных». Международный закон о конфиденциальности данных. 7 (2): 76–99. Дои:10.1093 / idpl / ipx005. ISSN  2044-3994.
  144. ^ Эдвардс, Лилиан; Вил, Майкл (23 мая 2017 г.). «Раб алгоритма? Почему право на объяснение, вероятно, не то средство, которое вы ищете». Duke Law & Technology Review. 16: 18–84. Дои:10.2139 / ssrn.2972855. SSRN  2972855.
  145. ^ а б Певица, Наташа (2 февраля 2013 г.). "Законы о защите данных потребителей, кроме океана". Нью-Йорк Таймс. Получено 26 ноября 2017.
  146. ^ Обама, Барак (12 октября 2016 г.). «Отчет администрации о будущем искусственного интеллекта». whitehouse.gov. Национальный архив. Получено 26 ноября 2017.
  147. ^ и технологический совет, Национальная наука (2016). Национальный стратегический план исследований и развития искусственного интеллекта (PDF). Правительство США. Получено 26 ноября 2017.
  148. ^ Киршнер, Лорен (18 декабря 2017 г.). «Нью-Йорк предпринимает шаги по обеспечению ответственности за алгоритмы - ProPublica». ProPublica. ProPublica. Получено 28 июля 2018.
  149. ^ "Городской совет Нью-Йорка - Файл №: Int 1696-2017". legistar.council.nyc.gov. Городской совет Нью-Йорка. Получено 28 июля 2018.
  150. ^ Паулс, Джулия. «Смелая и ошибочная попытка Нью-Йорка сделать алгоритмы подотчетными». Житель Нью-Йорка. Житель Нью-Йорка. Получено 28 июля 2018.
  151. ^ «Индия взвешивает всеобъемлющий законопроект о конфиденциальности данных, аналогичный GDPR ЕС». Страховой журнал. 2018-07-31. Получено 2019-02-26.
  152. ^ https://meity.gov.in/writereaddata/files/Personal_Data_Protection_Bill,2018.pdf