Синтия Дворк, специалист в области теории вычислительных машин и систем в Microsoft Research, объясняет, как алгоритмы учатся проявлять пристрастие и как находить компромиссы между справедливостью и неприкосновенностью частной жизни.
Алгоритмы имеют все больше влияния на нашу жизнь. Они принимают решения о том, какие новости нам читать, на какую работу устраиваться, с какими людьми знакомиться, в каких вузах учиться и какую рекламу смотреть.
Тем не менее, появляется все больше доказательств, что алгоритмы и другие виды программного обеспечения могут предпочитать одно другому. Люди, пишущие алгоритмы, привносят в них свои предубеждения, а алгоритмы часто копируют поведение человека и потому отражают наши же собственные предпочтения. Например, исследования показали, что алгоритмы контекстной рекламы предлагают рекламу высокооплачиваемых вакансий мужчинам, а не женщинам, а рекламу кредитов под высокий процент – людям в регионах с низким уровнем доходов.
Синтия Дворк, специалист в области теории вычислительных машин и систем в Microsoft Research из Силиконовой долины, является одним из ведущих мыслителей в данной сфере. В своем интервью она объясняет, как алгоритмы учатся проявлять пристрастие, кто в этом виноват, и как найти компромиссы между справедливостью и неприкосновенностью личной жизни.
Вопрос:
Некоторые люди утверждают, что алгоритмы устраняют предвзятость, потому что они принимают решения на основе данных, свободных от предвзятости человека. Другие говорят, что алгоритмы отражают и продолжают в себе человеческие предубеждения. Каково ваше мнение?
Ответ:
Алгоритмы не устраняют предвзятость по умолчанию. Предположим, что университет, где история зачисления и отказа в приеме насчитывает многие десятилетия, столкнулся с растущим числом абитуриентов и решил использовать алгоритм машинного обучения, который, используя данные за прошлый период, определяет наиболее подходящих для зачисления кандидатов. Исторические предубеждения будут изучены алгоритмом из предоставленных данных, и прошлые предпочтения приведут к будущим предпочтениям.
Вопрос:
Есть ли реальные примеры таких случаев?
Ответ:
Известным примером системы, которая боролась с предвзятостью, была программа для интернов, которая подбирала выпускникам медицинских институтов программы резидентуры. Подбор мог быть нацелен либо на максимальное удовлетворение программ резидентуры, либо на максимальное удовлетворение студентов-медиков. До 1997 года в основном удовлетворялись интересы программ.
Все изменилось в 1997 году в ответ на «кризис доверия в отношении алгоритма подбора, который мог необоснованно удовлетворять интересы работодателей в ущерб соискателям, и который соискатели могли «обойти», согласно работе Элвина Рота и Эллиота Перансона, опубликованной в The American Economic Review.
Вопрос:
Вы изучали как конфиденциальность, так и проектирование алгоритмов, и стали соавтором работы «Справедливость через осознание», которая пришла к неожиданным выводам о предвзятых алгоритмах и частной жизни людей. Не могли бы вы кратко их изложить?
Ответ:
В «Справедливости через осознание» замечается, что иногда в интересах справедливости важно использовать конфиденциальную информацию для классификации. Это может быть немного нелогичным: мы инстинктивно стремимся скрыть информацию, которая может стать основой для предвзятости.
Вопрос:
Есть ли тому примеры?
Ответ:
Предположим, у нас есть группа меньшинства, в которой выдающиеся студенты предпочитают изучение математики, а в группе большинства выдающиеся студенты больше интересуются финансами. Самый простой способ найти хороших студентов – это рассмотреть тех, кто увлекается финансами, и если меньшинство мало, то эта простая схема классификации может найти наиболее выдающихся студентов.
Но это не только нечестно по отношению к выдающимся студентам из группы меньшинства, но также и несет мало пользы. Теперь при поиске выдающихся студентов культурное осознание говорит нам, что «меньшинство+математика» равно «большинство+финансы». Алгоритм классификации, использующий данный вид культурного осознания, более справедлив и более полезен.
Справедливость означает, что похожие люди рассматриваются одинаково. Истинное понимание того, кто должен считаться одинаковым для конкретной задачи классификации, требует знания критичных признаков, а удаление этих признаков из рассмотрения может привести к несправедливости и снизить пользу.
Вопрос:
Как университет может создать более справедливый алгоритм? Будет ли это означать большее участие человека в работе программного обеспечения по сбору большего количества личных данных студентов или использование другого подхода при создании алгоритма?
Ответ:
Это потребует серьезно задуматься о том, кто в сравнении с кем должен считаться одинаковым. Я не знаю безотказного средства, и это поднимает очень интересный вопрос о том, можно ли использовать методы машинного обучения для того, чтобы разобраться в проблеме. В данном направлении исследований велась предварительная работа, но оно остается в зачаточном состоянии.
Вопрос:
Недавно с этой проблемой столкнулись исследователи из Университета Карнеги-Меллона, которые обнаружили, что рекламная система Google предлагала рекламу услуг по карьерному коучингу для вакансий с оплатой «$200к+» мужчинам гораздо чаще, чем женщинам. Что ваше исследование говорит в этом случае?
Ответ:
Работа дает много пищи для размышлений. Примеры, описанные в статье, поднимают вопросы о том, как делаются вещи на практике. В настоящее время я сотрудничаю с авторами и другими людьми, пытаясь рассмотреть разные правовые последствия, к которым может привести подобное поведение рекламной системы.
Вопрос:
Как это могло случиться? Вероятно, рекламодатель мог быть нацелен на мужскую аудиторию, либо алгоритм установил, что мужчины чаще просматривают подобную рекламу?
Ответ:
Существует и другое правдоподобное объяснение: возможно, женщины были целевой аудиторией у большего количества объявлений, и поэтому данное объявление показывалось им реже.
Вопрос:
Закон защищает определенные группы от дискриминации. Можно ли научить алгоритм делать то же самое?
Ответ:
Это относительно новая проблемная область в компьютерной науке, но для оптимизма есть все основания – например, ресурсы семинара «Справедливость, ответственность и прозрачность в обучении машин», который рассматривает роль машин в принятии важных решений в таких областях, как занятость, здравоохранение и охрана порядка. Это захватывающая и ценная область для исследований.
Вопрос:
Кто несет ответственность за беспристрастность алгоритмов или программного обеспечения?
Ответ:
На этот вопрос лучше ответит специалист по этике. Я интересуюсь лишь тем, какой вклад могут внести теоретическая информатика и другие дисциплины в понимание жизнеспособных вариантов.
Цель моей работы – математически твердо обосновать справедливость, но даже я смогла лишь недалеко копнуть. Это влечет за собой нахождение математически строгого определения справедливости и развития вычислительных методов – алгоритмов – которые гарантируют справедливость.
Вопрос:
В вашей работе о справедливости вы писали, что в идеале регулирующий орган или организация по защите гражданских прав будут устанавливать правила, регулирующие эти вопросы. Мир технологий, как известно, устойчив к регулированию, но вы полагаете, что обеспечение справедливости в алгоритмах может стать необходимым?
Ответ:
Да, в той же мере, в какой сейчас регулирование играет важную роль в некоторых контекстах, таких как реклама вакансий и предоставление кредита.
Вопрос:
Должна ли информатика в учебных заведениях учить тому, как быть в курсе этих проблем и различных подходов к их решению?
Ответ:
Несомненно! Во-первых, студенты должны узнать, что выбор построения алгоритмов воплощает в себе оценочные суждения, и поэтому вносит свои предубеждения в работу системы. Они также должны узнать о существовании тонких граней: например, проектирование алгоритма для гендерно-нейтральной целевой рекламы – это сложнее, чем просто убедиться, что пол человека игнорируется. Они должны понимать, что правила классификации, полученные в процессе машинного обучения, не застрахованы от предвзятости, особенно когда она присутствует в исторических данных. Методы решения этих проблем должны быть включены в учебные программы по мере их разработки.