Uncategorized

AI Weekly: NIST предлагает способы выявления и устранения предвзятости ИИ

Национальный институт стандартов и технологий (NIST), агентство США, ответственное за разработку технических показателей для продвижения «инноваций и конкурентоспособности промышленности», на этой неделе опубликовало документ, в котором излагаются отзывы и рекомендации по снижению риска предвзятости в ИИ. В документе, комментарии по которому NIST принимаются до августа, предлагается подход к выявлению и устранению «пагубных» предубеждений, которые могут подорвать доверие общества к ИИ.

Как отмечает ученый NIST Рива Шварц, соавтор статьи, искусственный интеллект преобразует свою способность распознавать данные быстрее, чем люди. Но по мере того, как ИИ проникает в мир, становится ясно, что на его прогнозы могут влиять алгоритмические ошибки и ошибки данных. Что еще хуже, некоторые системы искусственного интеллекта построены для моделирования сложных концепций, которые невозможно измерить напрямую с помощью данных. Например, алгоритмы найма используют прокси – некоторые из которых опасно неточны – например, «место жительства» или «уровень образования» – для концепций, которые они пытаются уловить.

Последствия часто катастрофические. Предубеждения в ИИ привели к неправомерным арестам, расистским оценкам рецидивов, вербовке по признаку пола, ошибочным оценкам в старших классах, генераторам оскорбительных и исключающих языков и неэффективным системам распознавания речи, и это лишь некоторые из них. Неудивительно, что доверие к системам ИИ подрывается. Согласно опросу, проведенному KPMG, в пяти странах – США, Великобритании, Германии, Канаде и Австралии – более трети населения заявили, что они не хотят доверять системам ИИ в целом.

Предлагаемая структура

В документе NIST излагается структура для выявления и устранения предубеждений ИИ на разных этапах жизненного цикла системы, от концепции, итерации и отладки до выпуска. Он начинается на этапе предварительного проектирования или создания идеи, прежде чем перейти к проектированию и разработке и, наконец, развертыванию.

Соавторы NIST отмечают, что на этапе предварительного проектирования, поскольку многие последующие процессы зависят от решений, принятых здесь, существует большое давление, чтобы «все исправить». Центральным в этих решениях является то, кто их принимает и какие люди или команды имеют наибольшую власть или контроль над ними, что может отражать ограниченные точки зрения, влиять на более поздние этапы и решения и приводить к необъективным результатам.

Например, создание прогнозных моделей для сценариев, уже известных как дискриминационные, таких как прием на работу, представляет собой очевидный риск. Тем не менее, разработчики часто не обращают внимания на возможность завышенных ожиданий, связанных с ИИ. Действительно, текущие допущения в области развития часто вращаются вокруг идеи технологического решения проблем, представления о том, что технология приведет только к положительным решениям.

На этапах проектирования и разработки возникают другие связанные наборы проблем. Здесь специалисты по обработке данных часто уделяют особое внимание производительности и оптимизации, которые сами по себе могут быть источниками предвзятости. Например, разработчики моделей почти всегда выбирают наиболее точные модели машинного обучения. Но игнорирование контекста может привести к необъективным результатам для определенных групп населения, равно как и использование агрегированных данных о группах для прогнозирования индивидуального поведения. Этот последний тип предвзятости, известный как «экологическая ошибка», непреднамеренно взвешивает определенные факторы, так что социальное неравенство усугубляется.

Экологическая ошибка широко распространена в моделировании здравоохранения, где было показано, что большая часть данных, используемых для обучения алгоритмов диагностики и лечения заболеваний, способствует сохранению неравенства. Недавно группа британских ученых обнаружила, что почти все наборы данных о заболеваниях глаз поступают от пациентов из Северной Америки, Европы и Китая, а это означает, что алгоритмы диагностики заболеваний глаз с меньшей вероятностью работают для расовых групп из недостаточно представленных стран. В другом исследовании исследователи Стэнфордского университета заявили, что большая часть данных США по исследованиям, связанным с медицинским использованием ИИ, поступает из Нью-Йорка, Калифорнии и Массачусетса.

Когда системы ИИ достигают фазы развертывания, т. Е. Когда люди начинают с ними взаимодействовать, плохие решения на ранних этапах начинают оказывать влияние, как правило, без ведома пострадавших людей. Например, если не проектировать, чтобы компенсировать предвзятость активности, алгоритмические модели могут быть построены на данных только самых активных пользователей. Соавторы NIST связывают проблему с тем фактом, что группы, изобретающие алгоритмы, вряд ли будут знать – иногда сознательно – обо всех потенциально проблемных способах их перепрофилирования. Помимо этого, существуют индивидуальные различия в том, как люди интерпретируют прогнозы моделей искусственного интеллекта, что может привести к «разгрузке» решений в пользу грубых и неточных автоматизированных инструментов.

Это особенно очевидно в языковой области, где модельное поведение нельзя свести к универсальным стандартам, потому что «желаемое» поведение различается в зависимости от приложения и социального контекста. Исследование, проведенное учеными из Калифорнийского университета в Беркли и Вашингтонского университета, иллюстрирует эту точку зрения, показывая, что языковые модели, внедренные в производство, могут с трудом понять аспекты языков и диалектов меньшинств. Это может вынудить людей, использующих модели, переключиться на «английский с выравниванием по белому», например, чтобы убедиться, что модели лучше работают для них, что может оттолкнуть представителей меньшинств от взаимодействия с моделями с самого начала.

Устранение предвзятости в ИИ

Что делать с подводными камнями? Соавторы NIST рекомендуют выявлять предубеждения на ранних этапах процесса разработки ИИ, поддерживая «разнообразие» – включая расовое, гендерное, возрастное – по социальным признакам, где предвзятость является проблемой. Хотя они признают, что определение воздействий может занять время и потребовать участия конечных пользователей, практиков, профильных экспертов и специалистов в области права и социальных наук, соавторы говорят, что эти заинтересованные стороны могут использовать свой опыт для решения задачи рассмотрения всех возможные исходы.

Эти предложения согласуются с статьей, опубликованной в июне прошлого года группой исследователей Microsoft. Он выступал за более тщательное изучение и исследование взаимосвязи между языком, властью и предубеждениями в их работе, сделав вывод, что в области исследований машинного обучения, как правило, не хватает четких описаний предвзятости и не удается объяснить, как, почему и для кого эта предвзятость вредна. .

«Технологии или наборы данных, которые не кажутся проблемными для одной группы, могут быть сочтены пагубными для других. Способ, которым различные группы пользователей могут играть в определенные приложения или инструменты, также может быть не столь очевиден для команд, которым поручено вывести на рынок технологию на основе ИИ », – говорится в статье NIST. «Такие виды воздействия иногда можно выявить на ранних этапах тестирования, но обычно они очень специфичны для конкретного конечного использования и со временем будут меняться».

Помимо этого, соавторы выступают за «культурный эффективный вызов» – практику, направленную на создание среды, в которой разработчики могут подвергать сомнению этапы разработки, чтобы помочь искоренить предубеждения. Соавторы утверждают, что требование от практикующих ИИ защищать свои методы может стимулировать новые способы мышления и помочь изменить подходы организаций и отраслей.

Многие организации не соответствуют требованиям. После того, как исследовательская работа 2019 года продемонстрировала, что коммерчески доступные инструменты анализа лица не работают для женщин с темной кожей, руководители Amazon Web Services попытались дискредитировать соавторов исследования Джой Буоламвини и Деб Раджи в нескольких сообщениях в блогах. Совсем недавно Google уволила ведущего исследователя искусственного интеллекта Тимнит Гебру с должности в группе по этике искусственного интеллекта, которая, как она утверждает, была местью за отправку коллегам письма с критикой управленческой практики компании.

Но другие, особенно в академических кругах, предприняли предварительные шаги. Например, новая программа в Стэнфорде – Обзор этики и общества (ESR) – требует от исследователей искусственного интеллекта оценивать свои предложения на предмет любого потенциального негативного воздействия на общество, прежде чем получить зеленый свет для финансирования. Начиная с 2020 года, Стэнфорд провел ESR по 41 заявке на получение гранта Stanford HAI. Чаще всего комиссия выявляла проблемы причинения вреда группам меньшинств, включения различных заинтересованных сторон в план исследования, двойного использования и представления в данных. Одна исследовательская группа, изучавшая использование искусственного интеллекта для ухода за пожилыми людьми на дому, написала заявление о СОЭ, в котором учитывалась этика конфиденциальности в своем исследовании, излагались рекомендации по использованию размытия лица, маскировки тела и других методов, обеспечивающих защиту участников. .

Наконец, на этапе развертывания соавторы утверждают, что мониторинг и аудит являются ключевыми способами управления рисками предвзятости. Есть предел тому, что это может сделать – например, неясно, могут ли методы «детоксикации» полностью устранить языковые модели определенного размера. Однако такие методы, как контрфактическая справедливость, в которой используются причинные методы для создания «справедливых» алгоритмов, возможно, могут начать устранять пробелы между лабораторной и реальной средой.

Комментарии к предлагаемому NIST подходу могут быть отправлены до 5 августа 2021 года, загрузив и заполнив форму шаблона и отправив ее на специальный адрес электронной почты NIST. Соавторы говорят, что они будут использовать ответы, чтобы помочь сформировать повестку дня виртуальных мероприятий, которые NIST проведет в ближайшие месяцы, что является частью более широких усилий агентства по поддержке развития надежного и ответственного ИИ.

«Управление риском предвзятости в ИИ является важной частью разработки надежных систем ИИ, но путь к этому остается неясным. Мы хотим привлечь сообщество к разработке добровольных, основанных на консенсусе стандартов для управления предвзятостью ИИ и снижения риска вредных последствий, которые он может вызвать », – говорится в заявлении Шварца. «Инструмент искусственного интеллекта часто разрабатывается для одной цели, но затем он используется в совершенно разных контекстах. Многие приложения ИИ также были недостаточно протестированы или вообще не протестированы в контексте, для которого они предназначены. Все эти факторы могут позволить необъективности остаться незамеченной … [Because] мы знаем, что предвзятость преобладает на протяжении всего жизненного цикла ИИ… [not] знать, в чем ваша модель предвзято, или предполагать, что предвзятости нет, было бы опасно. Следующим жизненно важным шагом является определение методов его выявления и управления ».

Related Articles

Leave a Reply

Your email address will not be published. Required fields are marked *

Back to top button