Пользователи твиттера заподозрили в расовой дискриминации алгоритм соцсети, обрезающий фотографии. Они заметили, что нейросеть выводит на превью преимущественно белокожих людей.
Алгоритм для обрезки фото используется в соцсети с 2018 года: он устроен так, чтобы анализировать изображение и показывать на предпросмотре самые «интересные» или «важные» его участки. 20 сентября разработчик Тони Арcиери провел эксперимент: он опубликовал твит с двумя длинными картинками, которые оканчивались портретом либо бывшего президента США Барак Обамы, либо республиканского сенатора Митча Макконелла.
Как оказалось, в обоих случаях нейросеть посчитала «интересной» фотографию Макконелла. Тот же результат повторился, когда разработчик поменял местами галстуки политиков — он предположил, что алгоритм реагирует на яркий красный цвет. Обама попал на превью, только когда разработчик инвертировал цвета на фото.
Эксперимент подхватили другие пользователи, которые решили поэкспериментировать с разными фонами и героями — в ход пошли даже персонажи «Симпсонов». Результат оставался неизменным.
На ситуацию обратил внимание директор по цифровым технологиям компании Дэнтли Дэвис. Он сказал, что алгоритм ориентируется не только по лицам, но и по свету, а также контрастности. Для примера он опубликовал картинку, с одной стороны которой была фотография темнокожего человека со светлым фоном, а с другой — то же фото, только с лицом белокожего мужчины. В этот раз алгоритм поместил на предпросмотр темнокожего. Таким образом удалось вывести в превью и Обаму — для него подобрали более контрастную фотографию.
Позже к разговору присоединилась представитель компании Лиз Келли: по ее словам, команда соцсети не нашла доказательств предвзятости по отношению к какой-либо расе или полу. Тем не менее она пообещала продолжить изучение алгоритма. Как заметили в Daily Mail, к утру понедельника в работе алгоритма уже заметны изменения: теперь, где это возможно, изображение не обрезается, а демонстрируется полностью.