Пользователи твиттера заподозрили в расовой дискриминации алгоритм соцсети, обрезающий фотографии. Они заметили, что нейросеть выводит на превью преимущественно белокожих людей.
Trying a horrible experiment…
Which will the Twitter algorithm pick: Mitch McConnell or Barack Obama? pic.twitter.com/bR1GRyCkia
— Tony “Abolish (Pol)ICE” Arcieri 🦀 (@bascule) September 19, 2020
Алгоритм для обрезки фото используется в соцсети с 2018 года: он устроен так, чтобы анализировать изображение и показывать на предпросмотре самые «интересные» или «важные» его участки. 20 сентября разработчик Тони Арcиери провел эксперимент: он опубликовал твит с двумя длинными картинками, которые оканчивались портретом либо бывшего президента США Барак Обамы, либо республиканского сенатора Митча Макконелла.
Как оказалось, в обоих случаях нейросеть посчитала «интересной» фотографию Макконелла. Тот же результат повторился, когда разработчик поменял местами галстуки политиков — он предположил, что алгоритм реагирует на яркий красный цвет. Обама попал на превью, только когда разработчик инвертировал цвета на фото.
Let's try inverting the colors… (h/t @KnabeWolf) pic.twitter.com/5hW4owmej2
— Tony “Abolish (Pol)ICE” Arcieri 🦀 (@bascule) September 19, 2020
Эксперимент подхватили другие пользователи, которые решили поэкспериментировать с разными фонами и героями — в ход пошли даже персонажи «Симпсонов». Результат оставался неизменным.
I wonder if Twitter does this to fictional characters too.
Lenny Carl pic.twitter.com/fmJMWkkYEf
— Jordan Simonovski (@_jsimonovski) September 20, 2020
На ситуацию обратил внимание директор по цифровым технологиям компании Дэнтли Дэвис. Он сказал, что алгоритм ориентируется не только по лицам, но и по свету, а также контрастности. Для примера он опубликовал картинку, с одной стороны которой была фотография темнокожего человека со светлым фоном, а с другой — то же фото, только с лицом белокожего мужчины. В этот раз алгоритм поместил на предпросмотр темнокожего. Таким образом удалось вывести в превью и Обаму — для него подобрали более контрастную фотографию.
Here's another example of what I've experimented with. It's not a scientific test as it's an isolated example, but it points to some variables that we need to look into. Both men now have the same suits and I covered their hands. We're still investigating the NN. pic.twitter.com/06BhFgDkyA
— Dantley 🔥✊🏾💙 (@dantley) September 20, 2020
Позже к разговору присоединилась представитель компании Лиз Келли: по ее словам, команда соцсети не нашла доказательств предвзятости по отношению к какой-либо расе или полу. Тем не менее она пообещала продолжить изучение алгоритма. Как заметили в Daily Mail, к утру понедельника в работе алгоритма уже заметны изменения: теперь, где это возможно, изображение не обрезается, а демонстрируется полностью.
Нескучно о культуре
