Депрессия, музыка и секс: из чего сделан «Нож»

Для исследования мы использовали технологию тематического моделирования (topic modeling). Это популярный сегодня метод работы с большими массивами данных (data mining). Специальный алгоритм смотрит на тысячи документов и пытается понять их тематический состав, изначально ничего не зная про темы, а затем выдает каждую тему в виде списка самых важных для нее слов в порядке убывания их важности. Подробнее о том, как работает тематическое моделирование, можно почитать в статье «Системного Блока».

Изначально число тем в тематическом моделировании выбирает сам исследователь. Благодаря этому мы можем получать картинку «разного разрешения»: выбрав 5 тем, увидим очень общее разделение на макротемы, выбрав 15 — более дробные подтемы и подрубрики. Попробуем проделать это со всеми текстами «Ножа».

Пятый элемент «Ножа»

В первом эксперименте мы предложили алгоритму найти в текстах «Ножа» всего 5 тем. Программа пыталась разбить всю массу слов, написанных авторами сайта, по пяти тематическим корзинам или, как принято говорить у компьютерных лингвистов, по «мешкам слов». В каждый «мешок» попадали наиболее характерные для темы слова (мы брали топ-20).

Вот 5 макротем, которые выделила машина в текстах «Ножа». Размер каждого слова на визуализации соответствует его значимости для этой темы:

Ясно, что первая макротема — это наука. Ее главные слова — «ученый», «исследование», «мозг», «эксперимент», «исследователь». Если смотреть дальше, виден медицинский уклон: «врач», «сон», «состояние», «помощь». А если расширить список до 30 важнейших слов по этой теме, то в него попадут «расстройство», «организм», «тело», «депрессия», «психолог».

С помощью тематического моделирования можно получить «самые научные» тексты «Ножа» — то есть те, в которых эта тема проявлена сильнее всего. Оказалось, что эти статьи тоже посвящены медицине и здоровью:

• Ученые впервые вырастили кровеносные сосуды человека в лаборатории (94,5% близости к теме)
• Ученые обнаружили неожиданную пользу ожирения (94,4%)
• Исследование: депрессия усиливает реакцию на стресс (94%)

Дальше идет тема искусства, причем актуально-современного. Топ-5 важных слов здесь — «фильм», «музыка», «искусство», «автор» и «новый». Еще одно свидетельство новизны и современности искусства, о котором пишет «Нож», на картинку не попало: изначально в списке важных для темы слов была гиперссылка youtube.com/watch/v… (Мы удалили ее, так как это все-таки не слово.)

Город и городская среда обитания — еще один важный фокус «Ножа». Важнейшие слова: «город», «место», «местный», «дом», «улица». Дальнейший список указывает на социально-потребительскую проблематику: «вода», «еда», «рубль», «одежда». Самый городской текст «Ножа» (88,8%) — тоже про потребление в городах:

• В Тбилиси появилось мороженое со вкусом вина и чурчхелы

Четвертая макротема — экономика и бизнес: «компания», «страна», «Россия», «проект», «получать». Бизнес в первую очередь высокотехнологичный — в топ-20 важнейших слов входят «сайт», «программа», «интернет», «сеть», «технология», «игра».

Последняя тема — самая абстрактная. Важнейшие слова здесь связаны с отношениями и семьей: «женщина», «ребенок», «друг». Но в этой же теме оказались слова, связанные с общественными вопросами и историей: «мир», «век», «история», «идея». Сразу видно, что 5 тем — это слишком мало.

Горячая десятка и самые сексуальные тексты «Ножа»

Попробуем немножко «повысить разрешение» нашей картинки — увеличим число тем до 10. Это вообще очень популярное число тем, его часто выбирают по умолчанию. Получается такая панорама:

Как мы и ожидали, многие темы конкретизировались. Например, искусство разделилось на две подтемы: кино + книги («фильм», «режиссер», «кино», «сериал», «роман») и музыка + музеи. То есть размежевались нарративные и безнарративные виды искусства. Кстати, ссылка на просмотр в ютубе оказалась важна для обеих тем (но мы ее снова убрали).

Практически идеально выделилась тема половых отношений (топ-слова: «женщина», «мужчина», «секс», «сексуальный», «отношение») — теперь она существует отдельно от темы глобально-мировых проблем. Но самые «сексуальные» тексты «Ножа» всё равно остросоциальные. Они посвящены проблемам вмешательства государства в вопросы гендера и сексуальности:

• В Индии отменили уголовное наказание за секс с замужней женщиной
• В Индии отменили уголовное наказание за однополые отношения
• Австралия легализовала однополые браки

Статьи по проблемам религии, истории и духовности образуют взрывоопасный клубок смыслов, который мы не можем назвать иначе как «Русская смерть»:

Но на самом деле охват религиозно-исторических тем у «Ножа» широкий, и не всё тут связано с Россией. Вот топ-5 текстов:

• В Египте обнаружили семь гробниц с мумиями кошек и скарабеев
• Зороастрийцы, самаритяне, мандеи: как религии Древнего мира смогли сохраниться до наших дней
• Сказки из згорелого дома. Почему начались и как происходили массовые самосожжения старообрядцев в России
• Древнерусская тоска: девять самых странных сюжетов православных икон
• История бороды в Европе и России

Научный топик разделился на эколого-биологический («животное», «вода», «вид», «земля») — и посвященный психологии и физиологии человека («мозг», «психолог», «сон», «пациент», «депрессия»).

Попробуем повысить разрешение еще сильнее — возьмем 15 тем.

«Нож» в высоком разрешении

Увеличение числа тем в тематическом моделировании — палка о двух концах. С одной стороны, хорошо выраженные темы выделяются еще точнее. С другой — алгоритм находит всё больше «мусорных» псевдотем. Так случилось и у нас:

Окончательно оформились в устойчивые отдельные темы:

• секс и отношения: женщина, мужчина, секс, сексуальный, отношение, любовь, партнер, женский, девушка, мужской, пол, половой, друг, брак, порно, насилие, тело, семья, оргазм;
• технологическое предпринимательство: пользователь, доллар, сайт, интернет, технология, сеть, создавать, данные, приложение, новый, система, информация, соцсеть, игра;
• городская среда: город, местный, место, центр, район, улица.

От прочего искусства отделились:

• кино: фильм, режиссер, кино, снимать, сериал, актер, герой;
• музыка: музыка, песня, альбом, музыкант, группа.

А еще мы отфильтровали здесь целую кучу английских артиклей и местоимений из названий групп, а также ссылку на ютуб.

Научные темы разбились на группы:

• био/экология: вода, ученый, земля, планета, организм, клетка, новый, продукт, вид, космический, вещество;
• медицина, нейронауки и психология: мозг, исследование, ученый, сон, пациент, расстройство, психолог, помогать, депрессия, врач, эксперимент;
• философские вопросы: язык, вопрос, слово, теория, наука, например, научный, ученый, существовать, система, мир.

Но при этом появились две трудноинтерпретируемые «мусорные» псевдотемы. В одной из них ключевые слова — «ребенок», «знать», «делать», «друг», «понимать» и еще много разных глаголов. В другой — «рука», «животное», «цвет», «глаз», «голова», «белый» и прочие цвета и части тела. Это нормально для алгоритмов тематического моделирования с большим предзаданным количеством тем. В конечном счете система всё равно нуждается в оценке и интерпретации результата человеком.

А наша интерпретация такова: состав «Ножа» с точки зрения машины — это много науки, много культуры, технологии и секс.