Зачем кино изучают с помощью нейронауки

«Творчество основано на точной науке о реакции зрителей».

Ж. Душе, Hitchcock and His Audience

«Любое искусство автобиографично; жемчужина — это автобиография устрицы».

Ф. Феллини, Atlantic Monthly December 1965

Используя средства функциональной магнитно-резонансной томографии (фМРТ), которая позволяет оценивать прилив крови к той или иной области мозга, исследовательская группа Хассона регистрировала активацию мозга участников во время просмотра кино. Поскольку фильм протяжен во времени и обладает сложной иерархией элементов, он отличается от простых стимулов, используемых в традиционных экспериментах, что усложняет обработку данных фМРТ. Поэтому в своих исследованиях Хассон использовал метод межсубъектной корреляции, который позволил оценить, насколько схожа активность мозга при просмотре кино у всех участников, и определить те области мозга, в которых активность была идентична.

В первом исследовании по нейрокинематике помещенным в томограф участникам предлагали смотреть получасовой отрывок из вестерна Серджо Леоне «Хороший, плохой, злой». Видеоряд проецировался на экран, расположенный позади головы участника, и отражался в зеркале напротив его глаз.

Экспериментальная установка в исследованиях по нейрокинематике с использованием фМРТ. Источник

Несмотря на то что задачей участников был естественный просмотр фильма, во время которого не осуществлялся контроль того, куда они смотрят и на что обращают внимание, было обнаружено, что активность мозга участников, возникающая как реакция на отрывок фильма, изменялась в унисон! Для исключения рисков того, что высокие показатели межсубъектной корреляции были порождены зашумлением со стороны сканера или особенностями обработки сигнала, были проанализированы записи фМРТ, сделанные во время того, как участники лежали в сканере в темноте на протяжении десяти минут. В этом случае показатели межсубъектной корреляции были гораздо ниже.

Синхронизация активности мозга участников во время просмотра фильма наблюдалась в 45% коры: в затылочных и височных областях — в зонах, отвечающих за зрительную обработку, в извилине Гешля, отвечающей за звуковую обработку, в зоне Вернике, ключевой для обработки речи, а также в областях, отвечающих за эмоции.

Степень схожести реакций на просмотр фильма может разниться. Сопоставление результатов нескольких исследований показало, что наиболее схожие реакции зрителей, задействующие 65% коры, возникли в ответ на фильм Альфреда Хичкока «Пиф-паф, ты — мертв». Далее следовал уже упомянутый фильм Леоне «Хороший, плохой, злой» с корреляцией на 45% коры, затем — телесериал «Умерь свой энтузиазм» Ларри Дэвида, в ответ на который активность мозга зрителей коррелировала лишь на 18% коры. Однако и последний не слишком высокий показатель был гораздо более выражен, чем межсубъектная корреляция в ответ на неструктурированную видеозапись воскресного утра в Вашингтон-Сквер-парк в Нью-Йорке: в этом случае синхронизация не покрывала и 5% коры.

A — участки коры, характеризуемые высокими показателями межсубъектной корреляции. B — численные показатели коррелирующих участков (в процентах). Источник

Полученные результаты побуждают задаться вопросом: какие именно характеристики фильма отвечают за обеспечение единой реакции зрителей? В описанных ранее экспериментах участники подвергались воздействию одного и того же стимула, представленного последовательностью кадров и звуков. Но является ли один и тот же набор элементов кино предиктором единой реакции? Ответ на этот вопрос дали результаты исследования, в котором участники смотрели отрывки из классических немых фильмов — «Искателя приключений», «Огней большого города» Чарли Чаплина и «Навигатора» Бастера Китона. В рамках одного из экспериментов отрывки показывались в исходном виде. В другом они предъявлялись от конца к началу. Наконец, в третьем отрывки фильмов «Огни большого города» и «Искатель приключений» были разделены на сегменты и перемешаны с нарушением естественной динамики фильма и особенностей монтажа.

Все результаты показали высокий уровень межсубъектной корреляции для первичной зрительной коры, отвечающей за первичную обработку входящих зрительных сигналов, и для зрительной зоны MT, участвующей в восприятии движения. То есть в этих зонах, независимо от особенностей монтажа и временной динамики, корреляция между активностью мозга участников сохранялась за счет простейших визуальных свойств каждого кадра без учета динамических отношений между ними. В других, более высокоуровневых областях мозга высокая корреляция между реакцией участников сохранялась в том случае, если перемешивание кадров было не слишком значительным и исходная динамика эпизодов сохранялась на среднем уровне. К этим областям относятся латеральная затылочная кора, отвечающая за распознавание объектов, парагиппокампальная область мест, отвечающая за распознавание окружающей среды, в частности зданий, достопримечательностей и т. д., область распознавания лиц, верхняя височная борозда, отвечающая за обработку социально значимых сигналов, и предклинье головного мозга, участвующее в процессах эпизодической памяти, обработки зрительной и пространственной информации, а также самосознания. Если же смешение кадров разрушало исходную динамику еще в меньшей степени, то высокая межсубъектная корреляция сохранялась для областей мозга, отвечающих и за более сложные функции. Среди этих областей — височно-теменной узел, объединяющий информацию, поступающую из таламуса, а также лимбической, зрительной, слуховой и соматосенсорной систем. При просмотре отрывков в обратном порядке высокая корреляция сохранялась лишь для зрительной коры, а для высокоуровневых структур нивелировалась.

Причем другие исследования показали, что зрительная кора настолько чувствительна к элементарным визуальным свойствам, что позволяет частично реконструировать просмотренный фрагмент видео исключительно на основе активности мозга.

Таким образом, описанный эксперимент показал, что общая реакция зрителей на кино обеспечивается не только элементарными изолированными свойствами визуального ряда, но и особенностями монтажа, объединяющего эти изолированные свойства в целостную структуру, разрушение которой приводит к рассинхронизации зрительских реакций. Следовательно, тот факт, что общая реакция зрителей сохраняется не только на низких уровнях первичной обработки информации, но и на более сложном уровне интеграции информации, процессов памяти и т. д., подразумевает, что кино «контролирует» аудиторию. Этот «контроль» (без привязки к его этической стороне) подразумевает, что фильм как стимул создает у зрителя последовательность предсказуемых реакций. И знание о характере этих предсказуемых реакций критично не столько для фундаментального понимания того, как функционирует мозг, сколько для сферы нейромаркетинга в кинопроизводстве.

Еще в 2009 году американский кинопродюсер Питер Кац заявил об использовании метода фМРТ для регистрации реакции участницы на отрывки фильма ужасов Pop Skull.

Записи позволяли отследить активацию амигдалы, что служило независимой оценкой чувства страха или ужаса, вызываемого фильмом. В интервью журналу Wired Кац сообщил, что использование такого подхода для предварительной оценки воздействия фильма на зрителя ценно тем, что позволяет отследить реакцию, которую сам зритель не смог бы отчетливо сформулировать или мог бы позабыть. Причем эту реакцию, по мнению Катца, можно сопоставить с конкретными свойствами кадра или монтажа, что облегчит оценку того, как фильм потенциально может быть воспринят широкой аудиторией, и позволит корректировать его в том случае, если реакция мозга не соответствует ожиданиям.

Прошло 12 лет, но инициатива Питера Каца не нашла широкого стандартизированного применения в кинопроизводстве. Это может объясняться тем, что для полноценного анализа того, какую реакцию у зрителя вызовет кинокартина, пребывающая в процессе создания, потребовались бы записи фМРТ множества испытуемых, что является технически непростой задачей. Наконец, сама методика фМРТ предполагает существенное ограничение, так как обладает низким временным разрешением и большой задержкой между реальным возбуждением нейронов и регистрируемым ответом, что усложняет сопоставление конкретных элементов кинокартины и реакции мозга. Поэтому ожидания кинопродюсеров на волне зарождения нейрокинематики оказались завышенными, что, впрочем, не исключает применения аналогичного подхода с использованием более чувствительных методов. Наконец, применение методов науки о данных на большом массиве подобной информации могло бы пригодиться для определения универсальных свойств любой кинокартины, влияющих тем или иным образом на общую популяцию зрителей.

Может быть интересно

Как магазины используют big data, чтобы заставить нас покупать

Гораздо более экономной задачей оказалась оптимизация трейлеров, которая, по сведениям The Guardian, осуществлялась кинокомпаниями с использованием результатов анализа записей фМРТ, полученных исследователем Стивеном Кварцем. Кварц утверждал, что активность орбитофронтальной коры может использоваться для оценки того, насколько человек предвкушает грядущий фильм при просмотре его трейлера.

Нейромаркетинговая компания MindSign открыла доступ к ряду записей фМРТ во время просмотра трейлеров. Ниже представлен пример активности мозга мужчины 20–25 лет при просмотре трейлера фильма «Аватар». На изображениях фМРТ обозначены слуховая и зрительная кора. Активация слуховой коры меняется в зависимости от звукового сопровождения трейлера (при этом следует обратить внимание на выраженную задержку между изменениями звука и изменениями активации, что указывает на уже упомянутое ограничение метода фМРТ), а активация зрительной коры остается постоянной. Также на фМРТ-сканах обозначены область внимания и исполнительного контроля в верхней части лобных долей, а также область «персонального смысла» в нижней части лобных долей. Действительно, лобные доли отвечают за процессы внимания, исполнительного контроля, предсказания и многих иных высокоуровневых функций, но упоминание лишь некоторых в данной демонстрации оказывается условным, поскольку активация одной и той же зоны может подразумевать различные по функциям процессы. Впрочем, даже на таком уровне демонстрации возможно осуществить приближенную оценку вовлеченности участника в просмотр трейлера. Однако в рецензируемых журналах публикаций по этой теме пока нет.

Инициативы по применению методов нейровизуализации в сфере кино предполагают попытку предсказать общую реакцию зрителей без учета их индивидуальных особенностей и предпочтений. Другой же подход их учитывает и позволяет создавать интерактивное кино. Первый в мире интерактивный фильм — «Киноавтомат» Радуза Чинчера — был продемонстрирован в Чехословакии в 1967 году. Периодически действие фильма прерывалось, и с помощью нажатия на кнопки аудитория голосовала за ту или иную опцию в развитии сюжета.

Яркий пример интерактивности в современном кинематографе — «Брандашмыг» (2018) Дэвида Слэйда из сериала «Черное зеркало». Этот фильм состоит из 250 сегментов, комбинации которых создают больше триллиона вариантов развития сюжета.

Такой формат интерактивного кино, который предполагает активный выбор зрителя, концептуально схож с видеоиграми. Использование же интерфейса мозг — компьютер позволяет сохранять баланс между привычной при просмотре кино пассивностью и нацеленными на конкретного зрителя особенностями картины. Одним из примеров такого интерактивного кино является получасовой научно-фантастический фильм The MOMENT (2018) Ричарда Рэмчерна с 18 миллиардами вариантов нарратива. Перед просмотром фильма зрители надевают портативные электроэнцефалографы, которые регистрируют электрическую активность мозга (ЭЭГ). Комбинация сцен, соответствующих одной из трех нарративных линий, автоматически выбирается на основе регистрируемых в заданный момент времени ЭЭГ-маркеров внимания.

К другим примерам кино с применением дополнительных интерфейсов относится фильм Пии Тикки «Одержимость» (2005). Его показ осуществлялся на четырех расположенных друг напротив друга экранах с параллельной регистрацией температуры, пульса и движений глаз, по которым оценивалось эмоциональное состояние зрителя и то, на какой из экранов направлен его взгляд. В зависимости от регистрируемого эмоционального состояния изменялся нарратив фильма, призванный усилить текущую реакцию зрителя, делая его неконтролируемые эмоциональные процессы активным элементом авторства фильма.

То есть в условиях применения интерфейсов мозг — компьютер и их аналогов в адаптивном кино реакция на текущую сцену порождает в мозге ответ, который определяет следующую сцену без контроля участника, позволяя ему окунаться в персонализированное формирование образов и смыслов. В этом феномене можно найти отклики советской киношколы.

Сергей Эйзенштейн описывал киноновеллу как «предвосхищенный рассказ будущего зрителя о захватившей его картине». «Это, — писал он, — представление материала в тех степенях и ритмах захваченности и взволнованности, как он должен „забирать“ зрителя. <…> Сценарий ставит эмоциональные требования. Его зрительное разрешение дает режиссер».

А сегодня, в новой форме кино, вместо «будущего зрителя» имеется настоящий, внимание и эмоции которого предвосхищают развитие картины. И не «сценарий ставит эмоциональные требования», а мозг человека. А «зрительное разрешение дает» алгоритм.

18 миллиардов сценариев: как нейронаука исследует кинематограф