Вселенная как нейросеть. Интервью с физиком Виталием Ванчуриным

— За основу своей теории вы взяли теорию струн, заменив струны на нейроны. Чем вас не устраивала теория струн?

— Прежде всего тем, что проблема, которую теория струн стремилась решить, так и осталась нерешенной. Это проблема объединения квантовой механики и гравитации, или, как ее часто называют, квантовой гравитации. Несмотря на многочисленные попытки, продолжающиеся по сей день, их слияние пока не произошло. Кроме того, есть ряд феноменов как в квантовой механике, так и в гравитации, которые невозможно объяснить в рамках теории струн. В квантовой механике к таким феноменом относится проблема наблюдателя: если наблюдатель находится вне системы, которую он наблюдает, всё прекрасно; но стоит поместить наблюдателя внутрь системы, как сразу возникают парадоксы. То же самое и в гравитации. Например, в космологии, если наблюдатель находится внутри Вселенной и хочет предсказать свои наблюдения, он сталкивается с так называемой проблемой меры, которая, опять-таки, не решена теорией струн.

В этом смысле теория струн не помогает решить ни одну из этих проблем, что наводит на мысль о необходимости создания более общей теории, которая не только объединит квантовую механику и гравитацию, но и поможет решить проблему наблюдателей.

— Почему для названия теории была выбрана именно нейросеть?

— Потому что основа теории строилась на метаматематике искусственных нейросетей, которые изначально появились из попытки моделирования биологических нейросетей. Наверное, более точно называть это теорией нейронной физики, или нейрофизикой. В широком смысле нейронная сеть представляет собой динамическую систему с двумя типами динамики: активацией, при которой нейроны обрабатывают и передают информацию, и обучением, в ходе которого корректируются связи между нейронами с целью уменьшения функции потерь.

— В таком случае чем Вселенная-нейросеть отличается от нейросетей, которые создает человек?

— В наших работах мы рассматриваем очень разные нейросети: биологические, искусственные и фундаментальные. Биологические нейросети, например, хорошо описывают работу нашего головного мозга, и, как я уже упоминал, на их основе были построены искусственные нейросети, которые сейчас широко используются в машинном обучении. Фундаментальная нейросеть, или нейросеть Вселенной, лежит в основе физических феноменов.

Самое главное, что объединяет их, — это обучение, динамика, при которой энтропия не только растет, как в простых физических системах, но может и падать. А одно из основных отличий между биологической, искусственной и фундаментальной нейросетями — это их архитектуры.

Если искусственные нейросети строятся на компьютерных системах, биологические — на основе биологических структур, то нейросеть Вселенной сама по себе фундаментальна и ни на чем не строится.

— Как частицы внутри Вселенной «отсеивают» неудавшиеся алгоритмы?

— Частицы сами по себе являются подсетями нейросети Вселенной. Существуют нейросети, или частицы, которые стабильны, и те, которые нестабильны. Стабильные частицы приходят в устойчивое состояние и могут длительное время находиться в этом состоянии, несмотря на небольшие внешние пертурбации; тогда как нестабильные частицы не могут надолго сохранять одно и то же состояние — они подвержены внешним изменениям. Это не значит, что Вселенной для обучения нужны только стабильные нейросети; в первую очередь ей необходимы нейросети, которые способны дообучаться и видоизменяться.

— Даже в тех нейросетях, которые создает человек, велик шанс появления ошибок и артефактов. Если Вселенная — нейросеть, есть ли в ней что-то, что мы можем принять за аномалию и артефакт?

— Ошибки, в общем-то, являются неотъемлемой частью обучения. Если на выходе нейросеть выдает какую-то ошибку, она перестраивается, чтобы устранить ее. Наличие неточностей — это нормально. Если бы их не было совсем, ошибка или функция потерь были бы равны нулю и обучать было бы нечего.

Более того, как мы выяснили, изучая искусственные нейросети, иногда даже полезно увеличивать «температуру» нейросети, ее неопределенность, чтобы система не застревала в локальных минимумах функции потерь. На ошибках нейросеть Вселенной и учится.

У физиков есть теории, которые довольно хорошо описывают большие масштабы, такие как общая теория относительности, и малые масштабы, например стандартная модель. Но чтобы лучше понять, как устроена Вселенная, нам необходимо знать, где наши теории ошибаются. Поэтому не стоит недооценивать важность ошибок.

— Эти ошибки не вписываются в модель нейросети, потому что Вселенная не заканчивает обучаться или потому что в теории есть белые пятна?

— Есть несколько задач, над которыми мы продолжаем работать и которые пытаемся вписать в теорию нейронной физики. Один класс таких задач связан с космологией и указывает на необходимость изменений в общей теории относительности: темная материя, темная энергия, космологическая инфляция — все эти феномены не полностью укладываются в общую теорию относительности, и до конца неясно, как их интегрировать в теорию нейронной физики. Этим мы сейчас и занимаемся. Вычисления в контексте общей теории относительности довольно сложны из-за нелинейности, а в контексте теории нейросетей они становятся еще более сложными из-за дискретности.

Второй класс задач касается малых масштабов. Как вывести так называемую стандартную модель или уравнения, описывающие фундаментальные взаимодействия? В целом мы поняли, как формируются бозоны и фермионы и для чего они нужны. Если в стандартной модели бозоны — это частицы, которые переносят взаимодействие, то в терминах теории обучения они передают информацию о других фермионах. Это можно проследить на примерах простых задач машинного обучения, например в задаче автопилотов. На дороге много движущихся машин, которые должны обрабатывать информацию о других автомобилях и принимать решения на основе полученных данных. Эти машины — нейронные сети, аналог фермионов, а информация, которую они получают от других автомобилей, — это бозоны.

И хотя мы уже довольно хорошо понимаем такие общие вещи, нам всё еще необходимо вывести динамические уравнения для конкретных полей стандартной модели.

— Сильнее прочих вашей теории противоречит энтропия. Во Вселенной действительно есть две противоборствующие силы, одна из которых стремится к хаосу, а другая — к обучению?

— В этом и заключается основное отличие нашей теории. В физике существует хорошо известный закон термодинамики: энтропия должна расти и приводить к хаосу. Когда мы наблюдаем что-то, что не стремится к хаосу, это становится проблемой. Как объяснить в контексте традиционной физики возникновение биологических систем с низкой энтропией?

В теории нейронной физики одним из основополагающих факторов является наличие двух типов переменных. Один тип — это необучаемые переменные, которые действуют по тем же законам, что и в обычной физике с растущей энтропией. Но есть и другой тип — обучаемые переменные, которые изменяются в сторону уменьшения энтропии.

Это упрощенная картина, на самом деле два типа переменных сильно связаны друг с другом. Даже если в искусственных нейросетях вы будете измерять энтропию, то увидите, что в определенные моменты она будет расти за счет активационной динамики необучаемых переменных, а в других режимах, наоборот, будет существенно падать из-за динамики обучения.

Таким образом, если рост энтропии происходит в соответствии со вторым законом термодинамики, то падение энтропии объясняется вторым законом обучения.

— Как изменилась теория за четыре года с момента публикации первой статьи о ней?

— Довольно сильно. Чем больше вычислений проводится, тем яснее становится, в каком направлении двигаться дальше. После первой статьи The World as a Neural Network появились другие работы, которые показали, как более корректно выводить общую теорию относительности и уравнения Эйнштейна. Совместно с Михаилом Кацнельсоном мы добавили недостающий элемент в эмерджентную квантовость — необходимость учитывать изменение общего числа нейронов или большого канонического ансамбля. Если количество нейронов фиксировано, мы получаем уравнение Маделунга; если оно изменяется — уравнение Шредингера.

Также теория развилась в направлениях, о которых я изначально даже не задумывался. Например, биологию я лишь упомянул в первой статье, но не углублялся в эту тему. Позже у нас сложилась коллаборация с биологами, и вместе мы объяснили, как может возникнуть жизнь и реплицирующие системы с точки зрения теории нейросетей.

Несмотря на прогресс, в основе теории все так же лежит математика нейросетей. Но оказалось, что даже эта математика изучена не до конца, и поэтому нам приходится создавать ее с нуля. На самом деле у нас уже есть множество наработок, которые пока не опубликованы, но они дают более глубокое понимание физических и биологических феноменов, а также алгоритмов искусственного интеллекта. Весь этот исследовательский процесс мы в основном ведем в компании Artificial Neural Computing, работающей на стыке физики, биологии и машинного обучения.

— Как вы расширяли теорию, чтобы учесть все недостатки? Какие дисциплины вам в этом помогли?

— Я уже упоминал физику и машинное обучение, но эту теорию можно применить и в других областях.

Например, мы пытаемся сделать материал, обладающий свойствами обучения, что имеет отношение к квантовой химии.

Здесь, конечно, нужна помощь не только физиков и инженеров, но и химиков. Также существует множество социальных феноменов, которые нуждаются в правильном математическом описании и которые невозможно изучить без помощи социологов, экономистов и т. д. Последним шагом станет экспериментальная верификация построенных теорий, предсказания об эволюции этих социальных систем и их проверка.

Например, можно ли описать эволюцию социальных сетей в контексте теории нейронной физики? К сожалению, у нас нет доступа к матрице весов или матрице соединений между пользователями, поэтому пока мы не можем смоделировать эту систему. Есть много других направлений и проектов в области психологии и социологии. Некоторые из них мы продвигаем своими усилиями, хотя языковой барьер между разными дисциплинами огромен. Когда мы начинали коллаборацию с биологами, стало ясно, что мы говорим на разных языках. Чтобы объяснить что-то биологу, просто сесть и поговорить — недостаточно. У нас ушел год на то, чтобы перевести ту терминологию и те наработки, которые знают физики, на язык биологии. И наоборот — экспериментальные результаты, которые есть у биологов, трудно перевести на язык физиков.

Это стандартная проблема любых междисциплинарных исследований. Много времени уходит на то, чтобы установить диалог. Образование, которое получили биологи, психологи и социологи, а также используемые ими аппараты сильно отличаются от того, что делаем мы, физики.

— Вы говорили, что с помощью нейросети можно объяснить в том числе процессы в психологии, социологии, химии… Но им не хватает теории. Какие рекомендации вы бы дали тем, кто заинтересовался продвижением вашей теории внутри своей дисциплины?

— Те ученые, которые заинтересованы во внедрении математического аппарата нейронной физики для построения более строгих теорий, могут обращаться ко мне. Даже если они не готовы изучать математику, но считают, что у них есть достаточно хорошая экспериментальная база и понимание феноменов, нам будет о чем поговорить. Формальное описание математики нейросетей не очень сложное, но в каждой дисциплине появляются свои особенности и алгоритмы, которые заставляют нейросети вести себя по-разному, и эти свойства могут быть совершенно неожиданными.

Когда я начал заниматься биологией, внедряя теорию нейронной физики, я не предполагал важности феномена запрограммированной смерти. Исследовав его, я понял, что он крайне важен, его нужно моделировать и связывать с изменениями количества нейронов в эмерджентной квантовой механике. На первый взгляд это совсем разные вещи, но тем не менее такое понимание феноменов, которые отсутствуют на одном уровне и присутствуют на другом, очень важно. То же самое касается социологии и психологии.

Наверняка будут появляться, и уже появляются, новые алгоритмы обучения, которые можно пытаться смоделировать в контексте нейронной физики. Всё это безумно интересно.

— Как биологические феномены могут использоваться для создания алгоритмов машинного обучения? И наоборот, как искусственные нейронные сети могут использоваться для моделирования биологических феноменов?

— Рассмотрим, к примеру, феномены запрограммированной смерти и репликации, эффективность которых мы проверяли на уровне алгоритмов искусственных нейросетей. Как проверяли? Смотрели, как удаление того или иного нейрона влияет на функцию потерь. Нейроны, которые меньше увеличивают функцию потерь, менее эффективны, и их можно удалять из нейросети, а те, которые увеличивают функцию потерь больше, оказались более эффективными, поэтому их нужно реплицировать.

Используя алгоритм удаления менее эффективных нейронов и реплицируя более эффективные нейроны, мы показали, что система лучше обучается. Таким образом, мы не только создали новый алгоритм обучения, но и показали, как можно моделировать и изучать биологические феномены, используя искусственные нейросети.

— Фазовые переходы в эволюции — моменты, когда нейросеть перестраивается. Кроме появления жизни, какие еще фазовые переходы существуют?

— Здесь надо разделить: есть основные переходы и второстепенные переходы, которые происходят всё время. Мы их наблюдали в том числе в эволюции коронавируса: сначала были альфа-штаммы, потом бета и так далее. Основные переходы происходят гораздо реже и обычно представляют собой кардинальные изменения. Одно из таких событий мы уже назвали — возникновение жизни. К другому можно отнести появление многоклеточных организмов. Когда произойдет следующий переход, мы не знаем, но вполне возможно, что это случится не на биологическом, а на социальном уровне. Есть вероятность, что переход произойдет в сторону гибрида искусственного и биологического интеллекта.

Важно отметить, что фазовые переходы очень значимы, потому что они существенно изменяют функцию потерь, и это изменение можно наблюдать напрямую в искусственных нейросетях. Например, вы даете нейросети задачу по классификации написанных от руки цифр, и в какой-то момент система начинает отличать нули от единиц, что приводит к резкому уменьшению функции потерь.

На самом деле мы знакомы с такими фазовыми переходами еще со школы. Когда изучаем новую теорию и долго не понимаем ее, момент осознания приходит мгновенно — и мы удивляемся: «Почему я не понял этого раньше?»

— В своем недавнем исследовании квазиравновесных состояний в эволюции вы предложили систему, которая сможет предупредить пандемии. Что это за состояния и как они вписываются в концепцию фазовых переходов?

— Это как раз и есть состояния, существующие между фазовыми переходами. О том, что фазовый переход состоится, можно узнать заранее, посмотрев на спектр флуктуаций.

Мы также показали, что перед фазовым переходом энтропия начинает сильно расти, если ее правильно посчитать. Это не так просто из-за многомерности конфигурационного пространства.

Увеличение энтропии не обязательно должно приводить к очень большому скачку в функции потерь, как в основных переходах, но скачок довольно существенный. Было бы интересно посмотреть на фазовый переход, который произошел, когда началась пандемия. В тот момент мы могли бы измерить функции потерь и сказать: «Да-да, это серьезно, это надолго».

— Вы описали свою теорию происхождения жизни как «тройственное соответствие между термодинамикой, теорией обучения и теорией эволюции». В чем заключается это соответствие?

— Основа теории — математика нейросетей. Из этого можно строить и тройственное отношение, и отношение между четырьмя или пятью элементами — всё зависит от того, как вы распределяете феномены и к какой дисциплине их относите. Но прежде всего у нас есть математика, которая используется для моделирования всех феноменов.

Я начал моделирование с физики, потому что я сам физик. В биологии больше необъясненных экспериментов, которые нуждаются в объяснении, но не имеют подходящей математики. Была задействована теория игр, но предсказания оказались довольно неточными. Например, нет понимания, как бы работал «биологический коллайдер»: что произойдет, если мы возьмем два типа организмов и поместим их в пробирку? Коллайдеры такого типа в биологии рассматриваются на крайне примитивном уровне.

— Нейросети можно обучить чему угодно, в том числе создавать сплошные ошибки. Может ли быть такое, что Вселенная обучится чему-то деструктивному вроде уничтожения наблюдателя?

— Всё зависит от функции потерь Вселенной. То, что может показаться нам деструктивным с точки зрения локального наблюдателя, может быть весьма полезным для Вселенной в целом. Например, в биологии есть известный механизм запрограммированной смерти клетки, но аналогичные алгоритмы присутствуют на разных уровнях.

С точки зрения клетки, ее убили без причины, ведь она могла что-то изучить, но с точки зрения организма, если клетка не очень эффективна, это правильный алгоритм. Если какая-то подсистема Вселенной не очень эффективна, то имеет смысл ее уничтожить, а ресурсы перераспределить.

На первый взгляд может показаться неправильным уничтожение, например, динозавров, ведь они прошли длительный путь эволюции. Но в результате этого ресурсы перераспределились и возникли, например, люди, которые более приспособлены к наблюдению и изучению Вселенной. Если человечество в какой-то момент вымрет, это не значит, что для Вселенной всё обернется плохо. Обернется плохо это для человечества, только и всего.

— Что вы имеете в виду под эмерджентной квантовостью? Наш разум действительно может быть связан с таким же разумом из другой Вселенной?

— Под квантовостью подразумевается, что мы можем пронаблюдать квантовые феномены не только в микроскопическом мире, но и в других, более макроскопических масштабах. Например, было бы интересно пронаблюдать эмерджентную квантовость на уровне биологических нейронов, но пока это спекулятивная тема. Роджер Пенроуз и другие пытаются найти что-то подобное, и на самом деле ничего не противоречит существованию биологической квантовости, тем более что это выгодно с точки зрения теории нейросетей.

Допустим, вы хотите просчитать, какой должен быть выходной результат при разных входящих данных. Если речь о классическом компьютере, то вы просчитываете сначала один вариант и получаете предсказание, затем второй. Если речь о квантовом, то можно считать одновременно суперпозицию входящих данных.

Мы описали эмерджентную квантовость на фундаментальном уровне, но, возможно, квантовость присутствует и на биологическом уровне. Можно ли использовать эту квантовость для установления связей с какими-то другими мыслящими организмами, с разумом из другого конца Вселенной?

Если эмерджентная квантовость действительно существует, то в дополнение к физическому трехмерному пространству вокруг нас должно существовать и скрытое пространство. Это необходимо для формирования большого канонического ансамбля нейронов, о котором мы говорили ранее.

Так вот, для эмерджентной квантовости каждая система в нашем физическом пространстве должна иметь возможность подключаться к скрытому пространству на микроскопическом уровне, но, возможно, она это делает и на психологическом. Ничто не противоречит тому, чтобы при необходимости мы подключились к этому пространству и использовали его ресурсы. В физике уже есть определенный тип нелокальности, который приходит от квантовой запутанности, но он не включает возможности передачи информации через скрытое пространство, а тут ничто этому не противоречит.

Эмерджентная квантовость подталкивает нас к тому, что скрытое пространство возможно, но используется ли оно на психологическом уровне — неизвестно. Могу сказать одно: очень многие люди, которые ко мне обращались, говорили, что у них есть такие особенности. Между родственниками, говорят, тоже есть некая связь — это сам по себе интересный феномен, но мне, как ученому, нужно не просто поверить, а построить эксперимент для проверки.

Другой известный психологический феномен, который, возможно, имеет отношение к скрытому пространству, — дежавю. Дело остается за экспериментом, который подтвердит или опровергнет существование скрытого пространства и нелокальных связей.

— Вы говорили, что самым важным для теории было вписать ее в рамки уже существующих исследований. Будет ли теория о Вселенной-нейросети объединяться или дополняться другими масштабными работами?

— Важно понимать: когда создается новая теория, предполагающая, что она более фундаментальна, чем все остальные, она должна включать в себя уже проверенные теории. Например, Эйнштейн создал общую теорию относительности, которая не была бы общепризнанной, если бы не получала в определенном пределе ньютоновскую теорию гравитации. То же самое касается квантовой механики, которая в определенном пределе сводится к классической механике.

Для нейронной физики важно показать, в каких пределах теория сводится как к квантовой механике, так и к общей теории относительности, а также продемонстрировать отклонения от них. Существенная разница между нейронной физикой и классической или квантовой физикой заключается в том, что нейронные сети позволяют моделировать не только физические, но и биологические, психологические, экономические и другие феномены. Эта теория достаточно универсальна.

— Что вас удивило в недавнем вручении Нобелевской премии?

— Удивило не только меня, но и всё физическое сообщество. Никто не ожидал, что премия будет вручена за исследование нейросетей. Хотя действительно были использованы некоторые физические модели, в конечном счете никакие новые физические феномены ни Хопфилдом, ни Хинтоном не были изучены. Это можно воспринимать как премию за инструмент, который помогает делать открытия в физике и других областях, но не как премию за отдельный прорыв в науке. Это довольно смелое решение Нобелевского комитета, которое я скорее разделяю.

Особенно сейчас, когда физика находится в некотором кризисе. За последние десятилетия не было никаких уникальных идей в теоретической физике, и все премии, включая эту, присуждаются за открытия, которые были сделаны более 40 лет назад. В любом случае — окажется ли вся Вселенная нейросетью, или нейронная физика будет лишь инструментом — мы движемся в правильном направлении.