Квантовая логика и квантовый миф. Интервью с этиком новых технологий и философом физики Алексеем Гринбаумом

В конце декабря в Москве с презентациями своей только что вышедшей в издательстве [Транслит] книги «Машина-доносчица. Как избавить искусственный интеллект от зла» выступил уроженец Санкт-Петербурга, парижский физик и философ Алексей Гринбаум, автор книг и статей о философии квантовой механики и этике новых технологий, сотрудник Института исследований фундаментальных законов природы французского Комиссариата по атомной и альтернативным видам энергии.

Его новая книга посвящена понятию добра и зла в контексте современных технологий и, в частности, этической дилемме, известной как «проблема вагонетки». Хотя она рассматривалась как минимум с начала XX века, ее современная формулировка была предложена британской философиней Филиппой Фут в 1967 году:

«Тяжелая неуправляемая вагонетка несется по рельсам. На пути ее следования находятся пять человек, привязанные к рельсам сумасшедшим философом. К счастью, вы можете переключить стрелку — и тогда вагонетка поедет по другому, запасному пути. К несчастью, на запасном пути находится один человек, также привязанный к рельсам. Каковы ваши действия?»

Во второй половине XX века проблема вагонетки (в разнообразных вариациях) стала одной из центральных в этике и философии сознания, а с появлением беспилотных автомобилей и других сложных самообучающихся систем ее актуальность только возросла.

Теперь это проблема не только нравственно-философская, но также технологическая и юридическая.

Алексей Гринбаум переносит этические понятия христианского мифа в область современных технологий и предлагает свой подход к решению указанной дилеммы, основанный на случайности.

Презентация книги Алексея Гринбаума «Машина-доносчица…»

Ангелы и демоны в иудео-христианской теологии являются чистыми функциями, обладают автономией и назначением, но не личностью. Философ выстраивает систему подобия (гомологии) между технологическим и мифологическим и на этом основании приводит аргументы в пользу случайного выбора действий в ситуации неминуемой катастрофы как этически единственно возможного. Среди анализируемых им мифологических сюжетов — роль Сатаны в Танахе (Ветхом Завете) и апокрифической Книге Бен-Сиры, поцелуй Иуды, а также фрагмент из талмудического трактата Санхедрин, посвященный одному из эпизодов завоевания Ханаана Иехошуа бин Нуном (Иисусом Навином):

«Когда Святой, благословен Он, обратился к Иисусу, говоря: „Израиль согрешил“, — спросил Его Иисус: „Кто сей, который согрешил?“ И ответил ему: „Разве я доносчик? Пойди, брось жребий и узнай“. И встал Иисус, и бросил жребий, и пал выбор на Ахана. И сказал Ахан Иисусу: „Как же ты пришел погубить меня, не имея на то справедливого довода? Вот, вы с Елеазаром священником — великие вожди народа Израилева, но брошенный жребий падет и на одного из вас. Может ли он служить доводом в обвинении?“ И сказал ему Иисус: „Прошу тебя, не говори о жребии слова худого, ибо и Земля Израилева разделена будет по жребию“».

Помимо защиты случайности и непрозрачности как этичного метода принятия решений, Алексей Гринбаум поддерживает и введение для самообучающихся машин отдельного статуса «цифровой особы» — недо-субъекта, который не наделен личностью и ее правами, но в определенных случаях может обладать, например, капиталом. Здесь опять же проводится параллель с ангелами и демонами иудейской и христианской мифологии.

Среди других интересов Алексея — вопросы аксиоматического обоснования разных физических систем, в том числе — квантовой механики. Последняя, по мнению Гринбаума, выводима из физически ясных оснований, чаще всего связанных с различными вариациями представлений об информации и необходимых для написания вычислительных алгоритмов для квантовых компьютеров. Этим вопросам посвящена его первая книга, вышедшая на французском языке, а также множество других работ, включая диссертацию.

Днем 31 декабря, в преддверии Нового года, корреспондент «Ножа» Серое Фиолетовое взяло у Алексея Гринбаума интервью, посвященное самым разным аспектам его научных интересов — от современных исследований в квантовой механике до философии мифа и техники.

— У вас есть две книги и, вероятно, два основных направления работ. Одну из них вы сейчас презентовали в Москве, а другая область связана с физическими теориями, аксиоматиками, основаниями квантовой механики.

Могли бы вы что-то об этом рассказать русскоязычному читателю?

Обычно в научно-популярной литературе все говорят об интерпретациях квантовой механики: об эвереттовской с множественными мирами, о копенгагенской, о теориях Пенроуза и Менского об отождествлении сознания и наблюдения.

Чем отличается аксиоматический подход?

— Это отдельная тема, и говорить о ней можно очень долго. Но если кратко, то современная дисциплина, называемая «основаниями квантовой механики» (foundations of quantum theory), возникла в том виде, в каком мы ее сегодня знаем, с появлением и развитием квантовой информации сначала как подобласти, а теперь уже и просто области исследований, которая, конечно, относится к квантовой теории и квантовой механике. Сейчас можно говорить о том, что есть теоретическая квантовая информация, и сотни людей с ней работают. Есть огромные экспериментальные области, в следующем году запускается европейская программа развития квантовых технологий с бюджетами порядка миллиарда евро.

Квантовая информация — отдельный новый мир, который возник в 1978 году и в начале 1980-х. Условной точкой отсчета можно назвать первый протокол [метод шифрования, использующий квантовую механику. — С.Ф.] BB84 1984 года. Но ясно, что самостоятельной научной областью исследования такого рода становятся в начале 1990-х с появлением, с одной стороны, алгоритма Шора в 1994 году [быстрый алгоритм разложения чисел на простые множители, показавший практическую необходимость создания квантового компьютера. — С.Ф.], а с другой — важнейших работ 1991 года, возвращающих нас к основаниям квантовой механики. Это так называемые non-local boxes — теоретическая модель, изобретенная учениками Якира Ааронова, представителями израильской школы. Она позволяет сегодня задавать вопросы о квантовой механике, которые в 1960-е, не говоря уж о 30-х, попросту не могли возникнуть. В этом и состоит кардинальное отличие того, что в англоязычном мире принято сейчас называть «основаниями квантовой механики», от того, что традиционно, исторически именовалось «интерпретациями квантовой механики» (и эта интереснейшая область философии физики по-прежнему существует, я ей профессионально занимаюсь).

О каких новых вопросах идет речь? Это не только старорежимные аксиоматические реконструкции, восходящие к работам Джона фон Неймана и Гаррета Биркгофа 1936 года и трудам периода расцвета квантовой логики в 1960-х. Происходящее сейчас не является прямолинейным повторением и развитием этих идей [тогда предпринимались попытки вывести квантовую механику из набора физически ясных принципов. — С.Ф.].

Современную квантовую теорию можно рассматривать как теорию определенных ресурсов. Квантовая механика есть не подраздел дифференциального исчисления или теории уравнений в частных производных [то есть стандартное изложение квантовой механики через описание того, как система меняется во времени, становится все менее актуальным. — С.Ф.], но наука о неклассических ресурсах. Их можно затем использовать, например, для того, чтобы производить вычисления, которые прежде, с ресурсами классическими, были либо сильно затруднены, либо невозможны.

Какие ресурсы? Их много. Можно, например, по-старому говорить о суперпозиции [квантовых состояний. — С.Ф.] как о ресурсе, но не очень понятно, что это такое. Однако прежде всего здесь следует упомянуть квантовое спутывание [явление, при котором свойства двух, даже удаленных, частиц оказываются связаны друг с другом, и каждую из них нельзя описать по отдельности — лишь всю систему вместе. — С.Ф.]. Если у вас есть спутанные частицы, то вы можете сделать что-то, чего классическими методами достичь не удается.

Это далеко не всё: к неклассическим ресурсам можно отнести квантовую контекстуальность, мода на которую длится примерно последние десять лет, quantum discord (квантовое несогласие) и quantum steering (квантовое руководство). И все они, так же как и упомянутое выше спутывание частиц, открывают перед нами новые возможности, доселе недоступные.

Это принципиально иной взгляд на квантовую теорию, который приходит из квантовой информации. И основания квантовой механики интересуются в первую очередь неклассическими ресурсами, пытаются отыскать правильные подходы в этой области. Например, ясно, что говорить о квантовом спутывании недостаточно, нужно вести речь о квантовой контекстуальности — более широком понятии. Но как доказать, что этого недостаточно? Да и можно ли? (Можно!) То есть это целый набор структурных исследований самой квантовой теории.

Кроме того, возникают еще и новые вопросы о мире вокруг нас. Например, он нелокален, поскольку неравенства Белла не выполняются, но нелокален немаксимальным образом. [Белл установил, что случайность в квантовой механике носит фундаментальный характер, а не является свойством формулировки теории: удаленность квантовых систем друг от друга не делает наблюдения за ними независимыми. Ознакомление с темой лучше начать с парадокса Эйнштейна — Подольского — Розена. — С.Ф.] Такой вопрос не могли задать отцы-основатели квантовой механики: у них, как и в 1960-е у Джона Белла, просто не было для этого языка. Он складывается в 1990-е годы с появлением моделей, которые позволяют нам спросить самих себя, почему квантовая механика нарушает локальность не максимальным теоретически возможным образом, а только до определенной границы, называемой «границей Цирельсона», в честь советско-израильского математика Бориса Цирельсона. [Тем не менее квантовая неопределенность и связь удаленных систем друг с другом оказывается ограниченной. — С.Ф.] В чем причина? Почему квантовая механика остановилась на нарушении неравенства CHSH до двух корней из двух, а не четырех?

Я накидал много разных понятий и точек зрения. Если подводить краткий итог, то можно сказать так: сегодня о квантовой механике мы научились задавать вопросы, о которых ни отцы-основатели, ни ученые 1960-х даже не подозревали. У них не было ни языка, ни слов, ни понятий. Исследования квантовой теории с этой, совершенно новой точки зрения как раз и составляют содержание оснований квантовой механики.

— Термин «спутывание» более-менее понятен, но могли бы вы подробнее объяснить, что представляют собой другие «ресурсы», упомянутые вами?

— Рассмотрим пример, где можно обойтись без большого количества математики. Первая моя популярная книжка, которую я написал по-французски, — про квантовое спутывание. Но давайте возьмем другой ресурс — квантовую контекстуальность.

Это очень простое утверждение. В квантовой системе (причем не обязательно, как в спутывании, должно быть две подсистемы — здесь достаточно даже одной) вы можете указать некоторый набор относящихся к ней наблюдаемых [величин, которые можно измерить — C.Ф.] такой, что если вы предположите, что он одновременно имеет какие-то точные значения, то получите логическое противоречие, на уровне 0 = 1. Оно не имеет ничего общего с неопределенностью измерения по Гейзенбергу. Это связано с логикой.

Предположение о том, что измеряемые вами величины существуют вне контекста наблюдения, приводит к логическому противоречию.

Крупнейший физик XX века, один из визионеров квантовой механики Джон Уилер говорил об этом так: «Несовершённый опыт не имеет никакого результата».

Это наблюдение очень просто сформулировать, но отсюда мы можем сделать далекоидущие выводы. В классической ситуации никаких противоречий из-за того, что все наблюдаемые имеют точные значения, не возникает.

Как превратить это в вычислительный ресурс? Можно выяснить, насколько мы ушли от классической ситуации. Есть множество теорем, показывающих, что для ряда вычислений язык квантовой контекстуальности естественен.

В разных ситуациях разные ресурсы позволяют по-разному формулировать то преимущество, которое дает квантовая механика по сравнению с классической. Мы привыкли говорить о спутывании в 1960-х, но исследования последних 8–10 лет свидетельствуют, что контекстуальность — ресурс еще более фундаментальный.

Если предположить, что в некоторой теории нужно разделять понятия попарной совместной измеряемости и общей измеряемости, то мы получаем квантовую механику. Это нетривиальное утверждение. Дело в том, что измерять величины по две можно, а по три или по четыре — нельзя.

— Этому должно соответствовать какое-то логическое исчисление?

— Не логическое. Это очень хорошо выражается в терминах теории моноидальных категорий. Есть очень модная школа, например в Оксфорде, где говорят уже не на языке квантовой логики, но на категорном языке.

— Вы недавно опубликовали статью, посвященную тезису Вигнера о «непостижимой эффективности математики в физике». Вы говорите, что переход от феноменологии к модели «черного ящика» дает возможность заниматься поиском в пространстве математических теорий. Сам же поиск объясняет эту эффективность и снимает проблему, сформулированную Вигнером.

Но возникает два вопроса: почему такой поиск вообще должен быть успешен и почему, с другой стороны, эти возможные теории оказываются близкими к тем, которые математика в ходе своего исторического развития в итоге получила?

— Простого ответа на эти вопросы, конечно, я дать не могу. Далеко не всегда такой поиск успешен. Иногда он занимает десятки лет, иногда вообще ничем не кончается, но мы забываем о тупиковых путях.

В течение десятилетий было модно делать физику на p-адических числах. Множество людей пыталось — ничего не придумало. Есть целые книги про физику на кватернионах. Ну и что? Мы в реальности ее никогда не видели.

В квантовой механике ситуация такая: лет пятнадцать назад мы поняли, что не нужно искать универсальные альтернативные математические модели для всего, что там есть, — например, для формализма гильбертовых пространств, который фон Нейман придумал сам, но уже в 1935 году он пишет письмо Биркгофу, где сообщает, что больше в них не верит.

После этого он уходит в алгебраические формализмы, и формализм алгебр фон Неймана, С*-алгебр, возникает как попытка не постулировать гильбертовы пространства и придумать им альтернативу. Это исторический пример.

Лекция Алексея Гринбаума о квантовой логике в Лаборатории Чебышева. Другие лекции мини-курса — здесь.

На сегодняшний день мы научились говорить на языке ресурсов и понимаем, что нет необходимости сразу придумывать формализм, дающий нам ответы на всё. Вместо него нужен такой, который опишет всего один неклассический ресурс — и позволит продвинуться довольно далеко. Появились математический язык диаграмм — теории моноидальных категорий, язык обобщенной теории вероятностей, язык выпуклых пространств. А я вот увлекаюсь в последнее время конечными топологическими пространствами.

Поиск при этом ведется в области существующих математических концепций. Физики крайне редко придумывают новые теории сами. Эдвард Виттен был последним из тех, кто это сделал, за что получил Филдсовскую медаль.

Сейчас в квантовой механике (я не трогаю теории пространства-времени) сложилась примерно та же ситуация, что и в начале 1920-х годов, когда пришел Гейзенберг. Жил-был Нильс Бор со своей моделью атома, только никто не понимал, как из этого сделать математическую теорию. Гейзенберг, не зная ничего о матрицах, предложил свою концепцию, и только потом оказалось, что он изобрел матричную механику.

Так и сейчас. Мы поняли, что важно, и пытаемся нащупать правильные средства и форму для выражения этого «важного» — то есть неклассических ресурсов. Мне кажется, что возможности языка дискретной математики, языка строк в конечных алфавитах в их применении к физике еще далеко не исчерпаны и не изучены.

— Если суммировать, то вместо одной универсальной мы получаем целое поле разных теорий, каждая из которых будет отвечать на те или иные вопросы?

— Да, и в один прекрасный день может оказаться так, что мы пытаемся найти новый математический язык, чтобы говорить о двухчастичном квантовом спутывании, самом простом неклассическом ресурсе (там есть неравенство Белла в форме CHSH, оно нарушается, два корня из двух и т. д.), то есть о том, чему уже 40–50 лет. Но даже этот вновь придуманный в простейшей ситуации язык может взять нас за руку и повести за собой.

Эйнштейн говорил, что теория сама покажет, что можно, а что нельзя. И сама же об этом расскажет.

— Тогда перейдем к другой стороне ваших занятий.

Что для вас значит «миф» как философская категория?

— Как читатель Лосева, я должен сначала рассказать, что она для меня не значит. В его «Диалектике мифа» дается апофатическое определение и очень долго объясняется, чем миф не является. И только под конец, когда уже всем все стало ясно, Лосев формулирует положительное определение этого понятия.

Лекция Алексея Гринбаума «Диалог с наукой посредством искусства» в Европейском университете Санкт-Петербурга

Итак, чем же миф не является? Это несложно объяснить. Не повторяя всего, что написано у Лосева в упомянутом труде, скажу, что в первую очередь миф ни в коем случае нельзя считать ни истинной, ни ложной, ни вымышленной историей, басней, сказкой, чушью. Это не правдивый рассказ, который, как замечает все тот же Лосев, «живой», а потому вести речь о «правдивости» в данном случае вообще не имеет смысла: миф даже и не пытается быть осязаемой, ощущаемой правдой нашего физического бытия. Это история, которая живет в выражаемом вообразительном пласте языка, так же как фантастика или сказка, — и рассказана языком, похожим на тот, что присущ этим жанрам, но она совсем о другом.

Миф — это история о скрытых смыслах, часто очень сложных, связанных с ключевыми моментами человеческого бытия: появлением на свет, смертью, продолжением рода. Зачем и почему так происходит? Оказывается, что, выраженные слишком явно, такие смыслы просто устаревают во времени. Если бы римляне написали четко и ясно (что они в определенной степени и сделали), что брак можно заключать между теми-то и теми-то персонажами, то, когда через несколько веков пришло христианство, оказалось бы, что это немного не так. А миф инвариантен, он сохраняется во времени, не устаревает из-за того, что что-то меняется в видимой внешней осязаемой культуре. Это закодированный рассказ об инвариантах смысла через века и через цивилизации.

— Вы говорите о связи мифа и технологии, о гомологии и рассматриваете последнюю в том числе в своей книге. Существуют ли границы у этой параллели?

Подобное сходство обнаруживали и другие мыслители: на русском книгу о теологии программного кода написал Михаил Куртов, есть тексты французского философа Жильбера Симондона. Как соотносится ваша концепция с их идеями?

— Во французском издании книги есть отдельная глава про Симондона, но тут можно сильно расширить список, которой вы привели.

Целый ряд антропологов, философов, социологов ставил вопрос о связи религии и техники еще в 1950–1960-х годах, а в 1970-х он стал очень модным.

И подобную проблему можно рассматривать сквозь призму самых разных плоскостей знания. Например, такой известный антрополог, как Леруа Гуран, изучал возникновение внутри культовых систем первых, еще примитивных технических объектов, изначально имевших ритуальное значение. Это один взгляд на связь религии и техники.

Жак Эллюль, а также Герберт Маркузе и другие марксисты говорили о технике как о новой религии. Ханс Йонас, будучи специалистом по гнозису, применяет в исследовании техники схемы гностического знания. Таких людей множество, и ко всем им я испытываю огромное уважение.

Мне же интересны исследования несколько другого рода. Я поступаю примерно так же, как это делает Симондон — но не в своем «Способе существования технических объектов», а в текстах менее известных.

В русской книжке, к сожалению, главы об этом нет. Может быть, имеет смысл опубликовать ее отдельно на русском, в виде эссе. Симондон проводит аналогию (не гомологию!), сравнивая отношения, возникающие между жрецами и последователями религии, с одной стороны, и между профанами и посвященными в мире техники — с другой.

Этот структурный элемент я заимствую у Симондона. Он одним из первых заговорил об аналогии между тем, как в религии идет структурирование культа с участием духовенства и паствы, и тем, как власть имущие демонстрируют новый вызывающий восхищение технический объект непосвященным. Президент страны едет на космодром, запускает ракету, летает в самолете, плавает на подводной лодке и т. д.

Но я эту аналогию в определенный момент останавливаю, а Симондон идентифицирует описанные ситуации. У него религия и техника происходят из общего источника, и их разделение (ретикуляция) совершается уже после того, как возникла фундаментальная разница между посвященными и профанами.

Лекция Алексея Гринбаума «Этика новых технологий» в Европейском университете Санкт-Петербурга

Я не идентифицирую эти миры, и у меня нет цели создать общую метафизику совместного происхождения религии и техники. Моя задача здесь чисто этическая. Вот у меня есть смартфон. Если я буду смотреть на него как баран на новые ворота, то не понимаю, как задать этический вопрос. Ну вот вещь такая черного цвета — и что? Где тут этика? Чтобы это понять и узнать что-то интересное, я пользуюсь переносом, сравнением — не отождествляющим, не идентифицирующим, как у Симондона.

Давайте найдем в мифе что-нибудь функционально похожее на мой телефон — существо или термин — и посмотрим, как строится его этика, узнаем, нельзя ли перенести какие-либо нравственные установки обратно, не идентифицируя два контекста. Поэтому я значительно скромнее, чем Симондон, в этом плане.

Но вы правы, совместных исследований религии и техники существует множество, и они все очень разные.

— В книге ставится этический вопрос, известная «проблема вагонетки» — и сразу говорится о том, что решения, связанные со сравнением ценностей, отвергаются, как в каком-то смысле «злые». На чем вы основываете ваши представления о добре и зле? Источником является некая «христианская этика», «гуманистическая» или что-то еще? Откуда берется ваше изначальное суждение?

— Я не уверен, что там есть какое-то «изначальное суждение». Существует три типа этики: деонтологическая — этика правил, консеквенциалистская (зависящая от последствий) и этика добродетели. И все три работают в случае новых технологий — в разных ситуациях.

Что происходит с вагонеткой? Нам интересна именно консеквенциалистская этика, от нее нельзя убежать. Даже если ваш беспилотный автомобиль сертифицирован всеми возможными сертификатами — после того, как он наехал на ребенка или уточку, судить все равно кого-то будут потому, что нужно где-то как-то найти виновного.

Это классическая ситуация, показывающая недостаточность деонтологической этики, основанной на предустановленных правилах и следовании им. Если произошла катастрофа или преступление, то всегда потом будут искать виновного.

Предположим, что для беспилотного автомобиля выстроен алгоритм, основанный на определенном наборе правил. И не важно, явилась ли их источником какая-то этическая система, придумал ли их самый мудрый в мире программист или эти положения сформулировал целый народ (давайте проведем референдум — пусть страна скажет!). Деонтологии всегда недостаточно: когда случится происшествие, вы будете все равно судить по-другому. Неизбежность консеквенциалистской этики — то, что еще очень плохо понимают люди, пытающиеся свести проблему вагонетки к набору правил. Их никогда не будет достаточно.

Вы говорите о необходимости введения случайности в алгоритмы решения проблемы вагонетки. Мы живем в мире, в котором многие стандарты устанавливаются сверху, — случайность мы тоже пытаемся утвердить законодательно? Возможна ли конкуренция разных моделей? Не является ли случайность, вводимая в алгоритмы, отражением стремления к неслучайности и регулированию на всех более высоких социальных уровнях?

— Со случайностью вообще ситуация крайне непростая. Во-первых, ее психологически очень трудно проживать. Когда вам говорят, что то или иное важное решение в вашей жизни будет принято случайным образом, вас это выводит из себя. Зато потом на самом деле становится проще. Есть плюсы постфактум.

Второй аспект — это политика. Современные системы, в меньшей степени в России, в большей — в западном мире, построены на прозрачности и рациональности, на лозунгах, которые никогда не соблюдаются, но всегда провозглашаются. Конечно, никакая система не может быть полностью прозрачна, но тем не менее мы всегда этого требуем.

Это политический лозунг. То, что я говорю о ценности случайного, ему противоречит. Подчеркну: не практике, а именно лозунгам. В этом смысле я иду против политического мейнстрима.

Если во Франции среди абитуриентов на одно место в университете претендовало много абсолютно равных по всем параметрам кандидатов, то до этого года их выбирали случайным образом. Такая система вызывала многочисленные политические скандалы.

Как это? Мою судьбу определяют по жребию! Может, я был бы врачом, а меня «назначили» спортсменом! Потом, правда, эти люди все равно вырастают в профессиональном плане и прекрасно устраиваются в жизни. Политически, однако, это было неприемлемо. Наш новый французский президент сказал: «Все! Со следующего года такого больше не будет!» Но когда стали искать альтернативное решение, выяснилось, что нет никаких альтернативных решений. А все потому, что случайность, в отличие от любых других предлагавшихся схем, обладает одним несомненным плюсом: да, ее сложно принять психологически, да, политически там тоже не все просто — но случайность гарантирует справедливость.

Эта связь очень глубоко укоренена на уровне даже не правовых систем, а антропологии и религии. Поэтому как бы ни было тяжело, трудно и неприятно — в определенный момент ценность случайности все же придется признать.

 Последний вопрос. Что вы думаете об этике боевой машины?

— Это долгая история. Я думаю, все будет как с самолетами. Ведь они в каком-нибудь 1915 году внушали ужас несчастному европейскому населению, которое видело бомбы, падающие с неба. Чем все это закончилось? Придумали оружие против самолетов — и ужас тут же пропал.

Здесь есть страх нового, это один из важнейших аспектов и классических ключевых мотивов философии техники. Их всего штук десять: новизна, обратимость и др.

Мы еще не вышли из периода страха нового и не вступили в фазу насыщения, в «нормальность» этой технологии, но никакой нормальности не будет, пока человечество не усовершенствует оружие, снижающее эффективность дронов.