Незнание — сила. Почему избыток информации может мешать точным прогнозам

Парадокс эвристики вместо сухости статистики

Термин «эвристика» имеет греческое происхождение и означает «служащий для выяснения или открытия». Но как игнорирование информации помогает что-либо выяснить?

Всё просто, потому что всё сложно. Многие стоящие проблемы вычислительно очень сложны. По крайней мере, для человека и для компьютера на сегодняшний день. А раз многие стоящие проблемы вычислительно очень сложны, инженеры и исследователи искусственного интеллекта часто полагаются на эвристику, чтобы сделать компьютеры умными. Забавно, что в 1970-х годах термин «эвристика» изменил слоган с «делаю компьютеры умными» на «объясняю, почему люди тупые».

Но суть эвристики совсем не в глупости людской, скорее наоборот. По Саймону, люди полагаются на эвристику не только потому, что их когнитивные ограничения не позволяют им оптимизировать вычислительный процесс.

Люди также вооружаются эвристикой из-за условий задач, с которыми сталкиваются. Например, у шахмат всегда есть самое оптимальное решение, но ни один компьютер или разум, будь то Deep Blue или Каспаров, не может найти эту оптимальную последовательность ходов, потому что эту последовательность трудно обнаружить и проверить с помощью вычислений.

Эта задача не поддается вычислениям. Но задачки с подобными условиями ставятся перед нами каждый день.

Ах, если бы информация всегда была бесплатной, а люди обладали бы вечным временем… В таком случае, конечно же, больше информации и вычислений всегда было бы лучшим выбором. И можно было бы спокойно, не торопясь изучать всю многолетнюю и многомиллионную статистику, чтобы сделать вывод о том, например, что лучше всего приготовить сегодня на обед… Но пролетит много обедов, пока мы будем считать. Да, все мы прекрасно знаем, что реальность пугающе далека от воздушных замков бесконечностей и халяв.

Значит, нам нужно как-то пробивать кратчайший путь к оптимальному решению, в чем нам и помогает эвристика. Причем это не просто «костыли» в безнадежной ситуации. Эвристика действительно может привести к более точным выводам, чем стратегии, использующие огромные объемы информации и сложнейшие вычисления. Соотношение «точность — вычислительные затраты» работает далеко не всегда.

Зачем человеку тратить время и усилия на излишние вычисления, когда они зачастую оказываются избыточными и даже отвлекают от самой деятельности?

Задача людей и других животных — предсказать свой мир, несмотря на присущую ему неопределенность, и для этого им приходится упрощать. Да, упрощаем не только мы, ленивые люди, но и животные.

Эвристика. По-простому, по-народному

Необязательно иметь семь пядей во лбу и знать значение слова «эвристика», чтобы уметь прикидывать что-то в повседневной жизни: приблизительный размер, время, вес чего-либо.

Самки павлинов тоже «прикидывают», когда выбирают партнера. Конечно, они не делают сложных вычислений, чтобы выяснить, кто обладает наибольшей ожидаемой полезностью для продолжения рода. Они даже не рассматривают все доступные кандидатуры. Вместо этого самка рассматривает трех-четырех особей и выбирает самца с наибольшим количеством точек на перьях.

Многие из этих эволюционных правил удивительно просты и в то же время эффективны.

В биологии не существует проработанной теории эвристики, так что пример с павлином — это просто курьез. Однако теория эвристики существует вне биологии, и мы можем доставать оттуда разные «открывашки» для наших задач.

Открываем коробку с инструментами для принятия решений

Некоторые исследователи (например, Герд Гигеренцер) предполагают, что эвристики состоят из строительных блоков, из которых, как из деталей конструктора, можно моделировать всё новые эвристики.

Эвристический конструктор можно разделить на три вида. То есть мы неизбежно столкнемся с тремя блоками: правила поиска, правила остановки и правила принятия решений.

Логично, что искать и выбирать надо лучшее. Это утверждение можно назвать эвристикой лучшего выбора (take-the-best strategy). Но как расставить приоритеты?

Чтобы сделать вывод о том, какая из альтернатив имеет более высокую ценность, необходимо: перебирать подсказки в порядке их ценности; прекращать поиск, как только подсказка становится критической; выбирать ту альтернативу, которой эта подсказка благоприятствует.

Схема проста как раз, два, три. Искать, остановиться, выбрать. Однако она часто предсказывает точнее, чем нейронные сети и алгоритмы дерева решений. Методы мультирегрессии тоже порой курят в сторонке.

Начнем с правил поиска

Поиск подсказок и признаков логично проводить в порядке их значимости.

Это правило можно проиллюстрировать поведением оленей в период спаривания. Когда самец сталкивается с конкурентом, сначала он оценивает его рев. Если рев достаточно внушительный для того, чтобы испугаться за свою жизнь, — это уже валидный признак, и можно спасать свою шкуру. Если рев такой себе — то олень приближается, чтобы оценить физическую мощь противника. Если олень видит, что противник значительно крупнее и мускулистее, несмотря на слабый рев, то это значимая подсказка, и она означает: пора делать ноги. А вот если соперник не такой уж внушительный, то можно пойти на риск и вступить в поединок.

На самом деле олень, конечно, не думает об абстрактных значимостях подсказок, он просто руководствуется подсказками в порядке их доступности. В лесной среде, где зрение ограничено, первая подсказка — это, конечно же, звук, затем визуальные стимулы и только потом физический контакт.

Искать — это хорошо, но нужно уметь вовремя остановиться

Когда? Эвристика отвечает: останавливайтесь, как только найдены две подсказки, указывающие на один и тот же объект. Уже можно сделать вывод, что этот объект обладает наибольшей значимостью по искомому критерию.

Это правило остановки, называемое правилом подтверждения, хорошо работает в ситуациях, когда принимающий решение мало знает о достоверности подсказок, а затраты на получение новой подсказки довольно низкие.

Например, мы ищем в магазине вкусное яблоко, но не очень в них разбираемся. Мы ищем признаки, которые должны подсказать нам, что яблоко спелое и, следовательно, вкусное. Видим, что одно яблоко ярко-красное, потом замечаем, что оно крупное. Этого может быть достаточно, чтобы остановить поиск и выбрать это яблоко. Мы просто взяли два критерия, не имея понятия о том, какой в этом случае имеет больший вес.

Это правило удивительно устойчиво и нечувствительно к знаниям об упорядоченности подсказок. Есть экспериментальные доказательства того, что значительная часть людей полагается именно на правило остановки, когда проблема является для них новой.

Остановка нужна для дальнейшего принятия решения

Это самая трудная часть. Если упрощать, то зачастую жизненные решения связаны с выводом, что тот или иной объект обладает более высокой ценностью. Более высокая ценность подстегивает нас тратить какой-то из наших ресурсов в поиске какой-либо выгоды.

В реальности, конечно, не всё так просто и приходится изловчаться. Давайте посмотрим на некоторые выработанные трюки.

1/N, или Эвристика равенства: когда альтернатив слишком много

Легко сказать, что нужно выбрать самый ценный вариант. А что делать, когда вариантов очень много и они имеют примерно одинаковую ценность? Или когда ценность вообще трудно определить?

Можно избежать метаний, распределив ресурсы поровну между каждым из альтернативных вариантов. Но если нет совершенно никакой информации об альтернативах, то лучше вовсе воздержаться от действия.

Такую эвристику рационально использовать, когда мы находимся в условиях высокой непредсказуемости, изученная выборка очень маленькая, а альтернатив очень много (число N устрашающе большое).

Эта тактика может быть удачным выбором, когда последствия выбора трудно предвидеть и когда теории предпочтений не работают.

Как известно, поведение рынка часто описывают как шторм. В условиях шторма последствия выбора трудно предвидеть. Тут-то мы и можем попробовать применить 1/N.

Однажды Гарри Марковиц получил Нобелевскую премию по экономике за нахождение оптимального инвестиционного решения — портфеля средней дисперсии (mean-variance portfolio). Но когда дело дошло до собственных пенсионных накоплений, он выбрал простую эвристику вместо своей оптимизационной стратегии. Он распределил свои деньги поровну между каждым из альтернативных вариантов N. Была ли его интуиция верна?

На примере семи инвестиционных задач было проведено исследование, в котором правило 1/N сравнивалось с 14 оптимизирующими моделями, включая портфель средней дисперсии.

Оптимизирующие стратегии используют огромное количество данных о прошлом, а вычисления делаются по временным окнам. Чтобы превзойти эталон 1/N, в среднем нужно вычислять как минимум 3000 месяцев для портфеля с 25 активами и около 6000 месяцев для портфеля с 50 активами.

Вы никуда не опаздываете?

Когда альтернатив немного (допустим, две) — попробуйте эвристику узнавания

Она гласит, что если распознается одна из двух альтернатив, то можно сделать вывод, что узнанная альтернатива имеет более высокую ценность по искомому критерию.

Допустим, вы хотите поставить на победу одного из двух теннисистов. Вы узнаёте имя одного из них — где-то его уже слышали. Ставьте на этого теннисиста, если вы больше чем наполовину уверены, что узнали именно эту альтернативу.

Если вы узнали оба варианта — прибегните к эвристике беглости

Если оба варианта распознаются, но один распознается быстрее, сделайте вывод, что он имеет более высокую ценность по искомому критерию.

То есть если вы узнали сразу двух игроков, то ставьте на того, кого узнали быстрее. Такая тактика может сработать, если вы больше чем наполовину уверены, что узнали именно эту альтернативу быстрее.

Здесь, как и в предыдущем случае, роль играет эффект «меньше — больше». Да, систематическое забывание может и вправду иногда оказаться полезным.

Но что делать, если критериев выбора очень много?

Надо анализировать много равнозначных критериев? Попробуйте эвристику подсчета

Подсчет — это ведение счета чего-либо, например количества слов в документе или очков в игре. Если критерии более-менее равноценны, каждый можно свести к одному условному очку, чтобы не заморачиваться с детальными подсчетами. Это и есть единично-весовая линейная модель: каждой единице присваивается одинаковый вес для упрощения.

То есть чтобы оценить критерии, не оценивайте вес каждого из них, а просто подсчитайте количество положительных сигналов.

Такая тактика позволяет предсказывать одинаково или в некоторых случаях даже точнее, чем с помощью множественной регрессии. Эта эвристика работает, когда ценность критериев варьируется незначительно и критериев не так уж много.

Например, мы выбираем свитер. Первый приятный на ощупь, красиво выглядит, его можно стирать в машинке. Второй свитер приятный на ощупь, красиво выглядит, но его нельзя стирать в машинке. Мы сводим каждый критерий к одинаковому весу и считаем очки: 3:2 в пользу первого свитера.

А теперь давайте сделаем физкультурную паузу и рассмотрим эвристики, которые мы применяем при ориентации в пространстве и в спорте.

Главным нашим помощником становится наш взгляд.

Эвристика взгляда

Когда мы двигаемся, мы решаем кучу задач по физике. И что мы знаем наверняка, так это то, что большинство спортсменов не решают дифференциальные уравнения, когда предсказывают траекторию мяча. На подсознательном уровне происходит нечто функционально эквивалентное математическим вычислениям, когда мы смотрим на мяч.

Эвристика взгляда состоит из трех строительных блоков. Она работает только тогда, когда мяч уже находится высоко в воздухе, но не работает, если мяч находится в начале своей траектории. То есть когда процесс уже окончательно запущен. Порядок действий такой:

1) зафиксировать взгляд на мяче;
2) начать бег;
3) отрегулировать скорость бега в зависимости от задачи:

— либо так, чтобы угол взгляда оставался постоянным;
— либо так, чтобы мяч поднимался с постоянной скоростью.

Игрок, который полагается на эвристику взгляда, может игнорировать все причинные переменные, необходимые для расчета траектории мяча: начальное расстояние, скорость, угол, сопротивление воздуха, скорость и направление ветра, вращение и т. д.

Обращая внимание только на одну переменную, игрок всё равно окажется там, где упадет мяч, не вычисляя точного места.

Ту же эвристику используют животные для ловли добычи. Летучие мыши, птицы и стрекозы поддерживают постоянный оптический угол между собой и добычей. Это же делают собаки при ловле фрисби.

Как выбрать подходящую эвристику?

Можно реагировать на новые задачи и меняющиеся условия окружающей среды с помощью адаптирования составных частей эвристики.

Понимание этого в основном бессознательного процесса далеко от полного. Память ограничивает набор эвристик и тем самым создает специфические когнитивные ниши для разных решений.

Поскольку эвристик много, вопрос заключается не в том, всегда ли нужно полагаться на ту или иную эвристику. Вопрос в том, используем ли мы ту или иную эвристику адаптивным образом. Благоприятные ли условия для ее применения? Или можно подыскать что-то получше?

Чтобы принять решение, нужно принять решение.

Эвристика эвристики

Эвристики тоже нужно тестировать, чтобы добиться адаптированного результата.

Проверка эвристики должна удовлетворять трем минимальным условиям.

1. Проверяйте в условиях конкуренции. Эвристики нужно проверять в сравнении, а не просто расчленять их по одной. Глупо заявлять об эффективности эвристики, протестировав лишь одну из возможных.
2. Тестируйте на индивидуальном уровне. Не нужно применять эвристику к среднестатистическому Пете. Применяйте модели для конкретных людей и конкретных задач. Зачастую средний показатель — это бессмысленная болванка.
3. Проверяйте, используется ли эвристика в благоприятных для нее условиях. Помните, что выбор наилучшей стратегии не является полезной эвристикой в любой ситуации. Ни одна стратегия не является лучшей — в противном случае разум напоминал бы механика с одним-единственным инструментом под рукой.

Не упускайте из виду тот факт, что благотворная степень упрощения повышает точность умозаключения.

Конечно, любая эвристика — это пари, своего рода ставка. У нее много общего с игрой в орла или решку. Именно поэтому эвристика не является по сути хорошей или плохой, точной или неточной, как люди иногда уверенно заявляют. Точность той или иной эвристической модели всегда зависит от структуры окружающей среды.

Поэтому главный вопрос, который стоит задать при выборе эвристики: в каких условиях та или иная модель будет успешной, а в каких — провальной? Понять, в чем преуспевает та или иная эвристика, часто легче, если сначала спросить себя, почему она может быть провальной.

Чтобы принять правильное решение, нужно не забывать о нашем внутреннем компасе, который может нам помочь, даже когда мы что-то забыли.