Шум. Несовершенство человеческих суждений

Снижение уровня шума при назначении наказаний

В 1970-е годы доводы Франкела и поддерживающие их эмпирические выводы привлекли внимание Эдварда Мура Кеннеди, брата убитого президента и одного из наиболее влиятельных членов американского сената. Кеннеди был потрясен. Уже в 1975 году он внес законопроект о реформе назначения наказаний, но тогда это ни к чему не привело. Однако Кеннеди не сдавался: указывая на все имевшиеся свидетельства, он упорно, год за годом пытался провести законопроект. Наконец в 1984 году это удалось. Приняв во внимание доказательства необоснованных расхождений при вынесении приговоров, конгресс принял Закон о реформе системы назначения наказаний.

Новый закон должен был снизить уровень шума в системе, сократив «неограниченные дискреционные полномочия²⁶, которыми закон наделяет судей и органы по условно-досрочному освобождению, ответственных за вынесение и исполнение приговоров». В частности, члены конгресса ссылались на «неоправданно высокую» дифференциацию при определении меры наказания²⁷, цитируя результаты исследования о том, что в Нью-Йорке наказания за идентичные преступления могут варьироваться в диапазоне от трех до двадцати лет лишения свободы. Как когда-то настаивал судья Франкел, была создана Комиссия США по вопросам назначения наказаний, перед которой стояла четкая задача: разработать обязательные рекомендации о порядке вынесения приговоров с целью ограничить диапазон уголовных наказаний.

В следующем году, после анализа 10 000 дел, комиссия разработала эти рекомендации, взяв за основу средние сроки тюремного заключения за схожие преступления. Судья Верховного суда Стивен Брайер, принимавший активное участие в этом процессе, выступил в защиту традиционной практики²⁸, указывая на трудноразрешимые разногласия внутри самой комиссии: «Почему мы просто не сели и не попытались все упорядочить и изучить? Да потому что это невозможно. Невозможно, так как мы располагаем вескими, но разрозненными свидетельствами, которые доказывают противоположные вещи… Попробуйте-ка расставить друг за другом все преступления от незначительного до заслуживающего самого сурового наказания… Затем попросите друзей сделать то же самое и сравните результаты. Уверяю вас, они будут совсем не похожими».

Согласно рекомендациям, при назначении наказания судье следует учитывать два фактора: само преступление и уголовное прошлое подсудимого. В зависимости от серьезности преступлениям присваивается одна из 43 степеней тяжести. Под уголовным прошлым главным образом понимается количество и срок вынесенных ранее обвинительных приговоров. На основе сложения этих двух факторов рекомендации предлагают относительно узкий диапазон наказаний. Верхний предел этого диапазона может превышать нижний лишь на шесть месяцев или на 25 % – при этом выбирается наибольшее значение из двух. Отклониться от этого диапазона судьи могут при наличии отягчающих или смягчающих обстоятельств, обосновав свое решение²⁹ в апелляционном суде.

Несмотря на обязательность, рекомендации нельзя назвать абсолютно жесткими. Они не настолько радикальны, как того желал Франкел, и у судей остается значительное пространство для маневра. Тем не менее несколько исследований, проведенных с применением различных методов и охватывавших различные исторические периоды, пришли к одному и тому же заключению: рекомендации снижают уровень шума. Выражаясь формально, «они сокращают чистую изменчивость³⁰ в приговорах, случайно обусловленную личностью судьи, назначающего наказание».

Наиболее подробное исследование провела сама комиссия³¹. Изучив дела, связанные с ограблением банков, распространением кокаина и героина, а также с банковскими хищениями, комиссия сравнила приговоры, вынесенные по таким делам в 1985 году (до введения рекомендаций), с приговорами, вынесенными между 19 января 1989 года и 30 сентября 1990 года. Правонарушителей для исследования подбирали с учетом факторов, которые, согласно рекомендациям, имели отношение к вынесению приговора. После принятия Закона о реформе системы назначения наказаний расхождений в приговорах по каждому из рассмотренных типов преступлений оказалось гораздо меньше.

Согласно другому исследованию³², ожидаемая разница в сроках тюремного заключения, назначенных разными судьями, составляла 17 %, или 4,9 месяца, в 1986 и 1987 годах. Эта разница сократилась до 11 %, или 3,9 месяца, между 1988 и 1993 годами. Независимое исследование³³, затронувшее различные временные периоды, также выявило положительные сдвиги. Сравнение разницы в длине тюремных сроков, назначенных судьями со сходной рабочей нагрузкой, подтвердило сокращение расхождений между приговорами.

Несмотря на такие результаты, на рекомендации обрушился целый поток критики. Одни, включая значительное число судей, посчитали, что отдельные приговоры были слишком суровыми – камень в огород смещения, а не шума. Для наших целей более интересное возражение, поступившее от многочисленных судей, состояло в том, что рекомендации приводили к огромной несправедливости, так как не давали судьям должным образом учитывать все обстоятельства дела. Уровень шума снижался ценой превращения судейских решений в механические, что было неприемлемо. Профессор права Йельского университета Кейт Стит и федеральный судья Хосе Кабранес писали, что «нужна не слепая беспристрастность³⁴, а понимание и справедливость», которые возможны, «только когда при вынесении приговора учитываются все нюансы каждого конкретного случая».

Из-за подобных возражений рекомендации оказались под серьезной угрозой, отчасти вследствие законодательных проблем, отчасти политических. Тем не менее им удалось просуществовать до 2005 года, когда по чисто техническим причинам, никак не связанным с вышеописанной полемикой, их отменил Верховный суд³⁵, оставив за ними лишь консультативную функцию. Что примечательно, большинство федеральных судей были очень довольны таким решением. Консультативный статус рекомендаций оказался предпочтительнее для 75 % судей³⁶, тогда как только 3 % отдавали предпочтение прежнему, обязательному.

К чему же привела смена статуса рекомендаций с обязательного на консультативный? Ответ на этот вопрос изучила профессор права Гарвардского университета Кристал Янг. Она не стала прибегать к экспериментам и опросам, вместо этого проанализировав огромный массив данных о приговорах, вынесенных по делам более 400 000 правонарушителей. Ее главный вывод: после 2005 года расхождения в судейских решениях многократно увеличились по нескольким показателям. Когда рекомендации носили обязательный характер, правонарушители, которые попадали в руки достаточно жестких судей, получали на 2,8 месяца больше, чем если бы решения выносили их среднестатистические коллеги. Когда рекомендации приобрели статус консультативных, эти расхождения удвоились. Слова Кристал Янг вторят выдвинутым за сорок лет до этого аргументам судьи Франкела: «Эти выводы внушают³⁷ большие опасения за справедливое отношение, поскольку личность судьи, рассматривающего дело, играет значительную роль в вынесении разных приговоров схожим правонарушителям, осужденным за схожие преступления».

После того как рекомендации стали консультативными, судьи все чаще выносят приговоры на основе своих личных ценностей. Обязательные рекомендации снижают не только шум, но и смещение, вызванное предвзятостью. После того как Верховный суд сделал рекомендации необязательными, значительно увеличились расхождения в приговорах афроамериканцам и белым правонарушителям, осужденным за схожие преступления. В то же время судьи-женщины стали чаще, чем судьи-мужчины, действовать на свое усмотрение и проявлять больше снисхождения. То же самое можно сказать и о судьях, назначенных президентами-демократами.

Спустя три года после смерти Франкела в 2002 году отмена обязательности рекомендаций о порядке вынесения приговоров вернула ситуацию, которой он опасался больше всего: к закону без порядка.

_____

История борьбы судьи Франкела за введение рекомендаций по вынесению приговоров дает представление о важнейших моментах, которые мы рассмотрим в этой книге. Во-первых, выносить суждения нелегко, потому что реальный мир сложен и непредсказуем. Это очевидно как в работе судебных органов, так и в большинстве других ситуаций, когда выносятся профессиональные оценки. В широком понимании это суждения врачей, медсестер, юристов, инженеров, преподавателей, архитекторов, голливудских продюсеров, специалистов, ответственных за набор персонала, книгоиздателей, руководителей компаний и менеджеров спортивных команд. Где бы ни выносились суждения, разногласия неизбежны.

Во-вторых, масштабы этих разногласий гораздо шире, чем мы ожидаем. Мало кто возражает против принципа судебного усмотрения, но при этом почти все порицают возникающие в ходе его применения огромные расхождения. Системный шум, или нежелательный разброс в выносимых судебных решениях, которые в идеале должны быть идентичными, способен приводить к вопиющей несправедливости, высоким экономическим издержкам и всевозможным ошибкам.

В-третьих, уровень шума можно снизить. Соблюдение правил и рекомендаций – подход, за который ратовал судья Франкел и который воплотила в жизнь Комиссия США по вопросам назначения наказаний, – это один из методов, успешно сокращающих шум. Другие приемы лучше приспособлены для иных видов суждений. При этом некоторые методы снижения уровня шума могут одновременно уменьшать и смещение.

В-четвертых, усилия, направленные на сокращение шума, часто встречают сопротивление и наталкиваются на серьезные препятствия. Из таких ситуаций также необходимо находить выход, иначе борьба рискует закончиться ничем.

К разговору о шуме при вынесении приговоров

«Эксперименты показывают большие расхождения в том, как судьи выносят решения по идентичным делам. Такая вариативность просто не может быть справедливой. Приговор не должен зависеть от личности судьи, который рассматривает дело».

«Уголовные приговоры не должны зависеть от настроения судьи или погоды в день слушаний».

«Рекомендации по вынесению приговоров – один из способов решения проблемы. Однако многим он не нравится из-за ограничения принципа судебного усмотрения, что зачастую необходимо для вынесения адекватного и справедливого приговора. В конце концов, каждое дело уникально, разве не так?»

Глава 2
Шумная система

Первая встреча с шумом, вызвавшая у нас интерес к этой теме, не была исполнена такого драматизма, как столкновение с системой уголовного права. Собственно говоря, это произошло случайно, когда одна страховая компания воспользовалась услугами консалтинговой фирмы, с которой двое из нас сотрудничали.

Безусловно, тема страхования способна увлечь далеко не каждого. Но результаты наших изысканий демонстрируют, насколько серьезна проблема шума в коммерческих организациях, где шумные решения могут привести к большим убыткам. Наш опыт исследований в страховой компании объясняет, почему проблема остается незамеченной и как ее можно решить.

Руководство этой страховой компании пыталось просчитать, какую пользу можно извлечь, если сделать суждения сотрудников, ответственных за важные финансовые решения от имени фирмы, более последовательными и менее шумными. По общему мнению, последовательность в суждениях была действительно необходима. Все также согласились с тем, что подобные суждения невозможно сделать абсолютно последовательными, так как они неформальны и отчасти субъективны, а значит, полностью избежать шума не получится.

Разногласия возникли при обсуждении масштабов проблемы. Руководству представлялось сомнительным, что шум может быть для компании существенной проблемой. Однако надо отдать им должное: они выразили готовность разрешить этот спор при помощи простого эксперимента, который мы назвали ревизией шумовых помех. Результат оказался для них весьма неожиданным. При этом он стал яркой иллюстрацией проблемы шума.

Лотерея, создающая шум

В крупных компаниях многие специалисты наделены правом выносить суждения, которые связывают эти компании обязательствами. Например, в страховых организациях работает множество андеррайтеров^[2], назначающих размеры взносов за страхование финансовых рисков, например от потерь банка вследствие мошеннических операций. Там также задействовано много оценщиков страховых убытков, которые прогнозируют расходы в связи с будущими претензиями и ведут переговоры с заявителями в случае возникновения споров.

В каждом крупном филиале компании есть несколько квалифицированных андеррайтеров. Когда возникает необходимость в страховой котировке, или ставке премии, ее подготовка может быть поручена любому свободному специалисту. Фактически андеррайтер, который определит размер страховой котировки, назначается на основе лотереи.

Точный размер ставки премии имеет для организации большое значение. Компании выгодно, когда ставка высокая и клиент с ней соглашается, однако завышенная котировка увеличивает риск лишиться сделки. Если же ставка низкая, клиент принимает ее с большей готовностью, но тогда уже компания упускает выгоду. Для любого риска существует размер ставки, отражающий золотую середину, – не слишком высокий и не слишком низкий, – при этом высоки шансы, что в среднем оценки большой группы специалистов не будут сильно от нее отклоняться. Ставки выше или ниже этой величины окажутся убыточными – именно таким образом разброс шумных оценок способен отрицательно повлиять на финансовые показатели компании.

Деятельность оценщиков страховых убытков тоже сказывается на финансовых показателях. Предположим, что от имени рабочего (заявителя), навсегда утратившего работоспособность правой руки из-за несчастного случая на производстве, было подано требование о страховом возмещении. Для работы с заявкой назначается свободный на этот момент оценщик страховых убытков – точно так же, как и в случае с андеррайтером. Оценщик собирает необходимую информацию о деле и представляет оценку его окончательной стоимости для страховой организации. Затем тот же специалист ведет переговоры с агентом предъявителя претензии, стараясь сделать так, чтобы заявитель получил выплаты, обещанные страховым полисом, но без ущерба компании.

Важное значение имеет предварительная оценка, поскольку она устанавливает определенную планку для специалиста в будущих переговорах с заявителем. Кроме того, страховая компания по закону обязана зарезервировать прогнозируемую сумму каждого требования о возмещении (другими словами, иметь достаточно свободных денег на выплаты). С позиции компании, в этом случае тоже возникает некое значение, отражающее золотую середину. Гарантировать урегулирование претензии невозможно, поскольку юрист заявителя может обратиться в суд, если посчитает предложение страховой компании мизерным. С другой стороны, если зарезервировать слишком большую сумму, есть риск, что оценщик уступит и согласится на необоснованно завышенные требования. Суждение оценщика имеет серьезные последствия для компании и еще более серьезные – для заявителя.

Мы используем термин лотерея, чтобы подчеркнуть роль случайности в выборе андеррайтера или оценщика убытков. В обычных условиях на каждое дело назначается один специалист, и никто не задается вопросом, что бы произошло, если бы вместо него назначили кого-то другого.

Лотереи бывают полезны, и в них необязательно видеть что-то плохое. Полезные лотереи используют как для распределения «благ», например при розыгрыше допуска к определенным университетским курсам, так и для раздачи «повинностей», например во время призыва в армию. Такие лотереи успешно выполняют свою функцию. Но в процессе вынесения суждений лотереи ничего не распределяют и не раздают – они лишь порождают неопределенность. Представьте, что андеррайтеры в страховой компании не выносят шумных оценок и всегда назначают оптимальные ставки премий. Однако затем некий механизм случайным образом изменяет эти ставки, и клиентам предлагается конечный результат. Очевидно, что для подобной лотереи нет никаких оснований. Как нет никаких оснований для существования системы, в которой конечный результат зависит от личности специалиста, случайно назначенного для вынесения профессионального суждения.

Ревизия шумовых помех выявляет системный шум

Если судья, выносящий приговор, или единственный стрелок, представляющий свою команду, назначаются при помощи лотереи, это приводит к разбросу результатов, однако остается незамеченным. Ревизия шума, аналогичная той, что была проведена на материале приговоров, выносимых федеральными судьями, помогает решить эту проблему. В процессе ревизии одно и то же дело оценивается большим количеством специалистов, и разброс в их заключениях становится очевидным.

Это особенно хорошо работает в случае с андеррайтерами и страховыми оценщиками, чьи решения основываются на информации, представленной в письменном виде. Для проведения ревизии шума руководство компании подготовило детальные описания пяти типичных кейсов для каждой из групп специалистов (андеррайтеров и оценщиков). Каждый специалист должен был самостоятельно оценить два-три кейса; при этом испытуемые не знали, что целью исследования была оценка разброса в их суждениях.

Прежде чем продолжить чтение, попробуйте сами ответить на следующие вопросы. Насколько сильно будут отличаться оценки двух случайным образом назначенных квалифицированных андеррайтеров или оценщиков в преуспевающей страховой компании? В частности, какова будет разница между двумя оценками в процентах от их среднего показателя?

Мы задали этот вопрос большому количеству руководителей компании, а в последующие годы получили подобные оценки от широкого круга специалистов в различных областях. К нашему удивлению, один ответ встречался намного чаще остальных. Большинство топ-менеджеров в страховой компании предположили, что эта разница составит 10 или менее процентов. Затем мы опросили 828 генеральных директоров и руководителей из различных отраслей, предложив им оценить ожидаемые различия в экспертных суждениях, подобных вышеописанным. Медианной, и наиболее популярной, снова стала оценка в 10 %. (Второй по популярности была оценка в 15 %.) Разница в 10 % означала бы, к слову, что один из андеррайтеров назначил ставку премии в 9500 долларов, тогда как второй – в 10 500. Разница не выглядит такой уж ничтожной, но она вполне допустима для подобной организации.

Расхождения, выявленные нами во время ревизии шума, оказались куда более серьезными. По нашим оценкам, медианная разница у андеррайтеров составила 55 % – в пять раз выше, чем того ожидали большинство опрошенных, включая руководителей. Это означает, что, если один андеррайтер назначает премию в 9500 долларов, оценка второго будет вовсе не 10 500, а 16 700 долларов. Для оценщиков страховых убытков медианное соотношение составило 43 %. Подчеркнем, что эти результаты медианные: в половине пар кейсов разница между двумя оценками оказалась еще выше.

Получив отчет о результатах ревизии шумовых помех, руководители компании очень быстро сообразили, что такой существенный уровень шума – проблема весьма дорогостоящая. Один топ-менеджер подсчитал, что шум в андеррайтинге, включая как потери клиентов от завышенных ставок премий, так и убытки от заниженной цены контрактов, обходится компании в сотни миллионов долларов.

Никто не мог сказать наверняка, сколько при этом было ошибок и каким было смещение, поскольку значение золотой середины для каждого кейса не было известно. Но необязательно знать, где находится «яблочко» мишени, чтобы оценить широту разброса попаданий на ее оборотной стороне и понять, что вариативность представляет собой проблему. Данные показали, что сумма, которую клиент заплатит за страховку, довольно сильно зависит от результатов лотереи выбора специалиста, отвечающего за сделку. Мягко выражаясь, клиенты не слишком бы обрадовались новостям о том, что они невольно поучаствовали в такой лотерее. Как правило, имея дело с организациями, люди ожидают от системы последовательных суждений, но никак не системного шума.

Нежелательный разброс против желаемого разнообразия

Одна из определяющих черт системного шума – его нежелательность, и здесь нужно подчеркнуть, что разброс в суждениях нежелателен отнюдь не всегда.

Возьмем, к примеру, предпочтения или вкусы. Когда десяток кинокритиков посмотрят один и тот же фильм, десяток дегустаторов оценят одно и то же вино, а десяток читателей прочтут одну и ту же книгу, никто не ожидает, что их мнения окажутся одинаковыми. Разнообразие вкусов здесь приветствуется и вполне предсказуемо. Никому (ну или почти никому) не хочется жить в мире, где всем поголовно нравится и не нравится одно и то же. Однако в том случае, когда выражение личных предпочтений принимается за профессиональное суждение, разнообразием вкусов могут оправдывать ошибки. Если кинопродюсер решится на необычный проект (скажем, фильм о расцвете и упадке дисковых телефонных аппаратов) только потому, что ему пришелся по душе сценарий, такой выбор будет грубым просчетом, окажись он в этом мнении совершенно одинок.

Вариативность мнений также ожидаема и желательна в условиях конкуренции – когда поощряются наилучшие решения. Если несколько компаний (или отделов в организации), конкурируя, пытаются найти новые подходы к одной и той же проблеме заказчика, не нужно, чтобы они были одинаковыми. Так же и в науке: когда несколько групп ученых решают исследовательскую задачу, например разрабатывают вакцину, весьма желательно, чтобы проблема рассматривалась с различных углов зрения. Даже прогнозисты порой конкурируют между собой. Аналитик, точно предсказавший рецессию, когда ее никто не ждал, наверняка получит широкую известность, в отличие от прогнозиста, который всегда придерживается общепринятых мнений и потому остается в тени. В таких условиях вариативность идей и суждений снова приветствуется, поскольку здесь разброс – только первый этап процесса. На следующем этапе результаты, к которым приведут эти суждения, уже померяются силами друг с другом: победит сильнейший. Как и в мире природы, в рыночных условиях отбор требует изменчивости.

Личные предпочтения и условия конкуренции – занятные проблемы, связанные с вынесением суждений. Но нас интересуют суждения, в которых разброс нежелателен. Системный шум – проблема систем, а к ним относятся не рынки, а организации. Когда трейдеры по-разному оценивают стоимость акций, одни на этом заработают, а другие нет. Рынок строится на разности мнений. Однако если случайно выбранному трейдеру поручат подобную оценку от имени целой компании и мы обнаружим, что оценки его коллег из той же компании будут кардинально отличаться, тогда налицо проблема системного шума.

Мы получили изящную иллюстрацию вышесказанного, когда представили наши выводы руководителям фирмы по управлению активами, предложив им провести собственную ознакомительную ревизию шума. Они поручили 42 опытным инвесторам компании оценить справедливую стоимость акции (стоимость, при которой инвесторы были бы не заинтересованы в ее покупке или продаже). Инвесторы провели анализ на основе одностраничного описания компании, включающего упрощенные данные о прибыли и убытках, баланс, отчеты о движении денежных средств за последние три года, а также финансовый прогноз на последующие два. Проделав такие же измерения, как ранее в страховой компании, мы обнаружили, что медианный шум в фирме по управлению активами составил 41 %. Такая огромная разница суждений среди инвесторов одной компании, пользующихся одинаковыми методами оценки, – неутешительные новости.

Когда специалиста, выносящего суждение, произвольно отбирают из числа других таких же квалифицированных специалистов, как мы уже наблюдали в фирме по управлению активами, в системе уголовного правосудия и в страховой компании, шум становится проблемой. Системный шум – проклятие многих организаций. Фактически случайным образом будет назначен врач, который окажет вам помощь в больнице, судья, который будет слушать ваше дело, патентный эксперт, который рассмотрит вашу заявку, представитель отдела обслуживания клиентов, который ответит на вашу жалобу, и т. д. Нежелательный разброс в таких решениях может стать причиной серьезных проблем, в числе которых финансовые потери и повсеместная несправедливость.

Нежелательному разбросу часто не придают значения, полагая, что случайные ошибки взаимно уничтожаются. Разумеется, положительные и отрицательные ошибки в суждении по одному вопросу имеют тенденцию друг друга компенсировать, и мы подробно рассмотрим, как эту особенность можно использовать для снижения уровня шума. Однако в шумных системах не принимается множество решений по одному и тому же вопросу – в них принимаются шумные решения по разным вопросам. Если цена одного страхового полиса оказывается завышена, а другого – занижена, усредненное значение может казаться справедливым, но при этом страховая компания допускает две дорогостоящие ошибки. Если двух преступников, которым полагается по пять лет тюрьмы, приговаривают к трем и семи годам соответственно, справедливость в целом не торжествует. В шумных системах ошибки не компенсируют друг друга – они накапливаются.