Меня давно занимает не то, что мы знаем, а то, чего в наших знаниях принципиально не хватает. Есть один сюжет из истории статистики, где эта нехватка видна как на рентгене, — и заодно видно, как популярный пересказ съедает самую суть.
Дырки на карте
Рассказывают это так. В начале сороковых при Колумбийском университете работает группа статистических исследований, и в ней считает Абрахам Вальд — венгерский математик, эмигрировавший в США в 1938 году. Ему приносят карты повреждений самолётов, вернувшихся с заданий: крылья, фюзеляж, хвостовое оперение — сплошь пробоины, а двигатели и кабина почти чистые. Вывод напрашивается сам: укреплять надо то, куда попадают чаще.
Вальд, по преданию, сказал ровно обратное. Дырка на вернувшемся крыле — не призыв к броне, а отметка о том, что попадание в крыло пережили. Чистое место на карте значит одно из двух: либо туда не попадали, либо туда попадали тем, кто не вернулся. Карта, которую принесли Вальду, — карта выживших, и молчит она именно о самом важном.
Это и есть ошибка выжившего (survivorship bias) — вывод, построенный по данным, которые дожили до момента наблюдения. Те, кто из выборки выпал, выпали вместе со своим свидетельством.
Что Вальд сделал на самом деле
Пересказ лукавит не в выводе, а в подробностях. Вальда не приходилось переубеждать как профана: его позвали считать. И его работа 1943 года — не эффектная реплика, а метод: как по повреждениям уцелевших машин оценить уязвимость всех, включая те, что не дожили до осмотра. Известна она по названию поздней публикации — «A Method of Estimating Plane Vulnerability Based on Damage of Survivors»; сами меморандумы были закрытыми и дождались переиздания только в 1980 году.
То есть Вальд не просто сказал «смотрите на пустые места»; он расписал, как считать, когда часть данных исчезла вместе с объектом наблюдения, и оговорил допущения, на которых такой расчёт держится. В пересказе они, разумеется, пропадают первыми. Разница принципиальная: не «вот очевидный ответ», а «вот как рассуждать, если выборка однобока по самой своей природе».
Легенда оставила от этой истории одну картинку: пустые места на карте. Картинка хорошая. Но за ней стоит не анекдот, а прививка от главной болезни наблюдения — привычки считать только числитель.
Имя и его подвох
По-русски термин — калька: не «ошибка выживания», а ошибка выжившего, ошибка того, кто уцелел. Слово как будто перекладывает вину на свидетеля: с ним ничего не случилось, он и рассказал — и именно его рассказ сбивает с толку. Хотя ошибается, конечно, не уцелевший, а тот, кто по уцелевшим судит обо всех.
Самому явлению при этом тысячи лет: Цицерон в трактате «О природе богов» пересказывает историю о Диагоре Мелосском, которому в храме на Самофракии показали вотивные таблички спасшихся от кораблекрушения — а он спросил, где же изображения тех, кто потонул. Термин же куда моложе, он родом из статистики и финансов; а сюжет с дырками прирос к нему уже потом, как герб к фамилии, — из вольных пересказов закрытых отчётов.
Где это ловится на слух
Я замечал этот механизм где угодно. «Раньше строили на века» — вокруг нас уцелевшие дома, а те, что рассыпались сто лет назад, ничего не предъявят. «Классика — это то, что проверено временем» — канон собран из выживших книг, а бестселлеры позапрошлого века, которые читали все, мирно гниют в каталогах. «Все мои знакомые…» — знакомые, до которых дотянулся слух, это не выборка, а её верхушка.
Механизм везде один. В выборку попадают только те, кто дожил до момента наблюдения, и уносят с собой опровержение. Кто выпал, тот молчит — не из хитрости, а потому что его уже не спрашивают.
В живой речи ошибка выдаёт себя маленькими формулами: «все, кого я знаю», «на моей памяти ни разу», «я не встречал ни одного». Ещё надёжнее — требование: «покажите хоть один пример». Все эти фразы хороши ровно до одного вопроса: а кто не попал в список? Где счёт тех, о ком нет ни строчки?
Приём тут прост и слегка нуден: искать знаменатель. Не «сколько успешных историй я знаю», а «сколько вообще было попыток». Не «все вокруг так делают», а «кто эти все и кого среди них нет».
Пустые места
С тех пор как эта история меня зацепила, я разглядываю любую карту — повреждений, успехов, воспоминаний — с одного и того же конца: сначала пустоты, потом точки. Пустые места на карте не молчат. Они просто говорят на языке, к которому нас не приучили: языком отсутствия.