Когда гипотеза мешает открытию: горилла среди данных

Когда гипотеза мешает открытию, исследователь может выполнить все необходимые расчёты и всё равно пропустить самое необычное в своих данных. Причём иногда достаточно просто построить график, чтобы увидеть то, что осталось незамеченным.

Именно такую ситуацию создали биологи Итай Янай и Мартин Лерхер. В 2020 году они опубликовали в журнале Genome Biology статью с провокационным названием «A hypothesis is a liability» — «Гипотеза может стать помехой».

Чтобы продемонстрировать свою идею, авторы спрятали гориллу в наборе чисел и предложили студентам провести обычный статистический анализ.

Самое удивительное: многие студенты так и не заметили гориллу, хотя она буквально находилась перед ними.

Горилла, спрятанная в таблице

Студентам предоставили искусственный набор данных, якобы содержащий информацию о 1786 людях. Для каждого человека были указаны два показателя: индекс массы тела и количество шагов за день. Данные мужчин и женщин находились в отдельных файлах.

Задание выглядело как стандартная работа по статистике.

Одной группе студентов предложили проверить три конкретные гипотезы. Например, различается ли среднее количество шагов у мужчин и женщин и как физическая активность связана с индексом массы тела. Им также разрешалось сообщить о других обнаруженных закономерностях.

Вторая группа не получила никаких конкретных гипотез. Участникам просто предложили изучить данные и сделать собственные выводы.

В обоих случаях использовался один и тот же набор чисел.

Но в данных был секрет.

Авторы специально расположили значения так, что при построении точечного графика зависимости индекса массы тела от количества шагов возникало отчётливое изображение гориллы, которая словно машет рукой.

Это была совершенно искусственная закономерность, не имеющая отношения к здоровью или физической активности. Но именно поэтому она идеально подходила для проверки внимания.

Чтобы увидеть гориллу, достаточно было визуализировать данные.

И здесь обнаружилось любопытное различие.

Среди студентов, результаты которых вошли в основное сравнение, участники без заранее заданных гипотез значительно чаще находили спрятанное изображение. Отношение шансов обнаружить гориллу между группами составило 4,8.

Этот показатель не следует путать с увеличением вероятности ровно в 4,8 раза.

Основной анализ включал всего 33 студента, поэтому результат нельзя автоматически распространять на всех исследователей и все научные задачи.

И всё же эксперимент показал характерную проблему: заранее поставленная задача способна направить анализ таким образом, что другие особенности данных останутся вне поля зрения.

Почему правильный вопрос иногда мешает увидеть ответ

Наше внимание работает избирательно.

Когда человек сосредоточен на конкретной задаче, он начинает прежде всего замечать информацию, необходимую для её выполнения. Остальные детали могут не попасть в фокус внимания, даже если они достаточно заметны.

Это явление связано с так называемой слепотой невнимания.

Один из классических примеров — эксперимент, в котором людям предлагают считать передачи баскетбольного мяча между игроками. Во время игры через площадку проходит человек в костюме гориллы. Значительная часть зрителей, сосредоточенных на подсчёте передач, его не замечает.

Янай и Лерхер перенесли похожую идею из зрительного восприятия в анализ научных данных.

В первом случае человек настолько занят подсчётом передач, что пропускает необычное событие.

Во втором он настолько сосредоточен на проверке определённых утверждений, что может не изучить данные другими способами.

Причём студенты, пропустившие гориллу, необязательно плохо справились со своей основной задачей. Они могли правильно проверить предложенные гипотезы.

Эксперимент не доказывает, что у всех участников действовал один и тот же психологический механизм. Но его результаты согласуются с предположением, что узкая направленность задачи способна ограничивать исследовательский поиск.

Для современной науки это особенно актуально.

Один эксперимент в молекулярной биологии может одновременно измерять активность тысяч генов. Исследователь, проверяющий влияние определённого белка, вполне может обнаружить ожидаемые изменения и не обратить внимания на другую закономерность, потенциально связанную с совершенно иным процессом.

Данные могут содержать больше информации, чем предполагает первоначальный исследовательский вопрос.

Дневная и ночная наука

Янай и Лерхер предлагают рассматривать научную работу как взаимодействие двух способов мышления.

Первый они называют «дневной наукой».

Это привычный процесс проверки гипотез. Исследователь формулирует предположение, разрабатывает эксперимент, собирает данные и оценивает, подтверждают ли они его ожидания.

Такой подход необходим, чтобы отличать обоснованные выводы от случайных совпадений.

Второй способ авторы называют «ночной наукой».

Речь вовсе не о работе после захода солнца. Это метафора свободного исследовательского поиска, когда человек изучает данные с разных сторон, сравнивает неожиданные показатели и допускает идеи, которые первоначально даже не собирался проверять.

Именно так могут рождаться новые гипотезы.

Но у этого подхода есть собственная опасность. Чем больше случайных сравнений проводит исследователь, тем выше вероятность обнаружить красивую закономерность, которая на самом деле ничего не означает.

Поэтому свободный поиск и строгая проверка должны дополнять друг друга.

Сначала необычное наблюдение может подсказать новую гипотезу. Затем её необходимо проверить на независимых данных или в специально поставленном эксперименте.

Может ли наука существовать без гипотез?

Статья Яная и Лерхера вызвала научную дискуссию.

В 2021 году другая группа исследователей опубликовала в Genome Biology возражение под названием «The data-hypothesis relationship».

Их аргумент заключался в том, что полностью свободного от предположений анализа практически не существует. Даже выбирая, какие данные собирать, как их визуализировать и какие закономерности считать интересными, исследователь опирается на предварительные знания и ожидания.

Кроме того, обнаружение нарисованной гориллы не равнозначно настоящему научному открытию. Неожиданная форма на графике сама по себе ещё не говорит о существовании нового биологического механизма.

Янай и Лерхер ответили, что под исследованием без гипотез они подразумевают отсутствие конкретного утверждения, которое необходимо проверить, а вовсе не отказ от накопленных научных знаний.

Это различие принципиально.

В научной практике не требуется выбирать между строгим анализом и свободным исследованием данных. Речь идёт о двух разных задачах: проверить уже сформулированное объяснение и заметить явление, для которого объяснения пока нет.

Первоначальная публикация была редакционной статьёй, основанной на небольшом эксперименте, а не масштабным исследованием эффективности различных научных методов. Поэтому её выводы следует воспринимать как аргумент в пользу разнообразия исследовательских подходов, а не как доказательство превосходства одного из них.

История с гориллой показывает ещё одну особенность научной работы.

Можно собрать качественные данные, провести корректные расчёты, получить статистически обоснованный ответ и всё же оставить за пределами анализа нечто неожиданное.

В эксперименте это был силуэт гориллы, специально составленный из точек.

В настоящей лаборатории таким незамеченным сигналом может оказаться закономерность, которая не имеет отношения к исходной гипотезе, но способна стать началом другого исследования.