Учёные пишут отчёт о лабораторном исследовании эффективности нового препарата:
— 33% экспериментальных животных отреагировали на препарат положительной динамикой.
— 33% проявили индифферентность к терапии.
— К сожалению, третья мышь убежала.
Этот анекдот про методику эксперимента, а точнее, про размер выборки. Наивная логика подсказывает нам, что если один объект обладает неким свойством, то и другой такой же будет им непременно обладать. Если один стеклянный стакан при падении с двух метров на паркетный пол разбился, то другой стакан из этой партии тоже разобьётся.
Реальный мир гораздо сложнее даже в случае со стаканом. Разбившийся мог обладать скрытым дефектом. Или повлиял угол соприкосновения стакана с полом, или твёрдость конкретной паркетной доски, или что-то ещё. Чтобы быть уверенным, нужно уронить как минимум десяток, а лучше сотню стаканов. Желательно, чтобы их бросали разные люди, дабы исключить воздействие экспериментатора на результат.
Что уж говорить о таких сложных объектах, как живые системы. К примеру, одна небольшая мутация в геноме отдельной мыши может радикально изменить эффект от препарата. А уж если животные содержались в хотя бы чуть-чуть разных условиях, любые выводы становятся бессмысленными. Поэтому многие умные люди знакомство с исследованием начинают с чтения методики. Если она корректна, можно посмотреть и на результаты.
То же самое относится к изучению человеческого поведения. Читаешь, например: «99 % российской молодёжи не интересуется современной наукой». Огорчаешься. Потом смотришь на методику: «...было опрошено 30 студентов петропетровского чугунно-футбольного колледжа». Успокаиваешься.
Анекдот про мышей хорошо применим к гуманитарным исследованиям ещё и потому, что 33 % выборки в нём просто убежало. А ведь подавляющее большинство работ по социологии и психологии основывается на опросах людей, согласившихся участвовать в исследовании, и не учитывает тех, кто отказался.
Но не надо говорить: «Все учёные врут!» Наука может получать относительно объективные результаты. Просто надо очень серьёзно работать с методами. И следить, чтобы мыши не убегали.
Иллюстрация: Георгий Мурышкин
Опубликовано в журнале «Кот Шрёдингера» № 33–34 2017 г.