Всяческий Бред : Jan2020

...Несколько лет назад почти никто не публиковал результаты повторных экспериментов, даже если они проводились. Это было не принято, не приносило грантов и не способствовало успешной научной карьере. Согласно опросу Nature, более 70 % ученых-психологов пытались и не смогли воспроизвести чужие исследования, около половины не смогли повторить собственные, и почти никто не стремился предать эти результаты огласке.

Когда кризис воспроизводимости вышел на поверхность, многое изменилось. Повторные исследования постепенно стали обычным делом; данные экспериментов начали всё чаще выкладывать в открытый доступ; журналы принялись публиковать отрицательные результаты и регистрировать общий план исследований еще перед началом их проведения.

Исследования стали более масштабными — выборка 30–40 человек, которая в психологии была вполне стандартной, теперь мало кого устраивает. Крупные международные организации — такие как Psychological Science Accelerator — тестируют одни и те же гипотезы сразу в нескольких лабораториях по всему миру.

Перед проверкой статей из Nature и Science, о которой мы писали в начале, ученым предложили сделать ставки на тотализаторе. Они должны были предсказать, какое исследование успешно пройдет проверку, а какое провалится. В целом ставки были очень точными. «Это означает, во-первых, что научное сообщество может прогнозировать, какие работы удастся повторить, и, во-вторых, что невозможность воспроизвести исследование не была простой случайностью», — говорят организаторы эксперимента.

Ученые в целом неплохо умеют отличать надежные исследования от ненадежных — это хорошие новости. Сейчас специалисты из Центра открытой науки совместно с агентством DARPA пытаются создать алгоритм, который будет выполнять ту же задачу без участия человека.

Каждый год выходит слишком много статей, чтобы можно было вручную перепроверить хотя бы малую часть из них. Если за дело возьмется искусственный интеллект, всё будет намного проще.

Уже в первых тестах ИИ успешно справился с предсказаниями в 80 % случаев.

Что чаще всего делает исследование ненадежным? Маленькие выборки, нестыковки в цифрах, слишком красивое подтверждение гипотез. А также — стремление к сенсациям и слишком простые ответы на сложные вопросы.

***

Слишком хорошо, чтобы быть правдой

Создавать сенсационные исследования проще всего с помощью обмана. Известный социальный психолог Дидерик Стапель использовал сфабрикованные данные в нескольких десятках научных статей. Исследования Стапеля с огромной скоростью разлетались по газетам и журналам, он получил несколько престижных научных премий, публиковался в Science и считался одним из самых крупных специалистов в своей сфере.

Однажды выяснилось, что Стапель долгое время вообще не проводил исследований, а просто выдумывал данные и отдавал их на анализ студентам.

В науке такое встречается очень редко. Гораздо чаще громкие, но неверные утверждения возникают по другим причинам. Люди отчаянно ищут простые, понятные и эффектные ответы на волнующие вопросы. Можно очень легко поддаться соблазну и решить, что эти ответы у тебя есть, даже если на самом деле это не так. Стремление к простоте и определенности — одна из главных причин, почему многие исследования не проходят проверку на воспроизводимость.
...