„Naukowcy potwierdzili.” „Nowe badanie dowodzi.” „To zmienia wszystko.” Tak zaczyna się wiele nagłówków, które błyskawicznie obiegają media społecznościowe. Problem w tym, że w nauce jedno badanie niemal nigdy nie jest ostatecznym dowodem. A w epoce algorytmów pojedynczy wynik bardzo łatwo zamienia się w „fakt”, który zaczyna żyć własnym życiem.
W potocznym wyobrażeniu nauka działa prosto: ktoś przeprowadza badanie, publikuje wyniki i mamy odpowiedź. W rzeczywistości to proces znacznie bardziej skomplikowany i ostrożny. Pojedyncze badanie może dotyczyć bardzo wąskiej grupy, opierać się na ograniczonej próbie albo być obciążone błędem statystycznym. Może też okazać się trudne do powtórzenia.
I właśnie powtarzalność jest w nauce kluczowa.
Czy badanie da się powtórzyć?
W 2015 roku międzynarodowy zespół badaczy w ramach projektu Open Science Collaboration próbował zreplikować sto klasycznych badań psychologicznych opublikowanych w renomowanych czasopismach. Udało się potwierdzić wyniki jedynie w około 36 procentach przypadków. To nie oznacza, że pozostałe badania były „fałszywe”. Oznacza, że ich rezultaty nie były tak stabilne, jak wcześniej zakładano. Podobne problemy replikacyjne odnotowano później także w ekonomii czy biomedycynie.
To zjawisko nazwano „kryzysem replikacyjnym”. Nie jest ono dowodem na upadek nauki, lecz raczej przypomnieniem, że wiedza naukowa jest procesem – stopniowo budowanym, korygowanym i udoskonalanym.
W praktyce pojedyncze badanie jest raczej hipotezą weryfikowaną przez kolejne projekty niż ostatecznym werdyktem.
Statystyki kłamią?
Dodatkowym problemem jest sposób, w jaki interpretujemy statystykę. Często słyszymy, że wynik jest „statystycznie istotny”. W większości badań oznacza to, że prawdopodobieństwo przypadkowości wyniku jest niższe niż 5 procent. To jednak nie znaczy, że wynik jest pewny ani że efekt jest duży. Można uzyskać statystycznie istotny rezultat, który w praktyce ma minimalne znaczenie. Można też otrzymać wynik, który nie powtórzy się w innej próbie.
Do tego dochodzi zjawisko tzw. publication bias – czasopisma naukowe częściej publikują badania z „pozytywnym” wynikiem niż te, które nie wykazały efektu. W efekcie w obiegu publicznym widzimy głównie spektakularne rezultaty, rzadziej zaś te, które pokazują brak zależności.
W świecie mediów społecznościowych te niuanse niemal znikają. Wystarczy jedno badanie z kontrowersyjnym wnioskiem, by stało się paliwem dla debat ideologicznych. W czasie pandemii COVID-19 wielokrotnie obserwowaliśmy, jak wstępne, niewielkie badania były cytowane jako dowód skuteczności lub nieskuteczności określonych terapii. Gdy późniejsze, większe analizy przynosiły bardziej zniuansowany obraz, pierwotny nagłówek zdążył już ugruntować przekonania części odbiorców.
Dezinformacja rzadko polega na całkowitym wymyślaniu danych. Częściej opiera się na wyjęciu fragmentu z kontekstu i przedstawieniu go jako całości.
Metaanalizy remedium na kryzys
To właśnie dlatego w nauce tak dużą rolę odgrywają metaanalizy – badania analizujące wyniki wielu wcześniejszych projektów. Dopiero zbiorczy obraz, obejmujący dziesiątki lub setki badań, pozwala mówić o względnie stabilnym wniosku. Konsensus naukowy nie powstaje po jednym artykule, lecz po latach replikacji i weryfikacji.
W kulturze szybkiej informacji to podejście bywa frustrujące. Algorytmy premiują jednoznaczność i emocje, a nauka z natury jest ostrożna i zniuansowana. „Nowe badanie wszystko obala” klika się znacznie lepiej niż „wstępne wyniki wymagają dalszych analiz”.
Dla młodych ludzi, którzy funkcjonują w świecie natychmiastowych odpowiedzi – to szczególnie ważna lekcja. Gdy ktoś mówi: „Badania pokazują, że…”, warto pamiętać, że to dopiero początek rozmowy, nie jej koniec.
Pojedyncze badanie może być sygnałem. Może wskazywać kierunek. Może inspirować dalsze analizy. Rzadko jest ostatecznym dowodem.
Bo prawdziwa wiedza niemal nigdy nie mieści się w jednym nagłówku.