Jak zostać krytycznym czytelnikiem badań akademickich

Chociaż nauki społeczne dostarczyły ogromnych wglądów, które pomagają menedżerom być bardziej efektywnymi, nie wszystkie badania naukowe to dobre badania. Oto jak być mądrym konsumentem nowych idei.

15 LIPCA 2021 r. otrzymałem e-mail od trzech współautorów strony internetowej zajmującej się analizą danych o nazwie Data Colada. Poinformowali mnie, że wkrótce opublikują przekonujące dowody na to, że eksperyment terenowy w moim artykule badawczym z 2012 r. pt. Podpisywanie na początku czyni etykę bardziej widoczną i zmniejsza nieuczciwość w samoopisach w porównaniu z podpisywaniem na końcu, był oparty na sfałszowanych danych.

Artykuł, który stał się powszechnie znany jako praca o „podpisywaniu na początku”, miał dowodzić, że gdy ludzie podpisują oświadczenie obiecujące mówienie prawdy przed wypełnieniem formularza, takiego jak zeznanie podatkowe czy formularz ubezpieczeniowy, podają bardziej uczciwe informacje niż gdy proszeni są o podpisanie takiego oświadczenia po podaniu wymaganych informacji. Praca o podpisywaniu na początku była powszechnie postrzegana jako skuteczny sposób „zachęcania” do bardziej etycznego zachowania. Artykuł był szeroko rozpowszechniany w świecie biznesu, a wiele organizacji (w tym Slice Insurance, mój klient konsultingowy) przyjęło nasze rady i przesunęło linie podpisu w swoich formularzach, próbując poprawić uczciwość ludzi.

Zarzuty Data Colada o oszustwie zszokowały mnie. Chociaż możliwość oszustwa nigdy nie przyszła mi do głowy, próbowałem i nie udało mi się w latach przed kontaktem z Data Colada powtórzyć efektu podpisywania na początku wraz z kolegami niezwiązanymi z oryginalnym artykułem. W 2020 r., po zaproszeniu oryginalnych autorów do dołączenia do nas, opublikowaliśmy artykuł o tej nieudanej próbie powtórzenia wyników i próbowałem przekonać moich współautorów z oryginalnego artykułu, że powinniśmy wycofać artykuł z 2012 r. Większość była przeciwna wycofaniu.

Mój współautor z 2012 r., Dan Ariely z Duke University, twierdził, że zebrał dane do eksperymentu terenowego od Hartford Insurance, ale teraz wydawało się to wątpliwe. Autorzy Data Colada wyznali mi, że mają również podejrzenia co do jednego z innych eksperymentów w artykule, którego dane zostały dostarczone przez moją koleżankę z Harvard Business School, Francescę Gino. Gino była moją doktorantką, a później stała się moją współautorką, przyjaciółką i rówieśniczką. Byłem wstrząśnięty, słysząc, że Data Colada podejrzewa, iż popełniła oszustwo w tym i co najmniej trzech innych artykułach.

Po wspólnej naradzie, zespół Data Colada przedstawił swoje podejrzenia dotyczące eksperymentu terenowego w poście na blogu i prywatnie przekazał swoje obawy dotyczące pracy Gino do Harvardu. W doniesieniach medialnych Ariely odpowiedział, sugerując, że Hartford Insurance był wyłącznie odpowiedzialny za oszukańczy materiał. Hartford później dostarczył przekonujące dowody, że nie był źródłem sfałszowanych danych. W 2023 r., po dwuletnim śledztwie, Harvard zawiesił Gino na urlopie administracyjnym. W maju 2025 r. Harvard cofnął jej etat; choć Gino utrzymuje, że nie popełniła wykroczenia akademickiego. Później w 2023 r. Data Colada opublikowało dowody sugerujące oszustwo w jednym z dwóch badań laboratoryjnych w artykule o podpisywaniu na początku (i w co najmniej trzech innych artykułach Gino).

Wyniki badań w naukach społecznych, które sugerują sposoby wpływania na zachowanie pracowników, klientów czy partnerów w negocjacjach, są często rozpowszechniane przez publikacje biznesowe i menedżerskie. Akademicka pieczęć aprobaty zachęca liderów organizacyjnych do wiarygodności wyników i odpowiedniego dostosowywania własnych praktyk. Pozorne odkrycie, że ludzie byli bardziej uczciwi, gdy podpisywali swoje nazwiska przed wypełnieniem formularza, a nie po, skłoniło niektóre organizacje do zmiany swoich formularzy. Później dowiedzieli się, że mogli zmarnować czas i pieniądze. Szerzej, ten i inne skandale, a także dowody na to, że nauki społeczne zostały dotknięte wątpliwymi praktykami badawczymi, osłabiają wiarygodność badań nad zarządzaniem.

Gdy badania w naukach społecznych coraz częściej trafiają na pierwsze strony z niewłaściwych powodów, jak liderzy mogą wiedzieć, którym badaniom ufać?

Tutaj przedstawiam przegląd rosnącego zainteresowania wynikami nauk społecznych i obecnego kryzysu, a następnie oferuję wskazówki, jak skutecznie korzystać z ustaleń nauk społecznych.

Rosnąca fala badań behawioralnych

Pierwsza dekada XXI w. była wspaniałym czasem na posiadanie ekspertyzy w naukach psychologicznych. Uniwersyteckie wydziały psychologii i laboratoria badawcze znacznie rozrosły się w latach 2000-2010, a szkoły biznesu zaczęły zatrudniać więcej doktorów psychologii i zachowań organizacyjnych. Psychologia wpłynęła również na inne dyscypliny, w tym na powstającą dziedzinę ekonomii behawioralnej i pokrewne obszary finansów behawioralnych i marketingu behawioralnego. W 2002 r. psycholog Daniel Kahneman otrzymał Nagrodę Nobla w dziedzinie nauk ekonomicznych za badania naukowe nad ludzkim osądem i podejmowaniem decyzji w warunkach niepewności.

Badacze psychologii, których idee przemawiały do menedżerów, zaczęli być wynagradzani kontraktami konsultingowymi, a gdy przyciągali uczestników do lukratywnych programów edukacji kadry kierowniczej, ich instytucje również na tym zyskiwały. Książki psychologiczne skierowane do szerokiej publiczności okazały się udaną niszą: „Thinking, Fast and Slow” Kahnemana, „Mindset” Carol Dweck i „Hidden Potential” Adama Granta sprzedały się każda w nakładzie przekraczającym milion egzemplarzy.

Ta popularyzacja psychologii zmieniła zachęty dla badaczy, ponieważ wpływ naszej pracy był coraz częściej mierzony nie tylko jej wpływem w naszej dziedzinie, ale także rezonansem z publicznością. Wątpliwości co do jej wiarygodności miały jednak wkrótce powrócić.

Kryzys powtarzalności

Chociaż znane przypadki oszustwa są druzgocące, gdy się zdarzają, są niezwykle rzadkie. Nauki społeczne borykają się jednak z szerszym problemem: faktem, że wielu badań nie udaje się powtórzyć, gdy ci sami badacze powtarzają eksperyment. Gdy badania naukowego nie udaje się powtórzyć, może to wynikać z faktu, że oryginalne odkrycie było metodologicznie niepewne i nie utrzymuje się w nieco innych warunkach. Równie prawdopodobne, że oryginalni badacze przeprowadzili badanie wielokrotnie na różne sposoby, aż otrzymali wyniki wspierające ich hipotezę, pomijając wyniki, które tego nie robiły. Ponadto badacze są bardziej skłonni szukać błędów w swoich metodach i danych, gdy nie lubią wyników. Gdy wyniki są zgodne z tym, co badacze przewidują, mogą przeoczyć błędy, które pomogły im potwierdzić ich przewidywania.

Data Colada określiło takie praktyki jako p-hacking – nieodpowiednia manipulacja danymi w celu utworzenia wyników, które są istotne. Nazwa pochodzi od pomiaru w literaturze akademickiej prawdopodobieństwa (p), że odkrycie mogło wystąpić przypadkowo. P-hacking skutkuje publikacją wniosków, które są mniej prawdopodobne do utrzymania się jako dokładne w czasie.

W 2012 r., psycholog Brian Nosek prowadził projekt na dużą skalę mający na celu powtórzenie 100 badań opublikowanych w trzech najbardziej prestiżowych czasopismach psychologicznych, aby sprawdzić, czy początkowe wyniki można odtworzyć. Science opublikował wyniki tego wysiłku w 2015 r.: podczas gdy 97 oryginalnych badań twierdziło o istotnych wynikach, tylko 36% powtórzeń było istotnych. Wielu starszych badaczy psychologii nie było zadowolonych z publikacji Noseka i ciężko pracowało nad wytłumaczeniem jego wyników. Chociaż niektóre z krytyk były uzasadnione, ogólnie naukowcy społeczni byli zszokowani i zaniepokojeni skalą niepowodzenia replikacji.

Różne formy p-hackingu są jakościowo różne od wymyślania wyników. Ale jeśli wyniki nie replikują się z powodu p-hackingu, to wciąż jest to ważna kwestia dla menedżerów chcących wprowadzić wyniki badań w praktykę.

Jak menedżerowie mogą identyfikować dobre badania naukowe

Biorąc pod uwagę problemy jawnego fałszowania danych i stronniczości p-hackingu, jak liderzy biznesu powinni podchodzić do badań, które uważają za intrygujące? Sugeruję przyjęcie następujących trzech praktyk w celu weryfikacji badań.

1. Czytaj badania naukowe krytycznie. Wyobraź sobie, że czytasz o nowym odkryciu w nauce behawioralnej, które jest istotne dla wyzwań, z którymi masz do czynienia w swojej organizacji. Przed rozważeniem, jak możesz włączyć to odkrycie do swojej praktyki, przeczytaj akademicki artykuł przedstawiający oryginalne badanie. Podejdź do niego krytycznie i sceptycznie, myśląc o alternatywnych wyjaśnieniach dla raportowanych wyników. Sprawdź, czy badacze przeprowadzili swoją pracę zgodnie z wytycznymi ruchu otwartej nauki (więcej o tym za chwilę). Niepowodzenie w ujawnieniu metodologii, wstępnej rejestracji planu badawczego i udostępnieniu danych wszystkim, to czerwona flaga.

2. Dowiedz się, czy wyniki zostały powtórzone. Zbadaj, czy eksperymenty zostały powtórzone przez inne zespoły badawcze, w których oryginalni autorzy nie brali udziału. Stosunkowo łatwo jest zidentyfikować wszystkie artykuły, które odwołały się do oryginalnego artykułu za pośrednictwem Google Scholar. Im więcej razy idea została powtórzona, tym bardziej jest wiarygodna. Idee, które cię intrygują, a które nie zostały powtórzone przez innych, wymagają bardziej ostrożnej oceny.

3. Testuj idee przed wdrożeniem ich szeroko. Pracowałem z wieloma dyrektorami, którzy, jeśli lubią moją ideę i mi ufają, są gotowi włączyć ją w całej swojej organizacji na całym świecie. Zachęcam ich do zwolnienia i przetestowania idei najpierw z małą grupą. Jest wiele powodów, dla których idea, która działała w laboratorium lub w jednej branży, może nie działać w innym otoczeniu. Uważam, że trudniej jest przekonać dyrektorów do przetestowania idei niż przekonać ich do szerokiego wdrożenia, i od dawna postrzegam to jako błąd. Ale w obliczu obecnego kryzysu replikowalności jest to większy błąd niż kiedykolwiek.

Ważne jest, aby zauważyć, że menedżerowie, którzy próbują ustalić, czy wyniki badania zostały powtórzone przez inne laboratoria, często odkryją, że nie – z prostego powodu, że uniwersytety i czasopisma nagradzają badaczy za wymyślanie nowych, oryginalnych odkryć, a nie za powtarzanie badań innych. Ta podstawowa dynamika przyczynia się do kryzysu replikacji i osłabia naukę w dłuższej perspektywie.

W tej dziedzinie badacze muszą przyjąć praktyki otwartej nauki dotyczące ujawniania, wstępnej rejestracji i pełnego udostępniania danych. Ujawnianie oznacza, że każdy czytelnik lub recenzent oryginalnego artykułu badawczego powinien być w stanie w pełni zrozumieć, co zespół badawczy robił na każdym etapie procesu badawczego, włączając w to moment, gdy określili swoją hipotezę. To odnosi się do wstępnej rejestracji – praktyki składania przewidywań i planu analizy danych przed zbieraniem lub analizowaniem danych, tak aby badacze nie mieli pokusy zmiany swojej hipotezy w celu dopasowania do nieoczekiwanych wyników. Badacze powinni następnie udostępnić wszystkie swoje dane publicznie – najlepiej, publikując je online. Myśl o tych praktykach jako o dobrej higienie, której należy oczekiwać od badaczy w latach 20. XXI w.

Uniwersytety, które goszczą i wspierają badania w naukach społecznych, powinny dołączyć do ruchu otwartej nauki, aby chronić swój prestiż i przyczynić się do integralności nauki, którą wspierają. A gdy pojawiają się zarzuty o wykroczenia badawcze, uniwersytety powinny odpowiadać z transparentnością – a nie, jak często bywa z amerykańskimi uniwersytetami, z tajemniczością, która przedkłada reputację nad integralność nauki.

Na badaczach takich jak ja spoczywa również obowiązek przezwyciężenia profesjonalnych uprzejmości i zadawania trudniejszych pytań współautorom i współbadaczom. W licznych historiach oszustw akademickich, które dokumentuję w mojej książce Wewnątrz skandalu akademickiego (eng. „Inside an Academic Scandal”), wielu współautorów artykułów badawczych miało przeczucia, że coś było nie tak. Sam miałem to doświadczenie: w artykule o podpisywaniu na początku byłem współautorem, który zadawał najwięcej pytań o czerwone flagi, które się pojawiły. W retrospekcji nie zadałem wystarczająco dużo pytań i zbyt łatwo przyjąłem odpowiedzi, które chciałem, żeby były prawdziwe.

Trudniej jest przekonać dyrektorów do przetestowania idei niż przekonać ich do szerokiego wdrożenia.

Badania w nauce behawioralnej mogą oferować cenne wglądy, które poprawiają organizacje. Musimy zarówno umożliwić menedżerom bardziej krytyczne ich czytanie, jak i wzmocnić normy i standardy w świecie akademickim w celu walidacji ich wiarygodności.