Gli studi psicologici sono risultati falsi in più del 50% dei casi

2024 Autore: Seth Attwood | [email protected]. Ultima modifica: 2023-12-16 16:08

Esistono "posture forti" che rafforzano la fiducia e riducono gli ormoni dello stress. Quando le persone tengono in mano una tazza di bevanda calda, diventano più amichevoli con coloro che li circondano. La forza di volontà è una risorsa che spendiamo quando resistiamo alla tentazione. La capacità di posticipare la ricompensa determina il successo futuro del bambino.

Queste affermazioni sono molto simili tra loro: dietro di esse ci sono ricerche psicologiche ben note, bestseller di divulgazione scientifica, rubriche su riviste popolari e conferenze TED.

Hanno anche un'altra cosa in comune: si sono rivelati tutti sbagliati.

La crisi della riproducibilità ha messo in dubbio interi campi della scienza. Molti dei risultati, che sono stati ampiamente citati dai media, sono ora considerati esagerati o falsi. Quando gli scienziati hanno cercato di replicare esperimenti psicologici sia classici che recenti, i risultati sono stati sorprendentemente coerenti, con circa la metà dei casi di successo e l'altra metà di fallimento.

La crisi è diventata finalmente evidente nel 2015, quando gli scienziati guidati da Brian Nosek hanno controllato 100 studi psicologici. Sono stati in grado di ottenere i primi risultati solo in 36 casi. Il caporedattore di Lancet, Richard Horton, dichiarò presto:

“Le accuse contro la scienza sono piuttosto semplici: almeno la metà della letteratura scientifica è semplicemente sbagliata. Soffrendo di studi con campionatura ridotta, scarso effetto e analisi errate, oltre che un'ossessione per tendenze moda di dubbia importanza, la scienza ha preso una svolta verso l'ignoranza.

La riproducibilità è uno dei requisiti chiave per la conoscenza scientifica. Migliore è la riproduzione del risultato, più affidabile è: questo è l'unico modo per separare i modelli reali dalle semplici coincidenze

Ma si è scoperto che questo requisito non è sempre soddisfatto.

La crisi è iniziata con la medicina, ma la maggior parte ha colpito la psicologia. Nell'estate del 2018, gli scienziati hanno tentato di replicare una selezione di studi psicologici pubblicati su Science and Nature, le riviste scientifiche più prestigiose del mondo. Su 21 esperimenti, solo 13 sono stati confermati e anche in questi casi i risultati originali sono stati esagerati di circa il 50%.

Spesso, il test di riproducibilità viene fallito da quegli studi che sono stati ampiamente replicati dai media e sono riusciti a influenzare la coscienza pubblica. Ad esempio, le opere che i motori di ricerca danneggiano la memoria e la lettura di narrativa sviluppa la capacità di empatia. Se gli esperimenti ripetuti falliscono, ciò non significa che le ipotesi originali siano prive di valore. Ma ora è necessaria una migliore ricerca per dimostrarli.

Come predire il futuro con le statistiche

Nel 2011, il famoso psicologo americano Daryl Boehm ha pubblicato un articolo che ha dimostrato la possibilità della chiaroveggenza. Questa conclusione non era un prodotto della sua immaginazione violenta, ma si basava su decenni di ricerche, che hanno coinvolto centinaia di persone. Molti sospettavano che Boehm avesse deciso di organizzare qualcosa come la truffa di Sokal e smascherare la psicologia con un articolo falso con conclusioni volutamente assurde. Ma secondo tutti gli standard metodologici, l'articolo era molto convincente.

In uno degli esperimenti di Behm, sono stati posizionati due schermi di fronte ai partecipanti: dovevano indovinare quale immagine era nascosta dietro. L'immagine è stata generata casualmente subito dopo la selezione. Se i partecipanti hanno fatto un buon lavoro, indicherebbe che possono in qualche modo anticipare il futuro. L'esperimento ha utilizzato due tipi di immagini: neutre e pornografiche.

Boehm ha suggerito che se il sesto senso esiste, probabilmente ha un'antica origine evolutiva. Se è così, allora è più probabile che sia in sintonia con i nostri bisogni e impulsi più antichi

I partecipanti hanno indovinato immagini pornografiche il 53% delle volte, leggermente più spesso di quanto avrebbero dovuto se si trattasse di pura casualità. Dato il gran numero di esperimenti, Boehm potrebbe affermare che la lungimiranza esiste.

Successivamente, gli esperti hanno scoperto che durante l'analisi dei risultati utilizzava metodi non del tutto corretti. Di norma, un risultato di ricerca è considerato affidabile se la probabilità che sia stato ottenuto per caso non supera il 5%. Ma ci sono molti modi per ridurre questo valore al livello richiesto: modificare i parametri iniziali dell'analisi, aggiungere o rimuovere il numero richiesto di esempi dal campione, utilizzare ipotesi di maggior successo dopo aver raccolto i dati.

Il problema è che non solo Boehm, ma anche molti altri scienziati hanno usato le stesse tecniche. Secondo un sondaggio del 2011, quasi la metà degli psicologi lo ha ammesso

Quando è uscito l'articolo sul chiaroveggente, gli scienziati sociali Joseph Simmons, Leaf Nelson e Uri Simonson si sono resi conto che la scienza stava andando verso la propria rovina. Hanno costruito diversi modelli al computer e hanno scoperto che utilizzando tecniche statistiche abbastanza standard, è possibile aumentare più volte il livello di risultati falsi positivi. Ciò significa che i metodi formalmente scientifici possono facilmente portare a conclusioni completamente assurde.

Per illustrare ciò, gli scienziati hanno condotto un esperimento che ha confermato che l'ascolto della canzone "When I'm Sixty-four" rende l'ascoltatore un anno e mezzo più giovane.

“Tutti sapevano che era sbagliato usare tali tecniche, ma pensavano che si trattasse di una violazione del suo significato, come attraversare la strada nel posto sbagliato. Si è rivelato più simile a una rapina in banca , ha concluso Simmons.

Come distinguere una cattiva ricerca da una buona?

Divenne presto chiaro che i problemi di riproducibilità non erano limitati alla psicologia. Nella ricerca sul cancro, l'evidenza scientifica è supportata nel 10-25% dei casi. In economia, 7 esperimenti di laboratorio su 18 non sono stati replicabili. Anche la ricerca sull'intelligenza artificiale mostra segni di crisi.

Ma sembra che perdere la fiducia nella scienza non valga ancora la pena. Gli scienziati hanno già escogitato diversi modi che hanno notevolmente migliorato l'affidabilità e la qualità delle nuove ricerche

Diversi anni fa, quasi nessuno ha pubblicato i risultati di esperimenti ripetuti, anche se sono stati effettuati. Questo non è stato accettato, non ha portato sovvenzioni e non ha contribuito a una carriera scientifica di successo. Secondo un'indagine di Nature, oltre il 70% degli psicologi ha provato senza successo a riprodurre le ricerche di altre persone, circa la metà non è stata in grado di ripetere la propria e quasi nessuno ha cercato di pubblicizzare questi risultati.

Quando è emersa la crisi della riproducibilità, molto è cambiato. La ricerca ripetuta divenne gradualmente un luogo comune; i dati sperimentali cominciarono a essere pubblicati sempre più spesso nel pubblico dominio; le riviste iniziarono a pubblicare risultati negativi ea registrare il piano complessivo della ricerca ancor prima di iniziare.

La ricerca è diventata più ampia: un campione di 30-40 persone, che era abbastanza standard in psicologia, ora si adatta a pochissime persone. Grandi organizzazioni internazionali - come lo Psychological Science Accelerator - stanno testando le stesse ipotesi in diversi laboratori in tutto il mondo.

Prima di controllare gli articoli di Nature and Science, di cui abbiamo scritto all'inizio, agli scienziati è stato chiesto di scommettere sul concorso a premi. Dovevano prevedere quale ricerca avrebbe superato il test e quale avrebbe fallito. Nel complesso, le tariffe erano molto accurate. "Ciò significa, in primo luogo, che la comunità scientifica può prevedere quali lavori potranno essere ripetuti e, in secondo luogo, che l'impossibilità di replicare lo studio non è stata una semplice coincidenza", affermano gli organizzatori dell'esperimento.

Gli scienziati sono generalmente bravi a distinguere la ricerca affidabile da quella inaffidabile: questa è una buona notizia. Ora gli esperti del Center for Open Science, insieme all'agenzia DARPA, stanno cercando di creare un algoritmo che svolgerà lo stesso compito senza l'intervento umano.

Ci sono troppi articoli pubblicati ogni anno per ricontrollare manualmente anche solo una piccola parte di essi. Se l'intelligenza artificiale si mette al lavoro, tutto sarà molto più semplice.

Già nei primi test, l'IA ha affrontato con successo le previsioni nell'80% dei casi.

Cosa rende la ricerca inaffidabile più spesso? Piccoli campioni, incongruenze numeriche, troppo belle conferme di ipotesi. E anche - il desiderio di sensazioni e risposte troppo semplici a domande difficili.

Troppo bello per essere vero

Il modo più semplice per creare una ricerca sensazionale è attraverso l'inganno. Il famoso psicologo sociale Diederik Stapel ha utilizzato dati inventati in diverse dozzine di articoli scientifici. La ricerca di Stapel si stava diffondendo su giornali e riviste con grande rapidità, ricevette diversi prestigiosi riconoscimenti scientifici, fu pubblicata su Science ed era considerato uno dei maggiori specialisti nel suo campo.

Una volta si è scoperto che per molto tempo Stapel non ha condotto alcuna ricerca, ma ha semplicemente inventato dati e li ha dati agli studenti per l'analisi.

Questo è molto raro nella scienza. Molto più spesso ad alta voce, ma affermazioni errate sorgono per altri motivi. Le persone sono alla disperata ricerca di risposte semplici, comprensibili ed efficaci a domande entusiasmanti. Può essere molto facile essere tentati di pensare di avere queste risposte, anche se in realtà non le hai. La ricerca della semplicità e della certezza è uno dei motivi principali per cui molti studi non riescono a verificare la riproducibilità. Ecco alcuni esempi notevoli.

Esperimento Marshmallow

In un esperimento, ai bambini è stato chiesto di scegliere tra una piccola ricompensa - come i marshmallow - che poteva essere ricevuta immediatamente, e una doppia ricompensa se potevano aspettare un po'. In seguito si è scoperto che i bambini che hanno ricevuto il secondo premio hanno avuto più successo nell'età adulta. Lo studio è diventato molto popolare e ha influenzato alcuni programmi scolastici.

Nel 2018 l'esperimento è stato ripetuto su un campione più ampio. Si è scoperto che la ricchezza in famiglia è un fattore molto più importante, da cui dipende anche il livello di autocontrollo.

"Pose di forza" e "Posi di debolezza"

I partecipanti all'esperimento hanno preso una delle due pose per due minuti: si sono appoggiati allo schienale di una sedia e hanno gettato le gambe sul tavolo ("posa di forza") o incrociato le braccia sul petto ("posa di debolezza"). Di conseguenza, i partecipanti del primo gruppo si sono sentiti più sicuri e più spesso hanno accettato di correre dei rischi nel gioco d'azzardo. Coloro che si sono seduti in una posizione forte hanno aumentato i loro livelli di testosterone e quelli che si sono seduti in una posizione debole hanno aumentato il cortisolo. In esperimenti ripetuti, è stato riprodotto un solo effetto: le "posture di forza" hanno aiutato i partecipanti a sentirsi più sicuri, ma non hanno modificato il loro comportamento oi parametri ormonali.

Le associazioni con la vecchiaia ti fanno muovere più lentamente

Ai partecipanti all'esperimento è stato chiesto di risolvere diversi enigmi. Se sono state inserite parole associate alla vecchiaia - "smemorato", "anziano", "solo" - i partecipanti hanno lasciato la stanza a un ritmo più lento.

In prove recenti, l'esperimento è stato riprodotto con successo solo in un caso: se gli stessi sperimentatori sapessero che nei test i partecipanti alludevano alla vecchiaia. L'effetto stesso è rimasto, ma le ragioni erano già diverse.

Gli oggetti caldi rendono le persone più amichevoli

Ai partecipanti all'esperimento è stato permesso di tenere in mano una tazza di caffè caldo o freddo per un breve periodo, quindi è stato chiesto loro di valutare la personalità della persona utilizzando una breve descrizione. I partecipanti che hanno tenuto in mano una tazza di caffè caldo hanno valutato la persona più simpatica. In un altro esperimento, ai partecipanti è stato dato un oggetto in una confezione calda o fredda e poi è stato chiesto loro di tenerlo o di darlo a un amico. Se l'oggetto era avvolto in un pacco caldo, i partecipanti erano più propensi a scegliere la seconda opzione. Esperimenti ripetuti con un campione più ampio non hanno prodotto tali risultati. Sembra che i vestiti pesanti non ti rendano un altruista.

La forza di volontà si esaurisce quando resistiamo alle tentazioni

Di fronte ai partecipanti all'esperimento sono stati posti due piatti - con biscotti e ravanelli. Nel primo gruppo, ai partecipanti è stato permesso di mangiare biscotti e nel secondo solo ravanelli. Quindi ad ogni partecipante è stato chiesto di risolvere un puzzle impossibile. I partecipanti che hanno mangiato solo ravanelli nella prima parte dell'esperimento hanno rinunciato molto prima degli altri. In esperimenti ripetuti, i risultati non sono stati confermati.

In alcuni casi, la capacità di autocontrollo non si è esaurita, ma si è addirittura intensificata nel tempo. Molti psicologi ora considerano il concetto di "forza di volontà" troppo semplicistico.

Molto è già stato fatto nella psicologia mondiale per rendere la ricerca più affidabile e riproducibile. In Russia, questo problema deve ancora essere afferrato.

"Nella psicologia russa, i problemi della crisi riguardano principalmente i giovani scientifici, che sono in gran parte orientati verso la scienza occidentale", ha detto a The Knife Ivan Ivanchey, professore associato alla RANEPA. - Il controllo sulla qualità delle pubblicazioni in russo non è generalmente molto elevato. Le riviste raramente rifiutano gli articoli, quindi vengono pubblicate molte ricerche di bassa qualità. Vengono spesso utilizzati piccoli campioni, il che riduce anche la probabilità di una riproduzione riuscita. C'è il sospetto che, se si affronta seriamente il problema della riproducibilità delle opere in lingua russa, si possono scoprire molti problemi. Ma nessuno è direttamente coinvolto in questo”.

Nel gennaio 2019 si è saputo che il governo russo amplierà in modo significativo i requisiti per gli scienziati in termini di numero di pubblicazioni: il numero minimo di articoli pubblicati all'anno dovrebbe crescere del 30-50%.

Scienziati dell'influente accademico "July 1 Club" hanno criticato l'iniziativa: "Il compito della scienza non è produrre il numero massimo di pubblicazioni, ma esplorare l'universo e beneficiare delle conoscenze acquisite per l'umanità". Molto probabilmente, i nuovi requisiti aumenteranno solo la portata del problema.

La storia della crisi della riproducibilità non è una storia dell'imminente apocalisse e dell'invasione dei barbari. Se la crisi non si fosse verificata, tutto sarebbe andato molto peggio: faremmo comunque riferimento a ricerche errate nella piena certezza di conoscere la verità. Forse il tempo dei titoli audaci come "Gli scienziati britannici hanno dimostrato" sta volgendo al termine. Ma le voci secondo cui la scienza è morta dovrebbero essere considerate un po' esagerate.