Circa il 50% degli esperimenti scientifici si è rivelato NON riproducibile

2024 Autore: Seth Attwood | [email protected]. Ultima modifica: 2023-12-16 16:08

Per caso, in un flusso di notizie e informazioni, mi sono imbattuto in un articolo su Nature Scientific Reports. Presenta i dati di un sondaggio di 1.500 scienziati sulla riproducibilità dei risultati della ricerca scientifica. Se prima questo problema si poneva per la ricerca biologica e medica, dove da un lato è spiegabile (false correlazioni, la complessità generale dei sistemi in studio, talvolta si accusa anche il software scientifico), dall'altro ha un carattere fenomenologico carattere (ad esempio, i topi tendono a comportarsi in modo diverso con scienziati di sesso diverso (1 e 2)).

Tuttavia, non tutto è liscio e con Di piùscienze naturali come fisica e ingegneria, chimica, ecologia. Sembrerebbe che proprio queste discipline si basino su esperimenti "assolutamente" riproducibili condotti nelle condizioni più controllate, ahimè, uno stupefacente - in tutti i sensi - il risultato dell'indagine: fino al 70%i ricercatori hanno affrontato Non riproducibileesperimenti e risultati ottenuti non solo da altri gruppi di scienziati, MA e dagli autori/coautori di lavori scientifici pubblicati!

Ogni piovanello loda la sua palude?

Sebbene il 52% degli intervistati indichi una crisi di riproducibilità nella scienza, meno del 31% considera i dati pubblicati fondamentalmente errati e la maggioranza ha indicato di fidarsi ancora del lavoro pubblicato.

Naturalmente, non dovresti prenderti a pugni e linciare tutta la scienza in quanto tale solo sulla base di questo sondaggio: la metà degli intervistati erano ancora scienziati associati, in un modo o nell'altro, alle discipline biologiche. Come notano gli autori, in fisica e chimica, il livello di riproducibilità e fiducia nei risultati ottenuti è molto più alto (vedi grafico sotto), ma ancora non al 100%. Ma in medicina le cose vanno molto male rispetto al resto.

Mi viene in mente una battuta:

Marcus Munafo, uno psicologo biologico presso l'Università di Bristol, in Inghilterra, ha un interesse di lunga data per la riproducibilità dei dati scientifici. Ricordando i giorni dei suoi giorni da studente, dice:

Una volta ho provato a riprodurre un esperimento della letteratura che mi sembrava semplice, ma proprio non ci riuscivo. Ho avuto una crisi di fiducia, ma poi ho capito che la mia esperienza non era poi così rara.

Problema di profondità di latitudine e longitudine

Immagina di essere uno scienziato. Ti imbatti in un articolo interessante, ma i risultati/esperimenti non possono essere riprodotti in laboratorio. È logico scrivere di questo agli autori dell'articolo originale, chiedere consigli e porre domande di chiarimento. Secondo l'indagine, meno del 20%hanno mai fatto questo nella loro carriera scientifica!

Gli autori dello studio notano che, forse, tali contatti e conversazioni sono troppo difficili per gli stessi scienziati, perché rivelano la loro incompetenza e incoerenza in determinate questioni o rivelano troppi dettagli del progetto attuale.

Inoltre, una minoranza assoluta di scienziati ha tentato di pubblicare una confutazione di risultati irriproducibili, incontrando l'opposizione di editori e revisori che richiestominimizzare il confronto con la ricerca originale. C'è da meravigliarsi se la possibilità di segnalare la non riproducibilità dei risultati scientifici è di circa il 50%.

Forse, allora, vale la pena fare almeno un test di riproducibilità all'interno del laboratorio? La cosa più triste è che anche un terzo degli intervistati MAIe non ha pensato di creare metodi per verificare i dati per la riproducibilità. Solo il 40%indicato che utilizzano regolarmente tali tecniche.

Un altro esempio, una biochimica del Regno Unito, che non ha voluto rivelare il suo nome, dice che i tentativi di ripetere, riprodurre il lavoro per il suo progetto di laboratorio semplicemente raddoppiano i costi di tempo e materiale, senza dare o aggiungere nulla di nuovo al lavoro. Verifiche aggiuntive vengono effettuate solo per progetti innovativi e risultati insoliti.

E, naturalmente, le eterne domande russe che hanno iniziato a torturare i colleghi stranieri: chi è la colpa e cosa fare?

Chi è colpevole?

Gli autori del lavoro hanno identificato tre problemi principali di riproducibilità dei risultati:

• Pressioni dei superiori per far pubblicare il lavoro in tempo
• Segnalazione selettiva (apparentemente, significa la soppressione di alcuni dati, che "rovinano" l'intero quadro)
• Analisi dei dati insufficiente (inclusa quella statistica)

Cosa fare?

Su 1.500 intervistati, più di 1.000 specialisti si sono espressi a favore del miglioramento delle statistiche nella raccolta e dell'elaborazione dei dati, del miglioramento della qualità della supervisione da parte dei capi e di una pianificazione più rigorosa degli esperimenti.

Conclusione e qualche esperienza personale

in primo luogo, anche per me, come scienziato, i risultati sono sbalorditivi, anche se sono abituato a un certo grado di irriproducibilità dei risultati. Ciò è particolarmente evidente nei lavori eseguiti dai cinesi e dagli indiani senza "audit" di terze parti sotto forma di professori americani / europei. È positivo che il problema sia stato riconosciuto e si sia pensato alla sua soluzione (s). Rimarrò con tatto in silenzio sulla scienza russa, in relazione al recente scandalo, anche se molti fanno onestamente il loro lavoro.

secondo, l'articolo ignora (o meglio, non considera) il ruolo delle metriche scientifiche e delle riviste scientifiche peer-reviewed nell'emergere e nello sviluppo del problema dell'irriproducibilità dei risultati della ricerca. Alla ricerca della velocità e della frequenza delle pubblicazioni (lettura, aumento degli indici di citazione), la qualità cala bruscamente e non c'è tempo per ulteriori verifiche dei risultati.

Come si suol dire, tutti i personaggi sono immaginari, ma basati su eventi reali. In qualche modo uno studente ha avuto la possibilità di rivedere un articolo, perché non tutti i professori hanno il tempo e l'energia per leggere attentamente gli articoli, quindi viene raccolta l'opinione di 2-3-4 studenti e medici, da cui si forma la recensione. È stata scritta una recensione, ha indicato l'irriproducibilità dei risultati secondo il metodo descritto nell'articolo. Questo è stato chiaramente dimostrato al professore. Ma per non rovinare i rapporti con i "colleghi" - dopotutto, riescono in tutto - la recensione è stata "corretta". E ci sono 2 o 3 di questi articoli pubblicati.

Si scopre un circolo vizioso. Lo scienziato invia l'articolo al direttore della rivista, dove indica " desiderato"E, soprattutto," indesiderato »Revisori, cioè, di fatto, lasciando solo coloro che sono positivamente disposti nei confronti del team di autori. Esaminano il lavoro, ma non possono "cagare nei commenti" e provare a scegliere il minore dei due mali: ecco un elenco di domande a cui è necessario rispondere, quindi pubblicheremo l'articolo.

Un altro esempio, di cui ha parlato l'editore di Nature appena un mese fa, sono i pannelli solari di Grazel. A causa dell'enorme interesse per questo argomento nella comunità scientifica (dopotutto, vogliono ancora un articolo su Nature!), Gli editori hanno dovuto creare un questionario speciale in cui devono indicare molti parametri, fornire calibrazioni delle apparecchiature, certificati, ecc. per confermare che il metodo per misurare l'efficienza dei pannelli è conforme ad alcuni principi e standard generali.

E, Terzo, quando ancora una volta si sente parlare di un vaccino miracoloso che conquista tutto e tutti, una nuova storia su Lavori in gonnella, batterie nuove o sui pericoli/benefici degli OGM o sulle radiazioni degli smartphone, specie se promossa da giallisti di giornalismo, quindi trattare con comprensione e non saltare alle conclusioni. Attendi la conferma dei risultati da parte di altri gruppi di scienziati, l'accumulo dell'array e dei campioni di dati.

PS:L'articolo è stato tradotto e scritto frettolosamente, su tutti gli errori e le imprecisioni rilevate, si prega di scrivere nella LAN.