Av en slump, i en ström av nyheter och information, stötte jag på en artikel i Naturvetenskapliga rapporter. Den presenterar data från en undersökning av 1 500 forskare om reproducerbarheten av forskningsresultat. Om detta problem tidigare togs upp för biologisk och medicinsk forskning, där det å ena sidan kan förklaras (falska korrelationer, den allmänna komplexiteten hos de system som studeras, ibland till och med vetenskaplig mjukvara anklagas), å andra sidan har den en fenomenologisk karaktär (till exempel, möss tenderar att bete sig annorlunda med forskare olika kön (1 och 2)).
Men inte allt är smidigt med mer naturvetenskap, såsom fysik och teknik, kemi, ekologi. Det verkar som att just dessa discipliner är baserade på "absolut" reproducerbara experiment genomförda under de mest kontrollerade förhållandena, tyvärr fantastiska - i alla ordets ord - resultatet av undersökningen: upp till 70% av forskarna har stött på icke-reproducerbara experiment och resultat som inte bara erhållits av andra forskargrupper, MEN också av författarna / medförfattarna till publicerade vetenskapliga verk!
Berömmer varje sandpiper sin träsk?
Även om 52% av de tillfrågade pekar på en reproduktionskris inom vetenskapen, anser mindre än 31% att de publicerade uppgifterna är i grunden felaktiga och majoriteten indikerade att de fortfarande litar på det publicerade arbetet.
Fråga: Finns det en kris för reproducerbarhet av resultat?
Naturligtvis bör man inte hacka sig från axeln och slänga all vetenskap som sådan endast på grundval av denna undersökning: hälften av de svarande var fortfarande forskare som på ett eller annat sätt associerades med biologiska discipliner. Som författarna noterar, inom fysik och kemi är reproducerbarhetsnivån och förtroendet för de erhållna resultaten mycket högre (se diagram nedan), men fortfarande inte 100%. Men inom medicin är saker mycket dåliga jämfört med resten.
Kampanjvideo:
En anekdot kommer fram:
Marcus Munafo, en biologisk psykolog vid University of Bristol, England, har ett långvarigt intresse för reproducerbarheten av vetenskapliga data. Han påminner om sina studentdagar och säger:
Fråga: Hur många publicerade verk i din bransch är reproducerbara?
Djup i bredd- och longitudproblem
Föreställ dig att du är en forskare. Du stöter på en intressant artikel, men resultaten / experimenten kan inte reproduceras i laboratoriet. Det är logiskt att skriva om detta till författarna till den ursprungliga artikeln, fråga om råd och ställa klargörande frågor. Enligt undersökningen har mindre än 20% gjort det när som helst i sin vetenskapliga karriär!
Studiens författare konstaterar att sådana kontakter och samtal kanske är för svåra för forskarna själva, eftersom de avslöjar deras inkompetens och inkonsekvens i vissa frågor eller avslöjar för många detaljer om det aktuella projektet.
Dessutom försökte en absolut minoritet av forskare att publicera en motbevisning av irreproducerbara resultat, medan de mötte motstånd från redaktörer och granskare som krävde att nedjustera jämförelser med den ursprungliga studien. Är det konstigt att chansen att rapportera om de vetenskapliga resultaten inte är reproducerbar är cirka 50%.
Första frågan: Har du försökt reproducera resultaten från experimentet?
Andra frågan: Har du försökt publicera ditt försök att reproducera resultaten?
Kanske, då, i laboratoriet, åtminstone för att utföra ett reproducerbarhetstest? Det sorgligaste är att en tredjedel av de svarande aldrig har tänkt på att skapa metoder för att kontrollera data för reproducerbarhet. Endast 40% indikerade att de regelbundet använder sådana tekniker.
F: Har du någonsin utvecklat speciella tekniker / tekniska processer för att förbättra reproducerbarheten av resultat?
Ett annat exempel, en biokemist från Storbritannien, som inte ville avslöja sitt namn, säger att försök att upprepa, reproducera arbete för sitt laboratorieprojekt bara fördubblar tiden och materialkostnaderna, utan att ge eller lägga till något nytt i arbetet. Ytterligare kontroller utförs endast för innovativa projekt och ovanliga resultat.
Och naturligtvis de eviga ryska frågorna som började tortera utländska kollegor: vem är skylden och vad man ska göra?
Vem är skyldig?
Författarna till arbetet identifierade tre huvudproblem för reproducerbarhet av resultat:
- Press från överordnade för att få arbetet publicerat i tid
- Selektiv rapportering (tydligen betyder det undertryckandet av vissa data, som "förstör" hela bilden)
- Otillräcklig dataanalys (inklusive statistisk)
Fråga: Vilka faktorer är ansvariga för irreproducerbara vetenskapliga resultat?
Svar (från topp till botten): –Provrapportering –Bosstryck – Dålig analys / statistik –Otillräcklig repeterbarhet av experimentet i laboratoriet –Otillräcklig övervakning –Mangel på metodik eller kod – Dålig experimentell design - Brist på rå data från det primära laboratoriet –Fraud –Otillräcklig verifiering av experter / granskare –Problem med försök att reproducera –Teknisk expertis krävs för att reproducera –Variabilitet för standardreagens - "Neddachka och Pichalka"
Vad ska man göra?
Av de 1 500 undersökta talade mer än 1 000 specialister för att förbättra statistik för att samla in och bearbeta data, förbättra kvaliteten på cheferna hos chefer och en noggrannare planering av experiment.
F: Vilka faktorer hjälper till att förbättra reproducerbarheten?
Svar (från topp till botten): - Bättre förståelse för statistik - Strängare övervakning - Bättre experimentell design - Utbildning - Intern laboratorieöversikt - Förbättrad praktisk färdighet - Uppmuntra formell datakorskontroll - Interlaboratory review - Tilldela mer tid för projektledning - Öka vetenskapliga tidskriftsstandarder - Tilldela mer tid att arbeta med laboratoriejournaler
Slutsats och lite personlig erfarenhet
För det första, även för mig, som forskare, är resultaten häpnadsväckande, även om jag redan har vant sig vid en viss grad av återproducerbarhet av resultaten. Detta är särskilt tydligt i verk som utförts av kineser och indier utan tredje revisions "revision" i form av amerikanska / europeiska professorer. Det är bra att problemet känns igen och tänkte på dess lösningar. Jag kommer taktiskt att tystas om rysk vetenskap på grund av den senaste skandalen, även om många ärligt gör sitt jobb.
För det andra ignorerar artikeln (eller snarare inte) rollen som vetenskapliga mätvärden och peer-reviewade vetenskapliga tidskrifter i framväxten och utvecklingen av problemet med irreproducerbarhet av forskningsresultat. I strävan efter publikationernas hastighet och frekvens (läs, en ökning av citeringsindex) sjunker kvaliteten kraftigt och det finns ingen tid för ytterligare verifiering av resultaten.
Som de säger är alla karaktärer fiktiva, men baserade på verkliga händelser. På något sätt hade en student en chans att granska en artikel, eftersom inte alla professor har tid och energi att tänka läsa artiklarna, så 2-3-4 studenter och läkares åsikt samlas in, från vilken granskningen bildas. En granskning har skrivits, och det påpekade resultatens obearbetbarhet enligt metoden som beskrivs i artikeln. Detta visades tydligt för professorn. Men för att inte förstöra förhållandet med "kollegorna" - trots allt lyckas de med allt - korrigerades "recensionen". Och det finns två eller tre sådana artiklar publicerade.
Det visar sig vara en ond cirkel. Forskaren skickar artikeln till redaktören för tidskriften, där han indikerar den”önskade” och, viktigast av allt,”oönskade” granskare, det vill säga att de bara lämnar dem som är positivt inställda till författargruppen. De granskar arbetet, men de kan inte "skitta i kommentarerna" och försöka välja det mindre av två ont - det här är en lista med frågor som måste besvaras, och sedan publicerar vi artikeln.
Ett annat exempel, som redaktören för Nature talade om för bara en månad sedan, är Grazels solpaneler. På grund av det enorma intresset för detta ämne i det vetenskapliga samhället (trots allt vill de fortfarande ha en artikel i Nature!), Var redaktörerna tvungna att skapa ett speciellt frågeformulär där de måste ange många parametrar, tillhandahålla kalibreringar av utrustning, certifikat etc. för att bekräfta att metoden för att mäta effektiviteten paneler överensstämmer med några allmänna principer och standarder.
Och för det tredje, när du än en gång hör om ett mirakelvaccin som erövrar allt och alla, en ny historia om Jobb i en kjol, nya batterier eller farorna / fördelarna med GMO eller strålning av smartphones, särskilt om det främjades av gula författare från journalistik, var sedan förståelse och hoppa inte till slutsatser. Vänta på bekräftelse av resultaten från andra grupper av forskare, ackumulering av matrisen och dataprover.
