Blogit

Biologi Tiina Raevaara tutkailee tieteen maailmaa kaunokirjailijan aivoin.

Tutkimustulos on vaikea ja kallis toistettava

Blogit Tarinoita tieteestä 8.1.2014 15:15
Tiina Raevaara
Kirjoittaja on filosofian tohtori ja kirjailija.

Kun työskentelin vielä tutkijana, olin liimannut laboratoriopäiväkirjani kanteen pilakuvan. Kuvassa hullun tiedemiehen oloinen hahmo huudahtaa alakuloiselle apulaiselleen: “Tietenkään et voi toistaa kokeitani! Siinähän niiden kauneus juuri piilee!”

Pilakuva tuntui osuvalta, koska molekyylibiologiseen tutkimukseen liittyi paljon työvaiheita, joissa mikä tahansa saattoi mennä pieleen tai olla syystä tai toisesta toimimatta. Soluviljelmät eivät suostuneet kasvamaan tai saivat jostain bakteerin kiusakseen, aiemmin hyvin toiminut proteiinintuottomenetelmä ei suostunutkaan toimimaan, pakastin suli sähkökatkon takia ja proteiininäytteet tuhoutuivat, uusi erä reagenssia ei toiminut niin hyvin kuin edellinen ja työvaihe piti toistaa useasti. Syytä epäonnistumiseen ei aina löytynyt.

Kokeiden ja tulosten toistettavuus on tärkeä osa varsinkin luonnontieteellistä tutkimusta. Yksittäinen hullun tiedemiehen kerran saama tulos ei voi riittää. Tutkimus ei saa kertoa sattumasta vaan säännönmukaisuuksista.

Syöpätutkimusta tekevä Mina Bissell kirjoitti äskettäin Naturessa omista toistettavuuskokemuksistaan. Nuoremmat tutkijat saattavat tulla hänen luokseen hämillään ja hiljaisina, pyytävät saada puhua “kahden kesken”, ja paljastavat sitten kuin suurena salaisuutena, etteivät saaneet Bissellin aiempia tutkimuksia toistettua.

Bissell itse ei ole asiasta huolestunut. Hänen laboratoriossaan tehdään monimutkaisia soluviljelykokeita, ja kun epäonnistuneiden kokeiden olosuhteita tarkastellaan ja tarkistetaan, vähitellen, ajan kanssa ongelmat saadaan ratkaistua ja tulokset toistettua.

Kuinka paljon toistettavuuteen pitää kiinnittää huomiota? Kuinka perinpohjaisesti tutkijoiden pitää todistaa, että tulokset on mahdollista toistaa?

Tieteen järjestöt ja julkaisut ovat parina viime vuotena nostaneet toistettavuuden keskusteluun.

Esimerkiksi vuonna 2012 Amgen-lääkefirman tutkijat yrittivät toistaa kaikkiaan 53 tärkeän syöpätutkimuksen tulokset. Toisto epäonnistui 89 prosentissa tutkimuksista. Samanlaisia testejä vastaavin prosentein on tehty muitakin.

Jotkut tieteen rahoittajat, kuten Yhdysvaltain NIH eli National Institutes of Health, ovat kokeneet, että toistettavuuden ongelmat syövät niiden mainetta. Siksi NIH harkitsee toimenpiteitä, joilla sen rahoittamat tietyntyyppistä tutkimusta tekevät tutkimusryhmät velvoitettaisiin todistamaan tutkimusten toistettavuus. Samanlaisia suunnitelmia on ollut myös joillain tiedelehdillä.

Pienimmällään vaatimukset tarkoittaisivat käytettyjen metodien entistä tarkempaa selvitystä. Suurimmillaan tutkimuksen tekijän pitäisi tarkistuttaa tulosten toistettavuus riippumattomalla laboratoriolla ennen tulosten julkaisua.

Asia on varsin kaksipiippuinen. Toistettavuus on kokeellisen tutkimuksen elinehto. Toistamisella ehkäistään ja paljastetaan huonoa tutkimusta ja suoranaisia huijauksia. Mutta kuka maksaa? Kuinka suuri osa tutkimusresursseista – rahasta, ajasta ja tutkijoista – kannattaa uhrata jo tehtyjen tulosten toistamiseen?

Tulosten toistamiseen nimittäin saa kulumaan varsin paljon resursseja. Koejärjestelyjen pystyttämiseen saattaa kulua vuosia: ne iänikuiset solut eivät rupea kasvamaan tuosta vain vaikka tutkija kuinka seuraisi ohjeita, halutut proteiinit eivät eristy samanlaisin rutiinein kuin kaikki aiemmat. Alkuperäisten tulosten saamiseen on käytetty vuosia, eikä niitä toisteta viikoissa.

Silti huono toistettavuus on ehdotttomasti ongelma, jolle täytyy tehdä jotain.

Itse kannatan hieman pehmeämpiä lähestysmistapoja kuin radikaalia kaikkien tulosten toistamista muissa laboratorioissa.

Ensinnäkin tutkijoiden täytyy kertoa käytetyistä menetelmistä aiempaa avoimemmin. Nettijulkaiseminen antaa mahdollisuuden julkaista vaikka kuinka pitkät pätkät työselostuksia ja metodien kuvailuja. Tässä on edistytty nyt jo paljon. Paperilehtien valtakaudella menetelmäkuvaukset puristettiin aina mahdollisimman pieneen tilaan. Myös väitöskirjojen tapaan kertoa menetelmistä pitää kiinnittää huomiota.

Toistosta pitää palkita. Bissell ehdottaa, että tiedelehdet voisivat perustaa omia osioita tutkimusten toistamiselle. Kun tiedemaailmassa palkitaan ennen kaikkea uusista tuloksista, pitää luoda varta vasten näkyvyyttä ja arvoa sillekin, että joku panostaa tulosten toistamiseen tai toisaalta omien tulosten toistettavuuteen.

Järkevämpää kuin koeasetelmien pystyttäminen täysin tyhjästä uuteen laboratorioon olisi tulosten toistaminen alkuperäisessä laboratoriossa. Ulkopuolinen toistaja voisi siis hyödyntää valmiita, toiminnassa olevia järjestelmiä. Myös erilaiset pistokokeet voisivat olla kannattavampia kuin systemaattinen kaiken tekeminen uudestaan.

Keinoja toistettavuuden parantamiseksi löytyy kyllä, kunhan asiasta puhutaan. Toivottavasti toistettavuus on myös suomalaisen tiedekeskustelun aihe.