Mittarin arviointi ja testaus sekä interventiotutkimuksista – luennot 18.1.17

Päivän aiheista oli kertomassa kolme luennoitsijaa, joista ensimmäinen (väitöstutkija Markus Karttunen) luennoi kyselylomakkeen arvioinnista ja testauksesta. Toisena luennoitsijana toimi tutkijatohtori Heidi Ruotsalainen ja kolmantena kurssin vastuuopettajana toimiva tutkijatohtori Hanna Tiirinki.

MITTARIN ARVIOINNISTA JA TESTAUKSESTA

Kyselylomakkeen testauksessa käytetään tutkijan itsensä kokoamaa asiantuntijapaneelia, johon tutkija pyrkii keräämään tutkimuksen kannalta sopivia asiantuntijoita. Asiantuntijoita on hyvä saada paneeliin niin, että he edustavat tutkimuksen eri näkökulmia: mukana on hyvä olla niin alan ammattilaisia, kl. asiantuntijoita, aihepiiriä tutkineita tutkijoita ja lisäksi tilastotieteen osaajia, jotka osaavat huomioida käytettyihin tilastotieteen menetelmiin liittyviä reunaehtoja ja muita tekijöitä. Paneelin kokoonpanon tutkija perustelee tutkimusraportissaan.

Asiantuntijapaneelia käytetään tutkimuksessa hyödynnettävän mittarin arviointiin ja testaukseen, koska tutkija yksin voi harvoin arvioida mittaria riittävän objektiivisesti ja monipuolisen asiantuntevasti, kuin joukko sopivia asiantuntijoita. Asiantuntijapaneelin käyttö liittyy hyvään tutkimuskäytäntöön ja estää mm. tutkimuksen sävyttymisen tutkijan omilla ennakkokäsityksillä. Tutkija yksin on voinut jättää epähuomiossa jotain huomaamatta, jotain ehkä puuttuu, jotain on ehkä liikaa. Lisäksi asiantuntijapaneeli auttaa tutkijaa maksimoimaan mittarin – tutkimuksen sisällön paikkansa pitävyyttä ja pätevyyttä.

Mittarin hyvyyttä tarkastellaan niin sanottujen luotettavuusindeksien (engl. CVI = content validy index) avulla. Kuinka ne lasketaan?

·        Yhdelle kysymykselle lasketaan ns. I-CVI = olennaiset väittämät jaettuna asiantuntijoiden määrällä

o   jos asiantuntijoita alle 5, tavoitteena indeksi 1

o   jos asiantuntijoita 5 tai enemmän, tavoitellaan indeksiä > 0.78

·        Koko mittarille käytetään mittaria S-CVI/Ave

o   S-CVI/Ave = I-CVI -arvojen summa jaettuna väittämien määrällä

o   tavoite > 0.90

·        S-CVI/UA = oleellisten väittämien määrä jaettuna kaikkien väittämien määrällä

à näistä raportoitava ainakin S-CVI/Ave (UA ei välttämätön)

INTERVENTIOTUTKIMUKSISTA

Toisena aiheena päivän luennoilla oli interventiotutkimukset. Tutkimustyyppi on yleinen ja itseäni henkilökohtaisesti kiinnostava, sillä olen suunnitellut rakentavani graduni interventioasetelmaan pohjaten. Interventiot ovat toimenpiteitä tai toimintaa, joiden tavoitteina on saada aikaan muutos kohderyhmän käyttäytymisessä. Terveystieteissä interventioilla pyritään usein edistämään ihmisten hyvinvointia ja terveyttä.

Intervention komponentteja ovat ennen interventiota tehtävä suunnitelma, joka käsittää intervention teoreettiseen taustaan paneutumisen ja mahdollisten taustassa olevien puutteiden täydentämisen erilaisin menetelmin. Intervention komponentteja ovat lisäksi toteutusvaihe ja kontekstiin liittyvien muuttujien vakiointi/raportointi. Samoin pohditaan, mitä interventiossa arvioidaan ja mihin halutaan muutos. Millä mittareilla muutos mitataan ja kuinka pitkään tilannetta seurataan. Loppuvaiheessa arvioidaan, mikä interventiossa toimi ja miksi samoin kuin tiedustellaan osallistujien (esim. ammattilaisten ja potilaiden kokemuksia toteutuksesta/tutkimuksesta.

Luennolla saimme samalla lisäoppia tutkimuksen perusteisiin liittyen: luennoitsija painotti tutkimuksen olevan hyödytöntä, mikäli siinä käytetään epäsopivia menetelmiä, kysytään huonoja tutkimuskysymyksiä tai jos tutkimusta ei onnistuta julkaisemaan oikea-aikaisesti tai ollenkaan. Samoin tutkimus ei hyödytä, mikäli siitä raportoidaan harhauttavasti tai väärin tai jos tutkimusta ei ole suunniteltu huolella, minkä takia ei tiedetä sen vaikutusmekanismeja.

Cochrane collaboration on laatinut ohjeistuksen harhan (engl. bias = systematic error from the truth in results vrt. random error) lähteiden arviointiin.

Harhan muodot:

·        valikoitumisharha (selection bias)

·        toteutusharha (performance bias)

·        mittauksiin/havainnointiin liittyvä harha (detection bias)

·        katoon liittyvä harha (attrition bias)

·        raportointiin liittyvä harha (reporting bias)

·        muut harhan lähteet (other sources of bias)