Vastine Marika Toivolan avoimeen kirjeeseen, jonka hän on osoittanut Opetushallituksen arviointityöryhmälle

Arviointitutkijoina ja Opetushallituksen kutsumina arvioinnin asiantuntijaryhmän jäseninä haluamme vastata kahteen Marika Toivolan avoimessa kirjeessä esitettyyn kohtaan, jotka vaativat oikaisua: Ensimmäinen niistä liittyy arvioinnin erilaisiin tehtäviin, jotka sillä on myös suomalaisessa koulutusjärjestelmässä. Toinen liittyy kansainvälisiin arviointeihin, kuten PISA:an, TIMMSiin ja ICILSiin, joihin myös Suomi osallistuu.

Arvioinnilla on opettajan ja oppilaan näkökulmista monenlaisia erilaisia tehtäviä. Jo 1960-luvulla arviointitutkimuksessa todettiin kaksi perustehtävää: oppimista edistävä, kannustava ja korjaava formatiivinen arviointi (assessment for learning, assessment as learning) ja toisaalta osaamisen tason toteava summatiivinen arviointi (assessment of learning). Näitä kahta tehtävää on käytännössä vaikea erottaa toisistaan. Kannustavaa, oppimisprosessia ohjaavaa palautetta ei ole mahdollista antaa ilman, että opettaja tai oppilas ovat tietoisia siitä, missä määrin asetetut tavoitteet on saavutettu. Arviointi on aina kontekstisidonnaista, ja siksi on vahingollista, jos joku arvioinnin tehtävistä painottuu tai jos opettajalle ei ole selvää, miksi hän kulloinkin arvioi.

Formatiivinen, opiskelun aikainen arviointi on yleensä opettajan ja oppilaan välistä vuorovaikutusta, jossa oppilas ja opettaja pohtivat muun muassa opiskelua, sen edistymistä ja keinoja asetettujen tavoitteiden saavuttamiseksi. Myös osaamista on mahdollista arvioida monin tavoin: sanallisesti, pistein, kirjaamin, numeroin ja prosentein. Olennaista on kuitenkin se, että oppilaalle muodostuu realistinen käsitys omasta osaamisestaan sekä siitä, miten hänen tulisi toimia, jotta hän edistyisi entistä paremmin tavoitteiden suunnassa

Kuten kaikissa koulutusjärjestelmissä, myös Suomessa, arvosanojen yhteiskunnallinen tehtävä on kertoa, missä määrin tietyn opintojakson tms. tavoitteet on saavutettu. Erityisesti päättöarvosanoilla on keskeinen merkitys jokaiselle perusopetuksen päättävälle nuorelle. Jotta oppilailla on yhdenvertainen mahdollisuus hakeutua toisen asteen opintoihin, eivät osaamisen tasoa perusopetuksen päättövaiheessa kuvaavat arvosanat voi perustua opettajan mielikuviin tai käsityksiin vaan selkeisiin, yhteisesti sovittuihin kriteereihin. Siksi Perusopetuksen opetussuunnitelman perusteiden arviointiluvun on oltava mahdollisimman yksiselitteisesti ymmärrettävissä ja noudatettavissa.

Kaikkiin kansainvälisiin arviointeihin (mm. PISA ja TIMSS) laaditaan aina arvioinnin viitekehys. Kehyksen laativat kansainvälisesti korkeatasoiset tieteentekijät. Ryhmät koostuvat johtavista tutkimusten painopistealueiden oppimisen ja oppimistulosten arvioinnin asiantuntijoista. Heitä ovat esim. lukutaitotutkijat, matematiikan ja luonnontieteiden didaktiikan ammattilaiset sekä aineistojen analysointien metodiasiantuntijat. Heidän vastuullaan on tuottaa arvioinneissa käytettävät tehtävät ja kyselylomakkeet.

Tehtävien toimivuutta arvioidaan tarkastelemalla muun muassa niiden vaikeustasoa, erottelukykyä ja vastaavuutta maan opetussuunnitelmaan. Viitekehyksen laadinnan eri vaiheissa tutkimukseen osallistuvat maat voivat kommentoida ja arvioida luonnoksia. Tällä pyritään takaamaan arvioinnin kulttuurinen edustavuus ja tasapuolisuus.

Tutkimukseen laadittuja tehtäviä esitestataan useita kertoja eri vaiheissa ja lopulliseen arviointiin valitaan vain pieni osa esitetyistä tehtävistä. Näin saadaan aikaan arviointikoe, joka kattaa mitattavan alueen mahdollisimman laaja-alaisesti ja on kulttuurisesti mahdollisimman tasapuolinen osallistujamaiden kesken. Lisäksi tehtävillä tulee olla kyllin hyvä erottelukyky, ja niiden vaikeustason tulee vaihdella riittävästi.

Laajat kansainväliset arviointitutkimukset etenevät edellä kuvatulla tavalla lähtien otannan ja kokeen suunnittelusta ja tehtävien laadinnasta numeeristen tietokantojen rakentamiseen, osioanalyyseihin ja tulosjakaumien laskentaan. Aihepiiristä on olemassa useampiakin ulkomaisia menetelmäkäsikirjoja, joiden tyypillinen laajuus on 500–600 sivua. Suomenkielellä PISA-tutkimuksen metodologia on kuvattu vapaasti verkossa saatavilla olevassa teoksessa Rautopuro & Juuti (toim.) ’PISA pintaa syvemmältä’.

Kansainvälisissä vertailevissa tutkimuksissa arvioidaan oppilaiden osaamista laajalla, kansainvälisen sisältöasiantuntijaryhmän valitsemalla tehtäväkokoelmalla, jolla pyritään kartoittamaan kansallinen osaamistaso mahdollisimman monipuolisesti. Tehtävien aihepiirit ja vaikeustasot vaihtelevat, ja erityisesti oppilaan saamien tehtävien vaikeusaste otetaan huomioon hänen lopullista tulostaan laskettaessa.

Kansainvälisten tutkimusten tavoitteena on määrittää muun muassa oppilaiden lukutaidon, matematiikan, luonnontieteiden ja vaihtuvien aihealueiden osaamisen kansallinen jakauma eri maissa. Kiinnostuksen kohteina ovat oppimistulosten keskimääräinen taso ja vaihtelu sekä eritasoisten osaajien määrät sekä koko oppilaspopulaatiossa, että sen tärkeimmissä (oppilasmäärältään riittävän suurissa) osajoukoissa. Tällaisia osajoukkoja ovat esimerkiksi eri sukupuolet, kieliryhmät tai maan eri alueet.

On olennaista huomata, että arviointien aineistosta laskettavat tulokset ovat arvioituja todennäköisyysjakaumia, eivät yksittäisiä lukuarvoja sinänsä. Saaduista todennäköisyysjakaumista voidaan kuitenkin tuottaa yksittäisiä ”PISA-tulosta” kuvaavia tunnuslukuja, tärkeimpänä kansallisen osaamisjakauman keskiarvo, jota usein kutsutaan maan PISA-pistemääräksi.

Yksittäisten oppilaiden osaamista arvioivien jakaumien laskennassa käytetään psykometrian alaan kuuluvaa ns. IRT-metodologiaa (item-response theory, suom. osioanalyysi). Sen avulla oppilaiden tulokset voidaan skaalata yhteismitalliselle asteikolle, sekä kansallisesti että kansainvälisesti, vaikka oppilaat eivät olisi tehneet kokeessa täsmälleen samoja tehtäviä. Menetelmä perustuu olennaiselta osin informaatioon niiden tehtävien vaikeustasosta: vaikeista tehtävistä suoriutuminen johtaa korkeampaan osaamisarvioon kuin helpoista tehtävistä suoriutuminen.

PISA-aineisto, kuten muutkin kansainväliset täyttävät kaikki tieteellisesti kerätyn aineistonvaatimukset. Ne eivät perustu yksittäisten ihmisten mielipiteisiin, kuten ei muukaan tutkimusperusteinen asiantuntijatyö. Tieteellinen tiedonhankinta on myös olennainen osa Perusopetuksen opetussuunnitelmaperusteiden arviointiluvun muutoksia ja täsmennyksiä ja päättöarvioinnin kriteereitä tehtäessä.

Lopuksi toteamme vielä, että arviointiluvussa ei romuteta oppimista edistävää arviointia, vaan korostetaan arvioinnin formatiivisen ja summatiivisen arvioinnin toisiaan tukevia rooleja. Uudistettu arviointiluku ei myöskään edellytä opettajien laativan lisää numeroin arvioitavia kokeita. Yhä edelleen opettajat valitsevat itse tarkoituksenmukaisimmat menetelmät, joita he kulloinkin käyttävät arviointityössään.

Kirjoittajat