Kirjallisten töiden vertaisarviointi

Kirjallisista töistä vertaispalautteen antaminen muille kurssin opiskelijoille ja vastaavasti vertaispalautteen saaminen.

Soveltuu suuremmallekin opiskelijaryhmälle esimerkiksi seminaarin yhteydessä, muttei välttämättä massaluennolle.

Vertaispalautetta voi antaa niin suullisesti tapaamisissa kuten seminaareissa kuin verkkopalveluissa kuten Wetossa tai Moodlessa. Verkkopalvelun kautta tapahtuvan vertaisarvioinnin hyötynä on se, että arvioija ehtii pohtimaan palautettaan kunnolla ja mahdollisesti muokkaamaan sitä uudelleen ennen sen näkymistä palautteen vastaanottajalle. Suullisessa palautteessa on se hyvä puoli, että palaute saadaan suoraan tilanteessa ja silloin siihen voi mahdollisesti vastata heti.

Opetushallitus kirjoittaa vertaisarvioinnin hyödyistä seuraavasti: ”Vertaisarvioinnin avulla saadaan esiin vahvuuksia, parantamisalueita ja hyviä käytäntöjä. Se voi käynnistää työpaikalla tapahtuvan oppimisen parantamisen ja myös auttaa tunnistamaan työpaikalla tapahtuvan oppimisen hyviä käytäntöjä.”

Hyviä käytäntöjä:

"Opiskelijat ovat mm. sanoneet, että toisen tekemiä virheitä on helpompi havaita kuin omia, ja virheitä korjatessa niistä oppii itsekin. Toisen teksteistä voi myös saada vinkkejä omaan kirjoittamiseen. —- Myös positiivisen palautteen antaminen/saaminen on tärkeää, sillä se vahvistaa opiskelijan tietoisuutta omasta osaamisesta."

Arviointikriteerit on syytä miettiä tarkasti, jopa keskustellen opiskelijoiden kanssa. Kriteerit eri arvosanoille on hyvä antaa jo ennen harjoituksen palauttamista.

Kurssin arvosana (1-5) voi perustua osittain tai kokonaan vertaisarviointeihin. Yksittäisen tehtävän kohdalla voi käyttää karkeaa asteikkoa, esim hylätty/hyväksytty/kiitettävä. Kun monta tehtävää yhdistetään näistä voi johtaa arvosanan 1-5.

Kun yksittäistä tehtävää arvioi monta vertaista, arvosanojen hajonta arvioijien välillä paljastaa ongelmatapaukset.

Arvosanan laskemiseen voi käyttää yhden tehtävän osalta konservatiivista keskilukua (mediaani) arvostelijoiden välillä. Loppuarvosana on yksittäisten tehtävien (painotettu) keskiarvo.

Sudenkuopat:

Suullisesti annettaessa palautetta vertaispalaute voi jäädä pintapuoliseksi ellei arvioitavaa materiaalia ole nähnyt jo etukäteen ja perehtynyt siihen kunnolla. Tilanteessa voi myös unohtaa sanoa jotakin olennaista.

Jos vertaisarviointi tehdään verkkopalvelussa sen saaja saattaa unohtaa käydä lukemassa saamansa palautteen. Verkossa tehty arviointi saatetaan myös tehdä huolimattomammin kuin suullisesti annettava palaute, sillä tekijä voi haluta vain päästä eroon tehtävästä tai olettaa ettei palautteen saajaa kiinnosta hänen saamansa vertaisarviointi.

Palautteeseen ei välttämättä kehtaa kirjoittaa kaikkia korjaamisehdotuksia tai arvioidun työn huonoja puolia.

Opiskelijat tulkitsevat usein kriteereitä kirjaimellisesti. Jos arviointikriteerit antaa vasta tehtävän palautuksen jälkeen, kriteereihin voi jäädä yllätyksiä, jotka johtavat tarpeettomiin hylkäyksiin.

Opiskelijan henkilökohtaisia kokemuksia:

Muutamalla kurssilla jossa vertaisarviointia on käytetty, on vertaisarvoinnin pisteytykseen annettu tarkat ohjeistukset. Tämä on tietty hyvä asia siinä mielessä, että ilman mitään ohjenuoraa voisi olla vaikea arvioida toisen työtä. Mutta haittapuolena tässä on se, että tuntuu että ei itse tuo mitään lisäarvoa tähän vertaisarviointiprosessiin: jos se on tarkasti säännelty millaisesta vastauksesta saa minkäkin määrän pisteitä, opiskelijan työksi ei jää muuta kuin vertailla työtä taulukkoon ja antaa sen määrittämä pistemäärä. Toisinsanoen tällöin opiskelijasta voi tuntua että hän ei tee muuta kuin opettajan töitä opettajan puolesta.

Toisaalta, silloin kun vertaisarvioinnin ohjeistus on hyvin epätäsmällistä ja subjektiivista, vertaisarvioijan voi olla vaikea päättää arvosanaa.
Esimerkkejä epäselvistä vertaisarvioinnin pisteytysohjenuorista:
”jos opiskelijan pohdinta on erittäin onnistunutta…”
”…jos oman oppimisen reflektointi on johdonmukaista ja uskottavaa”
”Esityksen aihepiiristä tehdyt huomiot ovat oivaltavia….”

Pelijournalismikurssilla käytetty vertaisarviointisysteemi on paras johon olen toistaiseksi törmännyt:
- Opiskelija lähettää arvosteluluonnoksen vertaisarvioitavaksi
- Vertaisarvioija saa vertaisarviointipyynnön, vastaa siihen jos on kykeneväinen
- Vertaisarvioinnissa on käytössä kaksi mittakaavaa: Vertaisarvioijan arvio työstä ja vertaisarvioijan arvio omasta pätevyydestään
- Työarvion skaala on väliltä 3 (”strong accept”) ja -3 (”strong reject”). Oman pätevyydeen voi arvioida skaalalla 5 (ekspertti) – 0 (en tiedä asiasta mitään), minkä lisäksi tähän tekstikenttään voi kirjoittaa selvennyksiä, esim ”olen pelannut arvosteltavan pelin läpi kolme kertaa” tai ”en tiedä tätä kyseistä peliä, mutta olen pelannut sen genren pelejä paljon”)
- Vertaisarviointiin tulee numeroarvosanan lisäksi kirjoittaa vapaamuotoinen arvio. Vapaamuotoinen arvio tulisi kirjoittaa ”voileipämetodia” käyttämällä, eli aloittaa positiivista puolista, sitten antaa kritiikkiä ja parannusehdotuksia, sen jälkeen lopettaa positiiviseen loppukaneettiin. Sen lisäksi suositellaan teksti muotoiltavan niin että kun jotain kritsioidaan, niin kritiikki on suunnistettu itse tekstiä eikä sen kirjoittajaa kohtaan. Arvion täytyy olla lyhyempi kuin itse teksti jota arvioidaan. Sen lisäksi
- Lopulta vertaisarvosteltavaksi lähettäneen paperin lähettänyt opiskelija saa 2-3 anonyymiä vertaisarviota, jonka pohjalta hän voi tehdä muutoksia tekstiinsä ja lähettää loppullisen version julkaistavaksi.

Tieteellisen kirjoittamisen kurssilla kirjallisten töiden vertaisarvioinnista oli selkeästi apua työskentelyn tukemisessa. Kurssilla suoritettavista kirjallisista töistä piti ensin tehdä vain jonkinlainen versio, joka sai olla vielä ihan raakile. Sen jälkeen tätä versiota alettiin vertaispalautteen pohjalta muokkaamaan. Meidät oli jaettu aihepiirien perusteella ryhmiin, joiden sisällä jokainen ryhmäläinen sai arvioitavakseen kaksi muiden ryhmäläisten tekemää työtä. Nämä työt arvosteltiin Moodle-alustalla, josta töiden tekijät saivat arviot luettavakseen. Ryhmäraati löysi töistä yleensä aina jotain korjattavaa, jota tekijä ei välttämättä ollut tullut ajatelleeksikaan. Mielestäni arvosteleminen ja korjausehdotusten tekeminen oli mukavaa, koska olen aina pitänyt kielellisten ilmaisujen pyörittelemisestä. Itse teinkin hyvin suoria korjausehdotuksia, joihin poimin virheelliset tai epäselvyyttä aiheuttavat kohdat ja esitin omat parhaat ratkaisuni kohtien korjaamiseksi.
Tässä kohtaa huomasin myös tietynlaisen, vertaispalautteeseen perustuvassa menetelmässä olevan sudenkuopan: ryhmäläiset eivät kuitenkaan halunneet tai kehdanneet käyttää minun laatimiani ratkaisuja, vaikka olin tarkoittanut ne vapaasti käytettäviksi. Sen sijaan he keksivät omia, usein mielestäni heikommin onnistuneita ratkaisuja korjausta kaivanneisiin kohtiin tai jopa jättivät korjaukset kokonaan tekemättä. Olisiko meitä siis pitänyt ohjeistaa olemaan antamatta valmiita ratkaisuja korjausta vaativiin kohtiin? Toisen opiskelijan esittämä, huolellisesti laadittu ja viimeistelty ratkaisu saattoikin ehkä haitata tekstin korjaamista, jos korjausehdotuksen vastaanottanut opiskelija koki, että hänen pitäisi keksiä vähintään yhtä hyvä tai parempi ratkaisu, joka ei kuitenkaan saisi olla liian samanlainen kuin annettu korjausehdotus. On vaikea sanoa, olisivatko tekstien korjaukset onnistuneet muilta ryhmäläisiltä paremmin, jos tekemäni korjausehdotukset eivät olisi olleet niin tarkkarajaisia. Toisaalta minun oli ehkä helpointa osoittaa teksteissä olevat virheelliset kohdat juurikin näyttämällä omat ratkaisuni tekstien korjaamiseksi. En ole varma, olisinko muulla tavoin saanut osoitettua kaikkia korjausta vaativia kohtia teksteistä siten, että ne olisivat olleet ymmärrettävissä kaikille. Mukana oli kuitenkin kielellisesti hyvin eritasoisia opiskelijoita.
Tuosta mahdollisesta sudenkuopasta huolimatta koin tämän vertaispalautetta hyödyntävän työskentelytavan erittäin positiiviseksi kurssilla. Oli rentouttavaa, ettei tarvinnut kyetä heti tekemään viimeisteltyä työtä, vaan työtä sai tehdä pienemmissä erissä ja työn korjaustarpeesta sai toisilta opiskelijoilta erilaisia näkemyksiä. Lopulliset päätökset töiden korjaamisesta jäivät kuitenkin aina työn tekijälle. Itsekin tein joitain muutoksia omiin töihini vertaispalautteen perusteella.
Vertaispalautekierrokset olivat myös siinä mielessä avartavia, että niiden perusteella pääsi näkemään muiden opiskelijoiden osaamistasoa. Olin hämmentynyt siitä, miten huonosti suomenkielinen kirjoittaminen sujui yliopisto-opiskeijoilta. Huomasinkin oman osaamiseni olevan itse asiassa melko vahvaa, vaikka olin pitänyt itseäni lähinnä keskinkertaisena ja joissakin kielioppiasioissa jopa huonona. Näin ollen voidaan todeta, että vertaisarviointi voi antaa myös perspektiiviä opiskelijan oman osaamisen hahmottamiseen suhteessa muiden opiskelijoiden osaamiseen. Tällaista käsitystä ei välttämättä synny, ellei toisten töitä pääse näkemään. Vertaisarviointi toimiikin siinä mielessä hyvin, että siinä on pakko käydä toisten töitä huolella läpi. Itselleni vertaisarviointi aiheutti uteliaisuuden käydä lueskelemassa myös muissa ryhmissä olleiden töitä, mikä varmaan oli myöskin ihan hyvä asia.

Haittapuolet:
Vertaisarvioinnin haittapuolena on se, että kiireinen opiskelija voi tehdä vertaisarvioinnin huolimattomasti lukematta koko tekstiä.

Kirjallisuustieteen kursseilla on ollut välillä luentojen ohella pienryhmiä, joissa tarkoituksena on ollut vertaisarviointi muiden kurssilaisten kirjoittamista esseistä sekä oman esseen kirjoittaminen ja sen muokkaaminen vertaispalautteen pohjalta. Kursseilla joille olen osallistunut jokaisen esseen on opponoinut kaksi opiskelijaa ja lisäksi kurssin opettaja on antanut oman palautteensa. Jokaisella luentokerralla on oma aiheensa, esimerkiksi teos jonka koko ryhmä on luennolle lukenut. Esseen aiheesta kirjoittaneet opiskelijat vuorollaan esittelevät esseensä ja saavat opponoijilta sekä opettajalta palautteen. Opponoijat valmistelevat lisäksi lyhyen yhteenvedon paperille, jonka opponoitava saa. Opponoinnista on tarkoituksena syntyä keskustelua ja kokemuksestani näin on käynytkin. Kurssin lopuksi palautetaan lopullinen, palautteen avulla muokattu essee. Itselleni tällaisesta kurssimuodosta on ollut paljon hyötyä ja olen päässyt syventymään erilaisiin näkökulmiin aiheista. Lisäksi esseestä on kehittynyt parempi opponointien avulla kuin se olisi ollut ilman minkäänlaista välipalautetta ennen lopullisen työn palauttamista. Monilla kursseilla tällaista mahdollisuutta oman työn reflektoimiseen muiden ehdotuksia kuulemalla ei ole. Lisäksi opiskelijat saavat kokemusta muiden töiden lukemisesta ja kommentoimisesta. Haittapuolena sanoisin sen, miten paljon opponoijien mielipiteet voivat keskeneräistä työtä muokata pois kirjoittajan omasta ajatuksesta. Toisaalta monen opponoijan, useiden mielipiteiden ja koko ryhmän mahdollisuus kommentoida työtä ja siitä virinnyttä keskustelua hälventää tätä ongelmaa tehokkaasti.

+

Hyödyllisiä linkkejä

Opetushallituksen tietoa ja kuvio vertaisarvioinnista:
http://www.oph.fi/saadokset_ja_ohjeet/laadunhallinnan_tuki/wbl-toi/menetelmia_ja_tyovalineita/vertaisarviointi
Opiskelijan mainitseman Tietotekniikkataidot - kurssin kyseisellä kurssilla yleispätevät vertaisarviointiohjeistukset:
http://www.uta.fi/sis/tie/t3/2016-kevat/ohjeet/vertaisarviointiohjeet.html
http://www.uta.fi/sis/tie/t3/2016-kevat/ohjeet/vertaisarviointi.html

Ellei toisin mainittu, tämän sivun sisällön lisenssi on Creative Commons Attribution-ShareAlike 3.0 License