Muistio 20.1.2003
YHTENÄISTEN ITÄ-SUOMALAISTEN ARVIOINTIJÄRJESTELMIEN KEHITTÄMISKOKOUS
Aika: 20.1.2003 klo 9:00 – 15:00
Paikka: Itä-Suomen lääninhallituksen auditorio, Joensuu
Läsnä:
Pekka Antikainen Etelä-Savon koulutuksen kuntayhtymä
Paula Hiltunen Itä-Suomen lääninhallitus
Timo Huurinainen Kaprakan ammatillinen koulutuskeskus
Raimo Kalevi Itä-Suomen lääninhallitus
Markku Kauhanen Varkauden ammatti-instituutti
Markku Korhonen Etelä-Savon koulutuksen kuntayhtymä
Arto Laaninen Pohjois-Karjalan koulutuskuntayhtymä
Kari Lappalainen Ylä-Savon ammattiopisto
Markku Moilanen Varkauden ammatti-instituutti
Helena Moisio Pohjois-Karjalan koulutuskuntayhtymä
Voitto Povelainen Keski-Savon oppimiskeskus
Ulla Puljula Savonlinnan ammattiopisto
Harri Pölönen Pohjois-Karjalan koulutuskuntayhtymä
Tiina Turkia Etelä-Savon koulutuksen kuntayhtymä
Veli-Ville Varneslahti Mikkelin ammattiopisto
Tilaisuuden avaus
Harri Pölönen avasi kokouksen. Osittain hänen tilallaan toimii Iskut-asioissa keväällä 2003 Helena Moisio.
Mitä saatiin aikaan vuoden 2002 lopulla
19.9. pidettiin kaikille avoin seminaari Koulutuksen järjestäjiltä vaadittava arviointijärjestelmä. Sen jälkeen on pidetty kussakin maakunnassa oppilaitosten sisäisiä arviointiin ja palautekyselyjen tulkintaan perehdyttämistilaisuuksia. Koulutuksen järjestäjille on järjestetty paikka, johon pistää internet-palautekyselynsä. Joensuussa on nyt samanlainen palvelinvarustus kuin Kuopiossa. Palautekyselytyöryhmälle on perustettu kehittämisfoorumi http://eduksi.pkky.fi/iskut/arkisto/resurssit/demo.htm kysymysrunkojen muokkaamiseen, tulosten katseluun (läänitason vertailuaineistot) ja toisilta oppimiseen (taustatietojen koodaus ym. kyselyjen räätälöinti, raporttimallit, kalvopohjat). Pieksämäen kokouksen jälkeen eri seutukuntien koulutuksen järjestäjät ovat erikoistuneet eri lomakkeistojen muokkaamiseen ja testaamiseen: Mikkeli työssäoppimiskyselyt, Savonlinna päättökysely (+vanhan lomakkeen faktorianalyysit), Joensuu tulokysely, Kuopio periodikysely. Kuopiossa on lisäksi testattu tulosten reaaliaikaiseen katseluun soveltuvaa systeemiä, Savonlinnassa kehitelty avointen kysymysten laadullista analysointia. Pohjois-Karjalan koulutuskuntayhtymässä käytettiin samaa henkilöstön työolobarometria kuin Pohjois-Savon koulutuskuntayhtymässä.
Edellytykset toimivalle palautejärjestelmälle
Harri Pölönen esitteli maakunnalliselle ammatillisen koulutuksen järjestäjälle suunniteltua arviointijärjestelmää. Kyseisessä organisaatiossa toimintaa ja tehokkuutta kehitetään itsearviointi ja tuloksellisuus –viitekehyksen (EFQM) ja strategia- ja tuloksellisuusmittariston (BSC) avulla. Hyvässä arviointijärjestelmässä asetetaan toiminnalle tavoitteita, ja tavoitteiden saavuttamista mitataan. Arviointityö on kokonaisvaltaista, pitkäjänteistä (vertailutietoa ei vuosilta) ja vertailtavaa myös muiden samalla alalla toimivien kesken. Aihetta koskeva moniste jaettiin läsnäolleille.
Palautekyselyt ovat osa koulutuksen järjestäjän toiminnan arviointia. Hyvä kysely on kattava, joustava ja helppohoitoinen. Kyselyn ylläpitämisestä koituva työmäärä tai hinta (laatukustannukset) ei saa olla suurempi kuin laatutyöstä saatava hyöty.
Mitä on opittu
Kevään yhteisen päättökyselyn ja parhaillaan PKKY:ssä testikäytössä olevan tulokyselyn yhteydessä selvisi, että ryhmätunnuksen käyttö tekee ainakin suuressa koulutusorganisaatiossa opiskelijakyselyt työlääksi ja joustamattomaksi. Usein toistuvissa kyselyissä (periodikysely) jatkuva ryhmätunnusten selvittäminen ja vaihtaminen työllistää liikaa sekä tietohallintoa että yksiköitä. Kaikkia ryhmätunnuksia ei muisteta ilmoittaa, ja niiden jälkikäteen lisääminen vie kaksi tuntia, jonka aikaa kysely on kiinni. Jälkeenpäin lisätyt ryhmätunnukset pitää lisätä valikon loppuun eikä aakkosjärjestykseen, jotta koodaus jo vastanneiden osalta ei mene sekaisin. Jatkuvasti löytyy uusia ryhmiä, joiden pitäisi päästä vastaamaan: roikkujat, etuajassa valmistuvat, maahanmuuttajat, aikuiskoulutettavat, lyhytkurssilaiset… Kattavan ryhmätunnusluettelon tekeminen etukäteen on käytännössä mahdotonta. Listasta tulee kohtuuttoman pitkä, ja virheklikkausten määrä samannäköisistä ryhmätunnuksista kasvaa. Kun aloittaneita opiskelijaryhmässä on tyypillisesti 16 ja joka vuosi näistä keskimäärin kaksi keskeyttää ja vastauspäivänä aina joku on työharjoittelussa tai muuten poissa koulusta, vastaajien määrä per ryhmä jää käytännössä aina alle kymmenen. Tämän kokoisella aineistolla ei enää voida harjoittaa juuri minkäänlaista tilastotiedettä kuten työhönsijoittumisprosenttien laskemista. Eikä näin pienten vastaajaryhmien tarkastelu ole enää yksityisyyden suojan takiakaan hyväksyttävää. Ryhmätunnustietojen keräämisessä nähtiin siis suuri vaiva, mutta tietoa ei pystytty hyödyntämään mitenkään.
Jotta palautekyselyjen pyörittäminen sujuisi vaivattomasti, kannattaa välttää tiheään vaihtuvien tietojen (kuten ryhmätunnus) laittamista lomakkeille. Jos ryhmätunnusta kuitenkin haluaa käyttää, sen voi laittaa avoimena kysymyksenä. Tällöin päivittämiskustannuksia ei enää kyselyn perustamisen jälkeen tule. Nyt kaikki erityisryhmätkin pääsevät joustavasti milloin tahansa vastaamaan ilman että tarvitsee tehdä ennakkovalmisteluja tai miettiä, jokohan saa vastata ja onkohan tämänkin ryhmän tunnus muistettu ilmoittaa.
Avointen kysymysten käytössä on se ongelma, että vastaajat kirjoittavat saman tunnuksen eri tavalla (CAB01, Cab01, Cab 01, cab01, CAB 01, cab 01…). Arto Laaninen kuitenkin näytti, kuinka suurenkin aineiston avointen tunnusten koodaus voidaan tarvittaessa rakentaa jälkeenpäin lajittelemalla sitä esim. Excelissä. Käyttötarkoitus huomioiden tulos oli riittävän virheetön, ja ennen kaikkea koodaus saatiin huomattavasti vähemmällä vaivalla kuin mikä oppilaitosbyrokratiassa olisi mennyt ryhmätunnusten etukäteen selvittämiseen.
Kysymysrunkojen arviointi ja muokkaus ryhmätöinä + purku
Läsnäolijat jakautuivat neljään ryhmään arvioimaan ja viimeistelemään toistensa tekemiä kyselypohjia. Vain varsinaisiin kysymyksiin tulleet parannusehdotukset käytiin purkuvaiheessa läpi, taustatiedot ym. voidaan jatkossa räätälöidä kullekin koulutuksen järjestäjille siten, kuin kunkin suunnitteluorganisaation näkökulmasta on järkevintä. Opintoala on pakollinen tieto vertailtavuuden saamiseksi läänitasolla (Huom: vanhaa opintoalakoodausta saa sittenkin käyttää, Iskut-projekti huolehtii uudelleenkoodauksesta ennen vertailuaineiston tekoa). Sähköisten lomakkeiden loppuun voidaan lisätä koulutuksenjärjestäjäkohtaisia omia kysymyksiä, sekä termit (opisto/instituutti/koulu…) muuttaa tarpeen mukaan. Muistakaa ilmoittaa mahdollisista varsinaisiin kysymyksiin tekemistänne parannuksista, jotta vastaavat korjaukset voidaan tehdä "yhteisiin itäsuomalaisiin".
Ajantasaiset versiot kysymysrungoista ovat jatkossa koulutuksen järjestäjien käytössä Word-muodossa palautejärjestelmien kehittämisfoorumilla
http://eduksi.pkky.fi/iskut/arkisto/resurssit/demo.htm
Toimintamalli jatkossa
Koulutuksen järjestäjät voivat hyödyntää palautejärjestelmiä tarpeen mukaan. Jollekin organisaatiolle yksi palautekysely vuodessa (esim. opiskelijoiden päättökysely) voi olla riittävästi. Jossakin saatetaan käyttää lisäksi opiskelijakyselyä puoli vuotta aloittamisen jälkeen (tulokysely), jossakin vielä tiheämpää periodikyselyä + työssäoppimis- ja henkilöstökyselyt päälle. Kaikkien ei pidä yrittääkään tehdä kaikkea, vaan valita omaan organisaatioon sopiva toimintamalli, huomioiden mm. se, millaiset resurssit missäkin on käytettävissä tulosten analysointiin projektin jälkeen. Jokainen koulutuksen järjestäjä joutuu sopimaan tarkemman arviointityön organisoinnin, vastuutuksen ja tulosten jalkautuksen itse, kuitenkin verkostotyöskentelyssä toinen toisiltamme hyviä käytäntöjä oppien.
Kun haluatte jonkin palautekyselyn auki internetiin:
Tämän jälkeen "paperilomakkeestanne" tehdään Iskut-projektin toimesta sähköinen versio, jota voi esikatsella em. palautejärjestelmien kehittämisfoorumilla. Kun kaikki näyttää olevan kunnossa, sähköinen lomake lähetetään tietohallinnolle, joka laittaa sen aikanaan oikeasti auki. Tämän jälkeen teille ilmoitetaan käyttäjätunnukset ja se osoite, jossa vastaaminen tapahtuu. Käynnissä olevaan kyselyyn ei voi enää tehdä muutoksia, joten ensimmäinen vaihe kannattaa tehdä huolella.
Valmisteluihin kyselyn käyttöönottamiseksi pitää ryhtyä hyvissä ajoin ennen aiottua vastausajankohtaa, sillä tietohallinto ei välttämättä kerkiä laittamaan valmista kyselyä auki heti samalla viikolla, tai seuraavallakaan.
Jotta lääninhallituksen projektipäätöksessä vaadittua rahallista kuntarahoitusta saadaan kerättyä, auki pistetystä kyselystä lähetetään 99 euron lasku. Hinta perustuu tietohallinnolle kyselyn avaamisesta koituvaan todelliseen työmäärään. Sama lasku lähetetään, jos kyselyyn pitää tehdä muutoksia. Kannattaa siis suunnitella koodaus riittävän pitkälle eteenpäin, ettei päivittämistarvetta tule, ja välttää tiheään vaihtuvien tietojen (kuten ryhmätunnus) käyttöä muutoin kuin avoimina kysymyksinä.
Aina kun vastauksia aineistoon on karttunut riittävästi ja haluatte sen käyttöönne, saatte sen Excel- tai SPSS-muodossa pyytämällä: arto.laaninen@islh.intermin.fi p. 020-5168099, 050-3727264 (yhdyshenkilö projektin jälkeen ilmoitetaan myöhemmin).
Koulutustilaisuudet
Koulutuksen järjestäjien sisäisiä palautekyselyjen hyödyntämiseen opastamistilaisuuksia järjestetään edelleen (yhteydenotot allekirjoittaneeseen). Projektin aikana voidaan antaa myös analysointiapua, etusijalla ne koulutuksen järjestäjät, joille esim. "päättökyselyn peruspakettia" ei viime keväältä tehty.
Arto Laaninen