Parantaako rahoituskilpailu yliopistojen tutkimuksen tuloksellisuutta?

Otto Auranen
Kirjoittaja on tutkimuksen arvioinnin koordinaattori Tampereen yliopistossa

"Tieteellinen tutkimus näyttää olevan toimintaa, jossa tiettyjä yksilöihin ja ympäristöön liittyviä tekijöitä tarvitaan, jotta tutkijat yltävät hyvään tuloksellisuuteen. Näyttää myös siltä, että tuloksellisen tieteellisen tutkimuksen logiikkaa on vaikea muuttaa käyttämällä taloudellisia kannustimia."

Alustus! Tieteelliseen tutkimukseen kohdistuu nykyään suuria odotuksia. Tieteen ajatellaan lisäävän ymmärrystämme luonnosta, yhteiskunnasta, kulttuurista ja ympäröivästä maailmasta yleensä. Tieteen tulosten odotetaan myös tuovan meille yhteiskunnallisia hyötyjä: teknistä kehitystä, menestyksellistä liiketoimintaa, päätöksenteon tukea poliitikoille ja virkamiehille sekä valistusta kansalaisille. Koska suuri osa tieteellisestä tutkimuksesta tehdään yliopistoissa, yliopistot kohtaavat usein samanlaisia ​​odotuksia kuin tiedejärjestelmä ylipäänsä.

1970-luvun jälkeen kehittyneet länsimaat ovat muuttuneet standardoidun massatuotannon hallitsemista teollisista yhteiskunnista innovaatioihin ja joustavaan tuotantoon nojaaviksi jälkiteollisiksi yhteiskunniksi. Länsimaissa talous ja työ perustuvat yhä enemmän tiedon luomiseen ja käyttöön. Tämä kehitys on lisännyt yliopistojen tutkimuksen merkitystä varakkaissa ja kehittyneissä Euroopan ja Pohjois-Amerikan maissa. Länsimaissa investoidaan nykyään merkittäviä määriä julkista ja yksityistä rahaa yliopistotutkimukseen. Näin länsimaissa pyritään pitämään yllä kansantalouksien kilpailukykyä maailmanlaajuisessa kilpailussa kehittyvien, lähinnä Aasiassa sijaitsevien maiden kanssa.

Kun tutkimukseen tehdään suuria investointeja, rahoittajat ymmärrettävästi haluavat varmistaa, että rahat käytetään oikein ja tuloksellisesti. Lisäksi useiden länsimaiden julkista sektoria ja politiikkaa ovat viime vuosikymmeninä hallinneet sellaiset ideologiset suuntaukset (esim. ns. uusi julkishallinto), joissa korostetaan julkisten resurssien tehokasta käyttöä. Nämä ideologiset suuntaukset ovat vaikuttaneet myös yliopistopolitiikassa. Yliopistojen odotetaan olevan tilivelvollisia merkittävimmälle rahoittajalleen eli valtiolle, ja viime kädessä veronmaksajille.

Hallitukset siis haluavat yliopistojen paitsi tuottavan aiempaa enemmän tieteellisiä julkaisuja, myös tekevän tutkimusta, jolla on suuri tieteellinen ja yhteiskunnallinen vaikutus.

Usko rahoituskilpailun vaikutukseen on suuri

Mitkä sitten ovat olleet poliittisten päätöksentekijöiden keinot saada yliopistot tekemään enemmän, korkeatasoisempaa ja vaikuttavampaa tutkimusta?

Suosittu ratkaisu poliitikkojen ja virkamiesten keskuudessa on ollut raha, tarkemmin sanottuna kilpailu rahoituksesta. Moderni tiede on erittäin kallista toimintaa, ja yliopistot ovat monissa maissa riippuvaisia julkisesta rahoituksesta. Tästä seuraa yliopisto- ja tiedepolitiikan päätöksentekijöiden keskuudessa oletus, että julkisen tutkimusrahoituksen jakoperusteilla voidaan vaikuttaa merkittävästikin yliopistojen toimintaan. Jos yliopistot ja niiden työntekijät joutuvat kilpailemaan taloudellisista resursseista, he ponnistelevat kovemmin ja tuottavat siten parempia tuloksia. Yleensä kilpailun myös uskotaan olevan hyvä menetelmä valita tutkimuksen parhaat tekijät kaikkien tutkimusyhteisön jäsenten keskuudesta.

Esimerkkejä tällaisesta ajattelusta on löydettävissä useista politiikka-asiakirjoista. Otetaan esimerkiksi ehdotus yliopistojen valtionrahoitusmallin uudistamiseksi Suomessa vuonna 2011. Opetus- ja kulttuuriministeriön työryhmä ehdotti mallia, jossa valtionrahoitus (ns. perusrahoitus) jaettaisiin yliopistoille pääosin yliopistojen toiminnan tulosten perusteella (Työryhmä yliopistojen rahoitusmallin uudistamiseksi 2011). Työryhmän mukaan tämä loisi yliopistoille kannusteita parantaa toimintaansa. Rahoitusmalli tekisi yliopistojen tutkimuksesta ja opetuksesta laadukkaampaa, yliopistojen tieteellinen ja yhteiskunnallinen vaikuttavuus paranisi, ja yliopistot muuttuisivat tehokkaammiksi ja kansainvälisemmiksi.

Myös yliopistojen opettajat ja tutkijat näyttävät uskovan, että rahoituskilpailulla on suuri vaikutus yliopistoihin. Yliopistojen työntekijöiden ja poliitikkojen ero on, että opettajat ja tutkijat suhtautuvat usein kriittisesti kilpailuun. He väittävät, että jos yliopistojen rahoitusperusteena ovat kilpailu ja tulokset, yliopistoissa luovutaan kaikesta arvokkaastakin toiminnasta, joka ei ole välttämätöntä resurssien turvaamiseksi (esim. Kallio 2014).

Tuore esimerkki voidaan ottaa Tampereen yliopistosta. Helmikuussa 2014 yliopiston viestinnän, median ja teatterin tieteenalayksikkö ilmoitti, että se ei enää voi maksaa palkkioita yliopiston Radio Moreenin avustajille. Yksikkö kertoi, että palkkioiden maksusta on luovuttava rahoituksen puutteen takia. Akateemisen yhteisön kriittiset äänet esittivät välittömästi, että päätös osoittaa valtion ja Tampereen yliopiston käyttämien rahoitusmallien negatiivisen vaikutuksen: koska radion ylläpitämisestä ei palkita rahoituksessa, yliopiston radio ajetaan lopulta alas.

Mutta ovatko nämä olettamukset oikeita? Onko rahoituskilpailulla todella näin valtavia vaikutuksia yliopistoihin? Ehkä oleellisin kysymys tässä yhteydessä on, parantaako rahoituskilpailu yliopistojen kykyä tehdä enemmän ja parempaa tutkimusta? Tämä kysymys on ollut väitöskirjani (Auranen 2014) pääkysymys.

Rahoituskilpailu yleistynyt, mutta sen hyödyt ovat kyseenalaiset

Usko taloudellisten kannusteiden myönteiseen vaikutukseen on kasvanut tiede- ja yliopistopolitiikan päätöksentekijöiden keskuudessa. Niissä kahdeksassa maassa, joita väitöstutkimuksessani analysoin, on nähtävissä selkeä suuntaus kohti taloudellisten kannusteiden ja kilpailun lisäämistä yliopistojen tutkimusrahoituksessa 1980-luvulta 2000-luvulle.

Tämän kehityksen tahti ja laajuus kuitenkin vaihtelee maittain. Joissain maissa päätöksentekijät ovat olleet innokkaampia käyttämään rahoituskilpailua kuin toisissa. Iso-Britanniassa ja Australiassa merkittävä osa valtion perusrahoituksesta yliopistoille on jaettu tulosten perusteella ja lisäksi suuri osa koko tutkimusrahoituksesta on perustunut kilpailtuun, perusrahoituksen ulkopuoliseen rahoitukseen. Brittiläiset ja australialaiset yliopistot ovat toisin sanoen toimineet erittäin kilpailullisissa tutkimusrahoitusympäristöissä. Toisaalta Saksassa, Ruotsissa ja Alankomaissa kansalliset hallitukset ovat olleet paljon varovaisempia rahoituskilpailun käyttämisessä yliopistokentän ohjaamiseen.

Suomessa kilpaillun, ulkopuolisen tutkimusrahoituksen osuus on kasvanut valtion perusrahoituksen kustannuksella, mutta perusrahoitusta on vasta viime aikoina alettu jakaa tulosten perusteella. Suomessa kansallisen tason rahoituslinjaukset ovat selvästi vaikuttaneet monien yliopistojen johtaviin päätöksentekijöihin, jotka ovat 1990-luvun puolivälin jälkeen jäljitelleet valtion rahoitusratkaisuja rakentaessaan yliopistojen sisäisiä rahoitusmalleja.

Jos kilpailu tutkimusrahoituksesta todella parantaa yliopistojen tutkimustuloksellisuutta, niin Iso-Britannian, Australian ja Suomen yliopistojen pitäisi olla tuloksellisempia kuin muiden vertailtujen maiden yliopistojen. Ensi silmäyksellä näin näyttääkin olevan. Kyseisten maiden yliopistot ovat tutkimallani aikaperiodilla tuottaneet enemmän tieteellisiä julkaisuja suhteessa käytettyyn tutkimusrahoitukseen kuin vertailumaiden yliopistot.

Toisaalta tutkimukseni osoittaa myös, että kasvava kilpailu tutkimusrahoituksesta aiheuttaa vain lyhyen aikavälin parannuksia tutkimustuloksellisuuteen. Ehkä vielä kiinnostavampaa on, että Ruotsin, Tanskan ja Alankomaiden kaltaisissa maissa yliopistojen tutkimustuloksellisuus on ollut hyvä ja/tai parantunut, vaikka ne ovat toimineet suhteellisen ei-kilpailullisessa rahoitusympäristössä. Suomalaisessa yliopistokentässä Jyväskylän yliopisto on esimerkki rahoituskilpailun positiivisesta vaikutuksesta tuloksellisuuteen, mutta myöskään Jyväskylässä positiivinen vaikutus ei ole ollut kovin pitkäaikainen​​.

Johtopäätös on, että kilpailullinen rahoitusympäristö ei automaattisesti ja suoraan aiheuta yliopistotutkimuksen tuloksellisuuden pidempiaikaista parantumista. Itse asiassa kilpailu näyttää olevan suhteellisen tehoton keino parantaa tutkimustuloksellisuutta. Voidaan esittää kysymys, ovatko lyhyen aikavälin parannukset riittävä syy harjoittaa kilpailuun perustuvaa politiikkaa kansallisella tasolla.

Miksi rahoituskilpailu ei tee tutkimuksesta automaattisesti tuloksellisempaa?

Edellä esitetyistä tutkimustuloksista seuraa tietysti kysymys siitä, miksi näin on? Miksi taloudellisilla kannustimilla ei ole selvää tutkimustuloksellisuutta parantavaa vaikutusta yliopistojen ja niiden työntekijöiden toimintaan? Kysymykseen on useita mahdollisia vastauksia.

Ensimmäinen selitys on, että kun tutkimuksen rahoittajien lukumäärä kasvaa, mikään rahoittaja ei yksin pysty määrittämään yliopistojen toiminnan ehtoja. Kaikissa tutkimissani kahdeksassa maassa ulkopuolisen tutkimusrahoituksen osuus yliopistojen koko tutkimusrahoituksesta on kasvanut viimeisten 20-30 vuoden aikana. Ulkopuolinen tutkimusrahoitus ei yleensä ole suoraan kansallisen opetusministeriön tai vastaavan valtionhallinnon organisaation hallinnassa. Tästä voi heikentää valtion keskushallinnon ja hallitusten mahdollisuuksia ohjata yliopistoja, sillä rahoituslähteiden lisääntyessä tutkijat, yliopistojen yksiköt ja yliopistot orientoituvat vastaamaan myös muiden tutkimusta rahoittavien tahojen tarpeisiin ja odotuksiin. Myös yliopistojen johdon mahdollisuutta ohjata tutkijoiden ja yliopistojen yksiköiden toimintaa rajoittaa tilanne, jossa nämä saavat rahoituksensa muistakin lähteistä kuin yliopistolta. Tilanne antaa tutkimuksen tekijöille toimintavapautta, mutta voi myös johtaa ns. tehtäväylikuormitukseen ja epäselvyyteen siitä, mihin tutkimuksen tekijöiden tulisi keskittyä. Esimerkiksi tuloksellinen perustutkimus ja yhteiskunnallisesti relevantti tutkimus eivät aina kulje käsi kädessä. Jos eri tutkimusrahoittajilta tulee samanaikaisesti vaatimuksia sekä perus- että soveltavan tutkimuksen tekemisestä, seurauksena voi olla tutkijoiden liian suuri keskittyminen jompaankumpaan näistä tehtävistä, mikä voi haitata toista. Toisaalta yritys jakaa voimavarat perus- ja soveltavan tutkimuksen kesken voi johtaa huonoon tulokseen molemmissa.

Toinen selitys on, että kilpailulla tutkimusrahoituksesta voi olla tarkoittamattomia negatiivisia vaikutuksia tiedeyhteisöön. Kilpailu voi vaikuttaa negatiivisesti tutkijoiden mahdollisuuksiin tehdä pitkäjänteistä tutkimusta, sillä rahoituskilpailuun liittyvän projektityyppisen tutkimusrahoituksen laajeneminen on tehnyt suhteellisen lyhyistä määräaikaisista työsopimuksista yleisiä yliopistoissa. Tämä on lisännyt työolojen epävakautta. Jatkuvalla kilpailulla ja tutkimusrahoituksen hakemisella voi myös olla demoralisoiva vaikutus niihin tutkijoihin, jotka eivät menesty kilpailussa. Kolmas riski tuloksellisuudelle on tutkijoiden ajan ja energian kuluminen työläisiin rahoitushakemuksiin ja rahoituksen käytön raportointiin, jotka liittyvät kilpaillun projektirahoituksen lisääntymiseen. Neljänneksi, kilpaillun rahoituksen kasvun myötä kasvavat erilaiset tutkimuksen arviointikäytännöt. Kun rahoituskilpailuun liittyvään arviointiin yhdistyy yleisempi yliopistojen (tutkimus)toiminnan arvioinnin kasvu, on olemassa vaara että yliopistojen opettajia ja tutkijoita ylikuormitetaan arviointeihin liittyvällä hallinnollisella työllä. (Bleiklie & Kogan 2007; Treuthardt ym. 2006)

Kolmas selitys on, että kilpailu voi johtaa liialliseen tutkimusresurssien keskittymiseen akateemisen eliitille, mikä heikentää resurssien tehokasta käyttöä. Tutkimukset osoittavat, että tiedeyhteisössä menestys, näkyvyys ja resurssien hankkiminen vahvistavat toisiaan. Menestys tutkimustyössä tuo todennäköisesti resursseja, joiden avulla on mahdollista tehdä edelleen tutkimusta ja menestyä, mikä taas lisää todennäköisyyttä saada uusia resursseja. Resurssit siis tapaavat keskittyä tieteellisille eliiteille. (Merton 1973, 439-446; Larivière ym. 2010) Herää kysymys, kuinka tehokkaasti eliitit pystyvät käyttämään saamansa resurssit. Koko yliopistojärjestelmän ja tiedeyhteisön näkökulmasta resurssien tasapuolisempi jakaminen saattaisi tehostaa resurssien käyttöä ja monipuolistaa tutkimusta, kun eliittien ulkopuolella olevilla tutkijoilla ja tutkimusryhmillä olisi paremmat mahdollisuudet tuottaa uutta tieteellistä tietoa (Whitley 2011).

Neljäs selitys on, että tiedeyhteisön arvo- ja palkkiojärjestelmä voi heikentää tiede- ja yliopistopoliittisen ohjauksen vaikutusta. Tutkijat ovat vahvasti sosiaalistuneita eri tieteenalojen kulttuureihin, jotka sisältävä tiedeyhteisön laajemmat arvot, normit ja palkitsemisjärjestelmät. Tutkijat noudattavat ja uusintavat näitä arvoja ja normeja, koska ne tekevät akateemisesta työstä mielekästä. Ne antavat tutkijoille mahdollisuuden määritellä identiteettinsä ja tehtävänsä. (Ylijoki 2009) Tutkijoiden on myös tarpeellista uusintaa näitä arvoja ja normeja, sillä heidän urakehityksensä ja uskottavuutensa täysivaltaisinä tiedeyhteisön jäseninä riippuu siitä (Koski 2002; Latour & Woolgar 1986, 200-201). Tiede- ja yliopistopolitiikan tavoitteet ja toimintatavat saattavat näyttäytyä järkevinä ja arvokkaina valtion ja yliopistojen johdon keskuudessa, mutta tiedeyhteisön kilpailevien näkemysten takia poliittiset tavoitteet ja menetelmät voivat kohdata yliopistojen epävirallisen organisaation vastarintaa. Poliittisiin tavoitteisiin voi esimerkiksi kuulua maan yliopistojen pääsy eri tieteenalojen kansainväliselle tutkimushuipulle ja tutkimustulosten laaja yhteiskunnallinen hyödyntäminen, mutta tiedeyhteisön näkökulmasta tutkimuksen päätavoite voikin olla uuden tiedon tuottaminen sen itsensä ja ihmiskunnan sivistymisen takia. Huolimatta taloudellisista kannustimista toimia toisin, tutkijat voivat edelleen noudattaa ja uusintaa tiedeyhteisön kulttuuria ja sen kantavia arvoja.

Mitä pitäisi tehdä?

Turhautunut yliopisto- ja tiedepolitiikan parissa työskentelevä virkamies saattaisi nyt kysyä, mitä sitten pitäisi tehdä. Jos rahoituskilpailusta ei ole hyötyä tutkimustuloksellisuudelle pitkällä aikavälillä, mistä on?

Tutkimukseni perusteella vastaukseni olisi paluu perusasioihin. Tieteellinen tutkimus näyttää olevan toimintaa, jossa tiettyjä yksilöihin ja ympäristöön liittyviä tekijöitä tarvitaan, jotta tutkijat yltävät hyvään tuloksellisuuteen. Näyttää myös siltä, että tuloksellisen tieteellisen tutkimuksen logiikkaa on vaikea muuttaa käyttämällä taloudellisia kannustimia.

Aiemmat tutkimukset ovat osoittaneet, että tutkimustuloksellisuuden kannalta tärkeitä tekijöitä ovat motivoituneet, lahjakkaat tutkijat, vahvat, usein kansainväliset verkostot ja yhteistyö sekä tutkimuksen selkeä tavoitteenasettelu ja koordinointi ruohonjuuritasolla (ks. esim. Gulbrandsen 2000, 124-127, 178-179; Lee & Bozeman 2005). Lista voi vaikuttaa itsestään selvältä, mutta jos nämä tekijät eivät ole kunnossa, rahoituskilpailu ei todennäköisesti hyödytä kovin paljoa. Tässä valossa tiede- ja yliopistopolitiikan päätöksentekijöiden tulisi keskittyä edistämään edellä kuvatun kaltaisten tutkimusympäristöjen syntymistä ja vakiintumista.

Pahimmillaan rahoituskilpailu ja rutiininomainen tuloksellisuusmittaus voivat itse asiassa vaikuttaa negatiivisesti joihinkin edellä mainituista tekijöistä. Kilpailu rahoituksesta lisää riskiä, että tutkijat eivät tee yhteistyötä, sillä mahdolliset yhteistyökumppanit ovat myös kilpailijoita. Tuore tutkimus suomalaisten yliopistotutkijoiden suhtautumisesta tulosohjaukseen myös osoittaa, että tuloksellisuuden mittaamisella voi olla negatiivinen vaikutus tutkijoiden motivaatioon (Kallio 2014, 161-165, 200-208).

Väitöstutkimukseni perusteella Alankomaiden yliopistojärjestelmä näyttää olevan eräänlainen menestystarina. Alankomaiden yliopistot ovat pystyneet lisäämään tutkimustoimintansa volyymia - etenkin tieteellisten julkaisujen määrää - suhteessa resursseihin viimeisten vuosikymmenten aikana. Myös hollantilaisten yliopistojen tutkimuksen viittauksilla mitattu näkyvyys on kasvanut suhteessa muiden kehittyneiden maiden tutkimukseen.

Alankomaissa valtio on 1990-luvun alkupuolelta lähtien tukeutunut vahvasti yliopistojen toimintaa ohjatessaan käytäntöön, jossa valtio pitää etäisyyttä yliopistojen toimintaan ja varoo säätelemästä sitä tarkasti. Hollantilaisilla yliopistoilla on siis suuri autonomia suhteessa valtioon, eikä valtio ole yhdistänyt autonomiaan vahvoja vaatimuksia tilivelvollisuudesta. Korkeakoulututkijat Gornitzka ja Maassen (2000) kutsuvat tällaista yliopistojen ja valtion välistä suhdetta institutionaaliseksi ohjausmalliksi. Mallissa yliopistojen rooliksi asettuu perinteinen akateeminen tutkimus ja opetus, jopa niiden suojeleminen ja ylläpitäminen. Yliopistojen tutkimuksen ja opetuksen arvoa ja merkitystä arvioidaan pikemminkin akateemisilla kuin laajemmilla yhteiskunnallisilla ja/tai taloudellisilla kriteereillä. Valtion poliittisessa ohjauksessa institutionaalinen malli on näkynyt Alankomaissa mm. siten, että rahoituskilpailua ei ole käytetty yhtä laajasti kuin esimerkiksi Iso-Britanniassa ja Australiassa – tai Suomessa. Toiseksi hollantilaisten yliopistojen tutkimusta arvioidaan tutkimuksen kehittämistä varten. Lisäksi Alankomaissa arvioinnit toteuttaa yliopistojen yhteistyöjärjestö eikä valtio. Esimerkiksi Iso-Britanniassa, jossa yliopistot toimivat erittäin kilpailullisissa oloissa, valtio on toteuttanut tutkimuksen arviointeja pääosin resurssien jakamista varten. Täytyy kuitenkin muistaa, että valtion ja yliopistojen suhdetta ei yleensä määritä vain yksi poliittinen ja yhteiskunnallinen ajattelutapa. Myös Alankomaissa on ollut paineita lisätä kilpailua yliopistojen rahoituksen jakamisessa (Jongbloed 2005).

On mahdollista, että Alankomaissa harjoitettu yliopistojen akateemista autonomiaa korostava valtio-ohjaus, johon ei ole yhdistetty tarkkoja vaatimuksia tuloksellisuudesta ja kilpailuun perustuvia kannustimia, antaa enemmän tilaa yllä kuvattujen hyvien tutkimusympäristöjen syntymiselle ja toiminnalle. Tällöin myös tiede- ja yliopistopolitiikan usein toistettu tavoite eli tuloksellinen tutkimustoiminta toteutuu paremmin kuin jos valtio käyttää rahoituskilpailua keinona parantaa tuloksellisuutta.

En uskalla väittää, että Alankomaiden yliopistojärjestelmä olisi ihanteellinen tai täydellinen. Silti seuraava neuvo Suomen tiede- ja yliopistopolitiikan päätöksentekijöille ei vaikuta liian kaukaa haetulta: Alankomaiden tien pitäisi olla meidän tiemme!

Kirjallisuus

Auranen, Otto (2014) University research performance: Influence of funding competition, policy steering and micro-level factors. Acta Electronica Universitatis Tamperensis: 1394. Tampere University Press, Tampere. Saatavissa sähköisenä.

Bleiklie, Ivar & Kogan, Maurice (2007) Organization and Governance of Universities. Higher Education Policy 20, 477-493.

Gornitzka, Åse & Maassen, Peter (2000) Hybrid steering approaches with respect to European higher education. Higher Education Policy 13: 3, 267-285.

Gulbrandsen, Johan Magnus (2000) Research Quality and Organizational Factors: An Investigation of the Relationship. Department of Industrial Economics and Technology Management. Norwegian University of Science and Technology, Trondheim.

Jongbloed, Ben (2005) Higher Education Funding in the Netherlands: Recent Developments. IAU Horizons 11: 1, 9.

Kallio, Kirsi-Mari (2014) “Ketä kiinnostaa tuottaa tutkintoja ja julkaisuja liukuhihnaperiaatteella…?” – Suoritusmittauksen vaikutukset tulosohjattujen yliopistojen tutkimus- ja opetustyöhön. Turun kauppakorkeakoulun julkaisuja, Sarja A-1:2014. Suomen yliopistopaino, Turku.

Koski, Leena (2002) Yliopiston sisäinen toimintalogiikka 1900-luvun lopun muutoksissa. Teoksessa Ahola, Sakari & Välimaa, Jussi (toim.) Heimoja, hengenviljelyä ja hallintoa. Korkeakoulututkimuksen vuosikirja. Koulutuksen tutkimuslaitos, Jyväskylän yliopisto, Jyväskylä, 33-51.

Larivière, Vincent & Macaluso, Benoit & Archambault, Éric & Gingras, Yves (2010) Which scientific elites? On the concentration of research funds, publications and citations. Research Evaluation 19: 1, 45-53.

Latour, Bruno & Woolgar, Steve (1986) Laboratory Life. The Construction of Scientific Facts. Second edition. Princeton University Press, Princeton.

Lee, Sooho & Bozeman, Barry (2005) The Impact of Research Collaboration on Scientific Productivity. Social Studies of Science 35: 5, 673-702.

Merton, Robert K. (1973) The Sociology of Science. Theoretical and Empirical Investigations. University of Chicago Press, Chicago.

Treuthardt, Leena & Huusko, Mira & Saarinen, Taina (2006) Management by Results and Higher Education Evaluation as Fashions and Success Stories: The Case of Finland. Studies in Higher Education 31: 2, 209-218.

Työryhmä yliopistojen rahoitusmallin uudistamiseksi (2011) Laadukas, kansainvälinen, profiloitunut ja vaikuttava yliopisto – ehdotus yliopistojen rahoitusmalliksi vuodesta 2013 alkaen. Opetus- ja kulttuuriministeriön työryhmämuistioita ja selvityksiä 2011:26. Opetus- ja kulttuuriministeriö, Helsinki.

Whitley, Richard (2011) Changing Governance and Authority Relations in the Public Sciences. Minerva. A Review of Science, Learning and Policy 49, 359-385.

Ylijoki, Oili-Helena (2009) Yliopiston lumo. Teoksessa Tomperi, Tuukka (toim.) Akateeminen kysymys? Yliopistolain kritiikki ja kiista uudesta yliopistosta. Vastapaino, Tampere, 83-92.

 

Otto Aurasen väitöskirja

Otto Aurasen väitöskirja University research performance: Influence of funding competition, policy steering and micro-level factors on luettavissa Tampereen yliopiston verkkosivuilla.