Aineisto seminaarista: KOHTI SISÄLTÖPAINOTTEISIA TUTKIMUS- JA INNOVAATIOINDIKAATTOREITA: SUOMEN TUTKIMUSJÄRJESTELMÄN RAKENNE JA DYNAMIIKKA 1995-2011, 1.4.2014

1. Suomalaisen tutkimuksen tiedon lähteet,
tutkimusrintamat & tutkimusjärjestelmän
organisatorinen kehitys, 1995-2011
Kohti sisältöpainotteisia tutkimus- ja innovaatioindikaattoreita:
Suomen tutkimusjärjestelmän rakenne ja dynamiikka 1995-2011
1.4.2014, Tekes
Hannes Toivanen & Arho Suominen
VTT Technical Research Centre of Finland

2. 2
Tieteen ja teknologian sisältöindikaattorit – mitä ja
miksi
T&K indikaattorit hyödyntävät “proxyja” yrittäessään kuvata / mitata
tietoa ja osaamista – Epätäydellisyyden aste vaihtelee
Yleisimmät (ei-kyselypohjaiset) T&K indikaattorit ovat in-/out-put
luonteisia, jotka kertovat heikosti jos olleenkaan T&K:n
kvalitatiivisista ominaisuuksista
Evaluatiivisen bibliometriikan kasvava kysyntä ja kasvava kriitikki
Miksi kuvata / mitata T&K:n sisältöjä?
Mahdollisuus analysoida tutkimusjärjestelmää “epistemologisena” , ei
sosio-taloudellisena järjestelmänä tieteellis-teknisen toiminnan
erityisluonne
Mahdollisuus erottaa aidosti “nousevia aloja” ja “emergenttejä
tutkimusyhteisöjä”
Mahdollisuus korreloida tutkimusjärjestelmän kvalitatiiviset
systeemitason muutokset organisatoriseen ja sosio-taloudelliseen
muutokseen

3. 3
Tieteen ja teknologian sisältöindikaattorit – miten?
Bibliometriikan & patentti-indikaattorien kehitys tilastotieteestä
teksti-louhintaan & big-data menetelmiin
Luovutaan yksinkertaistetuista proxy:ista (esim. H-index, kv-
yhteisjulkaisut, julkaisujen määrä)
Hyödynnetään olemassaoleva meta-tietoa paremmin:
Julkaisujen ja patenttien ihmis-pohjainen luokittelutieto
Sitaatio-määrien hyödyntäminen eri julkaisupopulaatioiden
luomiseeen (“hot papers”, “research fronts”, “non-cited”
Sitaatioihin sisältyvät meta-tiedot
Hyödynnetään big-data menetelmiä
Semanttisen tekstin analyysi kone-oppimisen menetelmin
Natural-language processing
Hybrid-metodeja

4. 4
SUOMALAISEN TUTKIMUKSEN TIEDON
LÄHTEET 1995-2010
Analysoidaan tutkimusjärjestelmän epistemologista rakennetta & dynamiikkaa
Knowledge Flows
Mitkä maantieteelliset alueet ovat Suomen tutkijoille tiedon lähteitä a.k.a missä on
tuotettu tieteellinen tieto, jota siteraataan?
Toteutetaan linkittämällä suomalaiset julkaiset ja niissä siteraatut julkaisut
analysoidaan meta-tietoja (author affiliations, subject categories & spatial
information)
KESKEISET TULOKSET
Suomen tiedon lähteet ovat vaihtuneet nopeasti 1990-luvulla, jolloin EU on
korvannut USA:n tärkeimpänä tiedon lähteenä integroituminen ERA:aan
Muutos on uniformi melkein kaikilla päätieteenaloilla, mutta sen ajoitus ja
mittaluokka vaihtelee lievästi
Epistemologinen analyysi Suomen tutkimusintegraatiosta EU:hun antaa erilaisen
ja/tai täydentävän kuvan, mitä muilla bibliometriikan menetelmillä voidaan saavuttaa

5. 5
Data & methods 1
Custom ISI-WOS data delivered by Thomson Reuters in XML
All publications with at least one author with Finnish affiliation (Source-data)
All ISI-WOS indexed publications cited in Source data (Cited data)
All ISI-WOS indexed publications citing Source records (Citing data)
All publications restricted to publication types: Article, Abstract, Conference Proceedings,
Reviews 1995-2010
Adding sources of knowledge to Source records
All Cited records no more than 10 years older than the Source were linked with unique ID
The fractional share of Finnish authorship for all Source was estimated (FI FRC AUTH)
Using geographic address of Cited records, we estimated (with FI AUTH) which
countries received citations from Finnish authors:
SKij is the source of knowledge index for document i in regard to country j and Iij times
country j has been mentioned in Cited of document
Source-records 1995-2010: N=153,572 (huom: kaikki julkaisut eivät viittaa)
Cited-records: N=1,671,950

6. 6
Geographical knowledge bases of FI research, 1995-2010
All research – major regions
Source: ISI-WOS
Source records 122147
Reference records 3507271

7. 7
Geographical knowledge bases of FI research, 1995-2010
All research – major countries
Source: ISI-WOS
Source records 122147
Reference records 3507271

8. 8
Geographical knowledge bases of FI research, 1995-2010
Major OECD fields – Natural sciences
Source: ISI-WOS
Source records 59585
Reference records 1551801

9. 9
Geographical knowledge bases of FI research, 1995-2010
Major OECD fields – Medical and health sciences
Source: ISI-WOS
Source records 47668
Reference records 1930431

10. 10
Geographical knowledge bases of FI research, 1995-2010
Major OECD fields – Engineering and technology research
Source: ISI-WOS
Source records 47668
Reference records 1930431
Source: ISI-WOS
Source records 20014
Reference records 331499

11. 11
Geographical knowledge bases of FI research, 1995-2010
Major OECD fields – Social sciences research
Source: ISI-WOS
Source records 7212
Reference records 131983

12. 12
Geographical knowledge bases of FI research, 1995-2010
Major OECD fields – Agricultural research
Source: ISI-WOS
Source records 6552
Reference records 131296

13. 13
”Knowledge flows” Päätelmiä
Suomi on integroitunut 1995 lähtien todella nopeasti ERA:aan ja tämä
kehitys on nyt stabiloitunut
Suomen tiedon lähteet ovat vahvasti bi-polaareja: ERA & USA
implikaatiot kv-strategioille
Silti: Knowledge flows ovat erikoistuneita eri tutkimusalojen suhteen
Tarve ”smart policies” lähestymistavalla tai heikot mahdollisuudet tehdä
”blanket-strategy” politiikkaa kansainvälistymiseen
Silti: Aasian merkitys erityisen tärkeä
Perinteiset kv-indikaattorit (e.g. co-authorship) antavat osin erilaisen
kuvan, painottaen historiallisia ja poliittisesti painotettuja yhteyksiä

14. 14
TUTKIMUSRINTAMA, TUTKIMUKSEN FOKUS, JA
TUTKIMUSJÄRJESTELMÄN ORGANISAATIO 1995-2011
Analyysi kohdistettu Suomen tieteen “parhaimmistoon”
Miten tutkimusrintamat muuttuvat epistemologisesti & organisatorisesti
ISI-WOS aineiston erityisongelmat
Lääketiede, biologia, fysiikka & kemia hyötyvät suuresti yliedustuksesta
Tekniikkaa, yhteiskunta & humanistisia tieteitä “rangaistaan”
Sitaatio-pohjainen “paremmuus-rankkaus” rankaisee 3-kertaisesti:
Aliedustus aineistossa
Aliedustus sitaatioiden kirjaamisessa
Erilaiset sitaatio- ja referenssikäytännöt
Tulkinta edellyttää varovaisuutta ja aineiston ominaisuuksien huomioimista
KESKEISET TULOKSET
Suomen tutkimusrintama laajenee, sillä keskittyminen vähenee ja “häntä” pitenee
Lääketieteen ja terveyden, biologian tutkimuksen suhteellinen merkitys vähenee;
Kemian & Tekniikan alojen suhteellinen osuus kavaa merkittävästi
Tutkimusjärjestelmässä tapahtuu yhtäaikaisesti merkittävä organisatorinen muutos
Tutkimuksen rintaman muutokset eivät ole yhtäläisiä koko tutkimusjärjestelmän muutoksen
kanssa Huippututkimuksella on oma dynamiikkansa

15. 15
Data & methods 2
Custom ISI-WOS data delivered by Thomson Reuters in XML
All publications with at least one author with Finnish affiliation (Source-data)
All ISI-WOS indexed publications cited in Source data (Cited data)
All ISI-WOS indexed publications citing Source records (Citing data)
All publications restricted to publication types: Article, Abstract, Conference Proceedings,
Reviews 1995-2011
In addition, harvested from ISI-WOS Finnish Source records for 2010-2011
Identifying “hot papers” or research frontiers
The fractional share of Finnish authorship for all Source was estimated (FI AUTH)
Estimation of citations received for each Source record using 3-year window
Using FI AUTH, we estimated the Finnish share of citations received
“Hot papers” are the 10% of papers receiving most citations from all papers receiving
citations
Arbitrary, but accepted and practical definition of “hot papers” or frontiers;
The “Hot papers”-selection captures about 40% of all citations received truly hot!
Without country normalization, data would be heavily skewed bec of big foreign authored
records
Source-records 1995-2011: N=177,219
Hot paper-records 1995-2011: N=10,769

16. 16
HOT PAPERS – Basic facts
Hot paper are stable in terms of: citation threshold (2010!), share from total
publications, share from citations received (slightly declining).
Highly skewed distribution of citation-based excellence= about 6% of papers
capture >40% of all citations received

17. 17
Difference in share in Hot papers and All papers by
OECD Major Fields1995-2009
Comparison of ”over-” and ”under-
representation” of fields
Engineering & technology have
significantly increased participation
in ”hot papers”
Natural sciences key field – how
much includes ”radio” and ”solid
state” & ”applied math” that
contributes to engineering?
Overall, Health, Medicine & Natural
sciences have predisposed
advantage in ISI-WOS data

18. 18
The Shifting Focus of Finnish ”Hot Papers” 1995-2011
Relative share of Minor OECD fields – fractionalized count

19. 19

20. 20

21. 21
”Hot Papers” Päätelmiä
Organisatorinen ja laadullinen muutos on suhteellisen intensiivistä
Suomen tutkimusjärjestelmässä muutos jatkuu edelleen
Mahdolliset implikaatiot yliopisto- ja sektoritutkimuslaitoksen uudistukselle…
”Suomalainen huippututkimus” on saanut 2000-luvulla ”laajemmat hartiat”
kun tekniset ja soveltavat tieteet ovat kasvattaneet osuuttaan
Perinteisesti huippu on kasautunut lääketieteeseen
Uusien alojen nousuun liittyy vahvaa organisatorista, systeemi-tason
muutosta
Huippututkimuksella on oma dynamiikkansa tulisi tarkastella erillään
koko järjestelmän kehityksestä

22. Kiitos!