Protocol Peer Review & Grondslagen Onderzoeksinput & -output mt nioo, 29 oktober 2013 Inleiding en kaderstelling



Dovnload 79.41 Kb.
Datum23.07.2016
Grootte79.41 Kb.

Protocol Peer Review & Grondslagen Onderzoeksinput & -Output NIOO-KNAW



Protocol Peer Review & Grondslagen Onderzoeksinput & -Output

MT NIOO, 29 oktober 2013

Inleiding en kaderstelling

In dit document is vastgelegd hoe de voorbereiding van een peer review proces voor wat betreft de informatie vanuit Bureau Bedrijfsvoering van het NIOO het beste kan verlopen, uitgaande van de kennis en ervaring opgedaan in het peer review proces van 2012. Grondslag voor het aanleveren van gegevens voor de peer review was het Standard Evaluation Protocol (SEP) 2009-20151. In onderliggende memo is vastgelegd welke definities voor het tot stand komen van cijfers t.a.v. onderzoeksinput, onderzoeksoutput en publicaties bij het peer review proces zijn gehanteerd.



Deze definities zullen in de komende jaren ook aangehouden worden bij het produceren van andere gegevensdragers zoals jaarverslagen en business reports.

Waar mogelijk worden de definities ook aangehouden voor de factsheets2. Voor het produceren van de factsheets en voorbereiden van het peer review proces zijn in dit document stappenplannen met een indicatief tijdschema opgenomen. Indien wijzigingen in het Standard Evaluation Protocol na 2015 zouden leiden tot een noodzaak van het hanteren van andere definities, dan kan dat het beste in KNAW-breed verband afgesproken worden met voor elk instituut dezelfde ingangsdatum.



Definities onderzoeksinput

In de zelfevaluatie t.b.v. de peer review (2005-2011) zijn onderstaande gegevens t.a.v. onderzoeksinput gevraagd (hier als voorbeeld voor het jaar 2005). Voor het meetellen bij de wetenschappelijke staf van het NIOO geldt dat betrokkenen zelfstandig moeten publiceren met een NIOO affiliatie (dus niet via een co-auteurschap van een NIOO medewerker). Dit geldt ook als voorwaarde voor het meetellen van onderzoekers als AIO’s en postdocs die niet op de loonlijst van het NIOO staan, maar bv een buitenlandse beurs of aanstelling elders hebben.



TABLE 1

2005

Entire Institute NIOO-KNAW

Tenured staff

19,8 fte

Non-tenured staff

15,2 fte

PhD-candidates

39,4 fte

Total research staff

74,4 fte

Technicians

27 fte

Support staff

23,2 fte

Visiting fellows

10 fte

Total staff

134,6 fte

De definities van deze gegevens zijn als volgt:

Tenured Research Staff (In de factsheets genaamd wetenschappelijk personeel (WP)= onderzoekspersoneel met een aanstelling bij het NIOO voor onbepaalde tijd, (afdelingshoofden en onderzoekers ).

Non-Tenured Research Staff (In de factsheets genaamd tijdelijk wetenschappelijk personeel (TWP) = onderzoekspersoneel met een aanstelling bij het NIOO voor een bepaalde tijd, (postdocs, junior onderzoekers, onderzoekers, Tenure Track-er’s, fellows*, bursalen*).

PHD-candidates= interne AIO’s en externe* AIO’s die door NIOO personeel worden begeleid en publiceren met NIOO affiliatie.

Technicians= onderzoeksondersteunend personeel aangesteld bij NIOO voor zowel onbepaalde tijd als voor bepaalde tijd, (analisten, labassistenten etc).

Supporting Staff= niet-wetenschappelijk ondersteunend personeel aangesteld bij NIOO (bureau bedrijfsvoering / Vogeltrekstation / ISME).

Visiting fellows * = geregistreerde gastonderzoekers bij NIOO (let wel: zijnde geen externe AIO’s en geen studenten).

* ; alle met een asterix weergegeven categorieën betreffen onderzoekers de niet op de loonlijst van NIOO staan maar die wel een aanzienlijke bijdrage leveren aan het NIOO-onderzoek (bv gastonderzoekers; echter geen studenten). P&O kan een lijst met namen aanleveren voor geregistreerde gastonderzoekers maar maakt geen keuze welke wel of niet worden meegeteld, actie voor MT. Let op: geteld worden gemiddelde Fte’s naar rato van de aanwezigheid per jaar (aanstelling van 0,5 FTE voor 6 maanden = 0,25 FTE in de telling)

De gegevens voor de zelfevaluatie dienen overeen te stemmen met de gegevens uit het Business report/factsheets. Daarom is het van belang dat bij het opstellen van deze documenten de definities zoals boven weergegeven worden gehanteerd.

Voor gegevens t.a.v. hoogleraren is er een lijst beschikbaar bij het secretariaat. Bepalend voor het factsheet is het aantal leerstoelen.

Gegevens op het gebied van onderzoeksinput worden gecoördineerd vanuit P&O waarbij wordt samengewerkt met Financiën en secretariaat.


Definities Output


Registraties komen per definitie uit het onderzoeksoutputregistratiesysteem, momenteel zijnde Metis. Om mee te tellen moeten publicaties in Metis zijn voorzien van de externe classificatie 99 (published). De papieren publicatiedatum is hierbij de definitieve publicatiedatum.
Voor de rapportage van publicaties en presentaties van het wetenschappelijk onderzoek dient het actuele Standaard Evaluatie Protocol te worden gebruikt. De rapportage in 2012 is gebaseerd op: table 5.1 Contents of the self-evaluation report (4: Quality and scientific relevance, 5: Output, 7: Academic reputation); en table 5.3 Main categories of research output at institutional and programme level in het Standard Evaluation Protocol (SEP) 2009-20153. Hierin worden de volgende categorieën onderscheiden:
SEP-categorie: Refereed articles

PM-lijst: [1.2] Journal article, refereed

    • Resultaattype: Tijdschriftartikel (metiscode 01)

    • VSNU classificatie: Wetensch. publ. Refereed (metiscode 06)


SEP-categorie: Books

PM-lijst: [2.2] Book, academic

    • Resultaattype: Boek (metiscode 02)

    • VSNU classificatie: Wetensch. publicatie (metiscode 05)

Wetensch. publ. refereed (metiscode 06)4

Wetensch. publ. non-refereed (metiscode 07)4



SEP-categorie: Book chapters

PM-lijst: [4.2] Part of book / chapter, academic

    • Resultaattype: Hoofdstuk/boekdeel (metiscode 03)

    • VSNU classificatie: Wetensch. publicatie (metiscode 05)

Wetensch. publ. refereed (metiscode 06)4

Wetensch. publ. non-refereed (metiscode 07)4



SEP-categorie: PhD Theses5

PM-lijst: [6] Dissertation

    • Resultaattype: Dissertatie (metiscode 20)

    • VSNU classificatie: Wetensch. publicatie (metiscode 05)


SEP-categorie: Professional publications
(incl. non-refereed articles, Conference papers, Professional publications, publications aimed at the general public and other output)

PM-lijst: [1.4] Journal article, non-refereed

    • Resultaattype: Tijdschriftartikel (metiscode 01)

    • VSNU classificatie: Wetensch. publ. non-refereed (metiscode 07)

Wetensch. publicatie (metiscode 05)4

PM-lijst: [1.5] Journal article, non-academic

    • Resultaattype: Tijdschriftartikel (metiscode 01)

    • VSNU classificatie: Populariserende publicatie (metiscode 10)

Vakpublikatie (metiscode 08)4

PM-lijst: [1.6] Contribution to periodical/newspaper

    • Resultaattype: Bijdrage week- of dagblad (metiscode 09)

PM-lijst: [2.3] Book, non-academic

    • Resultaattype: Boek (metiscode 02)

    • VSNU classificatie: Vakpublicatie (metiscode 08)

Populariserende publicatie (metiscode 10)4

PM-lijst: [3] Book review6

    • Resultaattype: (Boek)recensie (metiscode 05)

PM-lijst: [4.3] Part of book / chapter, non-academic

    • Resultaattype: Hoofdstuk/boekdeel (metiscode 03)

    • VSNU classificatie: Populariserende publicatie (metiscode 10)

Vakpublicatie (metiscode 08)4

PM-lijst: [5.1/2] Conference paper

    • Resultaattype: Congresbijdrage (metiscode 03)

PM-lijst: [7] Report

    • Resultaattype: Rapport (metiscode 08)

PM-lijst: [15.2] Patent granted

    • Resultaattype: Octrooi (metiscode 30)

    • VSNU classificatie Overig prod. v. wetensch. act. (metiscode 12)

    • interne classificatie: IC 69 [granted] (metiscode 69)


SEP-categorie: Scientific Recognitions

PM-lijst: [17.1/2] Invited (presentations)

    • Resultaattype: Lezing (metiscode 40)

    • VSNU classificatie: Overig prod. v. wetensch. act. (metiscode 12)

    • interne classificatie: Invited speaker (keynote lecture) (plenary meetings) (metiscode 35)

Other invited oral presentation (metiscode 38)

PM-lijst: [17.3] Non-invited (presentations)

    • Resultaattype: lezing (metiscode 40)

    • VSNU classificatie: Overig prod. v. wetensch. act. (metiscode 12)

    • interne classificatie: Non-invited oral presentation (other ac. lecture) (metiscode 99)

Other (non-ac) lecture/presentation (metiscode 40)

PM-lijst: [9] Congress/symposium/workshop (organizer)

    • Resultaattype : Lezing (metiscode 40)

    • VSNU classificatie: Overig prod. v. wetensch. act. (metiscode 12)

    • interne classificatie: Congress/symposium/workshop (organizer) (metiscode 18)

Naast de gegevens die Wetenschappelijke Informatievoorziening aanlevert op basis van het interne onderzoekregistratiesysteem kunnen er ook externe analyses worden uitgevoerd bijvoorbeeld ten aanzien van publicaties en citaties. Vroegtijdig in het proces dient de directie in overleg met de KNAW een besluit te nemen over de wenselijkheid van analyses van wetenschappelijke output door externe partijen (bijvoorbeeld: citatieanalyse door CWTS zoals uitgevoerd in 2012).


Het aanleveren van gegevens op het gebied van wetenschappelijke output wordt gecoördineerd door de sectie Wetenschappelijke Informatievoorziening.


Definities overige publicaties en PR

Voor het zichtbaar maken van outreach activiteiten anders dan de wetenschappelijke output zoals eerder genoemd zijn de volgende indicatoren aangehouden:



  • Aantal mediaresultaten in de verschillende media: naam van het instituut moet genoemd worden of zichtbaar zijn om mee te tellen.

  • Aantal keer in het nieuws gemiddeld per week: het totaal aantal mediaresultaten gedeeld door het aantal weken in een jaar.

  • Aantal persberichten dat verschenen is tijdens 1 kalenderjaar.

  • Webgetallen: via Google Analytics (unieke bezoekers, aantal pageviews zoveel mogelijk gezuiverd).

  • Andere parameters naar wens toe te voegen.

Het aanleveren van gegevens op het gebied van niet-wetenschappelijke output (outreach) wordt verzorgd door de sectie PR.

Daarnaast is de afdeling PR verantwoordelijk voor de redactie, lay-out en fysieke productie van het zelfevaluatierapport. In 2012 is er ook een specifieke website voor de Peer Review commissie ingericht.



Definities Financiële gegevens

Voor de peer review 2012 zijn gegevens geleverd ter bepaling van de financiering van het NIOO. Hierbij zijn de volgende definities gehanteerd:

1ste Geldstroom:


  • Ministerie van OCW financiering

  • KNAW Lumpsum financiering

  • KNAW fondsen/toekenningen (projectmatig)

    • N.B. in de KNAW rapportages worden deze onder de 3de geldstroom gerapporteerd. Dit is in de peer review 2012 losgelaten.

2de Geldstroom:



  • Research grants; subsidies t.b.v. onderzoek &innovatie

    • NWO en aanverwant, zoals: STW/NGI/FOM/ZonMW

3de Geldstroom:



  • Contract research gerelateerde subsidies/toekenningen.

    • EU/Overige ministeries/Stichtingen/Universiteiten/Bedrijven

Aanvullend:

  1. Bij projecten/financiering die uit meerdere stromen gefinancierd worden, is bij de peer review 2012 de stelling genomen: “de grootste financier bepaalt”.

  2. De categorie ’financiering uit overige bronnen’ is niet meegenomen in de peer re view 2012, dit omdat dit voor het NIOO een zeer minimale omvang betrof.

Stappenplan voorbereiding PEER Review Proces

Nadat besloten is tot het in gang zetten van een peer review proces door de directie NIOO en KNAW wordt er in het MT besloten tot een globale tijdslijn; over welke periode strekt de peer review zich uit, en wat is de beoogde periode voor bezoek van de commissie. Advies is om dit onderwerp vroegtijdig op de agenda van de twee-wekelijkse MT meetings te zetten, minimaal 9 maanden voorafgaand aan het voorziene bezoek.

Binnen Bureau Bedrijfsvoering wordt een interne Werkgroep Peer Review (WPR) samengesteld met leden uit de verschillende relevante secties (WI , PR, P&O & F). Advies is om de procedurele, input en output gerelateerde aspecten van de voorbereiding van de peer review in het MT te bespreken in het bijzijn van de kennisinhoudelijke vertegenwoordiging van Bureau Bedrijfsvoering uit de Werkgroep Peer Review (Bv WI, P&O, PR.

P&O en F maken samen een namenlijst en een rekenmodel m.b.v. Excel met de gegevens uit de Business Reports, uitgaande van bovenstaande definities. De namen van personen die wel of geen aanzienlijke bijdrage (richtlijn: meer dan 50% van hun inzet) hebben geleverd aan het NIOO-onderzoek (dus ook niet-NIOO aanstellingen zoals fellows en externe PhD-studenten) worden door de MT-leden aangeduid/weggestreept met onderbouwing waarom. De redenen van de aanpassingen worden vastgelegd in het rekenmodel. Het MT stelt daarna de namenlijst tbv de inputgegevens ter vergadering vast (zie tijdschema).

Advies is om het proces van gegevens aanleveren gelijktijdig te laten verlopen met het proces van schrijven van de tekst (inhoud) van het zelfevaluatie rapport. Dit omdat bij het schrijven vaak conclusies worden getrokken die wederom met cijfers moeten worden onderbouw of nader onderzocht. Het schrijfproces moet dan ook vroegtijdig starten.

Ten aanzien van aanlevertijden tbv het zelfevaluatierapport vanuit BB moet rekening gehouden worden met de volgende perioden:

Financiële administratie heeft samen met P&O 6 weken nodig om de namenlijst met het rekenmodel compleet te maken.

Wetenschappelijke Informatievoorziening heeft ook 6 weken nodig om de publicatielijst te maken (uitgaande van een situatie waarbij geen verdere interne of externe citatieanalyses gedaan hoeven te worden).

PR heeft 6 weken nodig voor het report naar de drukkerij kan.
Stappenplan en Tijdschema Peer Review





Actie

Wie

Tijdspad

1.

Besluitvorming over houden Peer review

Directie KNAW & NIOO-KNAW

          • 9

2.

Vaststellen uitgangspunten t.a.v. Peer review t.a.v. aggregatieniveau beoordeling (bijv. afdelingen), tijdsperiode van evaluatie en van kracht zijnde richtlijnen t.b.v. de evaluatie (regarderende Evaluatieprotocol)

Directie KNAW & NIOO-KNAW

≥ 9 mnd voor bezoek

3.

Suggesties voor kandidaten Peers aanleveren bij KNAW

Directie / MT

8 mnd voor bezoek

4.

Vaststellen van behoefte aan externe analyses

zoals bv. een citatieanalyse door een



onafhankelijke partij.

Directie KNAW & NIOO-KNAW

8 mnd voor bezoek

5.

Afspraken binnen MT tav opstellen van de teksten voor afdelingen en instituut

MT

8 mnd voor bezoek

6.

Opzetten BB Werkgroep Peer Review (WPR) & vaststellen planning

BB

8 mnd voor bezoek (34 weken)

7.

Controle Werkgroep Peer Review op vereisten regarderende SEP protocol

WPR

33 weken voor bezoek

8.

Vaststellen van definitieve inhoudsopgave & format zelfevaluatie qua tekstparagrafen en tabellen; waar nodig vanuit SEP protocol aanpassingen op definities

MT

32 weken voor bezoek


9.

Waar nodig aanpassen format aanlevering gegevens op basis van MT besluit

WPR

32 weken voor bezoek

10.

Opstellen rekenmodel en namenlijst tbv onderzoeksinput

P&O & F

32 weken voor bezoek

11.

Basislijst opstellen WO publicaties/artikelen

WI/PR

32 weken voor bezoek

12.

Basislijst projecten en financieringsstromen

Financiën

30 weken voor bezoek

13.

Bespreken eerste versie WO output binnen MT & koppeling met tekst

MT

28 weken voor bezoek

14.

Aanvullen P&O tabel en check WO outputgegevens in individuele dubbelcheck met afdelingshoofden.

P&O / Fin / WI / AFD

27 weken voor bezoek

15.

Bespreken eerste versie P & F inputgegevens in MT: evt. aanpassingen vastleggen in rekenmodellen

MT / WPR

26 weken voor bezoek

16.

Concept programma voor bezoek Peers op hoofdlijnen opstellen incl rol KNAW, verblijf

Directie KNAW & NIOO-KNAW

24 weken voor bezoek

17.

Concepttabellen T1 bespreken in MT

MT / WPR

24 weken voor bezoek

18.

Uitwerken conceptteksten

MT / AFD

24 weken voor bezoek

19.

concepttekst W1 gebruiken voor aanvulling analyses WO publicaties/artikelen.

WI

20 weken voor bezoek

20.

Concepttekst W1 gebruiken voor aanvulling populairwetenschappelijke uitingen

PR

20 weken voor bezoek

21.

2de bilaterale afstemming met Afdelingshoofden, daarna concepttabellen en definitieve gegevens tav input, output en analyses aanleveren tbv MT

Secties / AFD

18 weken voor bezoek

22.

Bespreken conceptteksten en tabellen W2 & T2 in MT

MT

14 weken voor bezoek

23.

Laatste mogelijkheid tot aanpassing vanuit MT & afdelingen, in combi met concept wetenschappelijke tekst.

MT /AFD

13 weken voor bezoek

24.

Vaststelling definitieve tekst en tabellen in het MT

MT

10 weken voor bezoek

25.

Eindredactie rapport (tekst, check, alles in 1 stijl)

PR

10 weken voor bezoek

26.

Laatste check eindtekst door het MT

MT

8 weken voor bezoek

27.

Opmaak t.b.v. drukken zelfevaluatierapport

PR

8 weken voor bezoek

28.

Laatste check figuren en layout door het MT

MT

6 weken voor bezoek

29.

Rapport naar drukker

PR

6 weken voor bezoek

30.

Alle definitieve info + aanvullende info op bijbehorende website voor de Peers

PR /WI

4 weken voor bezoek

31.

Rapport verzenden, incl. inlog voor peerwebsite

Secr. / PR

4 weken voor bezoek

32.

Voorbereiden bezoek Peers (coördinator voor kiezen)

Coördinator bezoek/ allen

2 weken voor bezoek

33.

Bezoek Peers

MT e.a.




34.

Reageren op (voorlopig) rapport

Directie / MT




35.

Ontvangst definitieve rapport







36.

Publiciteit

PR




37.

Evaluatie proces

Allen




Stappenplan & Tijdschema Factsheet

Onderstaand is het stappenplan beschreven voor het aanleveren van gegevens tbv het factsheet en business reports.



  1. Aansporing aan onderzoekers de gevraagde gegevens betreffende lezingen, populariserende artikelen e.d. z.s.m. en liefst doorlopend te registreren in Metis per oktober.

  2. Voor de kerst moeten de literatuurlijsten in Metis bijgewerkt zijn en naar de afdelingshoofden gestuurd voor controle.

  3. In de 1e week van januari begint ieder met het verzamelen van gegevens.

  4. P en F maken samen een rekenmodel m.b.v. Excel volgens bovenstaande definities en voorgeschreven % tbv onderzoeksinput.

  5. De namen die wel of geen aanzienlijke bijdragen (meer dan 50%) hebben geleverd aan het NIOO onderzoek (dus ook niet- NIOO aanstellingen zoals fellows en student PHD’s) worden door de MT-leden aangeduid/weggestreept. De reden van de aanpassingen worden opgenomen in het rekenmodel.

  6. In de MT meeting in de tweede helft van januari wordt de namenlijst tbv inputgegevens vastgesteld. Eerste concept factsheet gereed in laatste week van januari.

  7. Metis wordt gesloten en factsheet vanuit KNAW voorbereid 1e week februari.

  8. Inleveren rond 15 februari na akkoord directie.

  9. Start opmaak Business report na afsluiten factsheet: afdelingssecretariaat verzamelt ‘general information’. De namenlijst zoals vastgesteld in het MT wordt gebruikt voor het business report (muv studenten; gegevens hiervan dienen aangevuld te worden).

  10. Onderzoekers werken hun researcherID bij (aansporing per mail en via MT)

  11. Citatierapporten en publicatielijsten per onderzoeker uit Metis gehaald.

  12. Afdelingssecretariaat maakt business report op en levert rapport op uiterlijk eind maart.




1 https://www.knaw.nl/nl/thematisch/kwaliteit/kwaliteitsbeoordeling-en-valorisatie/shared/resources/actueel/publicaties/pdf/20091052.pdf

2 Op dit moment worden door de KNAW tbv factsheets nog andere

definities gehanteerd inzake onderzoeksinput. Met de KNAW wordt overlegd of dit verder gestroomlijnd kan worden.



3 https://www.knaw.nl/nl/thematisch/kwaliteit/kwaliteitsbeoordeling-en-valorisatie/shared/resources/actueel/publicaties/pdf/20091052.pdf

4 De combinatie is geen Personal Metis combinatie, maar controleer wel of deze combinatie voorkomt. De combinatie moet namelijk wel meetellen.

5 In Factsheets alleen afgeronde theses vermelden. In Business Report ook promotie-begeleiding registreren in Metis mapping 16.1 (intern) 16.2(extern) dus dubbele registratie in Metis.


6 Bekijk of de boekreview als artikel kan worden geregistreerd. Zo niet, dan telt het niet mee als publicatie.




De database wordt beschermd door het auteursrecht ©opleid.info 2017
stuur bericht

    Hoofdpagina