SlideShare une entreprise Scribd logo
1  sur  39
Télécharger pour lire hors ligne
Panduan Monitoring dan Evaluasi

    Riset Unggulan Terpadu
1. Latar Belakang


               Dari seluruh aspek yang tergolong dalam manajemen riset, monitoring dan
      evaluasi adalah satu-satunya aspek yang belum terimplementasikan secara baik,
      tepat dan berkesinambungan. Disamping indikator kinerja yang diperlukan sukar
      ditemukan. Kalaupun ditemukan, masih sukar untuk diukur, dibebani lagi oleh
      ketidakcukupan dana pendukung, maka aktivitas tersebut acapkali tidak
      dilaksanakan secara disiplin dan konsekuen. Faktor lain yang turut mereduksi nilai
      pelaksanaan monitoring dan evaluasi adalah tumpang tindihnya berbagai program
      riset di Indonesia. Sebagaimana telah diketahui bahwa Direktorat Pembinaan
      Penelitian dan Pengabdian pada Masyarakat, Ditbinlitabmas Ditjen Dikti
      mengalokasikan sejumlah dana riset untuk membiayai beragam program riset bagi
      perguruan tinggi. Program tersebut adalah Penelitian Dosen Muda, PDM yang
      dahulu dikenal sebagai Berbagai Bidang Ilmu, BBI, Penelitian Hibah Bersaing,
      PHB; Penelitian Dasar, PD; Penelitian Hibah Tim, PHBT; Penelitian Doktor
      Baru, PDB; Domestic Collaborative Research Grant, DCRG; Studi Lingkungan; Kajian
      Wanita dan lain-lain. Setiap program membawa misi yang berbeda-beda,
      karenanya alokasi biayanyapun beragam. Ada program riset yang membawa misi
      menciptakan nuansa, iklim dan keterampilan riset di perguruan tinggi (PDM),
      riset-riset yang berorientasi kepada eksplorasi fenomena alam semesta dan
      pemantapan platform riset suatu bidang studi (PD, PHT, PDB, Kajian Wanita,
      DCRG, dll), ada yang berorientasi pada pemenuhan kebutuhan industri (PHB). Di
      lain pihak          Kantor Menteri Negara Riset dan Teknologi, KMNRT pun
      mempunyai program riset berskala nasional, yaitu Riset Unggulan Terpadu, RUT;
      Riset Unggulan Kemitraan, RUK; Riset Unggulan Kemasyarakatan dan
      Kemanusiaan, RUKK; dan Riset Pembinaan Iptek Kedokteran, Risbiniptekdok;
      dengan misi yang juga berbeda. Jika program riset Ditbinlitabmas hanya
      mengijinkan dosen perguruan tinggi yang berpartisipasi aktif, maka dana KMNRT
      disamping perguruan tinggi juga LPND, Litbang Departemen, LD dapat turut
      bersaing memperebutkan biaya riset yang dialokasikan.
               Hibah riset yang berasal dari luar negeri seperti Asahi Glass Foundation, Toray
      Foundation, Toyota Foundation, Sumitomo Foundation, dan lain-lain melengkapi sumber

Panduan Monitoring dan Evaluasi RUT                                                        1
dana riset yang telah diuraikan sebelumnya. Riset semacam ini pada umumnya
    terbatas. Batasan tersebut pada umumnya diterapkan pada bidang-bidang ilmu
    tertentu sehingga kelompok peneliti yang eligible untuk berpartisipasi, juga
    terbatas. Batasan semacam itu, bahkan dalam konteks bidang ilmu dapat
    dikatakan cukup ekstrim berlaku bagi program ARM yang khusus diperuntukkan
    bagi peneliti bidang pertanian; RUKK bagi bidang sosial dan humaniora;
    Risbiniptekdok, bagi bidang kedokteran, dll.
          Sementara itu, setiap perguruan tinggi juga mengalokasikan sejumlah dana
    riset bagi dosen-dosennya. Pada umumnya jumlahnya terbatas untuk menciptakan
    nuansa dan adaptasi riset bagi dosen mudanya. Industri pun meskipun dalam
    skala yang masih kecil, telah turut berperan serta dalam program riset perguruan
    tinggi. Demikian pula litbang-litbang yang departemennya mampu menggalang
    dana semacam dana reboisasi telah mengalokasikan sebagian dananya bagi
    program riset di lingkungannya.
          Hasil studi yang telah dilakukan baik oleh KMNRT maupun Ditjen Dikti
    menunjukkan bahwa pola monitoring dan evaluasi berlangsung secara sentralistik.
    Institusi atau lembaga pelaksana riset lebih mengandalkan institusi penyandang
    dana riset untuk melaksanakan        monitoring sekaligus evaluasi. Jadi, asas
    desentralisasi belum sepenuhnya dipahami. Disamping itu, tim pemantau yang
    diharapkan dapat sekaligus bertindak sebagai peer reviewer tidak dapat terpenuhi,
    olehkarena substansi riset seringkali tidak serasi dengan kepakaran tim yang
    jumlahnya terbatas. Akibatnya, alokasi dana yang tersedia pada umumnya hanya
    memungkinkan aktivitas monitoring dan evaluasi menyentuh sisi administrasi
    riset, namun belum sisi substansinya. Apalagi jika monitoring dan evaluasi
    dimaksimalkan dengan mencakup sisi manfaat dan dampak riset itu sendiri. Dapat
    dibayangkan, bagaimana sebenarnya profil monitoring dan evaluasi riset di
    Indonesia saat ini, jika baru dari dua sumber dana (Ditjen Dikti dan KMNRT)
    implementasi aspek tersebut tidak optimal. Patut pula diperhatikan bahwa
    aktivitas riset di banyak lembaga riset Indonesia tidak hanya mengenal dan
    memanfaatkan kedua sumber dana tersebut, melainkan juga dari departemen
    teknis atau non departemen lainnya. Olehkarena itu, dipandang perlu untuk
    merumuskan kebijakan yang berkaitan dengan peningkatan produktivitas, efisiensi

2                                                           Panduan Monitoring dan Evaluasi RUT
dan mekanisme monitoring dan evaluasi lembaga riptek serta melaksanakan
      evaluasi kinerja lembaga yang dinilai mempunyai posisi strategis dalam
      mengupayakan tingginya efisiensi dan nilai yang diperoleh dari aktivitas
      monitoring dan evaluasi riset di Indonesia.
               Sejak      tahun       1993   dan   tahun-tahun   setelahnya,   KMNRT   telah
      memperkenalkan berbagai program riset unggulan dan strategis, antara lain RUT,
      RUK, RUKK dan RUSNAS. Sebagai institusi fungsional, KMNRT tidak berada
      pada posisi untuk melaksanakan program-program tersebut secara operasional.
      Implementasi program-program riset termaksud dilaksanakan oleh LPND yang
      berada di bawah koordinasinya, seperti LIPI dan BPPT. KMNRT lebih
      diposisikan sebagai perencana dan pengawas program. Olehkarena itu, di dalam
      buku panduan ini diuraikan sistem dan mekanisme monev yang berlaku untuk
      setiap program KMNRT dan model monev khusus untuk RUT. Dengan
      demikian, masih perlu disusun suatu model monev lain untuk RUK, RUKK dan
      RUSNAS, karena program-program tersebut membawa misi yang berlainan.
               Otonomi Daerah yang mulai diberlakukan sejak bulan Januari 2001 dan
      didirikannya Dewan Riset Daerah (DRD) serta institusi sejenis dengan nama lain
      di banyak propinsi, menjadi parameter lain dalam menetapkan pola atau
      mekanisme monitoring dan evaluasi riset. Beberapa alternatif dapat dilakukan
      misalnya mendesentralisasikan pengelolaan basis data riset dari KMNRT ke
      DRD. KMNRT mengakses situs web DRD untuk memantau kegiatan dan produk
      riset di setiap propinsi.




Panduan Monitoring dan Evaluasi RUT                                                      3
2. Tujuan


          Buku panduan monitoring dan evaluasi yang diterbitkan KMNRT ini
    ditujukan bagi terealisasikannya sistem serupa di setiap unit riset. Jadi tidak hanya
    menjadi kewajiban bagi penyandang dana untuk melakukan swakarya, tetapi harus
    merupakan budaya dan kewajiban unit riset itu sendiri dan suprastruktur
    pengelola di lembaganya yang lebih tinggi. Meskipun disadari dalam skala dan
    karakter unit riset tertentu, buku panduan ini belum dapat diterapkan, namun
    harapan agar kegiatan monitoring dan evaluasi disadari sebagai bagian dari
    kewajiban suatu unit riset, setidak-tidaknya dapat terpenuhi.




4                                                              Panduan Monitoring dan Evaluasi RUT
3. Pengertian


      Unit Riset           adalah unit dimana sekelompok peneliti melakukan penelitiannya
                           dan memiliki 4 (empat) kriteria berikut, yaitu (1) melakukan
                           manajemen riset, (2) mempunyai sumber daya riset, (3) mempunyai
                           kebijakan riset atau mengaplikasikan temuannya, dan (4)
                           mempunyai program riset. Di dalam unit riset terdapat seorang
                           pemimpin sedangkan lainnya adalah anggota unit. Sebagai contoh
                           unit riset antara lain: laboratorium, kelompok bidang keahlian,
                           Unit Pelaksana Teknis, UPT; balai penelitian, pusat penelitian,
                           pusat antar universitas, bidang dan sejenisnya.
      Monitoring           adalah suatu kegiatan observasi yang berlangsung terus menerus
                           untuk memastikan dan mengendalikan keserasian pelaksanaan
                           program dengan perencanaan yang telah ditetapkan.
      Evaluasi             adalah suatu teknik penilaian kualitas program yang dilakukan
                           secara berkala melalui metode yang tepat.


               Pada hakekatnya evaluasi diyakini sangat berperan dalam upaya
      meningkatkan kualitas operasional suatu program dan berkontribusi penting
      dalam memandu pembuat kebijakan di seluruh strata organisasi. Dengan
      menyusun, mendesain evaluasi yang baik dan menganalisis hasilnya dengan tajam,
      kegiatan evaluasi dapat memberi gambaran tentang bagaimana kualitas
      operasional program, layanan, kekuatan dan kelemahan yang ada, efektivitas biaya
      dan arah produktif potensial masa depan. Dengan menyediakan informasi yang
      relevan untuk pembuat kebijakan, evaluasi dapat membantu menata seperangkat
      prioritas, mengarahkan alokasi sumber dana, memfasilitasi modifikasi dan
      penajaman struktur program dan aktivitas serta memberi sinyal akan kebijakan
      penataan ulang personil dan sumber daya yang dimiliki. Disamping itu, evaluasi
      dapat dimanfaatkan untuk menilai dan meningkatkan kualitas serta kebijakan
      program.
               Ilustrasi tentang peran evaluasi dalam meningkatkan kualitas dan kebijakan
      program dilukiskan secara sederhana seperti tampak pada Gambar 1. Model

Panduan Monitoring dan Evaluasi RUT                                                     5
tersebut menunjukkan interaksi antara formulasi dengan implementasi kebijakan
    dan pelaksanaan program serta ketetapan atau keputusan dan evaluasi tentang
    kualitas program. Pada lingkaran ganda pertama, yang merupakan tingkat paling
    sederhana, kebijakan program diformulasikan untuk memandu dan menetapkan
    arah pelaksanaan program. Akan tetapi, karena operasionalisasi program
    merupakan sasaran interpretasi suatu kebijakan, dan berkorelasi erat dengan
    kemampuan adaptasi individual, maka pelaksanaan program bukanlah suatu
    cerminan akurat dari suatu pedoman kebijakan. Olehkarena itu, kebijakan dan
    pelaksanaan program selanjutnya dikombinasikan untuk menghasilkan kualitas
    aktual program (atau kualitas operasional organisasi). Melalui proses evaluasilah
    suatu kualitas program dinilai. Hal ini dapat dilakukan baik melalui proses yang
    bersifat kualitatif maupun kuantitatif. Meskipun harus diakui pula bahwa masing-
    masing pola tersebut hanya mampu menetapkan sebagian dari total kualitas
    pelaksanaan program dan dampaknya. Setelah melalui fase penilaian – sesuai
    lingkaran ganda kedua – dari serangkaian proses evaluasi dilakukan pengambilan
    keputusan tentang sebaik apa kualitas kebijakan dan pelaksanaan programnya.
    Untuk itu diperlukan model evaluasi yang tepat, indikator kinerja dan besarannya
    yang disepakati, tujuan atau obyektif yang jelas dan standar yang diterapkan serta
    luasnya rentang nilai faktor-faktor yang lain. Dengan demikian akan diperoleh
    keputusan tentang nilai kualitas integratif (lingkaran ganda ketiga).
           Tergantung pada hasil evaluasi yang diperoleh dilakukan pengambilan
    keputusan. Langkah berikutnya adalah menerapkan keputusan yang telah
    ditetapkan        dengan   melanjutkan   atau   mengubah     kebijakan        yang       ada,
    mengeliminasi, meluaskan atau memodifikasi operasi pelaksanaan program.
    Model evaluasi secara sengaja digambarkan dalam bentuk lingkaran dengan
    maksud untuk mengindikasikan bahwa proses tersebut tidak berlangsung diskret
    apalagi linier.
           Sudut pandang model di atas, dinilai telah berkorespondensi dengan
    pandangan tradisional tentang peran evaluasi dalam pengembangan suatu
    program. Dilihat dari sudut yang lain, sebagai contoh, evaluasi kualitas yang telah
    dibuktikan atau yang belum dibuktikan kebenarannya dapat mengantarkan kepada
    penilaian yang mengidentifikasi adanya kebutuhan untuk intervensi baru ke dalam

6                                                               Panduan Monitoring dan Evaluasi RUT
kebijakan dan pelaksanaannya. Jadi peran penilaian dalam hal ini adalah untuk
      memenuhi kebutuhan suatu evaluasi. Olehkarena itu, intervensi baru -- yang
      dapat berupa kebijakan, strategi, dll -- seyogyanya dinilai dan dievaluasi setelah
      diimplementasikan serta menjadi subyek atau acuan untuk dilanjutkan atau
      dimodifikasinya suatu aksi.



                                                      1


                                                  Kebijakan
                                                   Program




                                                  Pelaksanaan
                               3                                                 2
                                                    Program


                            Keputusan
                            Terintegrasi                                    Kualitas
                              tentang                                       Program
                             Kualitas

                              Standar
                                yang                                        Penilaian
                             disepakati                                     Kualitas



                                               Perubahan konteks sosial
                                                 −−   SSosial
                                                       osial
                                                 −−   PPolitik
                                                       olitik
                                                 −−    Sumber daya
                                                      Sumber daya




                              Gambar 1. Model Proses Peningkatan Kualitas




Panduan Monitoring dan Evaluasi RUT                                                     7
4. Sistem MONEV KMNRT


          Melaksanakan evaluasi kinerja lembaga riset yang memiliki berbagai
    karakter, misi dan pola pendanaan risetnya, menuntut taktik dan strategi yang
    tepat dan operasional. Kondisi semacam itu dipicu dengan kebijakan Menegristek
    tentang   ruang   lingkup      operasional   KMNRT    yang      berskala       nasional.
    Olehkarenanya, meskipun KMNRT berfungsi sebagai koordinator 7 (tujuh)
    LPND, namun kebijakan tersebut memberi konsekuensi meluasnya liputan
    monev ke lembaga atau institusi bahkan unit riset yang ada di seluruh Indonesia.
          Sebagaimana telah diketahui bahwa aspek pengawasan, controlling, meliputi
    monitoring, evaluasi dan auditing. Untuk melaksanakan fungsi evaluasi kinerja
    lembaga, Deputi Bidang Program Riptek, KMNRT membatasi pengawasannya
    dalam kedua hal yang disebutkan lebih awal, yaitu monitoring dan evaluasi.
    Fungsi auditing tetap sepenuhnya diserahkan kepada pihak badan pengawas
    pemerintah yang lebih berwenang, seperti Inspektorat, Irjen, BPKP dan BPK.
          Setelah melalui berbagai pertimbangan, sistem monev KMNRT ditetapkan
    seperti tampak pada Gambar 2. Pada gambar tersebut dilukiskan mekanisme
    evaluasi kinerja lembaga yang secara garis besarnya melibatkan empat pelaku
    utama, yaitu:
          1. Pihak pelaksana monev KMNRT sendiri, yang dalam hal ini adalah
              Asdep 4/III Evaluasi Kinerja Lembaga;
          2. Penentu kebijakan dan program riset nasional, yang dalam hal ini
              terdiri dari para Staf Ahli, Deputi Menegristek dengan mempertim-
              bangkan saran atau rekomendasi Dewan Riset Nasional;
          3. Pihak perencana anggaran nasional, yang terdiri dari unsur Direktorat
              Jenderal Anggaran, Departemen Keuangan dan Bappenas;
          4. Pihak pelaksana riset, yakni lembaga riset yang dikelompokkan ke
              dalam LPND, Litbang Departemen, Perguruan Tinggi, BUMN dan
              pusat-pusat studi.
    Keempat pelaku monev tersebut seyogyanya merupakan komponen dinamis dari
    satu rangkaian siklus kegiatan yang berkesinambungan. Masing-masing pelaku



8                                                            Panduan Monitoring dan Evaluasi RUT
memegang peranan penting dalam proses kelancaran, efektivitas, berbasis
       monitoring dan evaluasi riset di Indonesia.



Masukan, input
− visi, misi
− renstra, rencana aksi
− kebijaksanaan                                                                               • Profil Kinerja
− peraturan                                                                                     Lembaga
− sumber daya
                                                                                              • Profil Sumber-
Proses, process                                                                                 daya Riset
                                        LPND                                                    Lembaga
interaksi
− antar periset                                                     Asdep Evaluasi
− periset-pimpinan                                                     Kinerja
atmosfer riset;
efisiensi;                                                                                          KMNRT
                                         LD
manajemen konflik

Keluaran, output
produktivitas
− artikel saintifik                       PT                                                          Staf
                                                                                     Deputi
− buku                                                                                                Ahli
− paten
− prototipe
− desain                                                                  DJA                         • Jakstra
                                      INDUSTRI                                                        • Punas
− dll.

Hasil, outcome                                                                                DPR
− aspek komersialisasi
− aspek internalisasi                                                    Bappenas
                                       PUSAT
− return on investment                 STUDI
                                                                                              • Program Baru
Dampak, impact                                                                                • Sistem Baru
Pengaruh positif dan/atau                                                                     • Panduan
negatif terhadap
− lingkungan internal                 • Program Baru
− lingkungan eksternal                  Riset Nasional

Manfaat, benefit
− relevansi
− efektivitas



                                Gambar 2. Mekanisme Evaluasi Kinerja Lembaga




               KMNRT, dalam hal ini Asdep 4/III menerima informasi dalam bentuk data
       kuantitatif tentang sumberdaya, program, manajemen dan kebijakan riset yang
       dimiliki lembaga riset (LPND, Litbang Departemen, Perguruan Tinggi, BUMN,
       Pusat          Studi).     Berbasis       informasi   tersebut,      KMNRT         mengolah           dan

Panduan Monitoring dan Evaluasi RUT                                                                              9
menganalisisnya menjadi profil kinerja riset lembaga, potensi SDM dan fasilitas
     masing-masing lembaga riset. Berdasarkan profil tersebut, pimpinan KMNRT
     (para Deputi dan Staf Ahli Menegristek) bersama dengan Dewan Riset Nasional
     menilai kesesuaian kinerja dengan Jakstra Riptek Nasional dan/atau menyusun
     serta menetapkan kebijakan dalam bentuk naskah program, sistem dan panduan
     riset baru.
          Naskah program dan sistem yang baru selanjutnya dibahas bersama Ditjen
     Anggaran (Departemen Keuangan) dan Bappenas untuk memperoleh persetujuan
     anggaran dan penetapannya sebagai program riset nasional yang akan dibiayai
     oleh pemerintah untuk tahun anggaran berikutnya. Selain Ditjen Anggaran dan
     Bappenas, pihak DPR seyogyanya diikutsertakan pada saat pengkajian dan
     pembahasan program tersebut. Program-program riset yang telah disetujui
     pembiayaannya, kemudian ditawarkan secara terbuka dan kompetitif kepada
     seluruh lembaga riset melalui mekanisme penawaran yang atraktif.
            Didalam kaitannya dengan otonomi daerah, mekanisme serupa juga dapat
     dikembangkan di daerah-daerah dalam menyusun program-program riset daerah,
     dimana DRD (Dewan Riset Daerah) bersama dengan Bappeda (Badan
     Perencanaan Pembangunan Daerah) dan DPRD merumuskan program-program
     riset yang spesifik untuk daerah yang bersangkutan.
            Pada prinsipnya lembaga-lembaga riset seyogianya melakukan monev
     internal dengan cara melakukan self-evaluation atau evaluasi diri, menetapkan
     indikator kinerja untuk mengevaluasi kinerja dan potensi diri yang ada pada
     masing-masing lembaga. Monev eksternal dilakukan oleh KMNRT melalui pola
     tidak langsung, yaitu melalui akses basis data yang teralokasi di setiap lembaga
     atau bahkan unit riset. Jika dipandang perlu, KMNRT akan melakukan kunjungan
     konsultatif ke unit-unit riset yang menunjukkan kinerja baik dan/atau yang masih
     memerlukan dukungan pengembangan.




10                                                           Panduan Monitoring dan Evaluasi RUT
5. Struktur Data MONEV KMNRT


               Berbasis pada pola evaluasi sumatif, KMNRT menata informasi riset dan
      teknologi ke dalam struktur data seperti tampak pada Gambar 3 berikut. Hal ini
      dilakukan untuk mengefisienkan, mengefektifkan arus informasi, karena pada
      dasarnya evaluasi sumatif bertitik pangkal pada basis data iptek di tingkat paling
      operasional, yaitu unit riset. KMNRT akan menerbitkan excecutive summary
      berdasar hasil ekstraksi dan pengolahan data yang tersaji pada website setiap
      lembaga/institusi dan unit riset di seluruh Indonesia. Hal tersebut terlebih dahulu
      diintegrasikan ke dalam visi, misi, tugas pokok dan fungsi KMNRT, sebelum
      disimpan dalam website. Uraian rinci Sistem Informasi Riset, SIR dan jenis basis
      data yang sebaiknya disajikan di Unit Riset (SIR-1) dan informasi yang
      ditampilkan pada SIR-2 & 3, dapat disimak dalam Buku “Sistem Informasi Riset”
      yang diterbitkan oleh KMNRT, tahun 2001.

                                                                Sistem Informasi Riset,
                                      KMNRT                             SIR - 3



                                                              Sistem Informasi
                        Lembaga/                                   Riset,
                         Institusi                                 SIR - 2



                                                                Sistem Informasi Riset,
                                                                       SIR – 1

                                                                   Basis Data:
                 UNIT RISET                                        Identitas
                  UNIT RISET
                       UNIT RISET                                  Manajemen Riset
                                                                   Sumberdaya Riset
                                                                   Program Riset
                                                                   Kebijakan Riset


                                Gambar 3. Struktur Data MONEV KMNRT

               Buku Panduan Monev RUT hanya memuat struktur data monev KMNRT.
      Perangkat keras dan lunak yang diinvestasikan, terbatas hanya di lingkungan
      KMNRT untuk mendukung kegiatan monev, entry data dan program pengolahan
      data. Seluruh sistem informasi yang dibangun terbatas telah dikoneksikan dengan
      Ipteknet, agar mempunyai akses pengguna dan nilai kemanfaatan yang lebih luas.

Panduan Monitoring dan Evaluasi RUT                                                       11
6. Evaluasi Formatif dan Sumatif


            Sistem monitoring dan evaluasi KMNRT yang berbasis pada akses data di
     unit dan lembaga atau institusi riset lebih cenderung mengikuti pola evaluasi
     sumatif. Disamping biayanya murah, evaluasi semacam itu menawarkan efisiensi
     paling tinggi. Hasil pengolahan data selanjutnya menjadi basis pertimbangan
     KMNRT untuk melakukan kunjungan konsultatif ke unit riset yang atraktif atau
     bahkan yang kinerjanya sangat rendah. Kunjungan tersebut dilakukan dalam
     rangka klarifikasi, sebagai basis pemikiran penyusunan rekomendasi perubahan-
     perubahan atau perbaikan unit riset di masa depan.


     6.1.   Perbedaan Evaluasi Formatif dan Sumatif
            Pada prinsipmya, perbedaan umum dan khusus diantara kedua macam
            evaluasi tersebut, masing-masing dapat dilihat pada Tabel 1 dan Tabel 2
            berikut ini.


                           Tabel 1. Perbedaan Evaluasi Formatif dan Sumatif
                      Evaluasi Formatif                      Evaluasi Sumatif
              −    Evaluasi formatif dilakukan        −   Evaluasi sumatif dilakukan
                   untuk membantu perancang               untuk membantu sponsor atau
                   program, para manajer dan/atau         institusi berwenang lainnya
                   staf untuk menyempurnakan              dalam menentukan keputusan
                   program yang sedang                    apakah akan melanjutkan
                   dikembangkan atau yang sedang          program yang dinilai sukses atau
                   berjalan,                              apakah akan menghentikannya,
              −    Menuntut perhatian yang cukup      −   Tujuan evaluasi sumatif adalah
                   untuk memantau implementasi            untuk mengoleksi dan
                   program dan pencapaian tujuan,         menampilkan informasi yang
              −    Dalam upaya untuk                      diperlukan dalam mendukung
                   meningkatkan program,                  pengambilan kesimpulan dan
                   diperlukan pemahaman tentang           keputusan tentang program
                   kemajuan program ke arah               serta nilainya,
                   pencapaian obyektif sehingga
                   peluang melakukan perubahan
                   dalam komponen program dapat
                   dilakukan,




12                                                               Panduan Monitoring dan Evaluasi RUT
Evaluasi Formatif                           Evaluasi Sumatif
                  −     Evaluasi formatif memerlukan         −       Evaluasi dilakukan dengan
                        waktu lama sebab membutuhkan                 menggunakan pembanding,
                        familiaritas akan banyak aspek               yaitu perbandingan hasil
                        program dan melengkapi                       perencanaan program dengan
                        personil program dengan                      tujuan yang ditetapkan oleh
                        informasi serta wawasan untuk                desainer program dan detilnya
                        membantu mereka                              terekam dalam perencanaan
                        memperbaikinya,                              program,
                  −     Evaluasi formatif tidak perlu        −       Semakin jelas program dan
                        dilakukan, jika tidak ada peluang            terukurnya tujuan, konsistensi
                        melakukan perubahan untuk                    materi, organisasi dan aktivitas,
                        suatu perbaikan,                             semakin cocok dilakukannya
                  −     Hasil evaluasi formatif digunakan            evaluasi sumatif,
                        untuk merevisi aktivitas,            −       Hasil evaluasi sumatif
                        penugasan, organisasi dan                    digunakan untuk membantu
                        komponen lainnya di dalam                    memutuskan apakah suatu
                        program.                                     program akan dilanjutkan, di-
                                                                     hentikan atau apakah dan
                                                                     bagaimana cara pengembangan
                                                                     atau menghentikannya.



                      Tabel 2. Perbedaan Khusus antara Evaluasi Formatif dan Sumatif

                                           Evaluasi Formatif                 Evaluasi Sumatif
                 Sasaran utama          − Desainer program               − Penentu kebijakan
                                        − Manajer program,               − Donatur atau sponsor
                                        − Pelaksana program              − Publik yang berminat
                 Konsentrasi pada       Klarifikasi tujuan               Dokumentasi hasil
                 saat pengkoleksian     Sifat program                    Dokumentasi implemen-
                 data                   - Proses atau implementasi       tasi
                                        Klarifikasi persoalan            Analisis level mikro dari
                                        - Saat implementasi dan          - Implementasi dan
                                        - Kemajuan pada hasil            - Hasil
                                           program
                                        Analisis level mikro dari
                                        - Implementasi dan
                                        - Hasil
                 Pelaku utama           Kolaborator                       Penyuplai data
                 pengembang
                 program dan
                 pelaksana
                 Peran utama            Interaktif                        Independen
                 evaluator
                 Metodologi             Kualitatif dan kuantitatif        Kuantitatif, kadangkala
                                        dengan lebih ditekankan           diperkaya dengan kualitatif
                                        pada situasi sebelumnya


Panduan Monitoring dan Evaluasi RUT                                                                      13
Evaluasi Formatif             Evaluasi Sumatif
             Frekuensi            Monitoring yang sedang       Terbatas
             pengkoleksian data   berjalan
             Mekanisme utama      − Diskusi                    Laporan formal
             pelaporan            − Interaksi pertemuan
                                    informal
             Frekuensi            Berulang-ulang               Saat menyimpulkan
             pelaporan
             Penekanan dalam      − Hubungan diantara          − Hubungan makro antara
             laporan                unsur proses-level mikro     konteks-proses-hasil
                                  − Hubungan diantara          − Implikasi untuk
                                    konteks dan proses           kebijakan, kontrol
                                  − Hubungan diantara            administratif dan
                                    proses dan hasil             manajemen
                                  − Implikasi untuk
                                    pelaksanaan program
                                    dan perubahan spesifik
                                    saat pelaksanaan
             Syarat untuk         − Kesepakatan kinerja        Obyektivitas saintifik
             kredibilitas           program dengan
                                    pengembang atau
                                    pelaksana
                                  − Advokasi atau
                                    kepercayaan




     6.2.   Tahapan Pelaksanaan Evaluasi Formatif dan Sumatif
            Untuk mengenali tahapan pekerjaan kedua macam evaluasi tersebut, secara
            garis besar telah dimuat secara lengkap pada Tabel 3 berikut.


                    Tabel 3. Ringkasan Tahapan Evaluasi Formatif dan Sumatif

                      Evaluasi Formatif                        Evaluasi Sumatif
             Tahap 1:                                Tahap 1:
             Tentukan Batas Evaluasi                 Tentukan Batas Evaluasi
             1.1. Menentukan maksud evaluasi         1.1. Menentukan maksud evaluasi
             1.2. Mencari sebanyak mungkin           1.2. Menemukan sebanyak mungkin
                  informasi tentang program               informasi tentang program dalam
             1.3. Merumuskan program                      bentuk pertanyaan
             1.4. Memfokuskan evaluasi               1.3. Merumuskan program X dan C
             1.5. Menegosiasikan peran Anda          1.4. Memfokuskan evaluasi
                                                     1.5. Menegosiasikan peran Anda




14                                                                Panduan Monitoring dan Evaluasi RUT
Evaluasi Formatif                           Evaluasi Sumatif
                 Tahap 2:                                     Tahap 2:
                 Pilih Metode Evaluasi yang Cocok             Pilih Metode Evaluasi yang Cocok
                 2.1. Mempertajam perumusan program           2.1. Pilih pendekatan pengkoleksian data
                 2.2. Memastikan anda mengajukan                   dan instrumen evaluasi
                       pertanyaan yang benar                  2.2. Konsolidasikan perhatian anda
                 2.3. Menemukan keterangan apa yang                kepada instrumen yang cocok
                       akan dihasilkan dari data yang anda    2.3. Rencanakan konstruksi dan
                       suplai                                      pengadaan instrumen evaluasi
                 2.4. Mendesain perencanaan untuk             2.4. Rencanakan analisis data yang akan
                       menguji implementasi program                dihasilkan dari setiap instrumen
                 2.5. Mendesain kemajuan sistem               2.5. Pilih desain evaluasi
                       monitoring                             2.6. Pilih contoh strategi untuk
                 2.6. Mengkonsolidasikan perhatian anda            mengkonduksi koleksi data
                 2.7. Mengestimasikan biaya evaluasi          2.7. Estimasi biaya evaluasi
                 2.8. Persetujuan final tentang layanan dan   2.8. Persetujuan final tentang layanan dan
                       tanggungjawab                               tanggungjawab
                 Tahap 3:                                     Tahap 3:
                 Pengumpulan dan Menganalisis                 Pengumpulan dan Menganalisis
                 Informasi                                    Informasi
                 3.1. Koleksi dan analisis informasi          3.1. Pastikan batas akhir
                 3.2. Pastikan batas akhir koleksi data       3.2. Siapkan desain evaluasi
                 3.3. Tentukan ekspektasi untuk               3.3. Pengelolaan instrumen, penilaian dan
                      menginterpretasikan data anda                pencatatan data
                 3.4. Pastikan bahwa perencanaan koleksi            - mulai menyiapkan instrumen
                      data anda telah diimplementasikan                 yang diperlukan
                      semestinya                                    - instrumen penilaian sesuai format
                 3.5. Analisis data untuk peningkatan                   hasil yang diharapkan
                      program                                       - catat hasil setiap pengukuran
                                                                        kedalam lembar ringkasan data
                                                              3.4. Lakukan analisis
                 Tahap 4:                                     Tahap 4:
                 Penyusunan Laporan                           Penyusunan Laporan
                 4.1. Pastikan strategi komunikasi            4.1. Perencanaan laporan
                 4.2. Bertemu dengan manajer program          4.2. Pilih metode presentasi
                      dan/atau staf untuk mendiskusikan       4.3. Set laporan
                      kelanjutan temuan
                 4.3. Tinggalkan catatan evaluasi




Panduan Monitoring dan Evaluasi RUT                                                                    15
7. Sistem MONEV RUT


              Khusus untuk riset unggulan, dalam hal ini RUT (Riset Unggulan Terpadu),
     sistem monitoring dan evaluasi yang dikembangkan di KMNRT tampak seperti
     Gambar 4. Gambar tersebut menunjukkan mekanisme pembagian tugas yang
     khususnya mengacu kepada manajemen riset seperti: perencanaan, penganggaran,
     penawaran, pelaksanaan, monitoring dan evaluasi program. Tampak adanya
     empat unsur utama yang saling berhubungan satu sama lain dalam fungsi tertentu,
     yaitu:
     1. KMNRT, sebagai penanggung jawab program Riset Unggulan Terpadu;
     2. Pengelola program RUT dari Lembaga Pemerintah Non Departemen
         (LPND) dibawah koordinasi Menegristek, dalam hal ini Lembaga Ilmu
         Pengetahuan Indonesia (LIPI);
     3. Lembaga/institusi riset seperti LPND, Litbang Departemen, Perguruan
         Tinggi, Industri dan pusat-pusat studi yang menjadi payung formal bagi unit
         riset;
     4. Unit riset yang menaungi peneliti RUT.
              Keempat unsur utama di atas saling berkomunikasi dalam konteks sebagai
     berikut: KMNRT, dalam hal ini Deputi III Bidang Program Riptek berkewajiban
     menyusun kebijakan dan merumuskan misi program RUT berikut program aksi
     tahunan serta anggaran belanja yang diperlukan, dengan memperhatikan saran
     dan rekomendasi DRN. Khususnya dalam menyusun anggaran belanja tahunan
     RUT, KMNRT bekerjasama dan dibantu penuh oleh LIPI, dalam hal ini sebagai
     pihak pengelola program RUT berbasis pada hasil pelaksanaan RUT tahun-tahun
     sebelumnya dan proyeksi kegiatan satu tahun dimuka. Adanya pelaksanaan RUT
     yang telah habis masa risetnya, pelaksana yang dihentikan pelaksanaan riset
     sebelum periode waktu risetnya habis dan proyeksi jumlah topik riset baru untuk
     satu tahun yang akan datang, serta kegiatan-kegiatan lain seperti administrasi
     proyek, penyusunan buku pedoman RUT, monitoring dan evaluasi di lapangan,
     studi terkait lainnya, merupakan faktor-faktor berpengaruh terhadap anggaran
     belanja tahunan RUT.



16                                                            Panduan Monitoring dan Evaluasi RUT
Disamping itu, KMNRT setiap tahun berkewajiban melakukan monitoring
      dan evaluasi kinerja pengelolaan program RUT baik terhadap pengelola program
      (dalam hal ini LIPI) maupun lembaga/institusi riset yang menaungi unit riset dan
      pelaksana riset secara formal. Kegiatan monitoring dan evaluasi tersebut
      seyogyanya diarahkan baik kepada aspek administrasi serta manajerial, maupun
      aspek substantif riset. Olehkarena itu, KMNRT menyusun suatu format khusus
      sebagai pendukung kesempurnaan kegiatan tersebut. Khusus bagi unit riset,
      KMNRT akan mencermati indikator kinerja manfaat dan dampak produk RUT
      yang dihasilkan.
               Pengelola RUT, dalam hal ini LIPI berperan aktif dalam menyampaikan
      saran perubahan, kondisi aktual pengelolaan dan pelaksanaan RUT pada saat
      penyusunan pedoman anggaran belanja tahunan RUT. Dengan dibantu oleh tim
      pakar, LIPI melakukan penilaian atas proposal serta monitoring dan evaluasi
      pelaksanaan dan hasil riset terhadap aspek substantif. Hasilnya secara lengkap
      lebih       lanjut       diinformasikan   kepada   KMNRT.   LIPI   berkewajiban
      mensosialisasikan program RUT tahun mendatang ke seluruh lembaga atau
      institusi riset nasional dengan mengirimkan buku pedoman RUT tahun
      bersangkutan. Disamping itu, LIPI berkewajiban pula melakukan monitoring dan
      evaluasi terhadap lembaga/institusi riset secara administratif serta unit riset,
      khususnya pelaksana RUT untuk aspek substantif.
               Lembaga/institusi riset berkewajiban melakukan koordinasi program RUT
      dengan LIPI sebagai pengelola program dalam hal administratif penunjang
      implementasi program, misalnya penyusunan dan penandatanganan kontrak
      kerjasama penelitian, pencairan termin pembayaran, penyampaian laporan
      kemajuan dan laporan akhir penelitian, pengorganisasian kegiatan monitoring dan
      evaluasi dan kegiatan administrasi sejenis lainnya.
               Unit riset sebagai institusi yang paling bertanggungjawab atas kualitas
      kinerja riset diharapkan dapat memposisikan diri dalam kondisi siap dipantau
      setiap saat, dan dievaluasi pada saat-saat tertentu, baik oleh KMNRT maupun
      LIPI. Olehkarena itu, basis data riset dan kegiatan monitoring evaluasi agar
      disusun dan dilakukan secara kontinyu dan obyektif. Disamping itu, unit riset
      diharapkan agar selalu berkonsultasi dan berkoordinasi dengan lembaga/institusi

Panduan Monitoring dan Evaluasi RUT                                                17
riset yang menaunginya, baik dalam hal mencari informasi program riset terbaru,
     perubahan mendasar tentang kebijakan riset nasional, menemukan solusi persoalan
     yang dihadapi, bantuan finansial, maupun jasa pendaftaran HaKI.




                                                      KMNRT                Perencanaan, Penganggaran
                                                                           Program, Monitoring dan
                                                                           Evaluasi Substansi riset serta
          Monitoring dan                                                   Kinerja Pengelola
          Evaluasi Kinerja
          Lembaga                          1


                                3                             2
                                           UR

                 Lembaga                                                             Pengelola

                                         Implementasi Program,
                                         Monitoring dan Evaluasi
                                         Substansi Riset

          UR = Unit Riset

          1   = Monitoring dan evaluasi kinerja riset, manfaat serta dampak riset.
          2   = Monitoring dan evaluasi substansi riset
          3   = Perencanaan, penganggaran, pelaksanaan, monitoring dan evaluasi


                                        Gambar 4. Mekanisme MONEV RUT

     7.1. Proses Monitoring dan Evaluasi RUT
          Program Riset Unggulan Terpadu (RUT) adalah program riset yang
          dipersaingkan secara terbuka untuk para peneliti utama di lingkungan unit-unit
          riset baik di Perguruan Tinggi, Litbang Departemen, LPND, Industri, maupun
          pusat-pusat studi yang ada di Indonesia. Karena sifatnya yang dipersaingkan
          maka konsekuensi logisnya, keikutsertaan para peneliti utama dalam program
          RUT akan melalui tahapan-tahapan seleksi. Baik pada tingkat seleksi penerimaan
          dan penilaian proposal, monitoring dan evaluasi pelaksanaan tahapan-tahapan
          riset, sampai pada penilaian akhir kualitas hasil riset. Bahkan hasil-hasil riset
          yang     dinilai   berkualitas       akan    mendapat     kesempatan         bersaing       untuk
          mendapatkan “award”. Secara lengkap proses tersebut mengikuti diagram alir
          seperti tampak pada Gambar 5. Adapun contoh basis data yang diperlukan dari
          setiap tahapan proses, seperti tercantum pada lampiran halaman 63.

18                                                                         Panduan Monitoring dan Evaluasi RUT
ALIRAN PROSES                                              BASIS DATA, BD


                                Penerimaan Proposal                                         BD Proposal Masuk
                                                                                                 (BD – 1)

                                    Rapat Panel I                Ditolak                   BD Proposal Ditolak I
                                                                                                (BD – 2)

                                                                                          BD Proposal Diteruskan
                                   Peer Reviewer                                               ke Reviewer
                                                                                                 (BD – 3)

                                                                                           BD Proposal Ditolak II
                                    Rapat Panel II               Ditolak
                                                                                                 (BD – 4)

                                                                 Tidak diusulkan          BD Proposal Ditolak III
                                Seminar Pembahasan               untuk dibiayai                 (BD – 5)

                                                                                            BD Proposal Dibiayai
                                Diusulkan untuk dibiayai
                                                                                                   Th-1
                                                                                                 (BD – 6)
                                  Kontrak Kerjasama
                                                                                              BD pelaksanaan
                                                                                              Dihentikan th-1
                                Pelaksanaan Tahun I
                                                                                                 (BD – 7)
     Dihentikan                 Seminar Evaluasi dan          * Walaupun
                                                                dihentikan                    BD Pelaksanaan
   Pembiayaannya*                  Pembahasan                                                  Dibiayai Th-2
                                                                pembiayaannya,
                                                                Peneliti Utama                   (BD – 8)
                                                                harus melaporkan
                                Pelaksanaan Tahun II            hasil pelaksanaan             BD pelaksanaan
     Dihentikan                                                 risetnya.                     Dihentikan th-2
                                Seminar Evaluasi dan
   Pembiayaannya*/                                                                               (BD – 9)
                                   Pembahasan
    Dinilai Selesai                                                                           BD Pelaksanaan
                                                                                               Dibiayai Th-3
                              Pelaksanaan Tahun III                                              (BD – 10)

                                Seminar Evaluasi dan
                                   Pembahasan


                        Laporan Akhir Pelaksanaan Riset

                           Penilaian Laporan Akhir Riset                                  BD Hasil Penilaian Akhir
                                                                                                (BD – 11)

                                           **
          Predikat Riset**                 A : Peneliti Utama dapat langsung mengajukan
       Sangat Memuaskan (A)                    proposal baru, pada program RUT tahun
          Memuaskan (B)                        berikut.
            Cukup (C)                      B : Peneliti Utama dapat mengajukan proposal
            Kurang (D)                         RUT dua tahun berikutnya.
                                           C : Peneliti Utama dapat mengajukan proposal   Keterangan:
                                               RUT tiga tahun berikutnya.                 Detil isi masing-masing
                                           D :Peneliti Utama dapat mengajukan proposal    basis data, seperti
        Publikasi RUT terbaik                                                             terlampir
                                               RUT empat tahun berikutnya.
         Pemberian award



       Gambar 5. Proses seleksi dan evaluasi program RUT serta basis data yang perlu dibuat


Panduan Monitoring dan Evaluasi RUT                                                                           19
7.2. Uraian proses seleksi, monitoring dan evaluasi RUT

        Penerimaan Proposal
            Format Proposal RUT disusun dengan sistematika berikut (penomoran
            format tidak dibakukan, sewaktu-waktu dapat berubah):
            1. Data Pengusul Proposal terdiri dari: Judul; Pengenalan; Pengesahan;
               Personalia Peneliti; Pernyataan Keikutsertaan dalam RUT; Personalia
               Teknisi; Biodata Peneliti. Contoh format terlampir.
            2. Proposal Riset, terdiri dari: Lembar Depan; Rancangan Penelitian; Isi
               Proposal; Personalia Riset; Rincian Anggaran; dan Jadual Kegiatan.
               Contoh format terlampir.
            Proposal disusun secara seksama mengikuti petunjuk penyusunan yang
            tercantum pada “Buku Petunjuk Penyusunan Proposal RUT”.
            Sekretariat RUT setelah menerima dan mencatat proposal yang masuk,
            mengadakan seleksi administratif terhadap persyaratan Peneliti Utama,
            Lembaga Penanggung jawab, Surat Pernyataan dan kelengkapan-
            kelengkapan lainnya.
            Proposal beserta daftarnya dikirim kepada Ketua Panel dan Anggota
            Panel yang berkenaan sesuai dengan bidang keahliannya. Sejak RUT IX,
            dimulai suatu sistem penilaian anonim. Proposal yang dinilai tidak
            mencantumkan identitas pengusul.

        Rapat Panel I
            Apabila ada proposal yang tidak sesuai di bidangnya, Ketua Panel dapat
            memindahkan ke bidang lain yang lebih sesuai dengan menggunakan
            format Perpindahan Bidang (contoh terlampir).
            Proposal yang dapat dinilai langsung oleh Panel, penilaiannya
            menggunakan format Hasil Penilaian Panel (contoh terlampir). Sedangkan
            rekapitulasi hasil penilaian panel dituangkan dalam format Rekapitulasi
            Hasil Penilaian Proposal (contoh terlampir).
            Rapat Panel I, hasilnya dapat berupa : Proposal ditolak, diteruskan ke
            Seminar Pembahasan, atau di kirim ke Peer Reviewer.



20                                                          Panduan Monitoring dan Evaluasi RUT
Peer Reviewer
                  Peer Reviewer adalah pakar dengan keahlian sesuai dengan substansi
                  proposal, dan ditetapkan oleh para Panel bidang RUT untuk memberikan
                  tanggapan dan evaluasi atas suatu proposal.
                  Proposal yang sangat perlu mendapat tanggapan dari Peer Reviewer
                  dikirimkan dengan menggunakan format Permohonan Peer Reviewer (contoh
                  terlampir).
                  Peer Reviewer melakukan evaluasi secara kritis atas suatu proposal untuk
                  membantu panel pakar mengambil keputusan,
                  Dalam melakukan evaluasi, peer reviewer tidak diijinkan kontak dengan
                  pengaju proposal dan hasil evaluasinya bersifat rahasia,
                  Hasil evaluasi peer reviewer dituliskan pada formulir Hasil evaluasi reviewer
                  (contoh format terlampir), dan selanjutnya disampaikan kepada
                  Sekretariat RUT LIPI sebelum batas waktu berakhir, sebagai bahan Rapat
                  Panel II.

            Rapat Panel II
                  Rapat Panel II dilaksanakan untuk membahas hasil penilaian/tanggapan
                  Peer Reviewer.
                  Hasil penilaian baik pada Rapat panel I maupun II dituangkan ke dalam
                  Berita Acara Hasil Seleksi Proposal RUT sebagai lampiran Surat
                  Pemberitahuan dengan menggunakan format Berita Acara Hasil Seleksi
                  Proposal (contoh terlampir).
                  Rapat Panel II, hasilnya dapat berupa : Proposal dilanjutkan ke Seminar
                  Pembahasan atau ditolak (tidak dapat dilanjutkan untuk seleksi
                  selanjutnya).

            Seminar Pembahasan
                  Seminar pembahasan dimaksudkan untuk memberi kesempatan bagi para
                  Peneliti Utama yang proposalnya dinyatakan lolos seleksi tahap I dan II
                  untuk menyajikan dan memperjelas proposalnya di depan panel pakar
                  dan peneliti utama lainnya di bidang yang sama.


Panduan Monitoring dan Evaluasi RUT                                                         21
Hasil seminar pembahasan dituangkan dalam Berita Acara Hasil Seminar
        Pembahasan Proposal RUT sebagai lampiran Surat Pemberitahuan
        dengan menggunakan format         Berita Acara Hasil Seminar Pembahasan
        (contoh terlampir).
        Hasil seminar menghasilkan dua kategori, yaitu proposal diusulkan untuk
        dibiayai dan proposal tidak diusulkan untuk dibiayai.


     Kontrak Kerjasama
        Peneliti Utama yang proposalnya diusulkan untuk dibiayai, sebagai
        penanggungjawab riset selanjutnya menandatangani kontrak kerjasama
        untuk melaksanakan kegiatan riset seperti yang tertera dalam
        proposalnya. Pola semacam itu kemungkinan berbeda di institusi atau
        lembaga riset yang lain. Kontrak kerjasama cukup ditandatangani oleh
        Ketua Lembaga atas nama seluruh peneliti utama RUT di lembaganya.
        Pencairan anggaran untuk biaya operasional riset dilakukan termin per
        termin dengan memperhatikan laporan kemajuan riset yang telah dicapai.


     Seminar Evaluasi dan Pembahasan
        Setiap tahun akan diadakan Seminar Evaluasi dan Pembahasan
        pelaksanaan RUT untuk memberi kesempatan bagi para peneliti utama
        menyajikan dan menjelaskan hasil yang telah dicapai dan sekaligus
        membahas rencana kerja RUT tahun berikutnya.
        Hasil seminar akan mengkategorikan riset dalam tiga kelompok, yaitu :
        1. Riset diusulkan untuk dibiayai kelanjutannya;
        2. Riset tidak diusulkan untuk dibiayai kelanjutannya;
        3. Riset telah selesai
        Materi Penilaian menyangkut: kemajuan pelaksanaan, hasil, rencana kerja
        dan kegiatan penunjang.
        Hasil Evaluasi dituangkan dalam format Berita Acara Hasil Evaluasi RUT
        (contoh terlampir).




22                                                         Panduan Monitoring dan Evaluasi RUT
Monitoring dan Evaluasi Kegiatan
            Tim monev RUT yang berintikan tim panel, sekretariat RUT – sebagai
            pendamping, dan KMNRT akan melakukan kunjungan lapangan untuk
            memantau secara langsung kegiatan RUT di laboratorium tempat RUT
            dilaksanakan. Jadual kunjungan dan nama anggota tim akan disampaikan
            sebelumnya oleh LIPI kepada lembaga penanggung jawab program. Hal-hal
            yang menjadi fokus perhatian adalah substansi saintifik dan administratif.
            Khusus substansi yang disebutkan terakhir, selanjutnya disampaikan kepada
            pengelola RUT (LIPI) dan pemilik program (KMNRT). Contoh format
            matriks pemantauan dan evaluasi RUT, seperti terlampir.


            Evaluasi Hasil Akhir
            Dalam rangka program monitoring dan evaluasi jenjang peningkatan mutu
            peneliti di Indonesia, Dewan Riset Nasional mengembangkan suatu pedoman
            evaluasi hasil akhir penelitian RUT, yaitu dalam bentuk jenjang predikat
            pengakuan resmi KMNRT terhadap perseorangan peneliti utama. Tujuan
            dilaksanakannya evaluasi hasil akhir RUT ini disamping untuk menetapkan
            jenjang predikat pengakuan atas mutu peneliti utama, juga sekaligus sebagai
            rekomendasi pada peneliti utama untuk menangani kegiatan riset yang lebih
            besar cakupan materi, tujuan dan dana riset yang diperlukan.
            Materi penilaian yang ditetapkan sampai saat ini, ditinjau dari :
            1. Pelaksanaan riset, yang meliputi:
                        Keterpaduan
                        Sistematika laporan
                        Konsistensi dengan tujuan
                        Kelayakan biaya dengan luaran yang dihasilkan
                        Ketepatan pelaksanaan rencana
            2. Luaran produk :
                        Hasil/produk ilmiah berupa artikel ilmiah, temuan baru, paten
                        dan/atau teknologi baru/prototipe.




Panduan Monitoring dan Evaluasi RUT                                                 23
Dampak, luaran berupa pengembangan SDM, pengembangan Iptek,
                dan yang mendukung upaya pembangunan.
     7.3. Informasi dan Data yang Diperlukan untuk Menetapkan Indikator
         Kinerja Lembaga Riset
                 Sebagai suatu lembaga riset, baik LPND, LD, PT maupun Industri
         disarankan agar mampu melaksanakan monitoring dan evaluasi secara
         mandiri. KMNRT dalam hal ini hanya berfungsi sebagai pendorong dan
         pembuka peluang berlangsungnya penilaian atas aktivitas riset di seluruh
         lembaga riset nasional. Hasil evaluasi dapat dijadikan sebagai referensi
         KMNRT dalam menindaklanjutinya berupa evaluasi eksternal atau kebijakan
         pengembangan yang diperlukan. Untuk membantu lembaga atau institusi
         riset melaksanakan evaluasi diri, KMNRT menyusun borang pemandu
         disertai maksud dan tujuan data koleksi tersebut.
                 Contoh berikut adalah model evaluasi untuk riset dan merupakan
         bagian dari LAKIP. Yang disebutkan terakhir ini meliputi seluruh aspek
         kegiatan lembaga.

         Visi dan Misi
              Dituliskan visi dan misi lembaga secara lengkap. Kejelasan tentang
         keduanya merupakan referensi yang baik bagi analisis komparatif terhadap
         jenis tema atau topik, produk, manfaat dan dampak riset yang telah
         dihasilkan.

         Sumberdaya
              Sumberdaya yang dimaksudkan dalam hal ini meliputi sumberdaya
         manusia, fasilitas laboratorium, peralatan atau instrumen, dana dan
         informasi. Kelengkapan data seluruh sumberdaya, mengenai kualifikasi usia,
         tingkat kompetensi, nilai investasi, kondisi fungsional, tingkat pemanfaatan
         dan lain-lain, memudahkan lembaga dalam menetapkan indikator kinerja
         seperti efisiensi, efektivitas, critical mass, unit cost riset faktual, dan
         keberlanjutan (sustainability). Disarankan juga untuk menganalisis seluruh
         data yang dipunyai menurut metode statistik sehingga informasi yang


24                                                           Panduan Monitoring dan Evaluasi RUT
dihasilkan lebih obyektif. Melalui metode yang sama dapat dilakukan analisis
             hubungan antar indikator kinerja.
                     Diawali dengan data sumberdaya manusia yang diyakini merupakan
             data terlengkap yang dipunyai lembaga. Hal ini dapat dipahami mengingat
             seluruh proses kepegawaian, umumnya teradministrasikan dengan baik,
             mulai sejak proses rekrutmen sampai pengembangan karir dan pemutusan
             hubungan kerja pegawai suatu lembaga.

             Tenaga Kerja
               −     Tenaga Struktural
                      Yang        dimaksudkan    dengan     tenaga       struktural    adalah    tenaga
                      administrasi atau tenaga fungsional yang ditugaskan selama periode
                      waktu tertentu untuk mengisi jabatan struktural formal di dalam
                      organisasi lembaga.

                              Eselon       Unit Riset 1    Unit Riset 2       Unit Riset 3   Unit Riset n
                                  I
                                 II
                                III
                                IV
                              TOTAL


               −     Tenaga Administrasi
                      Yang dimaksud dengan tenaga administrasi adalah tenaga kerja yang
                      direkrut khusus untuk melaksanakan tugas dalam bidang administrasi.
                      Tenaga administrasi tidak mempunyai penugasan dalam aktivitas riset.

                        Pendidikan       Unit Riset 1     Unit Riset 2       Unit Riset 3    Unit Riset n
                        S3
                        S2
                        S1
                        D3
                        SLTA
                        TOTAL
                        Golongan         Unit Riset 1     Unit Riset 2       Unit Riset 3    Unit Riset n
                        I
                        II
                        III


Panduan Monitoring dan Evaluasi RUT                                                                  25
IV
               TOTAL

     −   Tenaga Fungsional
         Yang dimaksud tenaga fungsional adalah tenaga kerja yang direkrut
         dengan tujuan awal sebagai periset atau tenaga pendukung aktivitas
         riset secara aktif. Kelompok ini menjadi tenaga inti suatu unit riset.


                Pendidikan     Unit Riset 1   Unit Riset 2     Unit Riset 3       Unit Riset n
          S3
          S2
          S1
          D3
          SLTA
          TOTAL


                  Jabatan      Unit Riset 1   Unit Riset 2     Unit Riset 3       Unit Riset n
          Periset
          Perekayasa
          Tenaga Litkayasa
          Pranata Komputer
          Pustakawan
          Arsiparis
          Auditor


                 Golongan      Unit Riset 1   Unit Riset 2     Unit Riset 3       Unit Riset n
          I
          II
          III
          IV
          TOTAL


                    Tenaga kerja di suatu lembaga umumnya menerima kesempatan
         untuk mengembangkan karirnya selama periode aktif, melalui berbagai
         peluang seperti sekolah lanjut, pelatihan sertifikasi, kursus, seminar dan
         lain sebagainya. Data yang lebih bersifat individual semacam ini
         seringkali tidak tercatat secara administratif di kantor pusat, namun
         lebih banyak dipunyai individu yang bersangkutan. Kelengkapan data

26                                                           Panduan Monitoring dan Evaluasi RUT
ini dapat dipergunakan untuk menganalisis kualifikasi, tingkat
                     kompetensi setiap individu sekaligus unit riset di suatu lembaga. Untuk
                     mendukung keperluan itu, diperlukan sejumlah data sebagai berikut:

                       No.     Nama Pegawai     Gol     Jabatan         Pendidikan Formal       Pendidikan Formal
                                                       Fungsional
                                                                         Jenis        Lama      Jenis      Lama




             Sarana dan Prasarana
               −     Laboratorium
                     Data laboratorium tergolong ke dalam data yang cukup sulit
                     pengadministrasiannya. Umumnya lembaga lemah di dalam pendataan
                     fasilitas laboratorium. Meskipun demikian, kelengkapan dan kejelasan
                     data laboratorium sangat diperlukan dalam menetapkan indikator
                     kinerja seperti halnya efisiensi utilisasi laboratorium, keberlanjutan unit,
                     indeks ruangan kerja.             Olehkarena             itu, untuk       memungkinkan
                     dilakukannya analisis yang baik terhadap fasilitas laboratorium,
                     diperlukan data sebagai berikut:
                                                        Biaya                                           Rata-rata
                                                        Pera-         Usia        Kondisi      Layan-
                                                                                                        penggu-
                       Unit       Labora-     Luasan   watan         Labor       Fungsional      an
                                                                                                          naan
                       Riset      torium       (m2)                              Laboratori-   Masya-
                                                         (Rp/       (tahun)                               (jam/
                                                                                    um         rakat*
                                                       tahun)                                           minggu)**



                      * (pelatihan, kerjasama riset, pemeriksaan-pengujian, dll kegiatan yang sejenis)
                     ** (termasuk untuk kegiatan rutin dan jasa layanan masyarakat)


               −     Peralatan
                     Seperti halnya data tentang laboratorium, suatu lembaga umumnya
                     lemah di dalam pendataan fasilitas peralatannya. Meskipun kewajiban
                     lembaga untuk melaporkan seluruh inventaris yang dipunyai dan secara
                     berkala melaporkan ke unit utamanya tentang mutasi inventaris yang
                     terjadi, namun data fungsional dan efisiensi penggunaan peralatan,
                     sukar ditemukan. Tidak tersedianya data mengenai tingkat depresiasi
                     peralatan yang dipunyai, rendahnya kemampuan lembaga dalam
                     melakukan reinvestasi peralatan, produk riset yang belum mencapai

Panduan Monitoring dan Evaluasi RUT                                                                           27
taraf komersial menyebabkan data yang ada belum mampu
         mengindentifikasi indikator kinerja seperti return on investment. Juga
         informasi mengenai efisiensi utilisasi peralatan belum teridentifikasi
         dengan keterbatasan ketersediaan data di lembaga riset. Untuk
         mencoba        memberi          dukungan        kepada             terselenggaranya                       proses
         identifikasi     efisiensi      peralatan,      disarankan                  agar          lembaga            riset
         mengumpulkan data yang diperlukan sebagai berikut:


                                              Biaya                                                                Rata-rata
                                              Pera-         Usia                                   Layan-          penggu-
                                  Nama                                      Kondisi
           Unit       Labora-                watan          Alat                                     an             naan
                                   Alat                                   Fungsional
           Riset      torium                                                                       Masya-           (jam/
                                  Utama        (Rp/       (tahun)          Peralatan
                                                                                                   rakat*          minggu)*
                                             tahun)                                                                    *


         * (pelatihan, pemeriksaan-pengujian, kursus dam kegiatan lain yang sejenis)
         * * (termasuk kegiatan operasional rutin, layanan masyarakat)


     −   Dana
         Yang dimaksudkan dengan dana dalam hal ini adalah seluruh dana riset
         yang dipergunakan untuk membiayai riset sepanjang tahun tanpa
         memperhatikan darimana sumber dana berasal. Jadi, dana riset tersebut
         merupakan akumulasi seluruh dana riset yang diperoleh lembaga
         termasuk yang diperoleh periset melalui kemampuan individu atau
         kelompok. Kelengkapan dan kejelasan dana riset dapat menunjukkan
         indikator kinerja keberlanjutan lembaga, attractiveness, relevansi produk
         riset dan unit cost faktual lembaga. Untuk itu diperlukan data sebagai
         berikut:
                                                   Pusat          Unit Riset 1              Unit Riset n
                     Sumber Dana                                                                                     Total
                                                 Admin



                                                                 Admin




                                                                                           Admin
                                                         Inves



                                                                         Inves




                                                                                                   Inves
                                                                                   Riset




                                                                                                           Riset




          1.   DIP (rupiah murni)
          2.   DIK
          3.   DIKS
          4.   Bantuan LN (US$)
          5.   Hibah LN (US$)
          6.   Kerma Bilateral (US$)
          7.   Lainnya (mis.Reboisasi)
          8.   Total 1


28                                                                               Panduan Monitoring dan Evaluasi RUT
Total


               −     Informasi
                     Layanan informasi terakhir dapat dibedakan atas layanan manual dan
                     elektronik. Layanan manual dimaksudkan untuk model layanan
                     perpustakaan. Sedangkan layanan elektronik adalah layanan informasi
                     melalui sistem jaringan komputer. Informasi tentang perpustakaan dan
                     komputer pada hakekatnya diperlukan untuk menunjukkan indikator
                     kinerja efisiensi, relevansi tema riset dengan state of the art keilmuan,
                     kualitas informasi. Beberapa data yang diperlukan untuk itu antara lain:


                                                                   Koleksi                         Masa         Biaya    Pengun-
                                        Nama        Luasan                           Tahun        Layanan       Rutin      jung
                               Unit
                       No              Perpus-
                               Riset                 (m2)      Jenis*    Jml         Terbit        (Jam/         (Rp/    (orang/
                                       takaan
                                                                                                  Minggu)      tahun)     tahun)




                     * (buku teks, jurnal ilmiah, CD-Rom, film mikro, majalah, dan lain-lain)



             Aktivitas
               −     Administrasi dan Operasional Riset
                     Aktivitas riset di suatu lembaga dapat dikelompokkan atas tiga pola,
                     yaitu (1) mandiri, riset dilaksanakan sendiri di luar tema kembaga,
                     dibiayai sendiri, (2) mandiri plus, riset dipimpin sendiri, biaya riset
                     bersumber dari eksternal (dana KMNRT dan/atau Dikti atau sumber
                     dana lainnya) dan (3) rutin, riset dilakukan atas dasar penugasan
                     lembaga, dibiayai melalui DIP atau DIKS. Kelengkapan data semacam
                     ini sangat besar manfaatnya dalam mengindikasikan indikator kinerja
                     keberlanjutan lembaga, efisiensi penggunaan sumberdaya manusia,
                     efektivitas lembaga, attractiveness unit, relevansi program. Untuk itu
                     diperlukan dukungan data berikut:
                                                                             Nilai                                        Jumlah
                                                 Usia        Instansi        Kerma            Produk        Unit Riset
                       No.     Kerjasama                                                                                  Peneliti
                                                 Kerma       Mitra                            Kerma         Pelaksana
                                                                             (RP)                                         Terlibat




Panduan Monitoring dan Evaluasi RUT                                                                                            29
−   Agenda Riset Tahunan, ART
         Yang dimaksudkan dengan agenda riset tahunan adalah kegiatan riset
         yang meliputi sejak perencanaan sampai evaluasinya selama satu tahun
         anggaran atau tahun akademik. Adanya ART mengindikasikan adanya
         manajemen riset yang profesional dan sistematis di lingkungan suatu
         lembaga. Dengan demikian, ART memungkinkan periset di suatu
         lembaga berpeluang untuk menyusun strategi riset yang rasional. Untuk
         mendukungnya diperlukan beberapa data, antara lain:

                                                           Bulan Ke                               Kete-
          No.        Aktivitas
                                       1   2   3   4   5   6   7   8     9    10    11    12     rangan
          1.    Distribusi kebijakan
                riset nasional
          2.    Pelatihan
                penyusunan
                proposal
          3.    Pelatihan
                penyusunan artikel
                saintifik
          4.    Pemberitahuan
                pengajuan
                proposal riset
          5.    Batas akhir waktu
                penyampaian
                proposal
          6.    Seleksi proposal
          7.    Perbaikan proposal
          8.    Pemberitahuan
                topik riset yang
                dibiayai
          9.    Penyiapan dan
                penandatanganan
                kontrak
          10.   Pencairan dana
                riset
          11.   Pelaksanaan riset
          12.   Pemantauan ke
                lab/lapangan
          13.   Penyusunan
                laporan akhir
          14.   Batas akhir waktu
                penyerahan
                laporan akhir
          15.   Pencairan dana
                riset 100%
          16.   Diseminasi hasil
                riset



30                                                                     Panduan Monitoring dan Evaluasi RUT
−     Pengajuan dan Hasil Seleksi Proposal
                     Baik kegiatan pengusulan maupun hasil seleksi proposal seyogyanya
                     terekam secara baik, olehkarena keduanya dapat mengindikasikan
                     aspirasi periset atau lembaga dan kualifikasi periset di suatu unit riset di
                     dalam lembaga. Disamping itu, produktivitas periset, bidang spesialisasi
                     yang dikuasai juga sekaligus dapat diekspos.

                       No.             Topik Riset              Nama dan Biodata Periset        Nama Unit Riset




               −     Rekapitulasi data riset yang dilaksanakan
                     Data topik riset yang dibiayai pelaksanaannya, baik disusun secara rinci
                     ataupun dalam bentuk rekapitulasinya akan mendukung dalam
                     mengindetifikasi potensi periset, tema penunjuk indentitas, efisiensi
                     periset dan unit riset, efektivitas, produktivitas lembaga ataupun
                     individu periset.
                     Hasil seleksi proposal dapat disusun dalam bentuk tabel rekapitulasi
                     dan data topik riset sebagai berikut:


                     Rekapitulasi Hasil Seleksi Proposal Riset
                                                        Jumlah Proposal        Nilai Proposal (Rp)
                       No.       Nama Unit Riset                                                        Keterangan
                                                       Usulan      Diterima    Usulan     Disetujui



                     Data Topik Riset
                                                                                                          Periode
                                                                Sum-
                                         Nama        Biaya                Lokasi               Insti-       Waktu
                               Judul                             ber               Produk
                       No                Pelak-      Riset                Pelak-                tusi      Pelaksa-
                               Riset                            Dana               Riset*
                                         sana        (Rp)                 sanaan               Mitra         naan
                                                                Riset
                                                                                                           (tahun)
                                       Ketua
                                       Anggota

                     * artikel ilmiah, prosiding, buku teks, modul pelatihan, alat peraga, desain, algoritma,
                       cetak biru, paten, poster, peraturan, standar, dan lain-lain


               −     Realisasi Dana Operasional Rutin dan Riset
                     Ada dua hal yang perlu memperoleh perhatian seksama, yaitu: (1) dana
                     operasional rutin dan pembangunan lembaga, dan (2) dana operasional

Panduan Monitoring dan Evaluasi RUT                                                                            31
riset. Dalam model DIP dan DIK, keberadaan kedua jenis alokasi dana
         tersebut seringkali terintegrasi dan tidak secara nyata terpisah. Kondisi
         semacam ini dapat menimbulkan kesulitan di dalam upaya lembaga
         menghitung alokasi dana riset tahunan secara cepat. Meskipun
         demikian, jika kedua alokasi dana rutin dan riset terintegrasi, maka
         terlebih dahulu harus dilakukan pemisahan dan masing-masing diberi
         kode tertentu sehingga jika keduanya digabungkan, nilai nominal DIP
         atau DIK atau DIKS sesuai dengan nilai nominal integrasi. Alokasi
         dana operasional riset tahunan disarankan untuk dihitung tanpa biaya
         investasi bangunan laboratorium ataupun peralatan. Olehkarena, nilai
         nominal riset akan berfluktuasi dan tidak konsisten. Total alokasi
         tersebut dapat dipergunakan untuk menghitung unit cost faktual per
         periset per tahun untuk setiap lembaga. Jika alokasi dana investasi turut
         diperhitungkan, maka perhitungan unit cost menjadi kurang relevan.
         Dalam hal ini lebih utama menghitung return on onvestment lembaga.
         Model perhitungan return on investment dapat disimak pada Buku
         “Manajemen Unit Riset” yang diterbitkan KMNRT tahun 2001.


         Untuk mendukung kemudahan perhitungan unit cost faktual, diperlukan
         beberapa data keuangan berikut:


                                             Unit Riset 1         Unit Riset n       Total
                                 Aloka-                                                         Sisa
                                   si                 Reali-               Reali-   Serap-      Dana
          No.    Sumber Dana              Aloka-               Aloka-
                                                       sasi                 sasi      an
                                  (Rp)    si (Rp)              si (Rp)              (Rp)/%     (Rp)/%
                                                     (Rp)/%               (Rp)/%
           1.   DIK
           2.   DIKS
           3.   DIP (rp murni)
           4.   DIP Loan ($)
           5.   Hibah ($)
           6.   Lainnya



     −   Monitoring dan Evaluasi
         Aspek monitoring dan evaluasi diharapkan dapat mengidentifikasi
         manfaat dan dampak suatu aktivitas dan produk riset, baik bagi

32                                                                   Panduan Monitoring dan Evaluasi RUT
lingkungan internal maupun eksternalnya. Olehkarena kedua indikator
                     tersebut dapat memandu pengelola program riset dalam menganalisis
                     indikator kinerja lain seperti relevansi produk, yang akan menunjukkan
                     kualitas produk dalam konteks ekonomi; indeks sitasi, menunjukkan
                     kualitas dalam konteks saintifik. Beberapa data berikut dinilai dapat
                     mendukung analisis tersebut.


                       Nama Unit Riset :


                       No.      Item subjek monitoring dan evaluasi

                        1.      Topik riset
                                - ditulis lengkap
                        2.      Nama ketua dan anggota tim
                                - nama, bidang ilmu atau keahlian
                        3.      Dana riset
                                - sumber dana
                                - nilai nominal dana riset
                                - cara menetapkan nilai nominal dana riset
                                - cara penggunaan
                                - kendala yang dihadapi internal dan eksternal
                                - teknik solusi persoalan dana
                        4.      Layanan informasi
                                - koleksi perpustakaan pada bidang riset
                                - layanan perpustakaan
                                - biaya layanan
                                - layanan internet dan biayanya
                        5.      Produk riset
                                - jenis produk
                                - posisi produk terhadap pemanfaatannya
                                - prediksi nilai komersial/saintifik
                        6.      Manfaat riset
                                - aspek sosial (jumlah lapangan kerja baru, jumlah
                                   pasien yang terobati, jumlah penduduk bebas buta
                                   huruf, dll)
                                - aspek ekonomi (nilai nominal yang terselamatkan
                                   dengan kehadiran produk riset, nilai royalti yang
                                   diterima, nominal peningkatan pendapatan, nilai
                                   nominal penghematan akibat adanya produk, dll)
                                - aspek teknologi (inovasi baru, teknologi produk
                                   riset diterapkan di industri, dll)




Panduan Monitoring dan Evaluasi RUT                                                     33
No.   Item subjek monitoring dan evaluasi

      7.   Dampak riset (internal, eksternal)
           - dampak internal (tingginya nilai indeks sitasi,
              besarnya minat periset muda potensial untuk
              bergabung, terpeliharanya fasilitas riset,
              meningkatnya motivasi melakukan riset, tingginya
              efisiensi SDM riset, munculnya pengakuan
              sejawat, dll)
           - dampak eksternal (meningkatnya tingkat
              kesejahteraan dan kecerdasan masyarakat,
              menurunnya angka kematian bayi, tereduksinya
              angka pengangguran, perubahan profesi
              penduduk, dll)
      8.   Rencana tindak lanjut
           - up scaling
           - usulan baru RUK, Rusnas, dll
           - pendaftaran Paten
           - implementasi di masyarakat
           - dll
      9.   Dukungan administratif dan teknis terhadap riset
           - administrasi keuangan
           - perijinan
           - kesiapan fungsi peralatan
           - pelaporan dan pengolahan data
           - dll
     10.   Pemahaman periset akan Jakstra dan Punas
           - arti Jakstra dan Punas
           - posisi dan fungsi Jakstra dan Punas dalam
              aktivitas riset
           - saran perbaikan
     11.   Pemahaman periset akan renstra lembaga
           - arti renstra bagi strategi riset kelompok
           - saran perbaikan
     12.   Keserasian aktivitas dan produk dengan misi lembaga
     13.   Usulan unit cost riset
           - unit cost faktual berbasis empirik
           - item penentu besaran unit cost kelompok
           - unit cost ideal
     14.   Ketercapaian critical mass dalam unit riset
           - keseimbangan jumlah periset, kualifikasi terhadap
              volume dan kompleksitas riset
           - antisipasi yang pernah dilakukan
     15.   Korelasi topik riset dengan Jakstra dan Punas
           - enam Isu Strategis
           - sebelas Bidang Unggulan




34                                                            Panduan Monitoring dan Evaluasi RUT
Jenis Produk Riset
               −     Artikel saintifik
                                                                                        Tahun          Lingkup         Topik
                                                                         Nama                         Edar Jurnal/
                                   Topik                                                Terbit/                        Riset
                       No.                         Penulis              Jurnal/                        Seminar
                                   Artikel                                              Waktu                         Sumber
                                                                        Seminar
                                                                                       Seminar          (DN/LN)       Artikel



               −     Poster
                                   Nama           Pembuat             Tahun            Skala Seminar            Topik Riset
                        No.
                                  Seminar          Poster            Seminar              (DN/LN)              Sumber Poster



               −     Paten
                                      Tgl. & No.                No.         Pemeriksaan           No. ID         Topik Riset
                        No.
                                   Pendaftaran Paten           Paten         Substantif           Paten         Sumber Paten



               −     Peraturan
                                                                                                                 Topik Riset
                                                                              Masa         Diundang-kan
                        No.      Tgl. & No. Peraturan         Perihal                                              Sumber
                                                                             Berlaku          oleh, di
                                                                                                                  Peraturan



               −     Standar
                        No.           Tgl. & No. SNI          Perihal       Pemakai/Pelanggan           Manfaat terhadap Mutu
                                                                                                           dan Pemasaran



               −     Sertifikasi
                                                                             Pemakai/         Biaya         Manfaat terhadap
                        No.      Tgl. & No. Sertifikat       Perihal
                                                                            Pelanggan         (Rp)         Pemakai/Pelanggan



               −     Akreditasi
                                                                Nama lab/alat dan            Biaya
                                                                                                            Manfaat terhadap
                        No.      Tgl. & No. Akreditasi            instansi yang            akreditasi
                                                                                                           Pemakai/Pelanggan
                                                                   diakreditasi               (Rp)



               −     Prototipe
                                   Nama                Spesifikasi        Jumlah         Pemakai/       Harga Jual     Terjual
                        No.
                                  Prototipe              Teknis           (buah)        Pelanggan          (Rp)        (buah)




Panduan Monitoring dan Evaluasi RUT                                                                                        35
−   Sistem
                                                         Uraian              Pemakai/          Manfaat terhadap
           No.          Nama Sistem
                                                        Ringkas             Pelanggan         Pemakai/Pelanggan



     −   Informasi
                                                                                Teknis
                        Jenis             Ruang              Pemakai/                          Manfaat terhadap
           No.                                                                  Akses
                      Informasi          Lingkup            Pelanggan                         Pemakai/Pelanggan
                                                                              Informasi



     −   Modul Pelatihan
                  Nama                        Jumlah         Tujuan            Pemakai/       Harga Jual    Terjual
           No.               Perihal
                  Modul                        (eks.)      Penggunaan         Pelanggan          (Rp)        (Rp)



     −   Desain
                                         Spefikasi           Pemakai/        Harga Jual         Manfaat terhadap
           No.       Topik Desain
                                          Teknis            Pelanggan           (Rp)           Pemakai/Pelanggan



     −   Buku Teks

                                                        Nama Penerbit        Jumlah       Harga Jual    Topik Riset
                       Judul            Nama
           No.                                                                                           Sumber
                     Buku Teks         Penulis          & Tahun Terbit        (eks.)         (Rp)       Buku Teks



     −   Peta/Foto
                                                                                                Harga
                      Judul                                        Jumlah       Pemakai/                   Terjual
           No.                         Perihal          Skala                                    Jual
                     Peta/Foto                                     (buah)      Pelanggan                   (buah)
                                                                                                 (Rp)



     −   Alat Peraga
                  Nama          Bahan                                                          Harga
                                                  Jumlah        Spefikasi       Pemakai/                   Terjual
           No.     Alat          Yang                                                           Jual
                                                  (buah)         Teknis        Pelanggan                   (buah)
                  Peraga      Digunakan                                                         (Rp)



     −   Barang (alat dan bahan kedokteran, makanan, radioisotop)
                                                                   Tujuan                      Harga
                   Nama           Spefikasi       Jumlah                        Pemakai/                   Terjual
           No.                                                    Penggu-                       Jual
                  Barang           Teknis         (buah)                       Pelanggan                   (buah)
                                                                    naan                       (buah)




36                                                                              Panduan Monitoring dan Evaluasi RUT
8. Bahan Bacaan


         Herman, J.L., Morris, L.L., and Fitz-Gibbon, C.L., “Evaluator’s Handbook”, The
         Regents of the University of California, 1987

         Lembaga Penelitian-Institut Teknologi Bandung, “Laporan Akhir: Pengembangan
         Koordinasi dan Sosialisasi Sistem Monitoring Program, Evaluasi Pelaksanaan
         Pembangunan Riptek dan Evaluasi Proyek Khusus”, Bandung, 2000

         Lembaga Administrasi Negara dan Badan Pengawasan Keuangan dan
         Pembangunan, “Pengukuran Kinerja Instansi Pemerintah: Laporan Akuntabilitas
         Kinerja Instansi Pemerintah (LAKIP), Modul 1-5”, Jakarta, Maret 2000

         Badan Perencanaan Pembangunan Nasional RI, “Evaluasi Kinerja Proyek
         Pembangunan”, Kantor Bappenas, Jakarta, Juli 2000

         LAPI-Bandung Institute of Technology, “Policy Studi on Establishment of Aviable
         Research Monitoring and Evaluation System: Final Report Appendix to Human Resources
         Development”, Bandung, March 2000

         LAPI- Bandung Institute of Technology, “Policy Study on Strengthening The
         University and Industry Linkages”, Bandung, March 2000




Panduan Monitoring dan Evaluasi RUT                                                      37
38   Panduan Monitoring dan Evaluasi RUT

Contenu connexe

Tendances

Penyusunan rka pelayanan publik pkp oki
Penyusunan rka pelayanan publik  pkp okiPenyusunan rka pelayanan publik  pkp oki
Penyusunan rka pelayanan publik pkp okihoyin rizmu
 
Masukan untuk RPJPD Kabupaten Tanah Bumbu 2025-2045
Masukan untuk RPJPD Kabupaten Tanah Bumbu 2025-2045Masukan untuk RPJPD Kabupaten Tanah Bumbu 2025-2045
Masukan untuk RPJPD Kabupaten Tanah Bumbu 2025-2045Dadang Solihin
 
Penyusunan Renja Perangkat Daerah Tahun 2022
Penyusunan Renja Perangkat Daerah Tahun 2022Penyusunan Renja Perangkat Daerah Tahun 2022
Penyusunan Renja Perangkat Daerah Tahun 2022BappedaLampungUtara
 
MATERI AGENDA I PKA-2023.pptx
MATERI AGENDA I PKA-2023.pptxMATERI AGENDA I PKA-2023.pptx
MATERI AGENDA I PKA-2023.pptxNeki10
 
Rancangan Teknokratik Pembangunan ASN 2020 - 2024
Rancangan Teknokratik Pembangunan ASN 2020 - 2024Rancangan Teknokratik Pembangunan ASN 2020 - 2024
Rancangan Teknokratik Pembangunan ASN 2020 - 2024Ridho Fitrah Hyzkia
 
Tata Cara Pembuatan TOR /KAK sebagai data dukung Usulan Anggaran tahun 2015
Tata Cara Pembuatan TOR /KAK sebagai data dukung  Usulan Anggaran tahun 2015Tata Cara Pembuatan TOR /KAK sebagai data dukung  Usulan Anggaran tahun 2015
Tata Cara Pembuatan TOR /KAK sebagai data dukung Usulan Anggaran tahun 2015Joko Riswanto
 
Penyusunan RKPD
Penyusunan RKPDPenyusunan RKPD
Penyusunan RKPD93220872
 
Konsep Monitoring dan Evaluasi
Konsep Monitoring dan Evaluasi Konsep Monitoring dan Evaluasi
Konsep Monitoring dan Evaluasi Dadang Solihin
 
Perencanaan Pembangunan Daerah Indikator Kinerja
Perencanaan Pembangunan Daerah Indikator KinerjaPerencanaan Pembangunan Daerah Indikator Kinerja
Perencanaan Pembangunan Daerah Indikator Kinerja93220872
 
Penyusunan RENSTRA
Penyusunan RENSTRAPenyusunan RENSTRA
Penyusunan RENSTRA93220872
 
Penyusunan RPJPD, RPJMD, Renstra SKPD, dan RKPD bagi Percepatan Pembangunan D...
Penyusunan RPJPD, RPJMD, Renstra SKPD, dan RKPD bagi Percepatan Pembangunan D...Penyusunan RPJPD, RPJMD, Renstra SKPD, dan RKPD bagi Percepatan Pembangunan D...
Penyusunan RPJPD, RPJMD, Renstra SKPD, dan RKPD bagi Percepatan Pembangunan D...Dadang Solihin
 
Petunjuk teknis penyusunan RENSTRA
Petunjuk teknis penyusunan RENSTRAPetunjuk teknis penyusunan RENSTRA
Petunjuk teknis penyusunan RENSTRAJamaludin ..
 
Perumusan isu strategis
Perumusan isu strategisPerumusan isu strategis
Perumusan isu strategisardinmarL
 
Penyusunan RPJPD, RPJMD, Renstra SKPD dan Renja SKPD
Penyusunan  RPJPD, RPJMD, Renstra SKPD dan Renja SKPD  Penyusunan  RPJPD, RPJMD, Renstra SKPD dan Renja SKPD
Penyusunan RPJPD, RPJMD, Renstra SKPD dan Renja SKPD Dadang Solihin
 
Sistem, Proses, Mekanisme, dan Dokumen Perencanaan Pembangunan Nasional Sesua...
Sistem, Proses, Mekanisme, dan Dokumen Perencanaan Pembangunan Nasional Sesua...Sistem, Proses, Mekanisme, dan Dokumen Perencanaan Pembangunan Nasional Sesua...
Sistem, Proses, Mekanisme, dan Dokumen Perencanaan Pembangunan Nasional Sesua...Dadang Solihin
 
Pedoman penyediaan dan pemanfaatan ruang terbuka hijau di kawasan perkotaan
Pedoman penyediaan dan pemanfaatan ruang terbuka hijau di kawasan perkotaanPedoman penyediaan dan pemanfaatan ruang terbuka hijau di kawasan perkotaan
Pedoman penyediaan dan pemanfaatan ruang terbuka hijau di kawasan perkotaaninfosanitasi
 
Proses penyusunan renstra skpd
Proses penyusunan renstra skpdProses penyusunan renstra skpd
Proses penyusunan renstra skpdMusnanda Satar
 
Sosialisasi Jabatan Fungsional Perencana
Sosialisasi Jabatan Fungsional PerencanaSosialisasi Jabatan Fungsional Perencana
Sosialisasi Jabatan Fungsional Perencanadef1t
 
Dasar-dasar Monitoring dan Evaluasi Perencanaan Pembangunan
Dasar-dasar Monitoring dan Evaluasi Perencanaan PembangunanDasar-dasar Monitoring dan Evaluasi Perencanaan Pembangunan
Dasar-dasar Monitoring dan Evaluasi Perencanaan PembangunanDadang Solihin
 

Tendances (20)

Penyusunan rka pelayanan publik pkp oki
Penyusunan rka pelayanan publik  pkp okiPenyusunan rka pelayanan publik  pkp oki
Penyusunan rka pelayanan publik pkp oki
 
Masukan untuk RPJPD Kabupaten Tanah Bumbu 2025-2045
Masukan untuk RPJPD Kabupaten Tanah Bumbu 2025-2045Masukan untuk RPJPD Kabupaten Tanah Bumbu 2025-2045
Masukan untuk RPJPD Kabupaten Tanah Bumbu 2025-2045
 
Penyusunan Renja Perangkat Daerah Tahun 2022
Penyusunan Renja Perangkat Daerah Tahun 2022Penyusunan Renja Perangkat Daerah Tahun 2022
Penyusunan Renja Perangkat Daerah Tahun 2022
 
MATERI AGENDA I PKA-2023.pptx
MATERI AGENDA I PKA-2023.pptxMATERI AGENDA I PKA-2023.pptx
MATERI AGENDA I PKA-2023.pptx
 
Kota sehat
Kota sehatKota sehat
Kota sehat
 
Rancangan Teknokratik Pembangunan ASN 2020 - 2024
Rancangan Teknokratik Pembangunan ASN 2020 - 2024Rancangan Teknokratik Pembangunan ASN 2020 - 2024
Rancangan Teknokratik Pembangunan ASN 2020 - 2024
 
Tata Cara Pembuatan TOR /KAK sebagai data dukung Usulan Anggaran tahun 2015
Tata Cara Pembuatan TOR /KAK sebagai data dukung  Usulan Anggaran tahun 2015Tata Cara Pembuatan TOR /KAK sebagai data dukung  Usulan Anggaran tahun 2015
Tata Cara Pembuatan TOR /KAK sebagai data dukung Usulan Anggaran tahun 2015
 
Penyusunan RKPD
Penyusunan RKPDPenyusunan RKPD
Penyusunan RKPD
 
Konsep Monitoring dan Evaluasi
Konsep Monitoring dan Evaluasi Konsep Monitoring dan Evaluasi
Konsep Monitoring dan Evaluasi
 
Perencanaan Pembangunan Daerah Indikator Kinerja
Perencanaan Pembangunan Daerah Indikator KinerjaPerencanaan Pembangunan Daerah Indikator Kinerja
Perencanaan Pembangunan Daerah Indikator Kinerja
 
Penyusunan RENSTRA
Penyusunan RENSTRAPenyusunan RENSTRA
Penyusunan RENSTRA
 
Penyusunan RPJPD, RPJMD, Renstra SKPD, dan RKPD bagi Percepatan Pembangunan D...
Penyusunan RPJPD, RPJMD, Renstra SKPD, dan RKPD bagi Percepatan Pembangunan D...Penyusunan RPJPD, RPJMD, Renstra SKPD, dan RKPD bagi Percepatan Pembangunan D...
Penyusunan RPJPD, RPJMD, Renstra SKPD, dan RKPD bagi Percepatan Pembangunan D...
 
Petunjuk teknis penyusunan RENSTRA
Petunjuk teknis penyusunan RENSTRAPetunjuk teknis penyusunan RENSTRA
Petunjuk teknis penyusunan RENSTRA
 
Perumusan isu strategis
Perumusan isu strategisPerumusan isu strategis
Perumusan isu strategis
 
Penyusunan RPJPD, RPJMD, Renstra SKPD dan Renja SKPD
Penyusunan  RPJPD, RPJMD, Renstra SKPD dan Renja SKPD  Penyusunan  RPJPD, RPJMD, Renstra SKPD dan Renja SKPD
Penyusunan RPJPD, RPJMD, Renstra SKPD dan Renja SKPD
 
Sistem, Proses, Mekanisme, dan Dokumen Perencanaan Pembangunan Nasional Sesua...
Sistem, Proses, Mekanisme, dan Dokumen Perencanaan Pembangunan Nasional Sesua...Sistem, Proses, Mekanisme, dan Dokumen Perencanaan Pembangunan Nasional Sesua...
Sistem, Proses, Mekanisme, dan Dokumen Perencanaan Pembangunan Nasional Sesua...
 
Pedoman penyediaan dan pemanfaatan ruang terbuka hijau di kawasan perkotaan
Pedoman penyediaan dan pemanfaatan ruang terbuka hijau di kawasan perkotaanPedoman penyediaan dan pemanfaatan ruang terbuka hijau di kawasan perkotaan
Pedoman penyediaan dan pemanfaatan ruang terbuka hijau di kawasan perkotaan
 
Proses penyusunan renstra skpd
Proses penyusunan renstra skpdProses penyusunan renstra skpd
Proses penyusunan renstra skpd
 
Sosialisasi Jabatan Fungsional Perencana
Sosialisasi Jabatan Fungsional PerencanaSosialisasi Jabatan Fungsional Perencana
Sosialisasi Jabatan Fungsional Perencana
 
Dasar-dasar Monitoring dan Evaluasi Perencanaan Pembangunan
Dasar-dasar Monitoring dan Evaluasi Perencanaan PembangunanDasar-dasar Monitoring dan Evaluasi Perencanaan Pembangunan
Dasar-dasar Monitoring dan Evaluasi Perencanaan Pembangunan
 

Similaire à Laporan panduan monitoring dan evaluasi

BA AL-Palembang.pdf
BA AL-Palembang.pdfBA AL-Palembang.pdf
BA AL-Palembang.pdfAbdiJawazi
 
Perencanaan program dan penyusunan usulan kegiatan
Perencanaan program dan penyusunan usulan kegiatanPerencanaan program dan penyusunan usulan kegiatan
Perencanaan program dan penyusunan usulan kegiatanmoehammadjoesoef
 
3. PAPARAN_INSTRUMEN AKREDITASI PROGRAM STUDI 4.0_LED-Solo Maret 2019.pdf
3. PAPARAN_INSTRUMEN AKREDITASI PROGRAM STUDI 4.0_LED-Solo Maret 2019.pdf3. PAPARAN_INSTRUMEN AKREDITASI PROGRAM STUDI 4.0_LED-Solo Maret 2019.pdf
3. PAPARAN_INSTRUMEN AKREDITASI PROGRAM STUDI 4.0_LED-Solo Maret 2019.pdfasephamdan2
 
KONSEP DASAR MONITORING DAN EVALUASI PPT.pptx
KONSEP DASAR MONITORING DAN EVALUASI PPT.pptxKONSEP DASAR MONITORING DAN EVALUASI PPT.pptx
KONSEP DASAR MONITORING DAN EVALUASI PPT.pptxheddypetra1
 
PANDUAN-LED.pdf
PANDUAN-LED.pdfPANDUAN-LED.pdf
PANDUAN-LED.pdfYuyuniSari
 
Evaluasi kurikulum menurut Permendikbud No 81 A tahun 2013
Evaluasi kurikulum menurut Permendikbud No 81 A tahun 2013Evaluasi kurikulum menurut Permendikbud No 81 A tahun 2013
Evaluasi kurikulum menurut Permendikbud No 81 A tahun 2013linaoktianiazizah
 
Buku 5 pedoman penilaian instrumen akreditasi pp ak 21 maret 2014
Buku 5 pedoman penilaian instrumen akreditasi pp ak 21 maret 2014Buku 5 pedoman penilaian instrumen akreditasi pp ak 21 maret 2014
Buku 5 pedoman penilaian instrumen akreditasi pp ak 21 maret 2014Jalaludin Al-afghani
 
Strategi dan Tatakelola Proposal penelitian.ppt
Strategi dan Tatakelola Proposal penelitian.pptStrategi dan Tatakelola Proposal penelitian.ppt
Strategi dan Tatakelola Proposal penelitian.pptMrPharmacist247
 
Tips penyusunan dokumen akreditasi ps sarjana
Tips penyusunan dokumen akreditasi ps sarjanaTips penyusunan dokumen akreditasi ps sarjana
Tips penyusunan dokumen akreditasi ps sarjanaharis5782
 
Teori monitoring dan evaluasi
Teori monitoring dan evaluasiTeori monitoring dan evaluasi
Teori monitoring dan evaluasiArfan Fahmi
 
Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)
Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)
Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)Asep Iryanto
 
Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)
Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)
Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)Asep Iryanto
 
Buku 4 panduan pengisian instrumen akreditasi
Buku 4 panduan pengisian instrumen akreditasiBuku 4 panduan pengisian instrumen akreditasi
Buku 4 panduan pengisian instrumen akreditasizainiarif2
 
Strategi dan Tatakelola Proposal penelitian.ppt
Strategi dan Tatakelola Proposal penelitian.pptStrategi dan Tatakelola Proposal penelitian.ppt
Strategi dan Tatakelola Proposal penelitian.pptsmansanoyan243
 

Similaire à Laporan panduan monitoring dan evaluasi (20)

Evaluasi diri gabung
Evaluasi diri gabungEvaluasi diri gabung
Evaluasi diri gabung
 
BA AL-Palembang.pdf
BA AL-Palembang.pdfBA AL-Palembang.pdf
BA AL-Palembang.pdf
 
Kpi
KpiKpi
Kpi
 
Perencanaan program dan penyusunan usulan kegiatan
Perencanaan program dan penyusunan usulan kegiatanPerencanaan program dan penyusunan usulan kegiatan
Perencanaan program dan penyusunan usulan kegiatan
 
3. PAPARAN_INSTRUMEN AKREDITASI PROGRAM STUDI 4.0_LED-Solo Maret 2019.pdf
3. PAPARAN_INSTRUMEN AKREDITASI PROGRAM STUDI 4.0_LED-Solo Maret 2019.pdf3. PAPARAN_INSTRUMEN AKREDITASI PROGRAM STUDI 4.0_LED-Solo Maret 2019.pdf
3. PAPARAN_INSTRUMEN AKREDITASI PROGRAM STUDI 4.0_LED-Solo Maret 2019.pdf
 
KONSEP DASAR MONITORING DAN EVALUASI PPT.pptx
KONSEP DASAR MONITORING DAN EVALUASI PPT.pptxKONSEP DASAR MONITORING DAN EVALUASI PPT.pptx
KONSEP DASAR MONITORING DAN EVALUASI PPT.pptx
 
BAB 5 METODOLOGI.docx
BAB 5 METODOLOGI.docxBAB 5 METODOLOGI.docx
BAB 5 METODOLOGI.docx
 
PANDUAN-LED.pdf
PANDUAN-LED.pdfPANDUAN-LED.pdf
PANDUAN-LED.pdf
 
Evaluasi kurikulum menurut Permendikbud No 81 A tahun 2013
Evaluasi kurikulum menurut Permendikbud No 81 A tahun 2013Evaluasi kurikulum menurut Permendikbud No 81 A tahun 2013
Evaluasi kurikulum menurut Permendikbud No 81 A tahun 2013
 
Pengertian evaluasipendidikan
Pengertian evaluasipendidikanPengertian evaluasipendidikan
Pengertian evaluasipendidikan
 
Buku 5 pedoman penilaian instrumen akreditasi pp ak 21 maret 2014
Buku 5 pedoman penilaian instrumen akreditasi pp ak 21 maret 2014Buku 5 pedoman penilaian instrumen akreditasi pp ak 21 maret 2014
Buku 5 pedoman penilaian instrumen akreditasi pp ak 21 maret 2014
 
Strategi dan Tatakelola Proposal penelitian.ppt
Strategi dan Tatakelola Proposal penelitian.pptStrategi dan Tatakelola Proposal penelitian.ppt
Strategi dan Tatakelola Proposal penelitian.ppt
 
Tips penyusunan dokumen akreditasi ps sarjana
Tips penyusunan dokumen akreditasi ps sarjanaTips penyusunan dokumen akreditasi ps sarjana
Tips penyusunan dokumen akreditasi ps sarjana
 
Teori monitoring dan evaluasi
Teori monitoring dan evaluasiTeori monitoring dan evaluasi
Teori monitoring dan evaluasi
 
Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)
Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)
Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)
 
Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)
Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)
Kuliah ke 5 (konsep dan teori sistem perencanaan pendidikan)
 
Evaluasi
EvaluasiEvaluasi
Evaluasi
 
Buku 4 panduan pengisian instrumen akreditasi
Buku 4 panduan pengisian instrumen akreditasiBuku 4 panduan pengisian instrumen akreditasi
Buku 4 panduan pengisian instrumen akreditasi
 
01 Bahan Moneva Palu V0
01 Bahan Moneva Palu V001 Bahan Moneva Palu V0
01 Bahan Moneva Palu V0
 
Strategi dan Tatakelola Proposal penelitian.ppt
Strategi dan Tatakelola Proposal penelitian.pptStrategi dan Tatakelola Proposal penelitian.ppt
Strategi dan Tatakelola Proposal penelitian.ppt
 

Laporan panduan monitoring dan evaluasi

  • 1. Panduan Monitoring dan Evaluasi Riset Unggulan Terpadu
  • 2. 1. Latar Belakang Dari seluruh aspek yang tergolong dalam manajemen riset, monitoring dan evaluasi adalah satu-satunya aspek yang belum terimplementasikan secara baik, tepat dan berkesinambungan. Disamping indikator kinerja yang diperlukan sukar ditemukan. Kalaupun ditemukan, masih sukar untuk diukur, dibebani lagi oleh ketidakcukupan dana pendukung, maka aktivitas tersebut acapkali tidak dilaksanakan secara disiplin dan konsekuen. Faktor lain yang turut mereduksi nilai pelaksanaan monitoring dan evaluasi adalah tumpang tindihnya berbagai program riset di Indonesia. Sebagaimana telah diketahui bahwa Direktorat Pembinaan Penelitian dan Pengabdian pada Masyarakat, Ditbinlitabmas Ditjen Dikti mengalokasikan sejumlah dana riset untuk membiayai beragam program riset bagi perguruan tinggi. Program tersebut adalah Penelitian Dosen Muda, PDM yang dahulu dikenal sebagai Berbagai Bidang Ilmu, BBI, Penelitian Hibah Bersaing, PHB; Penelitian Dasar, PD; Penelitian Hibah Tim, PHBT; Penelitian Doktor Baru, PDB; Domestic Collaborative Research Grant, DCRG; Studi Lingkungan; Kajian Wanita dan lain-lain. Setiap program membawa misi yang berbeda-beda, karenanya alokasi biayanyapun beragam. Ada program riset yang membawa misi menciptakan nuansa, iklim dan keterampilan riset di perguruan tinggi (PDM), riset-riset yang berorientasi kepada eksplorasi fenomena alam semesta dan pemantapan platform riset suatu bidang studi (PD, PHT, PDB, Kajian Wanita, DCRG, dll), ada yang berorientasi pada pemenuhan kebutuhan industri (PHB). Di lain pihak Kantor Menteri Negara Riset dan Teknologi, KMNRT pun mempunyai program riset berskala nasional, yaitu Riset Unggulan Terpadu, RUT; Riset Unggulan Kemitraan, RUK; Riset Unggulan Kemasyarakatan dan Kemanusiaan, RUKK; dan Riset Pembinaan Iptek Kedokteran, Risbiniptekdok; dengan misi yang juga berbeda. Jika program riset Ditbinlitabmas hanya mengijinkan dosen perguruan tinggi yang berpartisipasi aktif, maka dana KMNRT disamping perguruan tinggi juga LPND, Litbang Departemen, LD dapat turut bersaing memperebutkan biaya riset yang dialokasikan. Hibah riset yang berasal dari luar negeri seperti Asahi Glass Foundation, Toray Foundation, Toyota Foundation, Sumitomo Foundation, dan lain-lain melengkapi sumber Panduan Monitoring dan Evaluasi RUT 1
  • 3. dana riset yang telah diuraikan sebelumnya. Riset semacam ini pada umumnya terbatas. Batasan tersebut pada umumnya diterapkan pada bidang-bidang ilmu tertentu sehingga kelompok peneliti yang eligible untuk berpartisipasi, juga terbatas. Batasan semacam itu, bahkan dalam konteks bidang ilmu dapat dikatakan cukup ekstrim berlaku bagi program ARM yang khusus diperuntukkan bagi peneliti bidang pertanian; RUKK bagi bidang sosial dan humaniora; Risbiniptekdok, bagi bidang kedokteran, dll. Sementara itu, setiap perguruan tinggi juga mengalokasikan sejumlah dana riset bagi dosen-dosennya. Pada umumnya jumlahnya terbatas untuk menciptakan nuansa dan adaptasi riset bagi dosen mudanya. Industri pun meskipun dalam skala yang masih kecil, telah turut berperan serta dalam program riset perguruan tinggi. Demikian pula litbang-litbang yang departemennya mampu menggalang dana semacam dana reboisasi telah mengalokasikan sebagian dananya bagi program riset di lingkungannya. Hasil studi yang telah dilakukan baik oleh KMNRT maupun Ditjen Dikti menunjukkan bahwa pola monitoring dan evaluasi berlangsung secara sentralistik. Institusi atau lembaga pelaksana riset lebih mengandalkan institusi penyandang dana riset untuk melaksanakan monitoring sekaligus evaluasi. Jadi, asas desentralisasi belum sepenuhnya dipahami. Disamping itu, tim pemantau yang diharapkan dapat sekaligus bertindak sebagai peer reviewer tidak dapat terpenuhi, olehkarena substansi riset seringkali tidak serasi dengan kepakaran tim yang jumlahnya terbatas. Akibatnya, alokasi dana yang tersedia pada umumnya hanya memungkinkan aktivitas monitoring dan evaluasi menyentuh sisi administrasi riset, namun belum sisi substansinya. Apalagi jika monitoring dan evaluasi dimaksimalkan dengan mencakup sisi manfaat dan dampak riset itu sendiri. Dapat dibayangkan, bagaimana sebenarnya profil monitoring dan evaluasi riset di Indonesia saat ini, jika baru dari dua sumber dana (Ditjen Dikti dan KMNRT) implementasi aspek tersebut tidak optimal. Patut pula diperhatikan bahwa aktivitas riset di banyak lembaga riset Indonesia tidak hanya mengenal dan memanfaatkan kedua sumber dana tersebut, melainkan juga dari departemen teknis atau non departemen lainnya. Olehkarena itu, dipandang perlu untuk merumuskan kebijakan yang berkaitan dengan peningkatan produktivitas, efisiensi 2 Panduan Monitoring dan Evaluasi RUT
  • 4. dan mekanisme monitoring dan evaluasi lembaga riptek serta melaksanakan evaluasi kinerja lembaga yang dinilai mempunyai posisi strategis dalam mengupayakan tingginya efisiensi dan nilai yang diperoleh dari aktivitas monitoring dan evaluasi riset di Indonesia. Sejak tahun 1993 dan tahun-tahun setelahnya, KMNRT telah memperkenalkan berbagai program riset unggulan dan strategis, antara lain RUT, RUK, RUKK dan RUSNAS. Sebagai institusi fungsional, KMNRT tidak berada pada posisi untuk melaksanakan program-program tersebut secara operasional. Implementasi program-program riset termaksud dilaksanakan oleh LPND yang berada di bawah koordinasinya, seperti LIPI dan BPPT. KMNRT lebih diposisikan sebagai perencana dan pengawas program. Olehkarena itu, di dalam buku panduan ini diuraikan sistem dan mekanisme monev yang berlaku untuk setiap program KMNRT dan model monev khusus untuk RUT. Dengan demikian, masih perlu disusun suatu model monev lain untuk RUK, RUKK dan RUSNAS, karena program-program tersebut membawa misi yang berlainan. Otonomi Daerah yang mulai diberlakukan sejak bulan Januari 2001 dan didirikannya Dewan Riset Daerah (DRD) serta institusi sejenis dengan nama lain di banyak propinsi, menjadi parameter lain dalam menetapkan pola atau mekanisme monitoring dan evaluasi riset. Beberapa alternatif dapat dilakukan misalnya mendesentralisasikan pengelolaan basis data riset dari KMNRT ke DRD. KMNRT mengakses situs web DRD untuk memantau kegiatan dan produk riset di setiap propinsi. Panduan Monitoring dan Evaluasi RUT 3
  • 5. 2. Tujuan Buku panduan monitoring dan evaluasi yang diterbitkan KMNRT ini ditujukan bagi terealisasikannya sistem serupa di setiap unit riset. Jadi tidak hanya menjadi kewajiban bagi penyandang dana untuk melakukan swakarya, tetapi harus merupakan budaya dan kewajiban unit riset itu sendiri dan suprastruktur pengelola di lembaganya yang lebih tinggi. Meskipun disadari dalam skala dan karakter unit riset tertentu, buku panduan ini belum dapat diterapkan, namun harapan agar kegiatan monitoring dan evaluasi disadari sebagai bagian dari kewajiban suatu unit riset, setidak-tidaknya dapat terpenuhi. 4 Panduan Monitoring dan Evaluasi RUT
  • 6. 3. Pengertian Unit Riset adalah unit dimana sekelompok peneliti melakukan penelitiannya dan memiliki 4 (empat) kriteria berikut, yaitu (1) melakukan manajemen riset, (2) mempunyai sumber daya riset, (3) mempunyai kebijakan riset atau mengaplikasikan temuannya, dan (4) mempunyai program riset. Di dalam unit riset terdapat seorang pemimpin sedangkan lainnya adalah anggota unit. Sebagai contoh unit riset antara lain: laboratorium, kelompok bidang keahlian, Unit Pelaksana Teknis, UPT; balai penelitian, pusat penelitian, pusat antar universitas, bidang dan sejenisnya. Monitoring adalah suatu kegiatan observasi yang berlangsung terus menerus untuk memastikan dan mengendalikan keserasian pelaksanaan program dengan perencanaan yang telah ditetapkan. Evaluasi adalah suatu teknik penilaian kualitas program yang dilakukan secara berkala melalui metode yang tepat. Pada hakekatnya evaluasi diyakini sangat berperan dalam upaya meningkatkan kualitas operasional suatu program dan berkontribusi penting dalam memandu pembuat kebijakan di seluruh strata organisasi. Dengan menyusun, mendesain evaluasi yang baik dan menganalisis hasilnya dengan tajam, kegiatan evaluasi dapat memberi gambaran tentang bagaimana kualitas operasional program, layanan, kekuatan dan kelemahan yang ada, efektivitas biaya dan arah produktif potensial masa depan. Dengan menyediakan informasi yang relevan untuk pembuat kebijakan, evaluasi dapat membantu menata seperangkat prioritas, mengarahkan alokasi sumber dana, memfasilitasi modifikasi dan penajaman struktur program dan aktivitas serta memberi sinyal akan kebijakan penataan ulang personil dan sumber daya yang dimiliki. Disamping itu, evaluasi dapat dimanfaatkan untuk menilai dan meningkatkan kualitas serta kebijakan program. Ilustrasi tentang peran evaluasi dalam meningkatkan kualitas dan kebijakan program dilukiskan secara sederhana seperti tampak pada Gambar 1. Model Panduan Monitoring dan Evaluasi RUT 5
  • 7. tersebut menunjukkan interaksi antara formulasi dengan implementasi kebijakan dan pelaksanaan program serta ketetapan atau keputusan dan evaluasi tentang kualitas program. Pada lingkaran ganda pertama, yang merupakan tingkat paling sederhana, kebijakan program diformulasikan untuk memandu dan menetapkan arah pelaksanaan program. Akan tetapi, karena operasionalisasi program merupakan sasaran interpretasi suatu kebijakan, dan berkorelasi erat dengan kemampuan adaptasi individual, maka pelaksanaan program bukanlah suatu cerminan akurat dari suatu pedoman kebijakan. Olehkarena itu, kebijakan dan pelaksanaan program selanjutnya dikombinasikan untuk menghasilkan kualitas aktual program (atau kualitas operasional organisasi). Melalui proses evaluasilah suatu kualitas program dinilai. Hal ini dapat dilakukan baik melalui proses yang bersifat kualitatif maupun kuantitatif. Meskipun harus diakui pula bahwa masing- masing pola tersebut hanya mampu menetapkan sebagian dari total kualitas pelaksanaan program dan dampaknya. Setelah melalui fase penilaian – sesuai lingkaran ganda kedua – dari serangkaian proses evaluasi dilakukan pengambilan keputusan tentang sebaik apa kualitas kebijakan dan pelaksanaan programnya. Untuk itu diperlukan model evaluasi yang tepat, indikator kinerja dan besarannya yang disepakati, tujuan atau obyektif yang jelas dan standar yang diterapkan serta luasnya rentang nilai faktor-faktor yang lain. Dengan demikian akan diperoleh keputusan tentang nilai kualitas integratif (lingkaran ganda ketiga). Tergantung pada hasil evaluasi yang diperoleh dilakukan pengambilan keputusan. Langkah berikutnya adalah menerapkan keputusan yang telah ditetapkan dengan melanjutkan atau mengubah kebijakan yang ada, mengeliminasi, meluaskan atau memodifikasi operasi pelaksanaan program. Model evaluasi secara sengaja digambarkan dalam bentuk lingkaran dengan maksud untuk mengindikasikan bahwa proses tersebut tidak berlangsung diskret apalagi linier. Sudut pandang model di atas, dinilai telah berkorespondensi dengan pandangan tradisional tentang peran evaluasi dalam pengembangan suatu program. Dilihat dari sudut yang lain, sebagai contoh, evaluasi kualitas yang telah dibuktikan atau yang belum dibuktikan kebenarannya dapat mengantarkan kepada penilaian yang mengidentifikasi adanya kebutuhan untuk intervensi baru ke dalam 6 Panduan Monitoring dan Evaluasi RUT
  • 8. kebijakan dan pelaksanaannya. Jadi peran penilaian dalam hal ini adalah untuk memenuhi kebutuhan suatu evaluasi. Olehkarena itu, intervensi baru -- yang dapat berupa kebijakan, strategi, dll -- seyogyanya dinilai dan dievaluasi setelah diimplementasikan serta menjadi subyek atau acuan untuk dilanjutkan atau dimodifikasinya suatu aksi. 1 Kebijakan Program Pelaksanaan 3 2 Program Keputusan Terintegrasi Kualitas tentang Program Kualitas Standar yang Penilaian disepakati Kualitas Perubahan konteks sosial −− SSosial osial −− PPolitik olitik −− Sumber daya Sumber daya Gambar 1. Model Proses Peningkatan Kualitas Panduan Monitoring dan Evaluasi RUT 7
  • 9. 4. Sistem MONEV KMNRT Melaksanakan evaluasi kinerja lembaga riset yang memiliki berbagai karakter, misi dan pola pendanaan risetnya, menuntut taktik dan strategi yang tepat dan operasional. Kondisi semacam itu dipicu dengan kebijakan Menegristek tentang ruang lingkup operasional KMNRT yang berskala nasional. Olehkarenanya, meskipun KMNRT berfungsi sebagai koordinator 7 (tujuh) LPND, namun kebijakan tersebut memberi konsekuensi meluasnya liputan monev ke lembaga atau institusi bahkan unit riset yang ada di seluruh Indonesia. Sebagaimana telah diketahui bahwa aspek pengawasan, controlling, meliputi monitoring, evaluasi dan auditing. Untuk melaksanakan fungsi evaluasi kinerja lembaga, Deputi Bidang Program Riptek, KMNRT membatasi pengawasannya dalam kedua hal yang disebutkan lebih awal, yaitu monitoring dan evaluasi. Fungsi auditing tetap sepenuhnya diserahkan kepada pihak badan pengawas pemerintah yang lebih berwenang, seperti Inspektorat, Irjen, BPKP dan BPK. Setelah melalui berbagai pertimbangan, sistem monev KMNRT ditetapkan seperti tampak pada Gambar 2. Pada gambar tersebut dilukiskan mekanisme evaluasi kinerja lembaga yang secara garis besarnya melibatkan empat pelaku utama, yaitu: 1. Pihak pelaksana monev KMNRT sendiri, yang dalam hal ini adalah Asdep 4/III Evaluasi Kinerja Lembaga; 2. Penentu kebijakan dan program riset nasional, yang dalam hal ini terdiri dari para Staf Ahli, Deputi Menegristek dengan mempertim- bangkan saran atau rekomendasi Dewan Riset Nasional; 3. Pihak perencana anggaran nasional, yang terdiri dari unsur Direktorat Jenderal Anggaran, Departemen Keuangan dan Bappenas; 4. Pihak pelaksana riset, yakni lembaga riset yang dikelompokkan ke dalam LPND, Litbang Departemen, Perguruan Tinggi, BUMN dan pusat-pusat studi. Keempat pelaku monev tersebut seyogyanya merupakan komponen dinamis dari satu rangkaian siklus kegiatan yang berkesinambungan. Masing-masing pelaku 8 Panduan Monitoring dan Evaluasi RUT
  • 10. memegang peranan penting dalam proses kelancaran, efektivitas, berbasis monitoring dan evaluasi riset di Indonesia. Masukan, input − visi, misi − renstra, rencana aksi − kebijaksanaan • Profil Kinerja − peraturan Lembaga − sumber daya • Profil Sumber- Proses, process daya Riset LPND Lembaga interaksi − antar periset Asdep Evaluasi − periset-pimpinan Kinerja atmosfer riset; efisiensi; KMNRT LD manajemen konflik Keluaran, output produktivitas − artikel saintifik PT Staf Deputi − buku Ahli − paten − prototipe − desain DJA • Jakstra INDUSTRI • Punas − dll. Hasil, outcome DPR − aspek komersialisasi − aspek internalisasi Bappenas PUSAT − return on investment STUDI • Program Baru Dampak, impact • Sistem Baru Pengaruh positif dan/atau • Panduan negatif terhadap − lingkungan internal • Program Baru − lingkungan eksternal Riset Nasional Manfaat, benefit − relevansi − efektivitas Gambar 2. Mekanisme Evaluasi Kinerja Lembaga KMNRT, dalam hal ini Asdep 4/III menerima informasi dalam bentuk data kuantitatif tentang sumberdaya, program, manajemen dan kebijakan riset yang dimiliki lembaga riset (LPND, Litbang Departemen, Perguruan Tinggi, BUMN, Pusat Studi). Berbasis informasi tersebut, KMNRT mengolah dan Panduan Monitoring dan Evaluasi RUT 9
  • 11. menganalisisnya menjadi profil kinerja riset lembaga, potensi SDM dan fasilitas masing-masing lembaga riset. Berdasarkan profil tersebut, pimpinan KMNRT (para Deputi dan Staf Ahli Menegristek) bersama dengan Dewan Riset Nasional menilai kesesuaian kinerja dengan Jakstra Riptek Nasional dan/atau menyusun serta menetapkan kebijakan dalam bentuk naskah program, sistem dan panduan riset baru. Naskah program dan sistem yang baru selanjutnya dibahas bersama Ditjen Anggaran (Departemen Keuangan) dan Bappenas untuk memperoleh persetujuan anggaran dan penetapannya sebagai program riset nasional yang akan dibiayai oleh pemerintah untuk tahun anggaran berikutnya. Selain Ditjen Anggaran dan Bappenas, pihak DPR seyogyanya diikutsertakan pada saat pengkajian dan pembahasan program tersebut. Program-program riset yang telah disetujui pembiayaannya, kemudian ditawarkan secara terbuka dan kompetitif kepada seluruh lembaga riset melalui mekanisme penawaran yang atraktif. Didalam kaitannya dengan otonomi daerah, mekanisme serupa juga dapat dikembangkan di daerah-daerah dalam menyusun program-program riset daerah, dimana DRD (Dewan Riset Daerah) bersama dengan Bappeda (Badan Perencanaan Pembangunan Daerah) dan DPRD merumuskan program-program riset yang spesifik untuk daerah yang bersangkutan. Pada prinsipnya lembaga-lembaga riset seyogianya melakukan monev internal dengan cara melakukan self-evaluation atau evaluasi diri, menetapkan indikator kinerja untuk mengevaluasi kinerja dan potensi diri yang ada pada masing-masing lembaga. Monev eksternal dilakukan oleh KMNRT melalui pola tidak langsung, yaitu melalui akses basis data yang teralokasi di setiap lembaga atau bahkan unit riset. Jika dipandang perlu, KMNRT akan melakukan kunjungan konsultatif ke unit-unit riset yang menunjukkan kinerja baik dan/atau yang masih memerlukan dukungan pengembangan. 10 Panduan Monitoring dan Evaluasi RUT
  • 12. 5. Struktur Data MONEV KMNRT Berbasis pada pola evaluasi sumatif, KMNRT menata informasi riset dan teknologi ke dalam struktur data seperti tampak pada Gambar 3 berikut. Hal ini dilakukan untuk mengefisienkan, mengefektifkan arus informasi, karena pada dasarnya evaluasi sumatif bertitik pangkal pada basis data iptek di tingkat paling operasional, yaitu unit riset. KMNRT akan menerbitkan excecutive summary berdasar hasil ekstraksi dan pengolahan data yang tersaji pada website setiap lembaga/institusi dan unit riset di seluruh Indonesia. Hal tersebut terlebih dahulu diintegrasikan ke dalam visi, misi, tugas pokok dan fungsi KMNRT, sebelum disimpan dalam website. Uraian rinci Sistem Informasi Riset, SIR dan jenis basis data yang sebaiknya disajikan di Unit Riset (SIR-1) dan informasi yang ditampilkan pada SIR-2 & 3, dapat disimak dalam Buku “Sistem Informasi Riset” yang diterbitkan oleh KMNRT, tahun 2001. Sistem Informasi Riset, KMNRT SIR - 3 Sistem Informasi Lembaga/ Riset, Institusi SIR - 2 Sistem Informasi Riset, SIR – 1 Basis Data: UNIT RISET Identitas UNIT RISET UNIT RISET Manajemen Riset Sumberdaya Riset Program Riset Kebijakan Riset Gambar 3. Struktur Data MONEV KMNRT Buku Panduan Monev RUT hanya memuat struktur data monev KMNRT. Perangkat keras dan lunak yang diinvestasikan, terbatas hanya di lingkungan KMNRT untuk mendukung kegiatan monev, entry data dan program pengolahan data. Seluruh sistem informasi yang dibangun terbatas telah dikoneksikan dengan Ipteknet, agar mempunyai akses pengguna dan nilai kemanfaatan yang lebih luas. Panduan Monitoring dan Evaluasi RUT 11
  • 13. 6. Evaluasi Formatif dan Sumatif Sistem monitoring dan evaluasi KMNRT yang berbasis pada akses data di unit dan lembaga atau institusi riset lebih cenderung mengikuti pola evaluasi sumatif. Disamping biayanya murah, evaluasi semacam itu menawarkan efisiensi paling tinggi. Hasil pengolahan data selanjutnya menjadi basis pertimbangan KMNRT untuk melakukan kunjungan konsultatif ke unit riset yang atraktif atau bahkan yang kinerjanya sangat rendah. Kunjungan tersebut dilakukan dalam rangka klarifikasi, sebagai basis pemikiran penyusunan rekomendasi perubahan- perubahan atau perbaikan unit riset di masa depan. 6.1. Perbedaan Evaluasi Formatif dan Sumatif Pada prinsipmya, perbedaan umum dan khusus diantara kedua macam evaluasi tersebut, masing-masing dapat dilihat pada Tabel 1 dan Tabel 2 berikut ini. Tabel 1. Perbedaan Evaluasi Formatif dan Sumatif Evaluasi Formatif Evaluasi Sumatif − Evaluasi formatif dilakukan − Evaluasi sumatif dilakukan untuk membantu perancang untuk membantu sponsor atau program, para manajer dan/atau institusi berwenang lainnya staf untuk menyempurnakan dalam menentukan keputusan program yang sedang apakah akan melanjutkan dikembangkan atau yang sedang program yang dinilai sukses atau berjalan, apakah akan menghentikannya, − Menuntut perhatian yang cukup − Tujuan evaluasi sumatif adalah untuk memantau implementasi untuk mengoleksi dan program dan pencapaian tujuan, menampilkan informasi yang − Dalam upaya untuk diperlukan dalam mendukung meningkatkan program, pengambilan kesimpulan dan diperlukan pemahaman tentang keputusan tentang program kemajuan program ke arah serta nilainya, pencapaian obyektif sehingga peluang melakukan perubahan dalam komponen program dapat dilakukan, 12 Panduan Monitoring dan Evaluasi RUT
  • 14. Evaluasi Formatif Evaluasi Sumatif − Evaluasi formatif memerlukan − Evaluasi dilakukan dengan waktu lama sebab membutuhkan menggunakan pembanding, familiaritas akan banyak aspek yaitu perbandingan hasil program dan melengkapi perencanaan program dengan personil program dengan tujuan yang ditetapkan oleh informasi serta wawasan untuk desainer program dan detilnya membantu mereka terekam dalam perencanaan memperbaikinya, program, − Evaluasi formatif tidak perlu − Semakin jelas program dan dilakukan, jika tidak ada peluang terukurnya tujuan, konsistensi melakukan perubahan untuk materi, organisasi dan aktivitas, suatu perbaikan, semakin cocok dilakukannya − Hasil evaluasi formatif digunakan evaluasi sumatif, untuk merevisi aktivitas, − Hasil evaluasi sumatif penugasan, organisasi dan digunakan untuk membantu komponen lainnya di dalam memutuskan apakah suatu program. program akan dilanjutkan, di- hentikan atau apakah dan bagaimana cara pengembangan atau menghentikannya. Tabel 2. Perbedaan Khusus antara Evaluasi Formatif dan Sumatif Evaluasi Formatif Evaluasi Sumatif Sasaran utama − Desainer program − Penentu kebijakan − Manajer program, − Donatur atau sponsor − Pelaksana program − Publik yang berminat Konsentrasi pada Klarifikasi tujuan Dokumentasi hasil saat pengkoleksian Sifat program Dokumentasi implemen- data - Proses atau implementasi tasi Klarifikasi persoalan Analisis level mikro dari - Saat implementasi dan - Implementasi dan - Kemajuan pada hasil - Hasil program Analisis level mikro dari - Implementasi dan - Hasil Pelaku utama Kolaborator Penyuplai data pengembang program dan pelaksana Peran utama Interaktif Independen evaluator Metodologi Kualitatif dan kuantitatif Kuantitatif, kadangkala dengan lebih ditekankan diperkaya dengan kualitatif pada situasi sebelumnya Panduan Monitoring dan Evaluasi RUT 13
  • 15. Evaluasi Formatif Evaluasi Sumatif Frekuensi Monitoring yang sedang Terbatas pengkoleksian data berjalan Mekanisme utama − Diskusi Laporan formal pelaporan − Interaksi pertemuan informal Frekuensi Berulang-ulang Saat menyimpulkan pelaporan Penekanan dalam − Hubungan diantara − Hubungan makro antara laporan unsur proses-level mikro konteks-proses-hasil − Hubungan diantara − Implikasi untuk konteks dan proses kebijakan, kontrol − Hubungan diantara administratif dan proses dan hasil manajemen − Implikasi untuk pelaksanaan program dan perubahan spesifik saat pelaksanaan Syarat untuk − Kesepakatan kinerja Obyektivitas saintifik kredibilitas program dengan pengembang atau pelaksana − Advokasi atau kepercayaan 6.2. Tahapan Pelaksanaan Evaluasi Formatif dan Sumatif Untuk mengenali tahapan pekerjaan kedua macam evaluasi tersebut, secara garis besar telah dimuat secara lengkap pada Tabel 3 berikut. Tabel 3. Ringkasan Tahapan Evaluasi Formatif dan Sumatif Evaluasi Formatif Evaluasi Sumatif Tahap 1: Tahap 1: Tentukan Batas Evaluasi Tentukan Batas Evaluasi 1.1. Menentukan maksud evaluasi 1.1. Menentukan maksud evaluasi 1.2. Mencari sebanyak mungkin 1.2. Menemukan sebanyak mungkin informasi tentang program informasi tentang program dalam 1.3. Merumuskan program bentuk pertanyaan 1.4. Memfokuskan evaluasi 1.3. Merumuskan program X dan C 1.5. Menegosiasikan peran Anda 1.4. Memfokuskan evaluasi 1.5. Menegosiasikan peran Anda 14 Panduan Monitoring dan Evaluasi RUT
  • 16. Evaluasi Formatif Evaluasi Sumatif Tahap 2: Tahap 2: Pilih Metode Evaluasi yang Cocok Pilih Metode Evaluasi yang Cocok 2.1. Mempertajam perumusan program 2.1. Pilih pendekatan pengkoleksian data 2.2. Memastikan anda mengajukan dan instrumen evaluasi pertanyaan yang benar 2.2. Konsolidasikan perhatian anda 2.3. Menemukan keterangan apa yang kepada instrumen yang cocok akan dihasilkan dari data yang anda 2.3. Rencanakan konstruksi dan suplai pengadaan instrumen evaluasi 2.4. Mendesain perencanaan untuk 2.4. Rencanakan analisis data yang akan menguji implementasi program dihasilkan dari setiap instrumen 2.5. Mendesain kemajuan sistem 2.5. Pilih desain evaluasi monitoring 2.6. Pilih contoh strategi untuk 2.6. Mengkonsolidasikan perhatian anda mengkonduksi koleksi data 2.7. Mengestimasikan biaya evaluasi 2.7. Estimasi biaya evaluasi 2.8. Persetujuan final tentang layanan dan 2.8. Persetujuan final tentang layanan dan tanggungjawab tanggungjawab Tahap 3: Tahap 3: Pengumpulan dan Menganalisis Pengumpulan dan Menganalisis Informasi Informasi 3.1. Koleksi dan analisis informasi 3.1. Pastikan batas akhir 3.2. Pastikan batas akhir koleksi data 3.2. Siapkan desain evaluasi 3.3. Tentukan ekspektasi untuk 3.3. Pengelolaan instrumen, penilaian dan menginterpretasikan data anda pencatatan data 3.4. Pastikan bahwa perencanaan koleksi - mulai menyiapkan instrumen data anda telah diimplementasikan yang diperlukan semestinya - instrumen penilaian sesuai format 3.5. Analisis data untuk peningkatan hasil yang diharapkan program - catat hasil setiap pengukuran kedalam lembar ringkasan data 3.4. Lakukan analisis Tahap 4: Tahap 4: Penyusunan Laporan Penyusunan Laporan 4.1. Pastikan strategi komunikasi 4.1. Perencanaan laporan 4.2. Bertemu dengan manajer program 4.2. Pilih metode presentasi dan/atau staf untuk mendiskusikan 4.3. Set laporan kelanjutan temuan 4.3. Tinggalkan catatan evaluasi Panduan Monitoring dan Evaluasi RUT 15
  • 17. 7. Sistem MONEV RUT Khusus untuk riset unggulan, dalam hal ini RUT (Riset Unggulan Terpadu), sistem monitoring dan evaluasi yang dikembangkan di KMNRT tampak seperti Gambar 4. Gambar tersebut menunjukkan mekanisme pembagian tugas yang khususnya mengacu kepada manajemen riset seperti: perencanaan, penganggaran, penawaran, pelaksanaan, monitoring dan evaluasi program. Tampak adanya empat unsur utama yang saling berhubungan satu sama lain dalam fungsi tertentu, yaitu: 1. KMNRT, sebagai penanggung jawab program Riset Unggulan Terpadu; 2. Pengelola program RUT dari Lembaga Pemerintah Non Departemen (LPND) dibawah koordinasi Menegristek, dalam hal ini Lembaga Ilmu Pengetahuan Indonesia (LIPI); 3. Lembaga/institusi riset seperti LPND, Litbang Departemen, Perguruan Tinggi, Industri dan pusat-pusat studi yang menjadi payung formal bagi unit riset; 4. Unit riset yang menaungi peneliti RUT. Keempat unsur utama di atas saling berkomunikasi dalam konteks sebagai berikut: KMNRT, dalam hal ini Deputi III Bidang Program Riptek berkewajiban menyusun kebijakan dan merumuskan misi program RUT berikut program aksi tahunan serta anggaran belanja yang diperlukan, dengan memperhatikan saran dan rekomendasi DRN. Khususnya dalam menyusun anggaran belanja tahunan RUT, KMNRT bekerjasama dan dibantu penuh oleh LIPI, dalam hal ini sebagai pihak pengelola program RUT berbasis pada hasil pelaksanaan RUT tahun-tahun sebelumnya dan proyeksi kegiatan satu tahun dimuka. Adanya pelaksanaan RUT yang telah habis masa risetnya, pelaksana yang dihentikan pelaksanaan riset sebelum periode waktu risetnya habis dan proyeksi jumlah topik riset baru untuk satu tahun yang akan datang, serta kegiatan-kegiatan lain seperti administrasi proyek, penyusunan buku pedoman RUT, monitoring dan evaluasi di lapangan, studi terkait lainnya, merupakan faktor-faktor berpengaruh terhadap anggaran belanja tahunan RUT. 16 Panduan Monitoring dan Evaluasi RUT
  • 18. Disamping itu, KMNRT setiap tahun berkewajiban melakukan monitoring dan evaluasi kinerja pengelolaan program RUT baik terhadap pengelola program (dalam hal ini LIPI) maupun lembaga/institusi riset yang menaungi unit riset dan pelaksana riset secara formal. Kegiatan monitoring dan evaluasi tersebut seyogyanya diarahkan baik kepada aspek administrasi serta manajerial, maupun aspek substantif riset. Olehkarena itu, KMNRT menyusun suatu format khusus sebagai pendukung kesempurnaan kegiatan tersebut. Khusus bagi unit riset, KMNRT akan mencermati indikator kinerja manfaat dan dampak produk RUT yang dihasilkan. Pengelola RUT, dalam hal ini LIPI berperan aktif dalam menyampaikan saran perubahan, kondisi aktual pengelolaan dan pelaksanaan RUT pada saat penyusunan pedoman anggaran belanja tahunan RUT. Dengan dibantu oleh tim pakar, LIPI melakukan penilaian atas proposal serta monitoring dan evaluasi pelaksanaan dan hasil riset terhadap aspek substantif. Hasilnya secara lengkap lebih lanjut diinformasikan kepada KMNRT. LIPI berkewajiban mensosialisasikan program RUT tahun mendatang ke seluruh lembaga atau institusi riset nasional dengan mengirimkan buku pedoman RUT tahun bersangkutan. Disamping itu, LIPI berkewajiban pula melakukan monitoring dan evaluasi terhadap lembaga/institusi riset secara administratif serta unit riset, khususnya pelaksana RUT untuk aspek substantif. Lembaga/institusi riset berkewajiban melakukan koordinasi program RUT dengan LIPI sebagai pengelola program dalam hal administratif penunjang implementasi program, misalnya penyusunan dan penandatanganan kontrak kerjasama penelitian, pencairan termin pembayaran, penyampaian laporan kemajuan dan laporan akhir penelitian, pengorganisasian kegiatan monitoring dan evaluasi dan kegiatan administrasi sejenis lainnya. Unit riset sebagai institusi yang paling bertanggungjawab atas kualitas kinerja riset diharapkan dapat memposisikan diri dalam kondisi siap dipantau setiap saat, dan dievaluasi pada saat-saat tertentu, baik oleh KMNRT maupun LIPI. Olehkarena itu, basis data riset dan kegiatan monitoring evaluasi agar disusun dan dilakukan secara kontinyu dan obyektif. Disamping itu, unit riset diharapkan agar selalu berkonsultasi dan berkoordinasi dengan lembaga/institusi Panduan Monitoring dan Evaluasi RUT 17
  • 19. riset yang menaunginya, baik dalam hal mencari informasi program riset terbaru, perubahan mendasar tentang kebijakan riset nasional, menemukan solusi persoalan yang dihadapi, bantuan finansial, maupun jasa pendaftaran HaKI. KMNRT Perencanaan, Penganggaran Program, Monitoring dan Evaluasi Substansi riset serta Monitoring dan Kinerja Pengelola Evaluasi Kinerja Lembaga 1 3 2 UR Lembaga Pengelola Implementasi Program, Monitoring dan Evaluasi Substansi Riset UR = Unit Riset 1 = Monitoring dan evaluasi kinerja riset, manfaat serta dampak riset. 2 = Monitoring dan evaluasi substansi riset 3 = Perencanaan, penganggaran, pelaksanaan, monitoring dan evaluasi Gambar 4. Mekanisme MONEV RUT 7.1. Proses Monitoring dan Evaluasi RUT Program Riset Unggulan Terpadu (RUT) adalah program riset yang dipersaingkan secara terbuka untuk para peneliti utama di lingkungan unit-unit riset baik di Perguruan Tinggi, Litbang Departemen, LPND, Industri, maupun pusat-pusat studi yang ada di Indonesia. Karena sifatnya yang dipersaingkan maka konsekuensi logisnya, keikutsertaan para peneliti utama dalam program RUT akan melalui tahapan-tahapan seleksi. Baik pada tingkat seleksi penerimaan dan penilaian proposal, monitoring dan evaluasi pelaksanaan tahapan-tahapan riset, sampai pada penilaian akhir kualitas hasil riset. Bahkan hasil-hasil riset yang dinilai berkualitas akan mendapat kesempatan bersaing untuk mendapatkan “award”. Secara lengkap proses tersebut mengikuti diagram alir seperti tampak pada Gambar 5. Adapun contoh basis data yang diperlukan dari setiap tahapan proses, seperti tercantum pada lampiran halaman 63. 18 Panduan Monitoring dan Evaluasi RUT
  • 20. ALIRAN PROSES BASIS DATA, BD Penerimaan Proposal BD Proposal Masuk (BD – 1) Rapat Panel I Ditolak BD Proposal Ditolak I (BD – 2) BD Proposal Diteruskan Peer Reviewer ke Reviewer (BD – 3) BD Proposal Ditolak II Rapat Panel II Ditolak (BD – 4) Tidak diusulkan BD Proposal Ditolak III Seminar Pembahasan untuk dibiayai (BD – 5) BD Proposal Dibiayai Diusulkan untuk dibiayai Th-1 (BD – 6) Kontrak Kerjasama BD pelaksanaan Dihentikan th-1 Pelaksanaan Tahun I (BD – 7) Dihentikan Seminar Evaluasi dan * Walaupun dihentikan BD Pelaksanaan Pembiayaannya* Pembahasan Dibiayai Th-2 pembiayaannya, Peneliti Utama (BD – 8) harus melaporkan Pelaksanaan Tahun II hasil pelaksanaan BD pelaksanaan Dihentikan risetnya. Dihentikan th-2 Seminar Evaluasi dan Pembiayaannya*/ (BD – 9) Pembahasan Dinilai Selesai BD Pelaksanaan Dibiayai Th-3 Pelaksanaan Tahun III (BD – 10) Seminar Evaluasi dan Pembahasan Laporan Akhir Pelaksanaan Riset Penilaian Laporan Akhir Riset BD Hasil Penilaian Akhir (BD – 11) ** Predikat Riset** A : Peneliti Utama dapat langsung mengajukan Sangat Memuaskan (A) proposal baru, pada program RUT tahun Memuaskan (B) berikut. Cukup (C) B : Peneliti Utama dapat mengajukan proposal Kurang (D) RUT dua tahun berikutnya. C : Peneliti Utama dapat mengajukan proposal Keterangan: RUT tiga tahun berikutnya. Detil isi masing-masing D :Peneliti Utama dapat mengajukan proposal basis data, seperti Publikasi RUT terbaik terlampir RUT empat tahun berikutnya. Pemberian award Gambar 5. Proses seleksi dan evaluasi program RUT serta basis data yang perlu dibuat Panduan Monitoring dan Evaluasi RUT 19
  • 21. 7.2. Uraian proses seleksi, monitoring dan evaluasi RUT Penerimaan Proposal Format Proposal RUT disusun dengan sistematika berikut (penomoran format tidak dibakukan, sewaktu-waktu dapat berubah): 1. Data Pengusul Proposal terdiri dari: Judul; Pengenalan; Pengesahan; Personalia Peneliti; Pernyataan Keikutsertaan dalam RUT; Personalia Teknisi; Biodata Peneliti. Contoh format terlampir. 2. Proposal Riset, terdiri dari: Lembar Depan; Rancangan Penelitian; Isi Proposal; Personalia Riset; Rincian Anggaran; dan Jadual Kegiatan. Contoh format terlampir. Proposal disusun secara seksama mengikuti petunjuk penyusunan yang tercantum pada “Buku Petunjuk Penyusunan Proposal RUT”. Sekretariat RUT setelah menerima dan mencatat proposal yang masuk, mengadakan seleksi administratif terhadap persyaratan Peneliti Utama, Lembaga Penanggung jawab, Surat Pernyataan dan kelengkapan- kelengkapan lainnya. Proposal beserta daftarnya dikirim kepada Ketua Panel dan Anggota Panel yang berkenaan sesuai dengan bidang keahliannya. Sejak RUT IX, dimulai suatu sistem penilaian anonim. Proposal yang dinilai tidak mencantumkan identitas pengusul. Rapat Panel I Apabila ada proposal yang tidak sesuai di bidangnya, Ketua Panel dapat memindahkan ke bidang lain yang lebih sesuai dengan menggunakan format Perpindahan Bidang (contoh terlampir). Proposal yang dapat dinilai langsung oleh Panel, penilaiannya menggunakan format Hasil Penilaian Panel (contoh terlampir). Sedangkan rekapitulasi hasil penilaian panel dituangkan dalam format Rekapitulasi Hasil Penilaian Proposal (contoh terlampir). Rapat Panel I, hasilnya dapat berupa : Proposal ditolak, diteruskan ke Seminar Pembahasan, atau di kirim ke Peer Reviewer. 20 Panduan Monitoring dan Evaluasi RUT
  • 22. Peer Reviewer Peer Reviewer adalah pakar dengan keahlian sesuai dengan substansi proposal, dan ditetapkan oleh para Panel bidang RUT untuk memberikan tanggapan dan evaluasi atas suatu proposal. Proposal yang sangat perlu mendapat tanggapan dari Peer Reviewer dikirimkan dengan menggunakan format Permohonan Peer Reviewer (contoh terlampir). Peer Reviewer melakukan evaluasi secara kritis atas suatu proposal untuk membantu panel pakar mengambil keputusan, Dalam melakukan evaluasi, peer reviewer tidak diijinkan kontak dengan pengaju proposal dan hasil evaluasinya bersifat rahasia, Hasil evaluasi peer reviewer dituliskan pada formulir Hasil evaluasi reviewer (contoh format terlampir), dan selanjutnya disampaikan kepada Sekretariat RUT LIPI sebelum batas waktu berakhir, sebagai bahan Rapat Panel II. Rapat Panel II Rapat Panel II dilaksanakan untuk membahas hasil penilaian/tanggapan Peer Reviewer. Hasil penilaian baik pada Rapat panel I maupun II dituangkan ke dalam Berita Acara Hasil Seleksi Proposal RUT sebagai lampiran Surat Pemberitahuan dengan menggunakan format Berita Acara Hasil Seleksi Proposal (contoh terlampir). Rapat Panel II, hasilnya dapat berupa : Proposal dilanjutkan ke Seminar Pembahasan atau ditolak (tidak dapat dilanjutkan untuk seleksi selanjutnya). Seminar Pembahasan Seminar pembahasan dimaksudkan untuk memberi kesempatan bagi para Peneliti Utama yang proposalnya dinyatakan lolos seleksi tahap I dan II untuk menyajikan dan memperjelas proposalnya di depan panel pakar dan peneliti utama lainnya di bidang yang sama. Panduan Monitoring dan Evaluasi RUT 21
  • 23. Hasil seminar pembahasan dituangkan dalam Berita Acara Hasil Seminar Pembahasan Proposal RUT sebagai lampiran Surat Pemberitahuan dengan menggunakan format Berita Acara Hasil Seminar Pembahasan (contoh terlampir). Hasil seminar menghasilkan dua kategori, yaitu proposal diusulkan untuk dibiayai dan proposal tidak diusulkan untuk dibiayai. Kontrak Kerjasama Peneliti Utama yang proposalnya diusulkan untuk dibiayai, sebagai penanggungjawab riset selanjutnya menandatangani kontrak kerjasama untuk melaksanakan kegiatan riset seperti yang tertera dalam proposalnya. Pola semacam itu kemungkinan berbeda di institusi atau lembaga riset yang lain. Kontrak kerjasama cukup ditandatangani oleh Ketua Lembaga atas nama seluruh peneliti utama RUT di lembaganya. Pencairan anggaran untuk biaya operasional riset dilakukan termin per termin dengan memperhatikan laporan kemajuan riset yang telah dicapai. Seminar Evaluasi dan Pembahasan Setiap tahun akan diadakan Seminar Evaluasi dan Pembahasan pelaksanaan RUT untuk memberi kesempatan bagi para peneliti utama menyajikan dan menjelaskan hasil yang telah dicapai dan sekaligus membahas rencana kerja RUT tahun berikutnya. Hasil seminar akan mengkategorikan riset dalam tiga kelompok, yaitu : 1. Riset diusulkan untuk dibiayai kelanjutannya; 2. Riset tidak diusulkan untuk dibiayai kelanjutannya; 3. Riset telah selesai Materi Penilaian menyangkut: kemajuan pelaksanaan, hasil, rencana kerja dan kegiatan penunjang. Hasil Evaluasi dituangkan dalam format Berita Acara Hasil Evaluasi RUT (contoh terlampir). 22 Panduan Monitoring dan Evaluasi RUT
  • 24. Monitoring dan Evaluasi Kegiatan Tim monev RUT yang berintikan tim panel, sekretariat RUT – sebagai pendamping, dan KMNRT akan melakukan kunjungan lapangan untuk memantau secara langsung kegiatan RUT di laboratorium tempat RUT dilaksanakan. Jadual kunjungan dan nama anggota tim akan disampaikan sebelumnya oleh LIPI kepada lembaga penanggung jawab program. Hal-hal yang menjadi fokus perhatian adalah substansi saintifik dan administratif. Khusus substansi yang disebutkan terakhir, selanjutnya disampaikan kepada pengelola RUT (LIPI) dan pemilik program (KMNRT). Contoh format matriks pemantauan dan evaluasi RUT, seperti terlampir. Evaluasi Hasil Akhir Dalam rangka program monitoring dan evaluasi jenjang peningkatan mutu peneliti di Indonesia, Dewan Riset Nasional mengembangkan suatu pedoman evaluasi hasil akhir penelitian RUT, yaitu dalam bentuk jenjang predikat pengakuan resmi KMNRT terhadap perseorangan peneliti utama. Tujuan dilaksanakannya evaluasi hasil akhir RUT ini disamping untuk menetapkan jenjang predikat pengakuan atas mutu peneliti utama, juga sekaligus sebagai rekomendasi pada peneliti utama untuk menangani kegiatan riset yang lebih besar cakupan materi, tujuan dan dana riset yang diperlukan. Materi penilaian yang ditetapkan sampai saat ini, ditinjau dari : 1. Pelaksanaan riset, yang meliputi: Keterpaduan Sistematika laporan Konsistensi dengan tujuan Kelayakan biaya dengan luaran yang dihasilkan Ketepatan pelaksanaan rencana 2. Luaran produk : Hasil/produk ilmiah berupa artikel ilmiah, temuan baru, paten dan/atau teknologi baru/prototipe. Panduan Monitoring dan Evaluasi RUT 23
  • 25. Dampak, luaran berupa pengembangan SDM, pengembangan Iptek, dan yang mendukung upaya pembangunan. 7.3. Informasi dan Data yang Diperlukan untuk Menetapkan Indikator Kinerja Lembaga Riset Sebagai suatu lembaga riset, baik LPND, LD, PT maupun Industri disarankan agar mampu melaksanakan monitoring dan evaluasi secara mandiri. KMNRT dalam hal ini hanya berfungsi sebagai pendorong dan pembuka peluang berlangsungnya penilaian atas aktivitas riset di seluruh lembaga riset nasional. Hasil evaluasi dapat dijadikan sebagai referensi KMNRT dalam menindaklanjutinya berupa evaluasi eksternal atau kebijakan pengembangan yang diperlukan. Untuk membantu lembaga atau institusi riset melaksanakan evaluasi diri, KMNRT menyusun borang pemandu disertai maksud dan tujuan data koleksi tersebut. Contoh berikut adalah model evaluasi untuk riset dan merupakan bagian dari LAKIP. Yang disebutkan terakhir ini meliputi seluruh aspek kegiatan lembaga. Visi dan Misi Dituliskan visi dan misi lembaga secara lengkap. Kejelasan tentang keduanya merupakan referensi yang baik bagi analisis komparatif terhadap jenis tema atau topik, produk, manfaat dan dampak riset yang telah dihasilkan. Sumberdaya Sumberdaya yang dimaksudkan dalam hal ini meliputi sumberdaya manusia, fasilitas laboratorium, peralatan atau instrumen, dana dan informasi. Kelengkapan data seluruh sumberdaya, mengenai kualifikasi usia, tingkat kompetensi, nilai investasi, kondisi fungsional, tingkat pemanfaatan dan lain-lain, memudahkan lembaga dalam menetapkan indikator kinerja seperti efisiensi, efektivitas, critical mass, unit cost riset faktual, dan keberlanjutan (sustainability). Disarankan juga untuk menganalisis seluruh data yang dipunyai menurut metode statistik sehingga informasi yang 24 Panduan Monitoring dan Evaluasi RUT
  • 26. dihasilkan lebih obyektif. Melalui metode yang sama dapat dilakukan analisis hubungan antar indikator kinerja. Diawali dengan data sumberdaya manusia yang diyakini merupakan data terlengkap yang dipunyai lembaga. Hal ini dapat dipahami mengingat seluruh proses kepegawaian, umumnya teradministrasikan dengan baik, mulai sejak proses rekrutmen sampai pengembangan karir dan pemutusan hubungan kerja pegawai suatu lembaga. Tenaga Kerja − Tenaga Struktural Yang dimaksudkan dengan tenaga struktural adalah tenaga administrasi atau tenaga fungsional yang ditugaskan selama periode waktu tertentu untuk mengisi jabatan struktural formal di dalam organisasi lembaga. Eselon Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n I II III IV TOTAL − Tenaga Administrasi Yang dimaksud dengan tenaga administrasi adalah tenaga kerja yang direkrut khusus untuk melaksanakan tugas dalam bidang administrasi. Tenaga administrasi tidak mempunyai penugasan dalam aktivitas riset. Pendidikan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n S3 S2 S1 D3 SLTA TOTAL Golongan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n I II III Panduan Monitoring dan Evaluasi RUT 25
  • 27. IV TOTAL − Tenaga Fungsional Yang dimaksud tenaga fungsional adalah tenaga kerja yang direkrut dengan tujuan awal sebagai periset atau tenaga pendukung aktivitas riset secara aktif. Kelompok ini menjadi tenaga inti suatu unit riset. Pendidikan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n S3 S2 S1 D3 SLTA TOTAL Jabatan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n Periset Perekayasa Tenaga Litkayasa Pranata Komputer Pustakawan Arsiparis Auditor Golongan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n I II III IV TOTAL Tenaga kerja di suatu lembaga umumnya menerima kesempatan untuk mengembangkan karirnya selama periode aktif, melalui berbagai peluang seperti sekolah lanjut, pelatihan sertifikasi, kursus, seminar dan lain sebagainya. Data yang lebih bersifat individual semacam ini seringkali tidak tercatat secara administratif di kantor pusat, namun lebih banyak dipunyai individu yang bersangkutan. Kelengkapan data 26 Panduan Monitoring dan Evaluasi RUT
  • 28. ini dapat dipergunakan untuk menganalisis kualifikasi, tingkat kompetensi setiap individu sekaligus unit riset di suatu lembaga. Untuk mendukung keperluan itu, diperlukan sejumlah data sebagai berikut: No. Nama Pegawai Gol Jabatan Pendidikan Formal Pendidikan Formal Fungsional Jenis Lama Jenis Lama Sarana dan Prasarana − Laboratorium Data laboratorium tergolong ke dalam data yang cukup sulit pengadministrasiannya. Umumnya lembaga lemah di dalam pendataan fasilitas laboratorium. Meskipun demikian, kelengkapan dan kejelasan data laboratorium sangat diperlukan dalam menetapkan indikator kinerja seperti halnya efisiensi utilisasi laboratorium, keberlanjutan unit, indeks ruangan kerja. Olehkarena itu, untuk memungkinkan dilakukannya analisis yang baik terhadap fasilitas laboratorium, diperlukan data sebagai berikut: Biaya Rata-rata Pera- Usia Kondisi Layan- penggu- Unit Labora- Luasan watan Labor Fungsional an naan Riset torium (m2) Laboratori- Masya- (Rp/ (tahun) (jam/ um rakat* tahun) minggu)** * (pelatihan, kerjasama riset, pemeriksaan-pengujian, dll kegiatan yang sejenis) ** (termasuk untuk kegiatan rutin dan jasa layanan masyarakat) − Peralatan Seperti halnya data tentang laboratorium, suatu lembaga umumnya lemah di dalam pendataan fasilitas peralatannya. Meskipun kewajiban lembaga untuk melaporkan seluruh inventaris yang dipunyai dan secara berkala melaporkan ke unit utamanya tentang mutasi inventaris yang terjadi, namun data fungsional dan efisiensi penggunaan peralatan, sukar ditemukan. Tidak tersedianya data mengenai tingkat depresiasi peralatan yang dipunyai, rendahnya kemampuan lembaga dalam melakukan reinvestasi peralatan, produk riset yang belum mencapai Panduan Monitoring dan Evaluasi RUT 27
  • 29. taraf komersial menyebabkan data yang ada belum mampu mengindentifikasi indikator kinerja seperti return on investment. Juga informasi mengenai efisiensi utilisasi peralatan belum teridentifikasi dengan keterbatasan ketersediaan data di lembaga riset. Untuk mencoba memberi dukungan kepada terselenggaranya proses identifikasi efisiensi peralatan, disarankan agar lembaga riset mengumpulkan data yang diperlukan sebagai berikut: Biaya Rata-rata Pera- Usia Layan- penggu- Nama Kondisi Unit Labora- watan Alat an naan Alat Fungsional Riset torium Masya- (jam/ Utama (Rp/ (tahun) Peralatan rakat* minggu)* tahun) * * (pelatihan, pemeriksaan-pengujian, kursus dam kegiatan lain yang sejenis) * * (termasuk kegiatan operasional rutin, layanan masyarakat) − Dana Yang dimaksudkan dengan dana dalam hal ini adalah seluruh dana riset yang dipergunakan untuk membiayai riset sepanjang tahun tanpa memperhatikan darimana sumber dana berasal. Jadi, dana riset tersebut merupakan akumulasi seluruh dana riset yang diperoleh lembaga termasuk yang diperoleh periset melalui kemampuan individu atau kelompok. Kelengkapan dan kejelasan dana riset dapat menunjukkan indikator kinerja keberlanjutan lembaga, attractiveness, relevansi produk riset dan unit cost faktual lembaga. Untuk itu diperlukan data sebagai berikut: Pusat Unit Riset 1 Unit Riset n Sumber Dana Total Admin Admin Admin Inves Inves Inves Riset Riset 1. DIP (rupiah murni) 2. DIK 3. DIKS 4. Bantuan LN (US$) 5. Hibah LN (US$) 6. Kerma Bilateral (US$) 7. Lainnya (mis.Reboisasi) 8. Total 1 28 Panduan Monitoring dan Evaluasi RUT
  • 30. Total − Informasi Layanan informasi terakhir dapat dibedakan atas layanan manual dan elektronik. Layanan manual dimaksudkan untuk model layanan perpustakaan. Sedangkan layanan elektronik adalah layanan informasi melalui sistem jaringan komputer. Informasi tentang perpustakaan dan komputer pada hakekatnya diperlukan untuk menunjukkan indikator kinerja efisiensi, relevansi tema riset dengan state of the art keilmuan, kualitas informasi. Beberapa data yang diperlukan untuk itu antara lain: Koleksi Masa Biaya Pengun- Nama Luasan Tahun Layanan Rutin jung Unit No Perpus- Riset (m2) Jenis* Jml Terbit (Jam/ (Rp/ (orang/ takaan Minggu) tahun) tahun) * (buku teks, jurnal ilmiah, CD-Rom, film mikro, majalah, dan lain-lain) Aktivitas − Administrasi dan Operasional Riset Aktivitas riset di suatu lembaga dapat dikelompokkan atas tiga pola, yaitu (1) mandiri, riset dilaksanakan sendiri di luar tema kembaga, dibiayai sendiri, (2) mandiri plus, riset dipimpin sendiri, biaya riset bersumber dari eksternal (dana KMNRT dan/atau Dikti atau sumber dana lainnya) dan (3) rutin, riset dilakukan atas dasar penugasan lembaga, dibiayai melalui DIP atau DIKS. Kelengkapan data semacam ini sangat besar manfaatnya dalam mengindikasikan indikator kinerja keberlanjutan lembaga, efisiensi penggunaan sumberdaya manusia, efektivitas lembaga, attractiveness unit, relevansi program. Untuk itu diperlukan dukungan data berikut: Nilai Jumlah Usia Instansi Kerma Produk Unit Riset No. Kerjasama Peneliti Kerma Mitra Kerma Pelaksana (RP) Terlibat Panduan Monitoring dan Evaluasi RUT 29
  • 31. Agenda Riset Tahunan, ART Yang dimaksudkan dengan agenda riset tahunan adalah kegiatan riset yang meliputi sejak perencanaan sampai evaluasinya selama satu tahun anggaran atau tahun akademik. Adanya ART mengindikasikan adanya manajemen riset yang profesional dan sistematis di lingkungan suatu lembaga. Dengan demikian, ART memungkinkan periset di suatu lembaga berpeluang untuk menyusun strategi riset yang rasional. Untuk mendukungnya diperlukan beberapa data, antara lain: Bulan Ke Kete- No. Aktivitas 1 2 3 4 5 6 7 8 9 10 11 12 rangan 1. Distribusi kebijakan riset nasional 2. Pelatihan penyusunan proposal 3. Pelatihan penyusunan artikel saintifik 4. Pemberitahuan pengajuan proposal riset 5. Batas akhir waktu penyampaian proposal 6. Seleksi proposal 7. Perbaikan proposal 8. Pemberitahuan topik riset yang dibiayai 9. Penyiapan dan penandatanganan kontrak 10. Pencairan dana riset 11. Pelaksanaan riset 12. Pemantauan ke lab/lapangan 13. Penyusunan laporan akhir 14. Batas akhir waktu penyerahan laporan akhir 15. Pencairan dana riset 100% 16. Diseminasi hasil riset 30 Panduan Monitoring dan Evaluasi RUT
  • 32. Pengajuan dan Hasil Seleksi Proposal Baik kegiatan pengusulan maupun hasil seleksi proposal seyogyanya terekam secara baik, olehkarena keduanya dapat mengindikasikan aspirasi periset atau lembaga dan kualifikasi periset di suatu unit riset di dalam lembaga. Disamping itu, produktivitas periset, bidang spesialisasi yang dikuasai juga sekaligus dapat diekspos. No. Topik Riset Nama dan Biodata Periset Nama Unit Riset − Rekapitulasi data riset yang dilaksanakan Data topik riset yang dibiayai pelaksanaannya, baik disusun secara rinci ataupun dalam bentuk rekapitulasinya akan mendukung dalam mengindetifikasi potensi periset, tema penunjuk indentitas, efisiensi periset dan unit riset, efektivitas, produktivitas lembaga ataupun individu periset. Hasil seleksi proposal dapat disusun dalam bentuk tabel rekapitulasi dan data topik riset sebagai berikut: Rekapitulasi Hasil Seleksi Proposal Riset Jumlah Proposal Nilai Proposal (Rp) No. Nama Unit Riset Keterangan Usulan Diterima Usulan Disetujui Data Topik Riset Periode Sum- Nama Biaya Lokasi Insti- Waktu Judul ber Produk No Pelak- Riset Pelak- tusi Pelaksa- Riset Dana Riset* sana (Rp) sanaan Mitra naan Riset (tahun) Ketua Anggota * artikel ilmiah, prosiding, buku teks, modul pelatihan, alat peraga, desain, algoritma, cetak biru, paten, poster, peraturan, standar, dan lain-lain − Realisasi Dana Operasional Rutin dan Riset Ada dua hal yang perlu memperoleh perhatian seksama, yaitu: (1) dana operasional rutin dan pembangunan lembaga, dan (2) dana operasional Panduan Monitoring dan Evaluasi RUT 31
  • 33. riset. Dalam model DIP dan DIK, keberadaan kedua jenis alokasi dana tersebut seringkali terintegrasi dan tidak secara nyata terpisah. Kondisi semacam ini dapat menimbulkan kesulitan di dalam upaya lembaga menghitung alokasi dana riset tahunan secara cepat. Meskipun demikian, jika kedua alokasi dana rutin dan riset terintegrasi, maka terlebih dahulu harus dilakukan pemisahan dan masing-masing diberi kode tertentu sehingga jika keduanya digabungkan, nilai nominal DIP atau DIK atau DIKS sesuai dengan nilai nominal integrasi. Alokasi dana operasional riset tahunan disarankan untuk dihitung tanpa biaya investasi bangunan laboratorium ataupun peralatan. Olehkarena, nilai nominal riset akan berfluktuasi dan tidak konsisten. Total alokasi tersebut dapat dipergunakan untuk menghitung unit cost faktual per periset per tahun untuk setiap lembaga. Jika alokasi dana investasi turut diperhitungkan, maka perhitungan unit cost menjadi kurang relevan. Dalam hal ini lebih utama menghitung return on onvestment lembaga. Model perhitungan return on investment dapat disimak pada Buku “Manajemen Unit Riset” yang diterbitkan KMNRT tahun 2001. Untuk mendukung kemudahan perhitungan unit cost faktual, diperlukan beberapa data keuangan berikut: Unit Riset 1 Unit Riset n Total Aloka- Sisa si Reali- Reali- Serap- Dana No. Sumber Dana Aloka- Aloka- sasi sasi an (Rp) si (Rp) si (Rp) (Rp)/% (Rp)/% (Rp)/% (Rp)/% 1. DIK 2. DIKS 3. DIP (rp murni) 4. DIP Loan ($) 5. Hibah ($) 6. Lainnya − Monitoring dan Evaluasi Aspek monitoring dan evaluasi diharapkan dapat mengidentifikasi manfaat dan dampak suatu aktivitas dan produk riset, baik bagi 32 Panduan Monitoring dan Evaluasi RUT
  • 34. lingkungan internal maupun eksternalnya. Olehkarena kedua indikator tersebut dapat memandu pengelola program riset dalam menganalisis indikator kinerja lain seperti relevansi produk, yang akan menunjukkan kualitas produk dalam konteks ekonomi; indeks sitasi, menunjukkan kualitas dalam konteks saintifik. Beberapa data berikut dinilai dapat mendukung analisis tersebut. Nama Unit Riset : No. Item subjek monitoring dan evaluasi 1. Topik riset - ditulis lengkap 2. Nama ketua dan anggota tim - nama, bidang ilmu atau keahlian 3. Dana riset - sumber dana - nilai nominal dana riset - cara menetapkan nilai nominal dana riset - cara penggunaan - kendala yang dihadapi internal dan eksternal - teknik solusi persoalan dana 4. Layanan informasi - koleksi perpustakaan pada bidang riset - layanan perpustakaan - biaya layanan - layanan internet dan biayanya 5. Produk riset - jenis produk - posisi produk terhadap pemanfaatannya - prediksi nilai komersial/saintifik 6. Manfaat riset - aspek sosial (jumlah lapangan kerja baru, jumlah pasien yang terobati, jumlah penduduk bebas buta huruf, dll) - aspek ekonomi (nilai nominal yang terselamatkan dengan kehadiran produk riset, nilai royalti yang diterima, nominal peningkatan pendapatan, nilai nominal penghematan akibat adanya produk, dll) - aspek teknologi (inovasi baru, teknologi produk riset diterapkan di industri, dll) Panduan Monitoring dan Evaluasi RUT 33
  • 35. No. Item subjek monitoring dan evaluasi 7. Dampak riset (internal, eksternal) - dampak internal (tingginya nilai indeks sitasi, besarnya minat periset muda potensial untuk bergabung, terpeliharanya fasilitas riset, meningkatnya motivasi melakukan riset, tingginya efisiensi SDM riset, munculnya pengakuan sejawat, dll) - dampak eksternal (meningkatnya tingkat kesejahteraan dan kecerdasan masyarakat, menurunnya angka kematian bayi, tereduksinya angka pengangguran, perubahan profesi penduduk, dll) 8. Rencana tindak lanjut - up scaling - usulan baru RUK, Rusnas, dll - pendaftaran Paten - implementasi di masyarakat - dll 9. Dukungan administratif dan teknis terhadap riset - administrasi keuangan - perijinan - kesiapan fungsi peralatan - pelaporan dan pengolahan data - dll 10. Pemahaman periset akan Jakstra dan Punas - arti Jakstra dan Punas - posisi dan fungsi Jakstra dan Punas dalam aktivitas riset - saran perbaikan 11. Pemahaman periset akan renstra lembaga - arti renstra bagi strategi riset kelompok - saran perbaikan 12. Keserasian aktivitas dan produk dengan misi lembaga 13. Usulan unit cost riset - unit cost faktual berbasis empirik - item penentu besaran unit cost kelompok - unit cost ideal 14. Ketercapaian critical mass dalam unit riset - keseimbangan jumlah periset, kualifikasi terhadap volume dan kompleksitas riset - antisipasi yang pernah dilakukan 15. Korelasi topik riset dengan Jakstra dan Punas - enam Isu Strategis - sebelas Bidang Unggulan 34 Panduan Monitoring dan Evaluasi RUT
  • 36. Jenis Produk Riset − Artikel saintifik Tahun Lingkup Topik Nama Edar Jurnal/ Topik Terbit/ Riset No. Penulis Jurnal/ Seminar Artikel Waktu Sumber Seminar Seminar (DN/LN) Artikel − Poster Nama Pembuat Tahun Skala Seminar Topik Riset No. Seminar Poster Seminar (DN/LN) Sumber Poster − Paten Tgl. & No. No. Pemeriksaan No. ID Topik Riset No. Pendaftaran Paten Paten Substantif Paten Sumber Paten − Peraturan Topik Riset Masa Diundang-kan No. Tgl. & No. Peraturan Perihal Sumber Berlaku oleh, di Peraturan − Standar No. Tgl. & No. SNI Perihal Pemakai/Pelanggan Manfaat terhadap Mutu dan Pemasaran − Sertifikasi Pemakai/ Biaya Manfaat terhadap No. Tgl. & No. Sertifikat Perihal Pelanggan (Rp) Pemakai/Pelanggan − Akreditasi Nama lab/alat dan Biaya Manfaat terhadap No. Tgl. & No. Akreditasi instansi yang akreditasi Pemakai/Pelanggan diakreditasi (Rp) − Prototipe Nama Spesifikasi Jumlah Pemakai/ Harga Jual Terjual No. Prototipe Teknis (buah) Pelanggan (Rp) (buah) Panduan Monitoring dan Evaluasi RUT 35
  • 37. Sistem Uraian Pemakai/ Manfaat terhadap No. Nama Sistem Ringkas Pelanggan Pemakai/Pelanggan − Informasi Teknis Jenis Ruang Pemakai/ Manfaat terhadap No. Akses Informasi Lingkup Pelanggan Pemakai/Pelanggan Informasi − Modul Pelatihan Nama Jumlah Tujuan Pemakai/ Harga Jual Terjual No. Perihal Modul (eks.) Penggunaan Pelanggan (Rp) (Rp) − Desain Spefikasi Pemakai/ Harga Jual Manfaat terhadap No. Topik Desain Teknis Pelanggan (Rp) Pemakai/Pelanggan − Buku Teks Nama Penerbit Jumlah Harga Jual Topik Riset Judul Nama No. Sumber Buku Teks Penulis & Tahun Terbit (eks.) (Rp) Buku Teks − Peta/Foto Harga Judul Jumlah Pemakai/ Terjual No. Perihal Skala Jual Peta/Foto (buah) Pelanggan (buah) (Rp) − Alat Peraga Nama Bahan Harga Jumlah Spefikasi Pemakai/ Terjual No. Alat Yang Jual (buah) Teknis Pelanggan (buah) Peraga Digunakan (Rp) − Barang (alat dan bahan kedokteran, makanan, radioisotop) Tujuan Harga Nama Spefikasi Jumlah Pemakai/ Terjual No. Penggu- Jual Barang Teknis (buah) Pelanggan (buah) naan (buah) 36 Panduan Monitoring dan Evaluasi RUT
  • 38. 8. Bahan Bacaan Herman, J.L., Morris, L.L., and Fitz-Gibbon, C.L., “Evaluator’s Handbook”, The Regents of the University of California, 1987 Lembaga Penelitian-Institut Teknologi Bandung, “Laporan Akhir: Pengembangan Koordinasi dan Sosialisasi Sistem Monitoring Program, Evaluasi Pelaksanaan Pembangunan Riptek dan Evaluasi Proyek Khusus”, Bandung, 2000 Lembaga Administrasi Negara dan Badan Pengawasan Keuangan dan Pembangunan, “Pengukuran Kinerja Instansi Pemerintah: Laporan Akuntabilitas Kinerja Instansi Pemerintah (LAKIP), Modul 1-5”, Jakarta, Maret 2000 Badan Perencanaan Pembangunan Nasional RI, “Evaluasi Kinerja Proyek Pembangunan”, Kantor Bappenas, Jakarta, Juli 2000 LAPI-Bandung Institute of Technology, “Policy Studi on Establishment of Aviable Research Monitoring and Evaluation System: Final Report Appendix to Human Resources Development”, Bandung, March 2000 LAPI- Bandung Institute of Technology, “Policy Study on Strengthening The University and Industry Linkages”, Bandung, March 2000 Panduan Monitoring dan Evaluasi RUT 37
  • 39. 38 Panduan Monitoring dan Evaluasi RUT