Dari pemaparan dan beberapa konsep di atas

Dari pemaparan dan beberapa konsep di atas, dapat disimpulkan bahwa analisis kebijakan adalah kegiatan yang dilakukan sebelum perumusan kebijakan, atau merupakan proses inisiasi perumusan kebijakan, dengan pendekatan ilmu kebijakan, menggunakan satu atau beberapa kombinasi pendekatan metodologis dalam waktu yang sangat pendek, dengan produk berupa policy recommendation atau rekomendasi kebijakan. Sementara, penelitian kebijakan dapat dilakukan pada sisi proses kebijakan, namun tidak untuk tujuan utama rekomendasi kebijakan karena tujuan utamanya adalah melakukan pemahaman yang mendalam terhadap suatu kebijakan, dan dapat dilakukan dalam kurun waktu yang panjang sesuai dengan ketercapaian “pemahaman yang mendalam” tersebut.
Creswell and Clark, menyatakan bahwa riset desain sebagai suatu prosedur untuk mengumpulkan, mengalisis, menginteprestaikan dan melaporkan data penelitian kualitatif maupun kuantitatif yang menggunakan metode kombinasi. Metode ini merupakan prosedur dalam penerapan manajemen mutu riset internasional UI. Sumber data dalam penelitian ini adalah observasi, wawancara secara mendalam serta kuesioner. Penelitian ini adalah penelitian evaluasi kebijakan (evaluation research policy) menggunakan metode evaluasi campuran (analisis kualitatif dan kuantitatif). Pada tahap awal peneliti akan melakukan evaluasi kebijakan menggunakan analisis deskriptif (qualitative analysis), yaitu menggambarkan, menilai proses dan implementasinya.
Pengertian penelitian deskriptif sebagaimana disebutkan oleh Arikunto dalam bukunya yang berjudul Manajemen Penelitian, adalah sebagai-berikut:
“Penelitian deskriptif tidak dimaksudkan untuk menguji hipotesis tertentu, tetapi hanya menggambarkan “apa adanya” tentang suatu variabel, gejala, atau keadaan.”
Selanjutnya, pada tahap rekomendasi, peneliti akan menganalisis hasil pelaksanaan kebijakan manajemen mutu riset internasional terhadap perkembangan iptek di indonesia. Alat analisis menggunakan indikator SWOT/SWOC (Strength, Weakness, Oppurtunity, Threath/Challenge)
Penelitian ini menggunakan desain metode campuran. Sebagaimana yang diungkapkan oleh Creswell dalam buku yang berjudul Research Design Pendekatan Kualitatif, Kuantitatif, dan Mixed: Rancangan penelitian dipilih berdasarkan pandangan-dunia atau asumsi-asumsi filosifis tentang suatu penelitian strategi-strategi penelitian, dan metode-metode penelitian. Pilihan atas suatu rancangan penelitian biasanya dipengaruhi oleh masalah penelitian yang akan diteliti, pengalaman-pengalaman pribadi dari si peneliti, dan target pembaca yang diharapkan akan membaca hasil penelitian tersebut.
Creswell & Plano dalam bukunya Designing and Conducting Mixed Method Research juga menyebut: “research designs are produces for collecting, analyzing, interpreting, and reporting data in research studies.” Disain riset menghasilkan data dalam riset kebijakan untuk mengumpulkan, menganalisis, menyajikan serta melaporkan.
Menurut Creswell dalam buku Research Design; Pendekatan Kualitatif, Kuantitatif, dan Mixed. Bahwa, “Rancangan penelitian merupakan rencana dan prosedur penelitian yang meliputi: dari asumsi-asumsi luas hingga metode-metode rinci dalam pengumpulan dan analisis data.”
Patton menyebutkan bahwa proses perencanaan suatu evaluasi melibatkan perhatian atas dua macam isu, yaitu isu konseptual dan isu teknis. Isu konseptual menitiberatkan pada bagaimana orang yang terlibat berpikir tentang evaluasi dan termaksud pertanyaan-pertanyaan berikut: (1) Siapakah pemangku kepentingan utama untuk evaluasi? (2) Apa tujuan evaluasi? (3) Pendekatan model, atau kerangka kerja apa yang akan digunakan guna memberi arah untuk evaluasi? (4) Apa yang menjadi pertanyaan dan isu utama dalam evaluasi? (5) Pertimbangan politik apa yang harus diambil dalam laporan? (6) Dengan patokan dan kriteria apa evaluasi akan diputuskan? (7) Sumber apa yang memungkinkan untuk evaluasi?
Countenance Evaluation Model yang dikembangkan oleh Robert E.Stake merupakan model evaluasi yang peneliti nilai paling sesuai dan fleksibel digunakan untuk mengevaluasi Manajemen Mutu Riset Internasional Universitas Indonesia. Sebagaimana dinyatakan oleh Stake: …each evaluator will have to make a very different adaptation to suit each situation. Berdasarkan model yang dikembangkan oleh Stake, evaluator dapat melakukan adaptasi sesuai dengan situasi, kondisi dan tujuan yang ingin dicapai; bahkan evaluator memiliki peluang untuk mengembangkan model evaluasi sesuai dengan kebutuhannya.
Countenance Evaluation Model merupakan model evaluasi yang dikembangkan oleh Stake dengan menekankan pada gambaran kondisi (descriptions) dan pertimbangan (judgements). Tiga tahap dalam, yang harus dilakukan dalam model evaluasi ini adalah: 1) masukan (antecedents/context), 2) proses (transaction/process), dan 3) keluaran/hasil (output-outcomes).
Dalam melakukan evaluasi Stake menekankan pada dua dasar kegiatan yaitu descriptions dan judgments. Descriptions menunjukkan intents (goal) atau tujuan dan observation menunjukkan effects atau apa yang sebenarnya terjadi. Judgements mempunyai dua aspek yaitu standard (standar) dan judgements (penilaian).
Berikut adalah translasi model Stake yang peneliti rancang ke dalam penelitian, yaitu evaluasi dan analsisis implementasi kebijakan manajemen mutu riset Internasional terhadap perkembangan ilmu pengetahuan dan teknologi di Indonesia, diilustrasikan sebagai berikut:

Dalam penelitian evaluasi implementasi kebijakan terdapat tiga elemen dasar kebijakan yaitu kebijakan publik, lingkungan kebijakan, dan pelaku kebijakan. Adapun lingkungan kebijakan dan pelaksana utama kebijakan dalam penelitian ini adalah manajemen, dosen, mahasiswa, dan unit organisasi internal terkait di Universitas Indonesia.
Disain model penelitian evaluasi kebijakan yang dipergunakan adalah Model Disain Evaluasi dari Stake (Stake’s Evaluation Model), yang terdiri atas tiga tahap yaitu: antecedents, transactions dan output-outcomes. Alur Metode Evaluasi Penelitian Kebijakan, digambarkan pada Gambar 3.4. sebagai berikut

Diketahui bahwasannya desain penelitian digunakan untuk mengkoleksi, menganalisis, menginterpretasikan, melaporkan data hasil penelitian, serta memberikan rekomendasi. Desain penelitian Evaluasi Implementasi Kebijakan Manajemen Mutu Riset Internasional UI dan Dampaknya terhadap Pengembangan Iptek di Indonesia, digambarkan melalui tahapan penelitian yang disajikan pada gambar 3.5. di bawah ini

Pada gambar 3.5. di atas terdapat beberapa tahapan penelitian yang akan ditempuh, antara lain: pada setiap tahapan akan dilakukan deskripsi tentang antecedents atau kondisi awal lingkungan implementasi kebijakan sebagai prasyarat untuk tahapan transactions atau proses implementasi kebijakan dan output/outcomes atau hasil capaian implementasi kebijakan (efektivitas dan efisiensi). Deskripsi tentang rekaman kondisi empiris yang terjadi kemudian dibandingkan dengan kriteria untuk selanjutnya dilakukan analisis kesesuaian (kongruensi) dan tujuannya (intents).
Hasil perbandingan antara deskripsi kondisi empiris dengan kriteria kemudian dinterpretasikan tingkat efektifitas/efisiensi keterlaksanaan dan ketercapaiannya berdasarkan kategori rendah, moderat dan tinggi. Kemudian dibuat kesimpulan terhadap setiap komponen yang dievaluasi. Apabila tingkat keterlaksanaannya berada pada kategori rendah dan moderat maka dapat dirumuskan rekomendasi untuk perbaikan dalam implementasi kebijakan. Apabila tingkat keterlaksanaan atau ketercapaiannya tinggi maka dapat dirumuskan rekomendasi tidak hanya untuk mempertahankannya tetapi juga melakukan berbagai peningkatan pada masa mendatang.
Selanjutnya, adalah melakukan analisis hasil implementasi evaluasi kebijakan terhadap perkembangan iptek di indonesia. Analisis data dilakukan menggunakan kriteria SWOC/SWOT dan disajikan dalam bentuk tabel, skala dan grafik. Gambaran tahapan proses analisis data diilustrasikan pada Gambar 3.5. berikut ini:

Dalam penelitian evaluasi implementasi kebijakan manajemen mutu riset internasional di Universitas Indonesia, komponen antecedent/policy content merupakan komponen yang mendeskripsikan kondisi awal yang dipersyaratkan dalam mengimplementasikan kebijakan. Terdapat delapan aspek yang patut dipenuhi untuk mengevaluasi implementasi kebijakan manajemen mutu riset internasional. Kedelapan aspek tersebut adalah: (1) rumusan dan penetapan kebijakan, (2) komitmen pelaksana kebijakan, (3) keahlian pelaksana kebijakan, (4) dukungan manajemen/pimpinan, (5) jaringan iptek dan integrated information system/database manajemen mutu riset internasional, (6) standar manajemen mutu riset internasional, (7) relevansi dan produktivitas riset internasional dan pengembangan iptek/pendayaan kapasitas riset inovasi, (8) peningkatan produktivitas kekayaan intelektual, jumlah prototipe R ; D dan laik industri.
Komponen transactions/policy process terdiri atas: (1) perumusan strategi dan pelaksanaan kebijakan riset internasional dan pengembangan/penguatan iptek, (2) perumusan strategi dan pelaksanaan penguatan peningkatan produktivitas riset dasar dan terapan, (3) perumusan strategi dan pelaksanaan penguatan riset-riset cluster dan ungulan/noble research, (4) perumusan strategi dan pelaksanaan penguatan dan peningkatan pengelolaan kekayaan intelektual, (5) perumusan strategi dan pelaksanaan penguatan kelembagaan/unit riset. Setelah transactions atau pengorganisasian dari kelima kegiatan tersebut, selanjutnya adalah evaluation atau pemantauan hasil komponen-kompenen antecedents dan transactions.
Komponen hasil implementasi kebijakan (policy output/outcome) manajemen mutu riset internasional. Yakni evaluasi atas hasil pelaksanaan kebijakan pada masing-masing aspek yang dievaluasi, meliputi: hasil kebijakan manajemen mutu riset internasional UI, responsivitas, penguatan dan perbaikan budaya riset berkelanjutan. Adapun kriteria untuk mengukurnya mengacu pada beberapa dari kriteria yang dikemukakan oleh Dunn, yaitu mencakup a.l.: tingkat efektifitas – efisiensi – kecukupan – kesamaan – responsivitas – ketepatan kriteria. Pertanyaannya adalah: Apakah hasil kebijakan sesuai dengan tujuan dan telah tercapai? Seberapa efisien kah usaha yang dilakukan untuk mencapai tujuan kebijakan? Seberapa jauh pencapaian hasil yang diinginkan dapat memecahkan permasalahan? Apakah kebijakan telah di sosialisasikan secara merata baik kepada bagian dan fungsi yang terkait langsung dan tidak langsung? Apakah hasil kebijakan dapat memenuhi kebutuhan, preferensi atau pihak terkat lainnya? Apakah tujuan kebijakan benar benar berguna dan bernilai?
Pada bagian akhir, peneliti akan mengukur dampak/pengaruh dari hasil/evaluasi implementasi kebijakan manajemen mutu riset internasional UI terhadap pengembangan ilmu pengetahuan dan teknologi (iptek) di Indonesia. Analisis data dilakukan melalui pendekatan SWOT/SWOC