Menilai Metode Jurnal: Kelemahan yang Harus Disebut

Menilai metode sebuah jurnal berarti memeriksa apakah cara penelitian itu dikerjakan benar-benar bisa menghasilkan kesimpulan yang ditulis di akhir. Hampir semua panduan menyebut langkah ini wajib, lalu berhenti di situ dan tidak memberi satu pertanyaan konkret pun. Di bawah ini ada enam pertanyaan yang bisa kamu bawa ke jurnal kuantitatif apa pun, lengkap dengan tempat mencari jawabannya dan contoh kalimat untuk menuliskannya di bab dua.

Satu hal yang perlu kamu pegang dulu. Menyebut kelemahan metode bukan berarti jurnal itu buruk atau tidak boleh dipakai. Setiap penelitian punya batas, dan penulisnya biasanya tahu. Yang kamu cari bukan kesalahan, tapi celah yang bisa kamu isi, karena celah itulah yang nanti jadi alasan penelitianmu perlu ada.

#Enam pertanyaan dan di mana jawabannya

Enam pertanyaan ini berurutan dari yang paling mudah diperiksa. Kalau waktumu habis, tiga yang pertama sudah cukup untuk menilai apakah sebuah jurnal layak masuk ke tabel penelitian terdahulumu.

#1. Berapa sampelnya dibanding besar klaimnya

Jangan menilai jumlah sampel sendirian. Angka 60 bisa sangat cukup untuk eksperimen laboratorium dan sangat kurang untuk survei perilaku konsumen di satu provinsi. Yang kamu bandingkan adalah jumlah sampel dengan seberapa luas kesimpulannya.

Dua hitungan cepat yang berguna. Pertama, kalau penelitian itu memakai regresi berganda, banyak buku metode menyarankan minimal sepuluh sampai dua puluh pengamatan untuk setiap variabel bebas. Jadi penelitian dengan lima variabel bebas dan 48 responden memang di tepi bawah, dan itu layak disebut. Kedua, periksa tingkat pengembalian kuesioner. Kalau 400 kuesioner disebar dan 92 kembali, yang perlu dipertanyakan bukan hanya jumlahnya, tapi siapa 308 orang yang tidak membalas dan apakah mereka berbeda sistematis dari yang membalas.

#2. Bagaimana respondennya dipilih

Ini sering lebih menentukan daripada jumlah. Seratus responden yang dipilih acak dari daftar populasi yang jelas lebih berharga daripada lima ratus responden yang kebetulan lewat dan mau mengisi.

Cari nama tekniknya di bagian metode. Kalau tertulis simple random sampling atau stratified random sampling, dan penulisnya menyebutkan dari daftar populasi mana sampel diambil, kondisinya bagus. Kalau tertulis purposive sampling, cek apakah kriteria pemilihannya ditulis eksplisit, karena purposive tanpa kriteria tertulis sama saja dengan memilih yang mudah dijangkau. Kalau tertulis accidental atau convenience, catat itu, terutama kalau kesimpulannya digeneralisasi ke seluruh populasi.

Satu detail yang sering terlewat. Banyak skripsi dan jurnal menulis memakai rumus tertentu untuk menghitung ukuran sampel, lalu mengambilnya dengan teknik yang tidak acak. Rumus ukuran sampel dibangun dengan asumsi pengambilan acak, jadi kombinasi itu memang tidak konsisten, dan menyebutkannya menunjukkan kamu membaca metodenya sampai detail.

#3. Apakah instrumennya pernah diuji

Kalau datanya dari kuesioner, kuesioner itu harus terbukti mengukur apa yang diklaim diukur dan memberi hasil yang stabil.

Cari dua hal. Hasil uji validitas, biasanya dilaporkan sebagai perbandingan nilai r hitung dengan r tabel per item, atau lewat analisis faktor. Dan hasil uji reliabilitas, biasanya Cronbach alpha, dengan ambang yang paling umum dipakai di sekitar 0,70. Kalau salah satu tidak ada, catat. Kalau instrumen itu diadaptasi dari penelitian berbahasa Inggris, periksa apakah penulis menyebut proses penerjemahan dan pengujian ulangnya, karena kuesioner yang diterjemahkan tanpa uji ulang bisa berubah makna.

Ada satu kasus yang menipu. Alpha yang sangat tinggi, misalnya 0,97 untuk satu variabel dengan sepuluh item, kadang bukan tanda bagus, tapi tanda item-itemnya nyaris mengulang pertanyaan yang sama dengan kata berbeda.

#4. Ada pembanding atau tidak

Pertanyaan ini relevan untuk penelitian yang mengklaim sebuah tindakan atau program memberi efek. Kalau satu kelompok diberi pelatihan lalu diukur sesudahnya dan nilainya tinggi, kita tidak tahu nilainya akan seperti apa tanpa pelatihan. Bisa saja memang sudah tinggi sejak awal.

Yang kamu cari adalah kelompok kontrol, atau setidaknya pengukuran sebelum dan sesudah pada orang yang sama. Kalau keduanya tidak ada, efek yang dilaporkan bisa berasal dari banyak hal lain, termasuk dari kenyataan bahwa orang yang diukur dua kali cenderung membaik hanya karena sudah familier dengan tesnya.

#5. Apakah korelasi ditulis sebagai sebab akibat

Buka bagian pembahasan, lalu cari kata mempengaruhi, berdampak, meningkatkan, dan menyebabkan. Lalu kembali ke bagian metode dan lihat desainnya. Kalau datanya diambil sekali waktu lewat kuesioner, yang ditemukan adalah hubungan, bukan sebab akibat, karena tiga hal tidak dipenuhi. Kita tidak tahu mana yang terjadi lebih dulu. Kita tidak tahu variabel lain yang ikut bergerak. Dan hubungan dua arah tidak bisa dibedakan dari hubungan satu arah.

Contoh yang sering muncul. Sebuah penelitian menemukan hubungan positif antara motivasi kerja dan kinerja, lalu menyimpulkan motivasi meningkatkan kinerja. Dari data yang sama, kalimat orang yang kinerjanya bagus jadi lebih termotivasi sama-sama masuk akal, dan tidak ada di dalam data itu yang bisa memisahkan keduanya.

Satu lagi yang perlu dilihat di angka. Kalau koefisien determinasi dilaporkan 0,31, artinya sekitar 69 persen keragaman variabel terikat belum dijelaskan model itu. Penelitian yang menulis variabel X menentukan Y sambil melaporkan angka seperti itu sedang melebihi datanya.

#6. Apakah kesimpulannya melampaui datanya

Baca bagian kesimpulan terpisah dari seluruh isi, lalu tanya satu hal. Apakah setiap kalimat di sini bisa ditelusuri ke angka di bagian hasil?

Tiga bentuk lompatan yang paling sering terjadi. Generalisasi tempat, misalnya data dari dua sekolah di satu kota dipakai menyimpulkan tentang siswa Indonesia. Generalisasi waktu, misalnya data satu semester dipakai menyimpulkan tentang kecenderungan jangka panjang. Dan saran praktis yang tidak diuji, misalnya rekomendasi kebijakan insentif padahal yang diukur hanya persepsi responden tentang insentif.

#Cara menuliskannya tanpa terbaca menyerang penulisnya

Ini bagian yang membuat banyak mahasiswa menahan diri dan akhirnya hanya menulis ringkasan. Kuncinya satu, kritik desain penelitiannya, jangan kritik orangnya, dan pakai kata yang menunjuk pada batas, bukan pada kesalahan.

Kata yang aman, belum, terbatas pada, belum diuji pada, memberi ruang untuk. Kata yang sebaiknya dihindari, salah, gagal, lemah, tidak valid, kurang ilmiah.

Lima contoh kalimat yang bisa kamu pakai langsung dengan mengganti isinya.

1. Penelitian Santoso (2022) menemukan hubungan positif antara beban kerja dan kepuasan, dengan 54 responden dari satu unit perusahaan, sehingga temuannya belum diuji pada organisasi dengan struktur berbeda.
2. Desain yang dipakai bersifat korelasional dengan pengambilan data satu waktu, sehingga arah hubungan antara kedua variabel belum dapat dipastikan.
3. Penelitian tersebut belum melaporkan hasil uji reliabilitas instrumennya, sehingga stabilitas pengukuran kedua variabel belum dapat dinilai.
4. Teknik pengambilan sampel yang dipakai tidak acak, sehingga generalisasi ke seluruh populasi perlu dilakukan dengan hati-hati.
5. Sebagian besar penelitian terdahulu menguji hubungan ini pada karyawan tetap, dan belum ada yang mengujinya pada pekerja kontrak, celah inilah yang diisi penelitian ini.

Kalimat kelima adalah tujuan akhir dari seluruh latihan ini. Kelemahan metode yang kamu temukan di beberapa jurnal, kalau polanya sama, berubah menjadi alasan penelitianmu perlu dikerjakan. Itulah yang dicari pembimbing ketika ia bertanya mana celah penelitianmu.

#Kesalahan yang sering terjadi

• Menyebut jumlah sampel kecil sebagai kelemahan tanpa mengaitkannya dengan luas kesimpulan. Kalau penelitian itu memang hanya mengklaim tentang satu sekolah, sampel 60 bukan masalah.
• Mengkritik hal yang tidak diklaim penulis. Penelitian kualitatif tidak bertujuan menggeneralisasi, jadi menyebut sampelnya kurang untuk digeneralisasi bukan kritik yang tepat sasaran.
• Menyalin kalimat batasan penelitian yang sudah ditulis penulisnya sendiri, lalu menyajikannya sebagai temuanmu. Pembimbing yang membaca jurnal aslinya akan langsung tahu.
• Menumpuk kelemahan tanpa mengubahnya menjadi celah. Lima paragraf kritik yang tidak berujung pada pertanyaan penelitianmu tidak menambah apa pun di bab dua.
• Menilai metode dari abstraknya. Abstrak hampir tidak pernah memuat teknik sampling dan hasil uji instrumen, dan dua hal itu yang paling menentukan.
• Membaca sepuluh jurnal tanpa mencatat jawaban enam pertanyaan di atas, lalu harus membuka ulang semuanya saat menyusun tabel. Cara mencatat supaya tidak membaca dua kali ada di cara membuat catatan kuliah yang efektif.

#Pertanyaan yang sering muncul

#Apakah saya boleh mengkritik jurnal yang terbit di jurnal bereputasi?

Boleh, dan itu normal di dunia akademik. Terbit di tempat bagus berarti metodenya lolos tinjauan sejawat, bukan berarti tidak punya batas. Yang tidak boleh adalah mengkritik tanpa dasar yang bisa ditunjuk di dalam artikelnya.

#Bagaimana kalau bagian metodenya terlalu singkat untuk dinilai?

Itu temuan, bukan jalan buntu. Pelaporan metode yang tidak lengkap membuat penelitian tidak bisa direplikasi, dan kamu boleh menuliskannya persis seperti itu. Cek dulu apakah ada lampiran atau materi tambahan, karena sebagian jurnal memindahkan detail ke sana.

#Berapa jurnal yang perlu dinilai untuk bab dua skripsi?

Tergantung prodi, tapi polanya lebih penting daripada jumlah. Sepuluh jurnal yang kamu nilai dengan enam pertanyaan ini jauh lebih berguna daripada tiga puluh yang hanya kamu ringkas. Urutan kerja dari membaca sampai bab dua selesai ada di panduan skripsi dari nol.

#Enam pertanyaan ini bisa dipakai untuk jurnal kualitatif?

Tidak langsung. Pertanyaan tentang ukuran sampel dan uji reliabilitas tidak pas untuk desain kualitatif, yang dinilai dengan kriteria lain seperti kejelasan proses pengumpulan data dan pemeriksaan ulang temuan ke informan. Pertanyaan nomor enam tentang kesimpulan yang melampaui data tetap berlaku.

#Apakah penelitian tanpa kelompok kontrol selalu lemah?

Tidak selalu. Untuk banyak pertanyaan, kelompok kontrol tidak mungkin atau tidak etis dibuat. Yang penting adalah penulisnya tidak mengklaim sebab akibat dari desain yang tidak bisa menunjukkannya.

#Bagaimana cara menyimpan temuan ini supaya tidak tercampur antar jurnal?

Pakai pengelola referensi dan tulis jawaban enam pertanyaan itu di kolom catatan tiap entri, bukan di dokumen terpisah. Pilihan aplikasinya dibahas di Zotero atau Mendeley untuk skripsi.