Item Kuesioner Tidak Valid: Dibuang atau Diperbaiki?

Yang menentukan dibuang atau diperbaiki adalah posisi item itu di kerangka teorimu, bukan seberapa jauh angkanya dari ambang. Kalau item yang gugur satu-satunya yang mewakili satu dimensi konstruk, membuangnya membuat instrumenmu cacat meskipun alpha-nya naik. Kalau dimensi itu masih punya dua item lain yang kuat, membuangnya murah dan tidak perlu didebat. Dua item dengan angka yang nyaris sama bisa mendapat keputusan yang berlawanan, dan itu memang seharusnya.

#Kenapa membuang item mengubah konstruk yang kamu ukur?

Di bab dua kamu mendefinisikan konstruk, biasanya lengkap dengan dimensi-dimensinya. Kuesionermu adalah penjabaran definisi itu. Setiap item berdiri untuk satu dimensi. Jadi ketika kamu membuang item hanya berdasarkan angka, yang kamu ubah bukan sekadar daftar pertanyaan, tapi isi dari konsep yang kamu klaim sedang diukur.

Contoh konkret. Kamu meneliti kepuasan mahasiswa terhadap layanan akademik, dengan empat dimensi: kecepatan layanan, keramahan staf, kejelasan informasi, dan kemudahan akses sistem. Dua belas item, tiga per dimensi. Hasil uji coba pada 30 responden: satu item keramahan gugur, dan dua item kejelasan informasi gugur.

Kalau kamu buang tiga-tiganya, alpha naik dari 0,74 ke 0,81 dan tabel bab empat terlihat lebih rapi. Tapi dimensi kejelasan informasi sekarang tinggal satu item, dan satu item tidak bisa mewakili sebuah dimensi. Yang kamu ukur sudah bukan kepuasan dengan empat dimensi, sementara bab dua masih menjanjikan empat.

Pemeriksaan ini memakan dua menit bagi penguji yang teliti. Dia membaca definisi di bab dua, membuka kuesioner di lampiran, lalu menghitung item per dimensi. Pertanyaannya kemudian tidak bisa dijawab dengan angka alpha.

Dan ada satu hal yang perlu dibongkar sejak awal: alpha naik bukan tanda keputusanmu benar. Alpha hampir selalu naik ketika item dengan korelasi terendah dibuang, apa pun alasannya, karena itu sifat rumusnya. Jadi kenaikan alpha tidak bisa dipakai sebagai pembenaran, sama seperti nilai ujian tidak membuktikan soalnya adil.

#Bagaimana urutan keputusannya kalau bukan dari angka?

Kerjakan lima langkah ini berurutan, dan tahan dulu keinginan melihat angka sampai langkah kelima.

1. Petakan item ke dimensi. Buat tabelnya sebelum membuka output.
2. Periksa penyebab teknis. Item yang berbunyi terbalik belum dibalik skornya, salah ketik kode, atau satu responden yang mengisi acak dari atas sampai bawah.
3. Hitung sisa item per dimensi seandainya item itu dibuang. Kalau sisanya kurang dari dua, jangan dibuang dulu.
4. Baca redaksinya. Sebagian item gugur karena cara menulisnya, bukan karena konsepnya salah, dan itu bisa diperbaiki.
5. Baru lihat angkanya dan ambil keputusan.

Tabel langkah pertama untuk contoh di atas kelihatan begini:

Dari tabel itu keputusannya langsung terbaca dan tidak sama untuk semua. Item keramahan yang gugur boleh dibuang, karena dimensinya masih punya dua. Dua item kejelasan informasi tidak boleh langsung dibuang, karena dimensinya akan tinggal satu. Angka kedua item itu bisa saja nyaris identik, misalnya 0,18 dan 0,19, dan perlakuannya tetap berbeda. Itu inti aturannya.

#Tiga atau empat penyakit redaksi yang bisa diperbaiki

Sebelum memutuskan sebuah item memang tidak mengukur apa yang kamu maksud, periksa apakah masalahnya cuma di kalimatnya.

1. Dua pertanyaan dalam satu kalimat. "Staf akademik ramah dan cepat merespons." Responden yang menemui staf ramah tapi lambat tidak punya jawaban yang benar, jadi dia menjawab di tengah atau menebak, dan korelasinya rendah. Perbaikannya memecah jadi dua item.
2. Istilah yang tidak dikenal responden. "Saya puas dengan responsivitas unit layanan terpadu." Kalau sebagian responden tidak tahu unit itu yang mana, mereka memilih netral. Pakai nama yang mereka sebut sehari-hari.
3. Pernyataan yang hampir semua orang setujui. "Informasi akademik yang jelas itu penting." Variasi jawabannya mendekati nol, dan item tanpa variasi tidak bisa berkorelasi dengan apa pun. Naikkan taruhannya sampai ada orang yang mungkin tidak setuju.
4. Kalimat dengan dua pengingkaran. "Saya tidak merasa informasi akademik tidak jelas." Responden harus membacanya dua kali, dan sebagian akan salah.

Ada cara cepat memisahkan item yang sakit redaksinya dari item yang salah konsepnya, dan hasilnya ada di output SPSS yang sama. Lihat simpangan baku dan sebaran jawaban per item. Pada skala 1 sampai 5, item dengan simpangan baku di bawah 0,6 atau dengan 80 persen jawaban menumpuk di satu kategori gugur karena tidak ada variasinya, bukan karena konsepnya keliru. Membuang item seperti itu tidak memperbaiki instrumenmu. Menulis ulang redaksinya bisa.

#Kapan jawabannya memperbaiki redaksi lalu uji coba ulang?

Tiga syarat ini harus terpenuhi bersamaan.

Item itu penting bagi cakupan konstruk, misalnya satu-satunya atau salah satu dari dua yang mewakili sebuah dimensi. Penyebab gugurnya terbaca di redaksi atau di sebaran jawaban, bukan di konsepnya. Dan kamu masih punya waktu serta akses ke responden uji coba kedua.

Prosedurnya: perbaiki redaksinya, uji coba ke sekitar 30 responden baru, lalu analisis ulang. Pakai orang yang berbeda, karena responden pertama sudah membaca versi lama dan jawabannya akan terpengaruh.

Yang perlu ditulis di bab tiga adalah bahwa ada dua gelombang uji coba, apa yang berubah, dan kenapa. Banyak mahasiswa menyembunyikan ini karena takut terlihat gagal. Justru sebaliknya. Instrumen yang direvisi berdasarkan hasil uji coba adalah tanda pengembangan yang sadar, dan itu salah satu bagian bab tiga yang paling mudah dibela.

#Kapan item memang layak dibuang tanpa perdebatan?

Empat keadaan ini tidak perlu didiskusikan panjang.

Nilai Corrected Item-Total Correlation di bawah 0,20 sementara dimensinya masih punya dua item lain yang kuat. Item itu ternyata berkorelasi lebih tinggi dengan total konstruk tetangga daripada dengan konstruknya sendiri, artinya dia memang mengukur hal lain. Item itu memuat konsep yang tidak ada di definisi bab dua, artinya dia tidak seharusnya ada sejak awal. Atau item itu sudah diperbaiki, diuji ulang, dan tetap gugur.

Kalau item dibuang, empat hal ini masuk ke bab empat: kode item yang dibuang, nilai sebelum dan sesudah, jumlah item yang tersisa per dimensi, dan satu kalimat yang menyatakan definisi konstruk masih terwakili. Poin terakhir itu yang paling sering kosong, dan justru poin itu yang ditanyakan.

#Kesalahan yang sering terjadi

1. Item dibuang satu per satu sampai alpha mencapai 0,8, tanpa pernah membaca isi pertanyaannya.
2. Kenaikan alpha dipakai sebagai bukti bahwa keputusan membuangnya sudah tepat.
3. Tiga item dibuang sekaligus dalam satu putaran, padahal nilai setiap item berubah setelah satu item keluar dari skala.
4. Jumlah dimensi di bab dua tetap empat, sementara instrumen di lampiran tinggal mewakili tiga, dan tidak ada satu kalimat pun yang menjelaskan selisihnya.
5. Item yang berbunyi terbalik belum dibalik skornya, nilainya negatif, lalu itemnya dibuang. Yang bermasalah penyiapan datanya.
6. Item dibuang dari data utama yang sudah terkumpul penuh, bukan dari uji coba, lalu analisisnya diteruskan seolah instrumennya memang begitu sejak awal. Ini yang paling serius, karena keputusan membuangnya dibuat setelah melihat hasil, dan tidak ada lagi kesempatan memperbaiki apa pun.
7. Item yang gugur diganti item baru lalu langsung masuk ke pengumpulan data utama tanpa diuji coba.
8. Item dibuang tapi penomoran di tabel bab empat tetap urut, sehingga pembaca tidak tahu ada yang hilang.

#FAQ

#Berapa banyak item yang masih wajar dibuang?

Tidak ada angka resmi, tapi kalau lebih dari seperempat item gugur, masalahnya bukan di item satu per satu. Biasanya definisi konstruknya terlalu luas, atau bahasa kuesionernya tidak cocok dengan responden yang kamu tuju.

#Minimal berapa item per konstruk?

Tiga adalah batas yang umum diterima. Dua membuat perhitungan reliabilitas hampir tidak bermakna, dan satu item tidak bisa diuji konsistensi internalnya sama sekali.

#Item saya gugur tapi pembimbing minta dipertahankan. Bagaimana?

Boleh dipertahankan, dan alasannya ditulis: item itu mewakili dimensi yang tidak terwakili item lain, lalu dampaknya pada reliabilitas dilaporkan terbuka. Yang bermasalah bukan mempertahankan item lemah, tapi mempertahankannya tanpa menyebut nilainya.

#Apakah boleh membuang responden daripada membuang item?

Boleh untuk alasan yang bisa dibuktikan, misalnya pengisi di luar populasi, jawaban yang seragam dari atas sampai bawah, atau waktu pengisian yang tidak mungkin. Tidak boleh untuk alasan supaya itemnya jadi valid.

#Kalau itemnya diperbaiki, apakah harus diuji coba ke orang baru?

Sebaiknya ya. Responden pertama sudah terpapar versi lama, dan jawabannya tidak lagi netral terhadap versi barunya.

#Apakah aturannya sama kalau saya pakai PLS?

Prinsipnya sama, angkanya berbeda. Di PLS yang dibaca outer loading, dan indikator antara 0,40 dan 0,70 masih boleh dipertahankan kalau AVE serta reliabilitas komposit sudah memenuhi syarat. Pertanyaan tentang dimensi mana yang jadi tidak terwakili tetap berlaku persis sama. Ambangnya dibahas di sampel SmartPLS dan aturan 10 kali indikator.

Cara menjalankan ujinya sendiri, termasuk tabel r tabel per jumlah responden dan kolom mana yang dibaca, ada di cara uji validitas dan reliabilitas kuesioner di SPSS. Untuk melihat di mana tahap ini duduk dalam keseluruhan pengerjaan, ada panduan skripsi dari nol.