Written by Ditjen Manajemen Pendididkan Dasar dan Menengah Kementerian Pendidikan Nasional, Jakarta-Indonesia.2010
A. Pengertian
Pengkajian soal secara kuantitatif maksudnya adalah Pengkajian butir soal didasarkan pada data empirik dari butir soal yang bersangkutan. Data empirik ini diperoleh dari soal yang telah diujikan.
B. Pendekatan
Ada dua pendekatan dalam analisis secara kuantitatif, yaitu pendekatan secara klasik dan modern.
1. Klasik
Analisis butir soal secara klasik adalah proses penelaahan butir soal melalui informasi dari jawaban peserta didik guna meningkatkan mutu butir soal yang bersangkutan dengan menggunakan teori tes klasik. Kelebihan analisis butir soal secara klasik adalah murah, dapat dilaksanakan sehari-hari dengan cepat menggunakan komputer, murah, sederhana, familier dan dapat menggunakan data dari beberapa peserta didik atau sampel kecil (Millman dan Greene, 1993: 358).
Adapun proses analisisnya sudah banyak dilaksanakan para guru di sekolah seperti beberapa contoh di bawah ini.
a. Langkah pertama yang dilakukan adalah menabulasi jawaban yang telah dibuat pada setiap butir soal yang meliputi berapa peserta didik yang:
(1) menjawab benar pada setiap soal,
(2) menjawab salah (option pengecoh),
(3) tidak menjawab soal. Berdasarkan tabulasi ini, dapat diketahui tingkat kesukaran setiap butir soal, daya pembeda soal, alternatif jawaban yang dipilih peserta didik.
b. Misalnya analisis untuk 32 siswa, maka langkahnya adalah
(1) urutkan skor siswa dari yang tertinggi sampai yang terendah.
(2) Pilih 10 lembar jawaban pada kelompok atas dan 10 lembar jawaban pada kelompok bawah.
(3) Ambil kelompok tengah (12 lembar jawaban) dan tidak disertakan dalam analisis.
(4) Untuk masing-masing soal, susun jumlah siswa kelompok atas dan bawah pada setiap pilihan jawaban.
(5) Hitung tingkat kesukaran pada setiap butir soal.
(6) Hitung daya pembeda soal.
(7) Analisis efektivitas pengecoh pada setiap soal (Linn dan Gronlund, 1995: 318-319).
Aspek yang perlu diperhatikan dalam analisis butir soal secara klasik adalah setiap butir soal ditelaah dari segi: tingkat kesukaran butir, daya pembeda butir, dan penyebaran pilihan jawaban (untuk soal bentuk obyektif) atau frekuensi jawaban pada setiap pilihan jawaban.
2. Modern
Analisis butir soal secara modern yaitu penelaahan butir soal dengan menggunakan Item Response Theory (IRT) atau teori jawaban butir soal. Teori ini merupakan suatu teori yang menggunakan fungsi matematika untuk menghubungkan antara peluang menjawab benar suatu soal dengan kemampuan siswa. Nama lain IRT adalah latent trait theory (LTT), atau characteristics curve theory (ICC).
Asal mula IRT adalah kombinasi suatu versi hukum phi-gamma dengan suatu analisis faktor butir soal (item factor analisis) kemudian bernama Teori Trait Latent (Latent Trait Theory), kemudian sekarang secara umum dikenal menjadi teori jawaban butir soal (Item Response Theory) (McDonald, 1999: 8).
Prosedur estimasi dapat dilakukan dengan tangan atau komputer. Ada beberapa langkah yang dapat dilakukan dalam mengkalibrasi butir dan mengukir kemampuan orang dengan tangan (Wright and Linacre, 1992: 32-45) seperti berikut ini.
a. Menyusun jawaban peserta didik untuk setiap butir soal ke dalam tabel. Dalam menyusun jawaban peserta didik untuk setiap butir ke dalam tabel perlu disediakan kolom:
(1) siswa,
(2) butir soal,
(3) skor siswa, dan
(4) skor butir soal. Data berbentuk angka 1 untuk jawaban benar dan 0 untuk jawaban salah.
b. Mengedit data
Pada langkah kedua ini perlu disediakan tambahan kolom:
(1) proporsi skor siswa dan
(2) proporsi skor butir soal. Proporsi skor peserta didik adalah skor siswa : jumlah butir soal; sedangkan proporsi skor soal adalah skor soal : jumlah siswa.
c. Menghitung distribusi skor soal
Berdasarkan skor soal yang sudah diedit, maka skor soal diklasifikasikan menjadi beberapa kelompok berdasarkan skor yang sama. Untuk memudahkan penghitungan Distribusi skor butir soal, maka perlu disusun beberapa kolom di dalam tabel, seperti kolom:
(1) kelompok skor soal (i) yaitu kelompok skor yang didasarkan pada skor soal yang sama, kolom ini berhubungan langsung dengan kolom 2 dan kolom 3;
(2) nomor butir soal,
(3) skor soal (Si),
(4) frekuensi soal (Fi) yaitu jumlah soal yang memiliki skor soal sama;
(5) proporsi benar (Pi) yaitu Si : jumlah peserta tes;
(6) proporsi salah (1-Pi),
(7) logit (log odds unit)-proporsi salah (Xi) yaitu Ln [(1 -Pi)/Pi],
(8) hasil kali frekuensi soal dengan logit proporsi salah (FiXi),
(9) kuadrat logit proporsi salah (FiXi)2 ,
(10) hasil kali frekuensi soal dengan kuadrat logit proporsi salah(FiXi2),
(11) inisial kalibrasi butir soal yaitu di° = Xi - nilal rata-rata skor soal, dan (12) hasil kali antara frekuensi soal dengan kuadrat nilai rata-rata skor coal (FIX ?).
d. Menghitung distribusi skor peserta didik.
Untuk memudahkan di dalam menghitung distribusi skor peserta didik perlu disusun beberapa kolom yaitu kolom:
(1) kemungkinan skor peserta didik (r) yang disusun secara berurutan dimulai dan skor terendah sampai tertinggi;
(2) skor peserta didik, yaitu berupa toli skor peserta didik; (3) frekuensi peserta didik (nr) yang memperoleh skor;
(4) proporsi benar (Pi-) yaitu skor peserta didik dibagi jumlah soal,
(5) logit proporsi benar (Yr) yaitu Ln [Pr/(1-Pr)];
(6) perkalian antara frekuensi siswa dengan logit proporsi benar (nrYr);
(7) logic proporsi benar yang dikuadraktan (Yr kuadrat);
(8) hasil perkalian antara frekuensi peserta didik dengan logic proporsi benar yang dikuadratkan (nrYr kuadrat);
(9) inisial pengukuran kemampuan peserta didik (br Yr);
(10) perkalian antara frekuensi peserta didik dengan nilai rata-rata skor peserta didik (nrYr kuadrat).
e. Menghitung faktor ekspansi kemampuan peserta didik (x) dan kesukaran butir soal (Y).
Dalam menghitung faktor ekspansi diperlukan variasi distribusi kelompok skor soal (U) dan variance Panduan Analisis Butir Soal distribusi kelompok skor siswa (V).
f. Menghitung tingkat kesukaran dan kesalahan standar butir soal. Dalam menghitung tingkat kesukaran dan kesalahan standar soal perlu disusun beberapa kolom di dalam tabel, yaitu kolom:
(1) kelompok skor soal (i);
(2) nomor soal;
(3) inisial kalibrasi soal (d);
(4) faktor ekspansi kesukaran soal terhadap penyebaran sampel (Y);
(5) tingkat kesukaran soal atau Yd; = d;;
(6) skor soal (S);
(7) kesalahan standar kalibrasi soal yang dikoreksi
g. Menghitung tingkat kemampuan dan kesalahan standar siswa
Dalam menghitung tingkat kemampuan dan kesalahan standar siswadisusun beberapa kolom, yaitu kolom:
(1) kemungkinan skor siswa (r);
(2) inisial pengukuran kemampuan siswa (br);
(3) faktor ekspansi kemampuan siswa terhadap keluasan tes (X); (4) tingkat kemampuan siswa (br) atau (Xbr);
(5) kesalahan standar pengukuran kemampuan siswa yang dikoreksi (6) peserta tes.
h. Menghitung probabilitas atau peluang menjawab benar setiap butir.
Demikianlah pembahasan kali ini. Semoga bermanfaat. Amien.
