Konsistensi dan objektivitas penilaian karya tulis ilmiah (KTI) pada
dasarnya bergantung pada rubrik penilaian yang memuat, antara lain, skala dan
kriteria untuk menentukan kualitas KTI. Namun, pada praktiknya hal tersebut juga
sering ditentukan oleh faktor severitas (keketatan dalam memberi nilai),
kepribadian, dan latar belakang penilai. Penelitian ini bertujuan untuk
menganalisis parameter psikometrika dari instrumen kepribadian dan instrumen
penilaian artikel ilmiah. Selain itu, penelitian ini juga menyelidiki sejauh mana
faktor-faktor kepribadian dan latar belakang penilai terlibat dalam penilaian
artikel ilmiah. Oleh karena itu, teori tes modern diterapkan guna menyelidiki
apakah terdapat pengaruh faktor-faktor kepribadian (agreeableness,
conscientiousness, extraversion, neuroticism, openness) dan latar belakang (usia,
gender, pengalaman menilai, pelatihan di kantor, dan pelatihan di luar kantor) dari
para penilai terhadap tingkat severitas mereka dalam menilai.
Penelitian ini adalah penelitian kuantitatif dengan metode korelasional.
Responden dalam penelitian ini adalah 50 orang penilai, yaitu para pejabat
fungsional kebahasaan di Badan Pengembangan dan Pembinaan Bahasa,
Kemdikbud, Jakarta. Sampel diambil dengan teknik purposive sampling.
Instrumen yang digunakan adalah instrumen kepribadian yang diadaptasi dari
instrumen Big Five Inventory (BFI) dan instrumen penilaian artikel ilmiah yang
diadaptasi dari Transparent Academic Writing Rubric (TAWR). Instrumen BFI
dianalisis dengan menggunakan model Rasch, sedangkan instrumen penilaian
artikel ilmiah dianalisis dengan menggunakan Many Facets Rasch Measurement
(MFRM).
Untuk menyelidiki pengaruh kepribadian dan latar belakang penilai
terhadap severitas penilai, digunakan analisis regresi linear berganda. Analisis
instrumen BFI dengan model Rasch menghasilkan empat butir yang harus
dibuang karena tidak memenuhi kriteria yang ditetapkan. Analisis instrumen
penilaian artikel ilmiah dengan model MFRM menghasilkan 16 butir penilaian
yang dibuang karena tidak memenuhi kriteria. Hasil analisis regresi linear
berganda menunjukkan bahwa terdapat pengaruh siginifikan kepribadian
conscientiousness terhadap severitas penilai, sedangkan kepribadian
agreeableness, extraversion, neuroticism, dan openness tidak berpengaruh
signifikan terhadap severitas penilai. Latar belakang penilai, yaitu usia dan
pelatihan di kantor secara signifikan berpengaruh terhadap severitas penilai,
sedangkan latar belakang penilai yang lain, yaitu gender, pengalaman menilai, dan
pelatihan di luar kantor tidak berpengaruh signifikan terhadap severitas penilai.
Kata kunci: Penilaian artikel ilmiah, severitas, kepribadian, latar belakang penilai