Tingginya frekuensi bencana alam yang terjadi di Indonesia terutama gempa bumi danletusan gunung berapi karena letak geografiswilayah Indonesia, belum didukung olehkemampuan dan keterampilan pengelolaan kegawatdaruratan bencana, serta standarnyabelum terumuskan dengan baik pada setiap lembaga pendidikan tenaga keperawatan.Halini diperkuat dengan hasil berbagai penelitian menunjukkan sebagian besar perawatlambat berespon dalam menghadapi bencana, karena minimnya pengetahuan,keterampilan dan pengalaman dalam penanganan bencana alam.Adapun tujuan penelitianadalah (1) mengembangkan instrumenunobstrusive(observasi) penilaiankompetensikeperawatan bencanayangmengacupada kerangka kerjaInternational Council of Nurses(ICN), khususnya bencana gempa bumi dan gunung berapi; (2) membuktikanvaliditasdan reliabilitas instrumenpenilaiankompetensi keperawatan bencana; (3) memberikaninformasi hasil analisis statistik dari interaksi antara butir instrumen, rater, dan mahasiswapada implementasi simulasi bencana.Penelitian ini menggunakanmetodeDesign-BasedResearch(DBR) yaitu penelitian berbasisdesain dengan merujuk modelAnderson andShattuck,dimanapenelitimendesain instrumenyang dikembangkanberbentuk rubrik danpenilaiannya oleh rater saat simulasi bencana gempa bumi dan letusan gunung berapi.Hasil pengembangan instrumen pada empat area kompetensi yaitukompetensimitigasi,kesiapsiagaan,penanganan,danpemulihan. Adapundari 10 aspekdikembangkansejumlah 26 indikator dan 28 item capaian. Validitas konteninstrumendibuktikandengankesepakatan ahli menggunakan indeks kesepakatan Aiken, dimanahasilnyasemuaitemberada pada kategori valid atau sangat valid. Pengembangan instrumen ini menggunakan5 kategori rating dan 5 validator. Berdasarkan standar yang diusulkan Aiken dalamtabelnya, maka standar V Aiken untuk instrumen ini adalah 0,80 dengan probabilitas0,04,maka keseluruhan item dapat diterima validitasnya.Untuk perangkat instrumen diperolehindeks Aiken sebesar 0,85 dengan kategori tinggi.Selanjutnyahasil analisisMany FacetRasch Measurement(MFRM)pada instrumen penilaian dengan membandingkaninteraksielemen facet yaitu mahasiswa, butir item, dan dosen penilai dari kelompok sampel kecil(20) danbesar(60)terdapat perbedaan, meskipun telah memenuhi syarat reliabilitas.Instrumenyang dikembangkandenganrubrikpenilaian kompetensi initerkategori tinggidanterbukti valid.Iteminstrumentidak ada yang paling sulit bagi mahasiswa menurutraterdanmempunyai variabilitas tingkat kesulitan yang beragam. Terdeteksi jugaperbedaan konsistensiraterdalam penilaian.Instrumen ini memiliki ciri khas karena butiritemcapaiankompetensinya khusus untukbencanagempabumi dan letusan gunungberapi, sehinggasetelah dibakukandapatdigunakan oleh institusi pendidikankeperawatan dengan tingkatan Diploma III.
Kata Kunci:instrumen penilaian, kompetensikeperawatanbencana, indeks Aiken, manyfacet