Accuracy, Precision, Recall, dan F1: Memilih Metrik

Tuliskan empat jenis hasil

Susun confusion matrix berisi true positive, false positive, false negative, dan true negative. Hubungkan setiap kotak dengan tindakan nyata: pemeriksaan tambahan, kasus terlewat, atau keputusan yang benar. Definisi positif perlu disepakati lebih dahulu karena menukar label mengubah interpretasi precision dan recall.

Pilih prioritas operasional

Precision menunjukkan bagian prediksi positif yang benar; recall menunjukkan bagian kasus positif yang ditemukan. Bila pemeriksaan manual mahal, false positive perlu diperhatikan. Bila kasus terlewat berdampak besar, recall menjadi penting. F1 merangkum keduanya, tetapi tidak menggantikan pembahasan biaya kesalahan dan kapasitas tim.

Uji threshold melalui validasi

Skor model diubah menjadi label menggunakan threshold. Perubahannya dapat menaikkan jumlah kasus yang harus diperiksa sekaligus mengubah precision dan recall. Pilih threshold pada validation lalu kunci sebelum evaluasi akhir. Bandingkan model pada dataset dan definisi label yang sama agar perubahan metrik tidak berasal dari perubahan sampel.

Periksa segmen dan ukuran sampel

Skor keseluruhan dapat menyembunyikan kegagalan pada produk baru atau kelas yang jarang. Laporkan jumlah contoh per segmen karena hasil dari sedikit sampel mudah berubah. Gunakan pola kesalahan untuk memilih data latihan tambahan dan kondisi yang memerlukan pemeriksaan manusia.

Contoh Latihan

tp, fp, fn, tn = 8, 2, 4, 86
precision = tp / (tp + fp)
recall = tp / (tp + fn)
f1 = 2 * precision * recall / (precision + recall)
print(precision, recall, f1)