Memahami AUC dalam Klasifikasi Biner: Interpretasi, Rentang, Ambang Batas, dan Lainnya

AUC (Area Di Bawah Kurva Karakteristik Operasi Penerima) adalah ukuran kinerja pengklasifikasi biner, seperti model pembelajaran mesin. Ini mewakili trade-off antara tingkat positif sebenarnya dan tingkat positif palsu model pada ambang batas yang berbeda.

Kurva ROC memplot tingkat positif sebenarnya terhadap tingkat positif palsu pada ambang batas yang berbeda, dan AUC adalah area di bawah kurva ini. AUC sebesar 1,0 menunjukkan pengklasifikasi sempurna, sedangkan AUC 0,5 menunjukkan pengklasifikasi acak.

AUC digunakan untuk mengevaluasi kinerja model klasifikasi biner di berbagai bidang seperti klasifikasi gambar, klasifikasi teks, dan bioinformatika. Ini juga digunakan untuk membandingkan kinerja model yang berbeda atau untuk mengoptimalkan parameter model.

Berikut adalah beberapa aspek penting dari AUC:

1. Interpretasi: AUC dapat diartikan sebagai probabilitas bahwa contoh positif yang dipilih secara acak akan memiliki skor lebih tinggi daripada contoh negatif yang dipilih secara acak.
2. Rentang: Rentang AUC adalah [0, 1], di mana 0 mewakili pengklasifikasi acak dan 1 mewakili pengklasifikasi sempurna.
3. Ambang Batas: AUC sensitif terhadap pilihan ambang batas, yang dapat mempengaruhi tingkat positif sebenarnya dan tingkat positif palsu.
4. Klasifikasi kelas jamak: AUC dapat diperluas ke masalah klasifikasi kelas jamak menggunakan teknik seperti satu-vs-satu atau satu-vs-semua.
5. Matriks kebingungan: AUC berkaitan erat dengan matriks kebingungan, yang merangkum jumlah positif benar, negatif benar, positif palsu, dan negatif palsu.
6. Pemilihan model: AUC dapat digunakan sebagai kriteria pemilihan model, dimana model dengan nilai AUC yang lebih tinggi lebih disukai.
7. Optimasi: AUC dapat dioptimalkan menggunakan teknik seperti validasi silang dan pencarian grid untuk menemukan parameter optimal untuk model tertentu.