Mengenali Overfitting Lewat Eksperimen
Model yang baik pada data train bisa gagal pada data baru. Periksa selisih performa bersama ukuran dataset, pembagian data, dan kompleksitas model sebelum menambah waktu pelatihan.
Bandingkan train dan validation
Catat metrik keduanya selama eksperimen. Jika train terus membaik tetapi validation memburuk, periksa kemungkinan overfitting. Lihat pola beberapa pengukuran, bukan satu titik. Pastikan preprocessing konsisten dan metrik memiliki definisi yang sama sebelum menghubungkan perubahan skor dengan kemampuan model.
Periksa dataset
Duplikasi, label salah, dan kondisi pengambilan yang berbeda dapat menyesatkan evaluasi. Gambar hampir sama di train dan validation membuat skor terlihat tinggi. Kelompokkan contoh kesalahan dan lihat apakah data uji menggambarkan lingkungan penggunaan. Memperbaiki label atau pembagian data dapat lebih membantu daripada menambah lapisan jaringan.
Ubah satu hal per eksperimen
Coba model lebih sederhana, regularisasi, atau early stopping sesuai metode. Tulis hipotesis dan hasil. Jika sekaligus mengubah dataset, augmentasi, serta arsitektur, sulit mengetahui penyebab perbaikan. Pertahankan baseline agar tambahan kompleksitas dapat dinilai berdasarkan manfaat yang stabil.
Tetapkan kriteria pemilihan
Pilih konfigurasi menggunakan validation dan simpan test untuk pemeriksaan akhir. Laporkan waktu pelatihan, kebutuhan memori, serta contoh gagal. Model yang sedikit lebih rendah skornya dapat lebih sesuai jika jauh lebih ringan dan mudah dipantau. Tentukan batas penerimaan sebelum melihat hasil terakhir.
Tugas Praktik
Latih beberapa model dengan kompleksitas berbeda. Buat tabel metrik train-validation, biaya komputasi, dan alasan memilih konfigurasi.
Periksa Hasilmu
- Ada perbandingan train-validation
- Label dan split diperiksa
- Eksperimen punya hipotesis
- Test disimpan untuk akhir
Bacaan lanjutan: Google Machine Learning: overfitting.