Merancang RAG: Jawaban yang Bisa Ditelusuri
Retrieval-augmented generation menghubungkan pencarian dokumen dengan penyusunan jawaban. Periksa dua tahap secara terpisah: apakah bukti yang tepat ditemukan, lalu apakah jawaban mengikuti bukti.
Inventarisasi sumber
Catat pemilik, tanggal berlaku, dan hak akses dokumen. Beri konteks pada sumber lama atau bertentangan sebelum mengindeks. Gunakan dokumen latihan berizin untuk prototipe. Jangan menganggap semua dokumen boleh dibaca setiap pengguna hanya karena aplikasi dapat mengakses penyimpanan yang sama.
Rancang potongan dokumen
Pertahankan judul dan konteks saat membagi dokumen. Bandingkan ukuran potongan menggunakan daftar pertanyaan uji. Potongan terlalu pendek dapat kehilangan syarat; yang terlalu panjang membawa informasi tidak relevan. Simpan identitas sumber dan lokasi agar pembaca dapat menelusuri bukti yang digunakan dalam jawaban.
Pisahkan dua evaluasi
Untuk setiap pertanyaan, tandai bagian sumber yang mendukung jawaban. Periksa apakah pencarian menemukannya. Jika tidak ditemukan, perubahan instruksi generasi saja belum menyelesaikan masalah. Bila bukti sudah ada tetapi jawaban salah, periksa apakah angka, pengecualian, dan batas waktu dari sumber dipertahankan.
Uji kegagalan
Tambahkan pertanyaan di luar cakupan, sumber bertentangan, dan teks dokumen yang mencoba memberi instruksi. Perlakukan isi dokumen sebagai data. Saat bukti tidak cukup, jawaban perlu menyatakan keterbatasannya. Simpan kategori kegagalan agar pembaruan indeks dan evaluasi berikutnya didorong oleh masalah yang benar-benar ditemukan.
Tugas Praktik
Gunakan lima dokumen dan dua puluh pertanyaan latihan. Tandai sumber acuan, kegagalan pencarian, kesalahan jawaban, serta kasus yang tidak boleh dijawab.
Periksa Hasilmu
- Izin dipertahankan
- Sumber dapat ditelusuri
- Retrieval dinilai terpisah
- Kasus tidak terjawab diuji