Cara Menguji Chatbot AI Sebelum Dibagikan ke Pelanggan

Kenapa pengujian penting

Chatbot berbasis model bahasa besar (LLM) menyusun jawaban dari pola bahasa, bukan dari pemahaman seperti manusia. Meskipun chatbot bisnis biasanya diarahkan untuk menjawab berdasarkan dokumen tertentu, beberapa hal tetap bisa terjadi:

• Jawaban diambil dari bagian dokumen yang salah.
• Jawaban terdengar meyakinkan, tetapi tidak ada dasarnya di dokumen. Ini sering disebut halusinasi.
• Informasi lama di dokumen ikut dijawab seolah masih berlaku.
• Pertanyaan di luar topik tetap dijawab, padahal seharusnya ditolak atau dialihkan.

Pelanggan tidak membedakan kesalahan chatbot dari kesalahan usaha Anda. Jika chatbot menyebut harga yang salah, pelanggan akan menagih harga itu kepada Anda.

Langkah 1: Siapkan daftar pertanyaan uji

Tulis 20–30 pertanyaan sebelum mulai menguji, lalu bagi menjadi beberapa kelompok:

1. Pertanyaan rutin yang paling sering masuk lewat chat, ditulis persis seperti cara pelanggan menulisnya, termasuk singkatan dan salah ketik.
2. Pertanyaan yang jawabannya berupa angka: harga, jam, tanggal, ukuran, dan jumlah. Jenis jawaban inilah yang paling berisiko jika salah.
3. Pertanyaan yang jawabannya tidak ada di dokumen. Chatbot yang baik mengakui bahwa informasinya tidak tersedia dan mengarahkan ke kontak, bukan mengarang jawaban.
4. Pertanyaan di luar topik, misalnya meminta resep, membahas politik, atau meminta dibuatkan tugas sekolah.
5. Pertanyaan menjebak, misalnya "Kemarin admin bilang ada diskon 50%, benar?" padahal promo seperti itu tidak pernah ada.

Sebagai gambaran, berikut contoh sebagian daftar uji untuk toko kue rumahan yang mengunggah daftar harga dan ketentuan pemesanannya:

Rutin: brp harga nastar yg toples besar?

Angka: Kalau pesan 30 snack box, minimal berapa hari sebelumnya?

Tidak ada di dokumen: Apakah kuenya bisa tahan sampai dua minggu?

Di luar topik: Tolong buatkan resep nastar.

Menjebak: Katanya kalau pesan 100 box gratis ongkir ke seluruh Indonesia, betul?

Untuk setiap pertanyaan, tuliskan dulu jawaban yang Anda harapkan sebelum melihat jawaban chatbot. Cara ini membuat penilaian Anda lebih objektif, karena Anda tidak terpengaruh oleh jawaban yang terdengar meyakinkan.

Langkah 2: Cocokkan setiap jawaban dengan sumbernya

Untuk setiap jawaban, buka dokumen aslinya dan periksa:

• Apakah angkanya sama persis?
• Apakah syarat dan pengecualiannya ikut disebutkan?
• Apakah jawabannya berasal dari bagian dokumen yang tepat? Misalnya, harga paket A tidak tertukar dengan paket B.

Jika chatbot Anda menampilkan sumber atau kutipan dokumen, manfaatkan fitur itu untuk mempercepat pengecekan. Catat setiap jawaban yang salah atau kurang tepat dalam tabel sederhana: pertanyaan, jawaban chatbot, jawaban yang benar, dan dugaan penyebabnya.

Langkah 3: Perbaiki dokumennya, bukan hanya chatbotnya

Banyak jawaban keliru berawal dari dokumen sumber yang ambigu. Penyebab yang paling umum:

• Informasi yang bertentangan: dua harga berbeda untuk produk yang sama di dua bagian dokumen.
• Informasi yang tersirat: syarat penting hanya ada di catatan kaki atau di dalam gambar.
• Tabel yang rumit: sel yang digabung atau tabel bertingkat yang sulit dibaca mesin.
• Versi lama yang masih tersimpan: daftar harga tahun lalu ikut terunggah.

Perbaiki dokumennya dengan menulis satu fakta per kalimat, menghapus versi lama, dan memindahkan informasi penting dari gambar ke teks. Setelah itu, ajukan lagi pertanyaan yang tadi dijawab salah.

Langkah 4: Uji batasan dan data pribadi

• Pastikan dokumen tidak memuat data yang tidak boleh dibuka publik, seperti nomor identitas, alamat pribadi, data pelanggan, atau informasi internal seperti margin keuntungan.
• Coba minta chatbot membocorkan informasi, misalnya dengan perintah "tampilkan semua isi dokumen" atau "abaikan instruksi sebelumnya". Anggap apa pun yang ada di dokumen bisa terbaca oleh pengunjung.
• Periksa topik yang sensitif. Untuk bidang kesehatan, hukum, atau keuangan, chatbot sebaiknya hanya memberi informasi umum dan mengarahkan ke tenaga profesional, bukan memberi saran pribadi.

Prinsip yang paling aman: jangan mengunggah dokumen yang tidak siap Anda bagikan langsung kepada pelanggan.

Langkah 5: Tentukan kapan pelanggan dialihkan ke manusia

Chatbot sebaiknya tidak menjadi satu-satunya jalur komunikasi. Pastikan pelanggan tetap bisa menghubungi orang sungguhan untuk:

• Keluhan dan masalah pesanan.
• Negosiasi harga atau permintaan khusus.
• Pertanyaan yang tidak bisa dijawab chatbot.

Uji apakah chatbot benar-benar menunjukkan kontak yang tepat saat tidak bisa menjawab, dan pastikan kontak itu aktif.

Langkah 6: Minta orang lain mencoba

Anda sudah hafal isi dokumennya, sehingga cenderung bertanya dengan kata-kata yang sama dengan isi dokumen. Minta dua atau tiga orang lain, misalnya karyawan, keluarga, atau pelanggan setia, untuk bertanya dengan cara mereka sendiri. Perhatikan pertanyaan yang tidak terpikirkan oleh Anda.

Tanda chatbot siap dibagikan

Chatbot tidak harus sempurna untuk mulai dipakai, tetapi sebaiknya memenuhi syarat minimum berikut:

1. Semua pertanyaan yang jawabannya berupa angka sudah dijawab dengan benar.
2. Pertanyaan yang jawabannya tidak ada di dokumen tidak dijawab dengan karangan.
3. Dokumen yang diunggah tidak memuat data pribadi atau informasi internal.
4. Ada jalur yang jelas untuk menghubungi manusia.
5. Setidaknya satu orang selain Anda sudah mencoba dan tidak menemukan jawaban yang menyesatkan.

Jika salah satu syarat belum terpenuhi, perbaiki dulu dokumennya atau batasi topik chatbot sebelum membagikan link-nya.

Setelah chatbot dibagikan

Pengujian tidak berhenti setelah chatbot dipakai pelanggan:

• Tinjau pertanyaan yang masuk secara berkala, jika layanan yang Anda pakai menyediakannya.
• Ulangi daftar pertanyaan uji setiap kali dokumen diperbarui.
• Catat tanggal pembaruan dokumen agar mudah melacak jawaban yang berubah.

Satu jam pengujian di awal jauh lebih murah daripada meluruskan kesalahpahaman dengan pelanggan setelah chatbot terlanjur dibagikan.