16,3% vs 11,6%: cara kami mengukur apakah agen AI kami benar-benar menjual lebih banyak

Setiap startup AI mengklaim agennya lebih baik. Di ZAVORA kami menginginkan angka yang bisa kami pertahankan di depan pelanggan yang skeptis, dan kami ingin memublikasikannya lengkap dengan batasannya. Beginilah cara kami mengukurnya, dan apa arti angka itu, serta apa yang bukan artinya.

Kalahkan baseline, bukan lawan jerami

Perbandingannya bukan "AI versus tidak ada apa-apa". Melainkan agen kami versus bot berbasis aturan yang digantikannya, menu dan kata kunci yang sudah dipakai banyak usaha di WhatsApp. Sebuah angka baru bermakna jika disandingkan dengan alternatif terbaik yang benar-benar dimiliki pelanggan.

Percakapan sama, katalog sama

Pada Agustus 2026 kami menjalankan rangkaian percakapan yang sama di kedua mesin, 86 giliran masing-masing, dengan katalog produk yang sama. Pertanyaan sama, produk sama, harga sama. Satu-satunya yang berubah adalah mesin yang menjawab.

• Agen AI menutup penjualan pada 16,3% kasus. Bot berbasis aturan menutup 11,6%. Itu sekitar 40% lebih banyak, secara relatif.
• Agen memberi rekomendasi yang berguna 73% dari waktu, dibandingkan 43% untuk bot.

Publikasikan batasannya bersama angkanya

Inilah bagian yang dilewatkan kebanyakan perusahaan. Ini adalah uji terkendali, bukan studi pasar. Delapan puluh enam giliran per mesin cukup untuk melihat perbedaan yang jelas, tetapi tidak cukup untuk menjanjikan kenaikan tertentu bagi usaha tertentu. Jadi itulah persis yang dikatakan panduan publik ZAVORA, tepat di samping angkanya, beserta tanggal pengukurannya.

Hype memudar. Kredibilitas terus tumbuh.

Agen yang mengakui apa yang tidak ia ketahui

Salah satu alasan agen ini menjual lebih banyak adalah karena ia tidak mengarang. Jika suatu produk atau harga tidak ada di katalog, ia mengatakannya dan bertanya. Bot berbasis aturan gagal secara diam-diam; AI yang ceroboh gagal dengan percaya diri. Keduanya tidak menutup penjualan. Kami juga memasang pemeriksaan di pipeline konten kami sendiri yang memblokir publikasi kemampuan apa pun yang sebenarnya tidak dimiliki produk.

Yang akan saya katakan kepada setiap pendiri

• Pilih alternatif yang nyata sebagai baseline, bukan yang paling mudah dikalahkan.
• Jaga semuanya tetap sama kecuali hal yang sedang Anda uji.
• Cantumkan tanggal dan batasan di samping angkanya. Orang yang Anda inginkan sebagai pelanggan akan lebih mempercayai Anda karenanya.

ZAVORA didirikan oleh Camilo Abella dan saya. Camilo memimpin produk dan agen percakapan; saya memimpin integrasi dan platform. Pengukuran dan batasannya dipublikasikan di panduan ZAVORA (dalam bahasa Spanyol).