16.3% बनाम 11.6%: हमने कैसे मापा कि हमारा AI एजेंट सच में ज़्यादा बेचता है

हर AI स्टार्टअप कहता है कि उसका एजेंट बेहतर है। ZAVORA में हम ऐसा आँकड़ा चाहते थे जिसका बचाव हम एक संशयी ग्राहक के सामने कर सकें, और हम उसे उसकी सीमाओं के साथ प्रकाशित करना चाहते थे। हमने इसे ऐसे मापा, और यह आँकड़ा क्या कहता है और क्या नहीं।

असली आधार-रेखा को हराओ, किसी काग़ज़ी शेर को नहीं

तुलना “AI बनाम कुछ नहीं” की नहीं थी। यह हमारे एजेंट बनाम उस नियम-आधारित बॉट की थी जिसकी उसने जगह ली, वे मेन्यू और कीवर्ड जो WhatsApp पर कई कारोबार पहले से इस्तेमाल करते हैं। कोई आँकड़ा तभी मायने रखता है जब वह ग्राहक के पास मौजूद सबसे अच्छे विकल्प के बगल में हो।

वही बातचीतें, वही कैटलॉग

अगस्त 2026 में हमने बातचीतों का वही सेट दोनों इंजनों पर चलाया, हर एक में 86 टर्न, एक ही प्रोडक्ट कैटलॉग पर। वही सवाल, वही उत्पाद, वही दाम। बदला सिर्फ़ जवाब देने वाला इंजन।

• AI एजेंट ने 16.3% मामलों में बिक्री पूरी की। नियम-आधारित बॉट ने 11.6%। यानी सापेक्ष रूप से लगभग 40% ज़्यादा।
• एजेंट ने 73% बार उपयोगी सुझाव दिया, बॉट ने 43%।

सीमाएँ आँकड़े के साथ प्रकाशित करो

यह वह हिस्सा है जिसे ज़्यादातर कंपनियाँ छोड़ देती हैं। यह एक नियंत्रित टेस्ट था, बाज़ार अध्ययन नहीं। हर इंजन पर छियासी टर्न साफ़ अंतर देखने के लिए काफ़ी हैं, पर किसी ख़ास कारोबार को किसी ख़ास बढ़त का वादा करने के लिए नहीं। इसलिए ZAVORA की सार्वजनिक गाइड ठीक यही कहती है, आँकड़ों के बगल में, माप की तारीख़ के साथ।

हाइप मिट जाती है। विश्वसनीयता बढ़ती जाती है।

एक एजेंट जो मानता है कि उसे क्या नहीं पता

एजेंट के ज़्यादा बेचने की एक वजह यह है कि वह कुछ गढ़ता नहीं। जब कोई उत्पाद या दाम कैटलॉग में नहीं होता, तो वह यह कहता है और पूछता है। नियम-आधारित बॉट चुपचाप विफल होता है; लापरवाह AI आत्मविश्वास से विफल होता है। दोनों में से कोई बिक्री पूरी नहीं करता। हमने अपनी कंटेंट पाइपलाइन में एक जाँच भी बनाई जो ऐसी किसी भी क्षमता को प्रकाशित होने से रोकती है जो उत्पाद में वास्तव में नहीं है।

मैं किसी भी संस्थापक से क्या कहूँगा

• असली विकल्प को अपनी आधार-रेखा चुनो, सबसे आसानी से हराए जाने वाले को नहीं।
• जिसे टेस्ट कर रहे हो उसके सिवा सब कुछ स्थिर रखो।
• आँकड़े के बगल में तारीख़ और सीमाएँ रखो। जिन्हें तुम ग्राहक बनाना चाहते हो, वे इसके लिए तुम पर ज़्यादा भरोसा करेंगे।

ZAVORA की सह-स्थापना Camilo Abella और मैंने की। Camilo प्रोडक्ट और बातचीत करने वाले एजेंट का नेतृत्व करते हैं; मैं इंटीग्रेशन और प्लेटफ़ॉर्म का। माप और उसकी सीमाएँ ZAVORA की गाइड (स्पैनिश में) में प्रकाशित हैं।