كيف تقيس عائد وكلاء الذكاء الاصطناعي دون أن تخدع نفسك

أكثر طريقة شائعة لقياس عائد الوكلاء بشكل خاطئ هي قياس الأسهل عدّاً. الرسائل المرسَلة والمنشورات والعملاء الملموسون ترتفع لحظة نشر أي شيء، ما يجعلها تبدو دليلاً ويجعلها عديمة القيمة كدليل.

سجّل خط الأساس قبل النشر

هذه الخطوة التي يتخطّاها الجميع تقريباً، وتخطّيها غير قابل للتدارك: بعد تشغيل الوكلاء لن تستطيع قياس ما كان عليه الشهر السابق.

1. كم عميلاً محتملاً حصل على لمسة ثانية الشهر الماضي؟
2. كم ساعة استغرق ذلك، بصدق؟
3. ما معدّل الرد على تلك اللمسات؟
4. كم وصل منها إلى مكالمة محجوزة؟
5. كم كلّفت العملية كلها بين أدوات وتقدير عادل للوقت؟

الأرقام الثلاثة الجديرة بالتتبّع

١. الساعات المستردّة أسبوعياً

أسرع عائد يُشعَر به وأسهله تحقّقاً. تتبّع وقتك أسبوعين قبل وبعد. وإن كان الرقم أقل من ثلاث ساعات أسبوعياً فالخلل في الإعداد لا في الفكرة، وغالباً لأن الوكيل مُنح وصفاً لعملك بدل وصول حيّ إليه.

٢. التكلفة لكل نتيجة مكتملة

عميل مؤهَّل، اجتماع محجوز، تذكرة محلولة، قطعة منشورة. هذا الرقم الوحيد القابل للمقارنة عبر نماذج التسعير المختلفة و مقابل تكلفة إنسان يؤدّي العمل نفسه.

لاحظ أن معدّل الرد انخفض وتحسّنت النتيجة. هذا شكل معظم عمليات النشر الصادقة، وهو سبب تضليل المقاييس النسبية وحدها.

٣. التحويل على العمل المفوَّض مقابل عملك

قارن مخرجات الوكيل بالعمل نفسه حين كنت تؤدّيه. إن حوّل بنصف معدّلك لكنه يحدث أربعة أضعاف، فهذا مكسب. وإن حوّل بعُشره فالوكيل يفتقر إلى السياق ولا يعالج ذلك أي حجم.

المقاييس التي تتجاهلها

• الرسائل المرسَلة والمنشورات والمهام المكتملة. تقيس النشاط، والنشاط يرتفع دائماً.
• الوقت الموفَّر بتقدير المورّد. قدّره بنفسك أو لا تحتسبه.
• أي رقم تعرضه المنصة دون إظهار طريقة حسابه. إن عجزت عن إعادة بنائه فلا تضعه في عرض للمجلس.

جعل جانب التكلفة قابلاً للعدّ

التكلفة لكل نتيجة لا تعمل إلا إذا كان جانب التكلفة مقروءاً. وهذه حجة لصالح التسعير بالإجراء مقابل التسعير بالمقعد: حين يكون رصيد واحد لإجراء واحد وكل إجراء يظهر في سجل، تصبح قسمة الإنفاق على النتائج عملية حسابية لا تقديراً. يسعّر أوبريتر هكذا — ١٥٠ إجراءً مجانياً شهرياً، ثم ٣٩ دولاراً مقابل ٤٠٠، و١٩٩ مقابل ٢٬٠٠٠، و٥٩٩ مقابل ٦٬٠٠٠، و٠٫١٤ دولار لكل إجراء بعد الحصة — فيصبح المقام شيئاً تعدّه لا شيئاً تنمذجه.

أما تحت نموذج المقاعد فالحساب نفسه يتطلّب تخمين حصة كل نتيجة من الاشتراك. المزيد عن المقايضات في كيف يعمل تسعير وكلاء الذكاء الاصطناعي.

متى تستنتج أنه لا ينجح

امنحه أسبوعين على مسار يومي، ثم قارن بخط الأساس. ثلاث نتائج:

• أفضل بوضوح ← وسّع نطاق هذا المسار قبل إضافة وكيل آخر.
• محايد تقريباً ← مشكلة سياق دائماً تقريباً لا مشكلة قدرة. الوكيل لا يعرف كفايةً عمّن تبيع له.
• أسوأ ← تحقّق أن المسار يومي فعلاً وأن للوكيل وصولاً حيّاً للأدوات. غالباً أحد هذين.

والنسخة الصادقة: إن عجزت عن حساب التكلفة لكل نتيجة مكتملة بعد شهر من التشغيل، فهذه بحد ذاتها النتيجة. المنصة التي لا تريك ما فعلته ليست منصة تستطيع تقييمها.