Ekonomi

Yapay Zeka Ajanı ROI'si Nasıl Ölçülür (Kendinizi Kandırmadan)

Bu yazıyı şu dillerde okuyunالعربيةEnglish
Kısa cevap

Geri kazanılan saatleri, tamamlanan sonuç başına maliyeti ve devredilen işteki dönüşüm oranını aynı işi bir insanın yapmasıyla karşılaştırarak ölçün. Üçünü de devreye almadan önce iki hafta boyunca kaydedin, çünkü temel olmadan bir sonuç değil bir kanaat edinirsiniz. Gönderilen e-posta, yayımlanan gönderi gibi otomatik artan ve ajanın işe yarayıp yaramadığı hakkında hiçbir şey söylemeyen çıktı metriklerini yok sayın.

Ajan ROI'sini yanlış ölçmenin en yaygın yolu, sayması en kolay şeyi ölçmektir. Gönderilen e-posta, yayımlanan gönderi, temas edilen aday — bunlar herhangi bir şeyi devreye aldığınız anda artar, bu da onları kanıt gibi hissettirir ve kanıt olarak değersiz kılar.

Devreye almadan önce temeli kaydedin

Neredeyse herkesin atladığı adım budur ve atlamak geri alınamaz: ajanlar çalışmaya başladıktan sonra önceki ayın neye benzediğini artık ölçemezsiniz.

Hiçbir şey bağlanmadan önce, yazılı, yirmi dakika:

  1. Geçen ay kaç aday ikinci temas aldı?
  2. Buna dürüstçe kaç saat gitti?
  3. O temaslarda yanıt oranı neydi?
  4. Kaçı randevuya dönüştü?
  5. Tüm süreç araçlar ve zamanın adil bir tahminiyle ne tuttu?

İzlemeye değer üç sayı

1. Haftalık geri kazanılan saat

En hızlı hissedilen ve doğrulaması en kolay getiri. Kendi zamanınızı öncesinde ve sonrasında iki hafta takip edin. Rakam haftada üç saatin altındaysa sorun kavramda değil kurulumdadır; genellikle ajana işinize canlı erişim yerine işinizin tarifi verilmiştir.

2. Tamamlanan sonuç başına maliyet

Nitelikli bir aday, alınmış bir randevu, çözülmüş bir talep, yayımlanmış bir içerik. Bu, farklı fiyat modelleri arasında ve aynı işi yapan bir insanın maliyetine karşı karşılaştırılabilen tek sayıdır.

Örnek: ayda 200 gelen aday, takip ajanlara devredilmiş.
Kurucu yapıyorAjanlar yapıyor
İkinci temas alan aday~60200
Aylık saat~18~2 (inceleme)
Yanıt oranı%12%7
Yanıt sayısı714
Yanıt başına maliyet~180$ kurucu zamanı~5$ eylem

Yanıt oranının düştüğüne ve sonucun iyileştiğine dikkat edin. Dürüst ajan devreye alımlarının çoğu bu şekildedir ve oran bazlı metriklerin tek başına yanıltmasının sebebi budur.

3. Devredilen işte dönüşüm, sizinkine karşı

Ajanın çıktısını, aynı işi siz yaptığınızdaki haliyle karşılaştırın. Sizin oranınızın yarısıyla dönüşüyor ama dört kat sık gerçekleşiyorsa bu bir kazançtır. Onda biriyle dönüşüyorsa ajanın bağlamı eksiktir ve bunu hiçbir hacim düzeltmez.

Yok sayılacak metrikler

  • Gönderilen e-posta, yayımlanan gönderi, tamamlanan görev. Bunlar aktiviteyi ölçer ve aktivite hep artar.
  • Sağlayıcının tahmin ettiği kazanılan zaman. Kendiniz tahmin edin ya da saymayın.
  • Platformun hesabını göstermeden bildirdiği her şey. Sayıyı yeniden kuramıyorsanız yönetim sunumuna koymayın.

Maliyet tarafını sayılabilir kılmak

Sonuç başına maliyet ancak maliyet tarafı okunabilirse işler. Bu, koltuk yerine eylem bazlı fiyatlandırma lehine bir argümandır: bir kredi bir eylem olduğunda ve her eylem bir günlükte göründüğünde, harcamayı sonuçlara bölmek tahmin değil aritmetik olur. Operater böyle fiyatlandırır — ayda 150 eylem ücretsiz, sonra 400 için 39$, 2.000 için 199$, 6.000 için 599$ ve kotanın üzerinde eylem başına 0,14$ — böylece payda modellemeniz gereken değil, sayabileceğiniz bir şey olur.

Koltuk başına modelde aynı hesap, aboneliğin ne kadarının hangi sonuca ait olduğunu tahmin etmenizi gerektirir. Takaslar hakkında daha fazlası ajan fiyatlandırması nasıl işler yazısında.

Ne zaman işe yaramadığına karar verilir

Günlük bir akışta iki hafta verin, sonra temelle karşılaştırın. Üç sonuç:

  • Belirgin şekilde daha iyi → başka bir ajan eklemeden önce bu akışta kapsamı genişletin.
  • Kabaca nötr → neredeyse her zaman bir bağlam sorunudur, yetenek sorunu değil. Ajan kime sattığınızı yeterince bilmiyordur.
  • Daha kötü → akışın gerçekten günlük çalıştığını ve ajanın canlı araç erişimi olduğunu kontrol edin. Neredeyse her zaman bu ikisinden biridir.

Dürüst versiyon: bir aylık çalışmadan sonra tamamlanan sonuç başına maliyeti hesaplayamıyorsanız, bulgunuz budur. Ne yaptığını size göstermeyen bir platform, değerlendirebileceğiniz bir platform değildir.

Öne çıkanlar

  • Önce temeli kaydedin. Devreye almadan önceki yirmi dakika, sonrasındaki her panodan değerlidir.
  • Tamamlanan sonuç başına maliyet, fiyat modelleri arasında ve bir insana karşı karşılaştırılabilen tek rakamdır.
  • Çıktı metrikleri hep iyileşir. Kanıt olarak işe yaramamalarının sebebi tam olarak budur.
  • Dört kat hacimde düşen bir dönüşüm oranı genellikle kazançtır. Orana değil, çarpıma bakın.
  • Bir ay sonra sonuç başına maliyeti hesaplayamıyorsanız platform yeterli görünürlük vermiyordur.

Sıkça sorulan sorular

Yapay zeka ajanı ROI'si nasıl ölçülür?

Devreye almadan önce kaydedilen bir temele karşı üç şeyi izleyin: haftalık geri kazanılan saat, nitelikli aday veya alınmış randevu gibi tamamlanan sonuç başına maliyet, ve devredilen işteki dönüşüm oranının aynı işi bir insanın yapmasıyla karşılaştırması. Otomatik artan ve hiçbir şey kanıtlamayan gönderilen e-posta gibi çıktı metriklerini yok sayın.

Yapay zeka ajanları için iyi bir ROI nedir?

Evrensel bir kıyas yok; sonuç başına maliyetin önemi de buradan gelir — aynı sonucu bir insan ürettiğinde neye mal olduğuyla doğrudan karşılaştırmanızı sağlar. Takip ve nitelendirme gibi yürütme işlerinde ajanlar genellikle eşdeğer insan zamanının küçük bir kesri kadar tutar, ama karşılaştırma yalnızca rolün tekrarlanabilir kısmı için geçerlidir.

Ajan devreye aldıktan sonra yanıt oranım neden düştü?

Genellikle hacim kaliteden hızlı arttığı için ve bu çoğu zaman yine de net kazançtır. Oran yarıya indi ama temas dört katına çıktıysa mutlak olarak daha fazla yanıtınız var demektir. Orana değil toplam sonuca bakın. Oranın bir büyüklük mertebesi düşmesi farklıdır ve ajanın işiniz hakkında bağlamı olmadığı anlamına gelir.

Bir ajanı devreye almadan önce neyi ölçmeliyim?

Geçen ay kaç adayın ikinci temas aldığını, buna kaç saat gittiğini, yanıt oranını, kaçının randevuya dönüştüğünü ve sürecin araç ve zaman olarak ne tuttuğunu. Yaklaşık yirmi dakika sürer ve sonradan geri alınamaz — ajanlar çalışmaya başladığında önceki ayı artık gözlemleyemezsiniz.

Sonuç başına maliyet neden diğer metriklerden iyidir?

Çünkü farklı fiyat modelleri arasında ve aynı işi yapan bir insanın maliyetine karşı karşılaştırılabilen tek rakamdır. Koltuk, görev ve kredi bazlı platformlar ilan edilen fiyatla karşılaştırılamaz, ama hepsi ürettikleri sonuç sayısına bölünebilir.