AI iş akışında çıktı sayısı yetmez: Ölçülmesi gereken gerçek sonuç

Bir AI ajanının gerçekten değer üretip üretmediğini anlamak için ürettiği mesajları, tokenları veya tamamladığı görevleri değil, iş sonucundaki değişimi ölçün. Başarı; çevrim süresi, kalite, toplam maliyet, gelir ya da riskteki iyileşmenin, istisnalar ve insan inceleme yükü hesaba katıldıktan sonra da sürmesidir.

Her iş akışı için karşılaştırılabilir bir başlangıç değeri belirleyin, tek birincil sonuç KPI’ı seçin ve bunu kalite ile risk eşikleriyle birlikte izleyin. Ölçüm aynı süreç, benzer iş hacmi ve tanımlı bir dönem üzerinde yapılmazsa otomasyonun etkisi; talep, ekip veya iş karmaşıklığındaki değişimden ayrılamaz.

Faaliyeti gerçek sonuçtan ayırın

Kullanım hacmi yararlı bir öncü göstergedir: ajanın ne kadar devrede olduğunu gösterir. Ancak tamamlanan görev sayısı, bağlı araçlar veya çıktı tokenları tek başına işin daha hızlı, doğru ya da düşük maliyetle sonuçlandığını kanıtlamaz.

OpenAI’ın kurumsal iş akışı değerlendirmesine göre kullanımda ilk yüzde 10’a giren şirketler, aktif kullanıcı başına tipik şirketlerin 8,3 katı çıktı tokenı üretiyor; bu fark ocak ayında 2,6 kattı. Aynı sayfa, kullanım derinliğini tamamlanan görevler, bağlı bağlam ve araçlar, istisnalar ile inceleme yükü üzerinden; değeri ise çevrim süresi, kalite, maliyet, gelir veya risk sonuçlarıyla izlemeyi öneriyor.

• Girdi: İş talebi, veri, insan zamanı ve hesaplama kaynağı.
• Çıktı: Hazırlanan kayıt, yanıt, analiz veya tamamlanan işlem.
• Gerçek sonuç: Süre, kalite, maliyet, gelir ya da riskteki değişim.
• Kontrol yükü: İnceleme süresi, düzeltme turları, eskalasyonlar ve istisnalar.

KPI kartını başlangıç değeriyle kurun

Bir KPI kartında yalnızca metrik adı bulunması yetmez. İş akışı ve amaçla birlikte birincil KPI, kesin tanım, başlangıç değeri, hedef, veri kaynağı, ölçüm sıklığı, sorumlu kişi ve koruyucu eşik kaydedilmelidir. Böylece farklı ekipler aynı kelimeyi farklı hesaplarla kullanmaz.

Başlangıç değerini mümkünse otomasyon öncesindeki birkaç karşılaştırılabilir dönemden alın; işlem hacmini ve iş karmaşıklığını da saklayın. Örneğin ortalama işlem süresi düşerken yalnızca basit vakaların payı artmışsa görülen fark ajana atfedilemez. Uygun olduğunda kademeli devreye alma, eşleştirilmiş vaka grupları veya benzer ekipler arasındaki karşılaştırma daha güçlü bir ölçüm sağlar.

Elektronik tabloya kopyalanabilecek KPI şablonu şu sütunlardan oluşabilir: iş akışı, amaç, birincil KPI, hesaplama kuralı, başlangıç dönemi ve değeri, hedef, koruyucu metrik ve eşik, veri kaynağı, sıklık, sorumlu, karar kuralı. Birincil KPI iş amacını; koruyucu göstergeler ise hız kazanılırken kalite veya güvenliğin bozulup bozulmadığını gösterir.

Üç iş akışını aynı şemayla ölçün

Çalışan onboarding’i: Girdi, çalışanın rolü ile gerekli sistem ve eğitim listesidir; çıktı, tamamlanan kurulum adımlarıdır. Birincil sonuç KPI’ı üretken başlangıca kadar geçen süre olabilir. Eksiksiz kurulum oranı kaliteyi, yetkisiz erişim ve atlanan zorunlu adımlar riski, İK ile BT’nin inceleme ve istisna çözme süresi insan yükünü gösterir.

Satış hesabı takibi: Girdi, CRM kayıtları ve izin verilen iletişim bağlamı; çıktı, güncellenen hesap özeti ile önerilen sonraki adımdır. Sonuç, satış temsilcisince kabul edilen nitelikli öneri oranı veya karşılaştırılabilir hesaplarda fırsat ilerlemesiyle ölçülebilir. Eski bilgiye dayanan öneriler, ret oranı ve temsilcinin doğrulama süresi ayrı tutulmalıdır; gelir değişimi ancak fiyat, kampanya, bölge ve ekip etkileri ayrıştırılabildiği ölçüde ajana bağlanabilir.

Geliştirici entegrasyonu: Girdi, teknik talep, dokümantasyon ve test koşulları; çıktı, kod değişikliği veya entegrasyon taslağıdır. Gerçek sonuç, başarılı entegrasyona kadar geçen süre, testleri geçen değişiklik oranı ve yeniden çalışma miktarıdır. Güvenlik açığı, yetki aşımı ve üretim hatası risk; kod incelemesi ile düzeltmeye harcanan süre insan kontrol yüküdür.

İnsan incelemesini görünür maliyet yapın

“Ajan tamamladı” kaydı, işin kabul edildiği anlamına gelmez. İnceleme dakikalarını, ilk seferde kabul oranını, değişiklik istenen çıktıların payını, düzeltme turu sayısını ve insana devredilen istisnaları izleyin. Otomasyon süresi kısalırken kontrol yükü aynı ölçüde büyüyorsa net kapasite kazancı oluşmamış olabilir.

Kaliteyi tek bir ortalamaya sıkıştırmayın. Kritik hata oranı, ilk seferde kabul ve önemli istisna türleri ayrı görülebilmelidir. Yüksek riskli bir işlemde insan onayı başarısızlık değil, tasarlanmış kontrol olabilir; ölçülmesi gereken, doğru vakaların yeterli kanıtla incelemeye gelip gelmediğidir.

NIST AI Risk Management Framework çekirdeği, AI risklerinin nicel, nitel veya karma yöntemlerle ölçülebileceğini; sistemlerin devreye alınmadan önce ve çalışırken düzenli olarak değerlendirilmesini, insan gözetimi süreçlerinin tanımlanıp belgelenmesini ve metriklerin uygunluğunun yeniden incelenmesini öngörüyor.

Riski ayrı bir başarı ekseni olarak izleyin

Ajan doğru çıktı üretse bile yanlış kimlikle çalışıyor, gereğinden geniş veriye erişiyor veya bir güvenlik katmanını atlıyorsa işlevsel başarı yeterli değildir. Yetkisiz erişim girişimleri, veri politikası ihlalleri, hatalı araç işlemleri, olay sayısı, tespit süresi ve güvenli durdurma başarısı izlenebilir. Olay görülmemesi de kontrolün çalıştığını kanıtlamaz; korumaların gerçekçi yük altında sınanması gerekir.

Microsoft’un yaklaşık 100 iç kullanıcıyla yürüttüğü pilot, geliştirici senaryolarında ajan kimliği, cihaz yönetimi, çalışma zamanı koruması, veri kaybı önleme ve ağ kontrollerini gerçek kullanıcılar ile iş yükleri altında birlikte denedi. Bu pilotun sınırı önemlidir: genel bir güvenlik garantisi sunmuyor; katmanlı kontrollerin canlı kurumsal koşullarda birlikte doğrulanmasına örnek oluşturuyor.

Kararı net değer ve eşikler üzerinden verin

Dönem sonunda yalnızca hacim grafiğine değil, fayda ile toplam yükü yan yana getiren karar kaydına bakın. Model ve altyapı giderleri, kurulum ile bakım emeği, insan incelemesi, yeniden çalışma ve gerçekleşen risk maliyeti hesaba katılmalıdır. Güvenilir biçimde paraya çevrilemeyen kalite veya risk ölçülerini tahmini kazanca eklemek yerine ayrı eşikler olarak tutmak daha şeffaftır.

1. Birincil KPI, karşılaştırılabilir başlangıç değerine göre iyileşti mi?
2. Kalite ve risk eşikleri korundu mu?
3. İstisna ve insan inceleme yükü kabul edilebilir düzeyde mi?
4. Toplam maliyet, ölçülen kapasite veya gelir etkisiyle gerekçelendirilebiliyor mu?
5. Sonuç farklı dönemlerde tekrarlanıyor ve ölçümün sorumlusu belli mi?

Ölçekleme kararı bu göstergelerin birlikte değerlendirilmesine dayanmalıdır. Gerçek sonuç, ajanın ne kadar içerik ürettiği değil; tanımlı işi başlangıç değerinden daha iyi bir sonuçla, kabul edilebilir risk ve toplam yük altında tamamlamasıdır.

Ayrıca okuyun:

• Çalışanların yüzde 90’ı yapay zekâya güveniyor, ilk denemede sonuç düşük
• OpenAI ajanları denetim alanından çıktı: Hugging Face raporundaki zincir
• Kripto borsası seçerken logo yetmez: SPK listesindeki kritik dipnot