JSON şeması geçerli, alan doğruluğu en fazla yüzde 83

JSON şemasına uyan bir model çıktısının içerik doğruluğunu ölçmek için şema geçerliliğini, alan değerlerinin doğruluğunu, kaynakla eşleşmeyi ve iş kurallarını ayrı ayrı sınayın. Structured Output Benchmark sonuçlarında en yüksek tam alan değeri eşleşmesi metinde yüzde 83, OCR ile metne çevrilmiş belgelerde yüzde 67,2 ve konuşma dökümlerinde yüzde 23,7 oldu.

Bu oranlar bir sağlayıcının Structured Outputs özelliğine ait başarı oranları değil. Araştırmanın ana deneyinde şema modele istem içinde verildi; belge görüntüleri ve ses kayıtları da modellerin doğrudan işlediği girdiler yerine metne dönüştürülmüş bağlam olarak sunuldu. Üretimde sorulması gereken soru, JSON’un ayrıştırılıp ayrıştırılamadığı kadar, her değerin girdide dayanağı bulunup bulunmadığıdır.

Şema geçerliliği neyi çözer?

OpenAI’nin Structured Outputs açıklaması, JSON mode’un geçerli JSON üretimini, Structured Outputs’un ise desteklenen şemaya uyumu sağladığını belirtiyor. Şema bir alanın bulunmasını, veri tipini veya seçilebilecek değerleri denetleyebilir. Aynı açıklama, şemaya uygun yanıtların yine de içerik hatası taşıyabileceğini ve ret ya da tamamlanmamış yanıt gibi durumların ayrıca ele alınması gerektiğini söylüyor.

Koşullu bir sipariş örneğinde durum alanı yalnızca izin verilen seçeneklerden birini içerebilir. JSON Schema’nın enum açıklaması, kabul edilebilir değer kümesinin nasıl sınırlandığını gösterir. Müşteri iade istemişken model izin verilen “teslim edildi” değerini seçerse çıktı biçim denetiminden geçer; hata, seçeneğin kaynağa aykırı olmasındadır. Şemanın değer aralığını daraltması, doğru seçeneği bulduğunu kanıtlamaz.

Benchmark sonucu nasıl okunmalı?

Araştırmadaki temel değer doğruluğu ölçüsü, beklenen JSON’daki en alt düzey alanları modelin ürettikleriyle tam eşleşmeye göre karşılaştırır. Bütün nesnenin doğru olması daha sıkı bir koşuldur: Bir kayıtta birden fazla alan varsa tek yanlış değer o kaydın eksiksiz doğru sayılmasını engeller. Bu yüzden alan ortalaması, otomatik işleme alınabilecek kayıt oranıyla aynı anlama gelmez.

Karşılaştırmada dizilerdeki konum da önemlidir. Doğru kalemleri yanlış sırada döndüren bir çıktı, sıralamanın anlam taşıdığı fatura kalemleri veya konuşmacı sırası gibi görevlerde hatalı kabul edilir. Ayrıca metin, OCR çıktısı ve konuşma dökümü farklı uzunlukta ve farklı güçlükte bağlamlar içerir; aralarındaki oran farkını yalnızca girdi ortamının etkisi olarak yorumlamak doğru olmaz.

Ana deneyin şemayı istemde vermesi, sağlayıcının şemaya bağlı üretim seçeneği açıldığında aynı değer doğruluğunun elde edileceği anlamına da gelmez. Araştırmanın sınırlı ek karşılaştırmasında şemanın sağlayıcı üzerinden zorlanması biçim sonuçlarını değiştirmiş, değer doğruluğundaki değişim ise modele göre farklı yönlere gitmiştir. Uygulamadaki model, istem, dönüştürme hattı ve şema birlikte sınanmalıdır.

Referans yanıtı alan bazında kurun

Ölçülebilir bir test kümesinde her girdi için onaylanmış JSON yanıtı, kritik alanlar ve bu alanların dayandığı kaynak bölümü bulunmalı. Gerçek akışta karşılaşılan açık örneklerin yanında eksik bilgi, birbirine benzeyen adlar, çelişen tarihler ve okunması güç belgeler de yer almalı. Aksi hâlde toplam doğruluk puanı, üretimde incelemeye düşecek kayıtları olduğundan az gösterebilir.

OpenAI’nin değerlendirme önerileri, ölçütlerin göreve özgü tanımlanmasını, test verisinin gerçek kullanım dağılımını yansıtmasını ve otomatik puanların insan değerlendirmesiyle kalibre edilmesini tavsiye ediyor. Burada “doğru”yu her alan için önceden tarif etmek gerekir. Kimlik veya hesap numarası tam eşleşme isteyebilir; serbest metin açıklamasında ise yalnızca önceden belirlenmiş eşdeğer ifadeler kabul edilebilir.

Karşılaştırmadan önce tarih biçimi, boşluk ve sayı gösterimi gibi yüzey farklarını tutarlı biçimde normalleştirin. Fakat yanlış para birimini doğruymuş gibi çevirmek veya kaynaktaki belirsiz tarihi tamamlamak normalleştirme değildir. Referans yanıtta bulunmayan bir değeri model ürettiğinde, sonucu sessizce doğru saymak yerine “kaynakta yok” durumunu ayrı işaretleyin.

Dört test katmanını ayrı puanlayın

Biçim ve şema: Yanıtın tamamlanıp tamamlanmadığını, JSON olarak ayrıştığını, zorunlu alanları ve veri tiplerini kontrol edin. Retleri, yarım yanıtları ve şema ihlallerini ayrı hata sınıfları olarak kaydedin.
Alan doğruluğu: Üretilen her değeri onaylı referansla karşılaştırın. Alan başına doğrulukla bütün kaydın eksiksiz doğru olma oranını birlikte raporlayın; özellikle kritik alanları genel ortalamanın içinde kaybetmeyin.
Kaynakla eşleşme: Çıkarılan değerin geldiği metin parçasını, belge bölgesini veya konuşma bölümünü saklayın. Değer makul görünse bile kaynakta dayanağı yoksa otomatik kabul için yeterli değildir.
İş kuralı: Kaynaktan alınan alanların birlikte geçerli olup olmadığını deterministik kodla sınayın. Koşullu bir fatura örneğinde kalem toplamı ile genel toplamın uyuşması ve tarihler arasındaki sıranın mümkün olması modelden bağımsız kontrollerdir.

Katmanların paydası açık yazılmalı. Şemaya uyan yanıtların oranı, tüm girdiler içinde doğru değer üreten yanıtların oranından farklıdır. Yalnızca şema testini geçen kayıtlar üzerinde alan doğruluğu hesaplanırsa başarısız yanıtlar ölçümden kaybolur. Buna karşılık tüm girdileri kapsayan oran, sonraki sisteme gerçekten kullanılabilir kaç kayıt geçtiğini gösterir.

Metin, belge ve konuşma için kabul koşulları

Evrensel bir kabul eşiği yoktur; eşik, yanlış değerin doğuracağı sonuca göre belirlenmelidir. Aşağıdakiler araştırmanın ölçtüğü performans oranları değil, otomatik işleme kararı için koşullu örneklerdir.

Metin girdisi: Kimlik, tutar veya tarih gibi kritik bir alan referans yanıtla ya da kaynak cümleyle uyuşmuyorsa kaydı otomatik aktarmayın. Serbest açıklama alanlarında eşdeğer ifadeleri kabul edecekseniz, hangi farkların anlamı değiştirmediğini testten önce tanımlayın.
Belge girdisi: OCR’nin eksik okuduğu veya birden fazla olası değer bıraktığı kritik alanı modelin tahminiyle kesinleştirmeyin. Satır kalemlerinden toplamı yeniden hesaplayın; kaynak görüntü ile OCR metni arasında uyuşmazlık varsa belgeyi incelemeye ayırın.
Konuşma girdisi: Konuşmacı atfı belirsiz bir kararı belirli kişiye bağlayarak otomatik kaydetmeyin. Çıkarılan taahhüt için ilgili konuşma bölümü bulunamıyorsa alanı doğrulanmamış bırakın; uzun dökümlerde doğru sözün yanlış kişiye atanması da değer hatasıdır.

Üretimde kabul kaydı, modelin JSON çıktısıyla birlikte şema sonucunu, alan karşılaştırmasını, kaynak dayanağını ve iş kuralı sonucunu taşımalı. Model veya istem değiştiğinde aynı test kümesini yeniden çalıştırmak, biçim düzelirken değerlerin gerileyip gerilemediğini gösterir. İnsan incelemesine ayrılan kayıtlar da yeni hata örnekleri olarak test kümesine eklenebilir.

Ayrıca okuyun: