Okunmayan Yığın

Cilt I · Belge zekâsı

Okunmayan Yığın

Kimsenin okumaya vakti olmayan belge — ve darboğaz tek bir kişi.

Problem

Ekibinizden biri aynı tür belgeyi tekrar tekrar okuyor: tedarikçi sözleşmeleri, gelen faturalar, poliçe dosyaları, sürdürülebilirlik raporları. Okuma yavaş, kişiden kişiye tutarsız ve aylar sonra bir karar sorgulandığında o belgenin neden öyle değerlendirildiğine dair bir kayıt yok.

Kimin için

Yinelenen bir belge kuyruğu olan ve darboğazı bir kişinin yargısı olan ekipler. En iyi, yanılmanın pahalı olduğu yerlere oturur; orada çıktının hızlı olmaktan çok savunulabilir olması gerekir.

Elinize ne geçiyor

Tek bir belge türü üzerinde sınırlanmış bir iş akışı, okuyabileceğiniz bir değerlendirme ve modelin tek başına karar vermemesi gereken her şey için bir istisna yolu.

• Bir belgeyi, her alan için kaynak pasajı saklanmış yapılandırılmış alanlara dönüştüren bir hat.
• Ekibinizin etiketlediği bir örnek üzerinde değerlendirme; sistemin inceleyicilerinizle nerede uyuştuğunu ve nerede uyuşmadığını raporlar.

Elinize ne geçiyor

• Bir istisna kuyruğu: bir kişiye yönlendirilen durumlar ve oraya neyin düşeceğini belirleyen kural.
• Değerlendirme sırasında bulunan hata biçimlerinin yazılı dökümü.

Kanıt kaydı

Yeşil aklama vaka çalışması bu işin dürüst hâlidir: sürekli bir puan üzerinde uzman yargısını yakından izlerken, işaretlemesi gereken maddelerin çoğunu yine de kaçıran bir dedektör gösterir ve bu birleşimin onu neden bir filtre değil, bir önceliklendirme aracı yaptığını açıklar.

Süreç · 01

Belgenin gerçek örneklerine ve ondan verilen karara bakarız; hiçbir şey inşa edilmeden önce “doğru”nun ne demek olduğunu kararlaştırırız.

Keşif

Kararı, belge türünü ve doğru çıktının tanımını içeren yazılı bir problem tanımı.

Süreç · 02

Tek belge türü, tek iş akışı. Ekibiniz bir örneği etiketler; ben ona karşı geliştirir ve ayrılmış örnekler üzerinde değerlendiririm.

Sınırlanmış pilot

Çalışan bir hat, kendi belgeleriniz üzerinde değerlendirme sonuçları ve istisna inceleme süreci.

Süreç · 03

Hat, işin gerçekte yapıldığı yere entegre edilir; inceleme adımı ilk günden yerindedir.

Teslim

Devreye alınmış iş akışı, çalıştırma kılavuzu ve kalitenin ne zaman sapmaya başladığını gösteren izleme.

Süreç · 04

Ekibiniz çalıştırır. Belgeler değiştiğinde nasıl yeniden değerlendirileceğini belgelerim; çünkü değişecekler.

Devir

Dokümantasyon, değerlendirme düzeneği ve sahiplenecek kişilerle birlikte bir gözden geçirme.

Verinin kaynağı

• Zor olanlar dâhil, belgelerin temsili bir örneği.
• Doğru çıktının neye benzediğini söyleyebilecek bir kişiye erişim.
• İnceleyicilerinizden bir örneği etiketlemek için zaman — asıl kısıt genelde budur.
• Altyapınızdan neyin çıkabileceği ve neyin çıkamayacağı konusunda netlik.

Kapsama dahil olanlar

• Tanımlı bir belge türü üzerinde çıkarım, sınıflandırma, sıralama ve yönlendirme.
• Ekibinizin ürettiği etiketlere karşı değerlendirme.
• İstisna süreci ve bir inceleyicinin çalıştığı arayüz.

Sınırlar

• Gözetimsiz kararlar. Sonuç doğuran her şeyde döngüde bir insan kalır.
• Bir belgenin ne anlama geldiğine dair hukuki, vergisel veya denetim görüşleri.
• Elinizdeki her belgeyi işleyen genel amaçlı bir sistem. Pilotlar tek bir türle sınırlanır.

Buna benzer bir probleminiz mi var?

Belge zekâsı pilotu

Sınırlanmış bir iş akışı, kendi belgeleriniz üzerinde değerlendirme sonuçları ve bir istisna inceleme süreci.

Bu, bugün bunları okuyan kişinin yerini alacak mı?

Hayır ve öyle kurmam. Önce neyi okuyacaklarını değiştirir ve sıralamanın gerekçesini verir. Bu hizmetin arkasındaki araştırma projesinde en iyi dedektör bile bir inceleyicinin işaretleyeceği maddelerin çoğunu kaçırdı — inceleme adımının kalmasının nedeni tam olarak bu.

Verimiz sistemlerimizden çıkıyor mu?

Bu, varsayılan değil, keşifte verdiğimiz bir karardır. Bazı yaklaşımlar tamamen sizin altyapınızda çalışır; diğerleri barındırılan bir model kullanır, bu da belge metninin o sağlayıcıya gitmesi demektir. Bir yaklaşıma bağlanmadan önce hangisinin gerektiğini size söylerim.

Doğruluğu ne kadar?

Belgeleriniz ve etiketleriniz olmadan yanıtlanamaz. Bundan önce size söylenen her rakam başkasının verisi hakkındadır. Sizinki için rakamı belirlemek pilotun işidir.

Değerlendirme yeterince iyi çalışmadığını gösterirse ne olur?

O zaman pilotun sonucu budur ve bunu öğrenmek için sınırlı bir bütçe harcamış olursunuz. Pilotun küçük kapsamlanmasının ve entegrasyondan önce değerlendirilmesinin nedeni bu sonuçtur.

Yaklaşım

• Python
• spaCy
• Hugging Face Transformers
• Sentence Transformers
• PyTorch
• scikit-learn

Bir kararı yavaşlatan bir belge kuyruğunuz mu var?

Hangi belge ve hangi karar olduğunu anlatın, pilotun çalıştırmaya değip değmeyeceğini söyleyeyim.