Çevre iddialarını, dilin taahhüdün ne kadar önüne geçtiğine göre sıralayan bir dedektör. Uzman yargısını yakından izliyor — Pearson 0,906 — ve yine de bir inceleyicinin işaretleyeceğinin en iyi ihtimalle %40’ını buluyor. Burada yayımlanmasının nedeni, nasıl kullanılabileceğine karar veren şeyin bu ikinci sayı olması.
Temsili sistem çalışması
Kısa bakış
Araştırma · belge zekâsı
Araştırma
Sorun
Taahhüdü aşan bir iddia. 29 iddia üzerinde ölçüldü — ve çoğunu kaçırıyor.
Kimler için
Sürdürülebilirlik ve ESG analistleri ile bir iddianın neden yükseltildiğini gerekçelendirmek zorunda olan risk ekipleri.
Elde edeceğiniz çıktı
İddia başına puanlar, bir doğrulama düzeneği ve başarısız olan sayılar
Kanıt durumu
Araştırma kanıtı29 iddia üzerinde yayımlanmış değerlendirme. Aşağıdaki yöntem ve sınırlamaları inceleyin.
Temel sınırlama
Yirmi dokuz değerlendirilmiş iddia. Buradaki her rakam geniş bir belirsizlik taşır ve hiçbiri yeniden değerlendirilmeden yeni bir derlemeye genellenemez.
Taahhüdü aşan bir iddia. 29 iddia üzerinde ölçüldü — ve çoğunu kaçırıyor.
Araştırma
Yayımlanmış bir ürünü olan araştırma çalışması. Kurulmadı ve kimse kullanmıyor.
Problem
Kurumsal raporları okuyan bir sürdürülebilirlik analisti, hangi çevre iddiasının sorgulanmaya değer olduğuna karar vermek zorundadır. Önemli olan iddialar nadiren açıkça yanlıştır; spesifik olmaları gereken yerde muğlaktırlar. Bu okuma yavaş, özneldir ve iki analist anlaşmazlığa düştüğünde savunulması zordur.
Kimin için
Sürdürülebilirlik ve ESG analistleri ile bir iddianın neden yükseltildiğini gerekçelendirmek zorunda olan risk ekipleri.
Bağlam
Bocconi’deki yüksek lisans tezim olarak başladı ve doğrulama düzeneği olan çalışır bir kod tabanına dönüştü. Bu bir araştırmadır: hiçbir müşteriye kurulmadı ve üretimde kullanıcısı yok.
Benim rolüm
Sistemin tamamını ben tasarladım ve yazdım — iddia çıkarımı, puanlama bileşenleri, uzman değerlendirmelerini toplamak için kullanılan anket ve aşağıdaki sayıları üreten doğrulama betikleri.
Verinin kaynağı
Kamuya açık kurumsal iletişim metinlerinden çıkarılan çevre iddiaları. Referans değerlendirmeler, yapılandırılmış bir anketle toplanan ve kodla birlikte depoda saklanan insan yargılarıdır.
Kısıtlar
Yirmi dokuz değerlendirilmiş iddiadan oluşan bir referans küme. Ayrılabilen uzman değerlendirme süresinin dürüst sınırı buydu ve buradan çıkarılan her sonucu kısıtlıyor.
Yaklaşım
Belgeyi bütün olarak puanlamak yerine spaCy ile ayrı çevre iddialarını çıkarmak; böylece bir puan her zaman bir cümleye kadar izlenebilir.
Her iddiayı birkaç bileşen üzerinden puanlamak — tanıtım dilinin sözcüksel yoğunluğu, ClimateBERT ile anlamsal spesifiklik, Sentence Transformers ile bilinen anlatı kalıplarına benzerlik — ve bunları tek bir yapılandırma dosyasındaki ağırlıklarla birleştirmek.
Yaklaşım
Yalnızca doğrulukla değil, korelasyon ve hata ölçütleriyle doğrulamak; çünkü ölçülen büyüklük bir sınıf değil, bir risk derecesidir.
Yalnızca en iyi görüneni raporlamak yerine üç dedektör sürümünü aynı küme üzerinde yan yana tutmak.
Önem taşıyan kararlar
İkili doğruluktan önce, sürekli uzman değerlendirmelerine karşı korelasyon ve hata raporlandı.
Yeşil aklama riski bir derece meselesidir. Önce ikilileştirmek, modelin uzman yargısını iyi izlerken yine de zayıf bir filtre olduğunu gizlerdi.
Önem taşıyan kararlar
Bir transformer sürümü mevcut olmasına rağmen basit sözcüksel sürüm (v1) referans model olarak korundu.
Anlamsal sürüm (v2) daha kötü korele oldu — v1’in 0,906’sına karşı 0,557 — ve emekliye ayrıldı. Daha gelişmiş mimariyi kullanmak daha iyi bir hikâye, daha kötü bir araç üretirdi.
Önem taşıyan kararlar
v3, kesinlik 1,00’de tutulurken duyarlılığa doğru ayarlandı.
Yanlış alarm veren bir inceleme aracı, sessiz kalan birine göre güveni çok daha hızlı tüketir. Atlanan maddeler okunarak telafi edilebilir; yanlış bir suçlama edilemez.
Şekil
Kayıtlı örnek
Şekil 29 iddia üzerinde üç dedektör sürümünün uzman değerlendirmeleriyle karşılaştırılması. Sürüm 1, Pearson 0,906 korelasyon ve 0,206 ortalama mutlak hata ile en yüksek uyuma sahip; sürüm 3, 0,256 hata ile 0,793’e ulaşıyor; sürüm 2 ise 0,557 ile en zayıfı ve emekliye ayrıldı. İkili işaretlemede sürüm 1 işaretlenebilir iddiaların %15’ini, sürüm 3 ise %40’ını yakalıyor; ikisi de %100 kesinlikte.
Değerlendirilen 29 iddia için dedektör puanına karşı uzman değerlendirmesi ve üç dedektör sürümünün karşılaştırması. Deponun doğrulama çıktısından yeniden üretildi, 29 Ocak 2026.
Kıyas noktası
İki iç karşılaştırma: bir anahtar kelime yoğunluğu dedektörü ve aynı iddialar üzerinde puanlanan önceki v1 ile v2 dedektörleri. Bu görev için karşılaştırılacak yayımlanmış harici bir kıyas ölçütü yoktur.
Nasıl değerlendirildi
Her dedektör sürümü aynı 29 insan değerlendirmeli iddia üzerinde puanlanır. Sürekli uyum Pearson, Spearman ve Kendall korelasyonları ile MAE ve RMSE üzerinden; işaretle/işaretleme davranışı kesinlik, duyarlılık ve F1 ile ölçülür. İnsan tavanının görünür olması için değerlendiriciler arası güvenilirlik de raporlanır. Yayımlanan rakamlar 29 Ocak 2026’da yeniden çalıştırılıp aynen üretildi.
Sonuçlar
v1 dedektörü uzman değerlendirmelerini yakından izliyor: Pearson r = 0,906, Spearman 0,811, MAE 0,206.
Bir işaretleme aracı olarak zayıf. v1 işaretlenebilir iddiaların %15’ini yakalıyor; ayarlanmış kural tabanlı v3 ise F1 0,571 ile %40’a ulaşıyor.
Bu küme üzerinde hiçbir sürüm yanlış pozitif üretmedi — kesinlik 1,00 — ancak yirmi dokuz maddede bu, yöntemin bir özelliği değil, bir avuç doğru karardır.
İnsan değerlendiriciler Krippendorff α = 0,69 düzeyinde anlaştı; bu, herhangi bir modelin karşısında ölçüldüğü tavandır.
Teslim edilenler
Bir belgeyi, katkıda bulunan bileşenleri açıkta bırakarak iddia başına puanlara dönüştüren bir Python paketi.
Yayımlanan her ölçütü saklanan değerlendirmelerden yeniden üreten bir doğrulama düzeneği.
Algoritmayı, dedektör sürümlerini ve performans karşılaştırmasını kapsayan yazılı raporlar.
Pratikte neyi değiştiriyor
Amaçlandığı gibi kullanıldığında kuyruğu boşaltmaz, kısaltır: analist en yüksek puanlı iddiaları önce okur ve sıralamayı açıklarken gösterebileceği bir bileşen dökümüne sahip olur. Sonunda bir insan tarafından okunması gereken iddia sayısını azaltmaz.
Sınırlar
Yirmi dokuz değerlendirilmiş iddia. Buradaki her rakam geniş bir belirsizlik taşır ve hiçbiri yeniden değerlendirilmeden yeni bir derlemeye genellenemez.
Puan bir sıralama sinyalidir. Kalibre edilmiş bir olasılık değildir ve yüksek bir puan, bir şirketin yeşil aklama yaptığı bulgusu değildir.
En iyi durumda 0,40 duyarlılık. İşaretlenebilir iddiaların çoğu hâlâ atlanıyor.
Yalnızca İngilizce kurumsal iletişim metinleri üzerinde değerlendirildi.
Puanlama ağırlıkları, karşısında raporlandıkları aynı küçük küme üzerinde ayarlandı; dolayısıyla rakamlar iyimserdir.
İnsan incelemesi
Her puan, bir sonuca ulaşmadan önce bir kişi tarafından incelenir. Sistem sıralar ve açıklar; bir şirket hakkında asla hüküm vermez.
Kanıt kaydı · 01
Yukarıda geçen her rakam; kaynağı ve size söylemedikleriyle birlikte.
Environmental claims extracted from corporate communications and rated for greenwashing risk by human reviewers, forming the reference set the detector is scored against. Human expert ratings collected via a structured questionnaire, then used as ground truth.
Tarih
2026-01-29
Sınırlar
Twenty-nine items is a small evaluation set. Every figure derived from it carries wide uncertainty and none of it should be read as a population estimate.
Agreement between the human raters who produced the reference ratings. Krippendorff's alpha across raters; pairwise agreement ≈ 0.852.
Tarih
2026-01-29
Sınırlar
α = 0.69 is substantial but not strong agreement: the humans themselves disagree on roughly a third of the signal, which caps how well any model can be expected to match them.
Correlation between the v1 detector score and the human reference rating, over the 29-claim set. Pearson correlation on continuous scores. Spearman 0.811, Kendall 0.627, MAE 0.206, RMSE 0.237.
Karşılaştırıldığı
v3 rule-based detector, r = 0.793; v2 semantic detector, r = 0.557.
Tarih
2026-01-29
Sınırlar
Correlation on 29 items. It says the score moves with reviewer judgement, not that the score is calibrated as a probability of greenwashing.
Binary flag / no-flag performance of the v3 rule-based detector against the human reference labels. Thresholded score compared with binarised human labels on the same 29-claim set.
Karşılaştırıldığı
v1 baseline: recall 0.15 at precision 1.00 (F1 0.261). v3 reaches F1 0.571.
Tarih
2026-01-29
Sınırlar
Recall of 0.40 means roughly three in five flaggable claims are missed. Precision of 1.00 on a set this small is a handful of correct positives, not a guarantee. The tool is a reviewer aid; it cannot be a filter that runs unattended.
Bu sitedeki hiçbir şey muhasebe, denetim, vergi, hukuk veya yatırım tavsiyesi değildir ve buradaki hiçbir rakam bir sonuç vaadi değildir. Bir sayı görünüyorsa, kaynağı ve sınırları da onunla birlikte görünür.