Un rilevatore che ordina le dichiarazioni ambientali in base a quanto il linguaggio corra avanti rispetto all’impegno. Segue da vicino il giudizio esperto — Pearson 0,906 — e trova comunque al massimo il 40% di ciò che un revisore segnalerebbe. È pubblicato qui perché è il secondo numero a decidere come possa essere usato.
Studio di sistema illustrativo
In breve
Ricerca · document intelligence
Ricerca
Il problema
Una dichiarazione che supera l’impegno. Valutata su 29 casi — e ne manca la maggior parte.
A chi si rivolge
Analisti di sostenibilità ed ESG, e i team di rischio che devono motivare perché una specifica dichiarazione sia stata segnalata.
Cosa ricevi
Punteggi per dichiarazione, un impianto di validazione e i numeri che non hanno retto
Stato delle prove
Prove di ricercaValutazione pubblicata su 29 affermazioni. Consulta metodo e limiti qui sotto.
Limite principale
Ventinove dichiarazioni valutate. Ogni numero qui porta un’ampia incertezza e nessuno si generalizza a un nuovo corpus senza rivalutazione.
Una dichiarazione che supera l’impegno. Valutata su 29 casi — e ne manca la maggior parte.
Ricerca
Lavoro di indagine con un artefatto pubblicato. Non installato e non usato da nessuno.
Il problema
Un analista di sostenibilità che legge le comunicazioni aziendali deve decidere quali dichiarazioni ambientali meritino di essere contestate. Le dichiarazioni che contano sono raramente false in modo netto: sono vaghe dove dovrebbero essere specifiche. La lettura è lenta, soggettiva e difficile da difendere quando due analisti non concordano.
A chi serve
Analisti di sostenibilità ed ESG, e i team di rischio che devono motivare perché una specifica dichiarazione sia stata segnalata.
Contesto
È nato come tesi magistrale alla Bocconi ed è diventato un codice funzionante con un impianto di validazione. È ricerca: non è mai stato installato presso un cliente e non ha utenti in produzione.
Il mio ruolo
Ho progettato e sviluppato l’intero sistema — estrazione delle dichiarazioni, componenti di punteggio, questionario usato per raccogliere i giudizi esperti e script di validazione che producono i numeri qui sotto.
Provenienza dei dati
Dichiarazioni ambientali estratte da comunicazioni aziendali pubbliche. I giudizi di riferimento sono valutazioni umane raccolte con un questionario strutturato e conservate nel repository insieme al codice.
Vincoli
Un insieme di riferimento di ventinove dichiarazioni valutate. Era il limite onesto del tempo di valutazione esperta disponibile, e vincola ogni conclusione che ne deriva.
Approccio
Estrarre singole dichiarazioni ambientali con spaCy invece di valutare il documento nel suo insieme, così che un punteggio sia sempre riconducibile a una frase.
Valutare ogni dichiarazione su più componenti — densità lessicale del linguaggio promozionale, specificità semantica tramite ClimateBERT, somiglianza a schemi narrativi noti tramite Sentence Transformers — combinandole con pesi tenuti in un unico file di configurazione.
Approccio
Validare con metriche di correlazione ed errore, non con la sola accuratezza, perché la grandezza sottostante è un grado di rischio e non una classe.
Tenere tre versioni del rilevatore affiancate sullo stesso insieme, invece di riportare solo quella che appare migliore.
Decisioni che hanno contato
Riportata la correlazione e l’errore rispetto ai giudizi continui prima di qualsiasi accuratezza binaria.
Il rischio di greenwashing è una questione di grado. Binarizzarlo per primo avrebbe nascosto che il modello segue bene il giudizio dell’analista pur restando un filtro debole.
Decisioni che hanno contato
Mantenuta la versione lessicale semplice (v1) come modello di riferimento pur avendo una versione transformer.
La versione semantica (v2) correlava peggio — 0,557 contro 0,906 — ed è stata ritirata. Usare l’architettura più sofisticata avrebbe prodotto una storia migliore e uno strumento peggiore.
Decisioni che hanno contato
La v3 è stata tarata verso il richiamo mantenendo la precisione a 1,00.
Uno strumento di supporto che lancia un falso allarme consuma fiducia molto più in fretta di uno che resta silenzioso. Le omissioni si recuperano leggendo; un’accusa sbagliata no.
Figura
Esempio registrato
Figura Un confronto tra tre versioni del rilevatore rispetto ai giudizi esperti su 29 dichiarazioni. La versione 1 ha la correlazione più alta, Pearson 0,906, con errore assoluto medio 0,206; la versione 3 raggiunge 0,793 con errore 0,256; la versione 2 è la più debole a 0,557 ed è stata ritirata. Nella segnalazione binaria la versione 1 individua il 15% delle dichiarazioni segnalabili e la versione 3 il 40%, entrambe con precisione del 100%.
Punteggio del rilevatore rispetto al giudizio esperto per ciascuna delle 29 dichiarazioni valutate, con il confronto tra le tre versioni. Riprodotto dall’output di validazione del repository, 29 gennaio 2026.
Riferimento
Due confronti interni: un rilevatore a densità di parole chiave e le precedenti versioni v1 e v2 valutate sulle stesse dichiarazioni. Non esiste un benchmark esterno pubblicato per questo compito.
Come è stato valutato
Ogni versione è valutata sulle stesse 29 dichiarazioni giudicate da esperti. L’accordo continuo è misurato con le correlazioni di Pearson, Spearman e Kendall più MAE e RMSE; il comportamento di segnalazione con precisione, richiamo e F1. L’affidabilità tra valutatori è riportata perché il tetto umano sia visibile. I dati pubblicati sono stati rieseguiti e riprodotti il 29 gennaio 2026.
Risultati
Il rilevatore v1 segue da vicino i giudizi esperti: Pearson r = 0,906, Spearman 0,811, MAE 0,206.
Come strumento di segnalazione è debole. La v1 individua il 15% delle dichiarazioni segnalabili; la v3 a regole, tarata, arriva al 40% con F1 0,571.
Nessuna versione ha prodotto falsi positivi su questo insieme — precisione 1,00 — ma su ventinove elementi si tratta di una manciata di decisioni corrette, non di una proprietà del metodo.
I valutatori umani concordano a un alfa di Krippendorff di 0,69, che è il tetto rispetto al quale ogni modello viene misurato.
Cosa è stato consegnato
Un pacchetto Python che trasforma un documento in punteggi per dichiarazione, con le componenti che vi contribuiscono esposte.
Un impianto di validazione che rigenera ogni metrica pubblicata a partire dai giudizi conservati.
Relazioni scritte su algoritmo, versioni del rilevatore e confronto delle prestazioni.
Cosa cambia nella pratica
Usato come previsto, accorcia la coda invece di svuotarla: l’analista legge per prime le dichiarazioni con punteggio più alto e dispone di una scomposizione delle componenti da mostrare per spiegare l’ordinamento. Non riduce il numero di dichiarazioni che alla fine una persona deve leggere.
Limiti
Ventinove dichiarazioni valutate. Ogni numero qui porta un’ampia incertezza e nessuno si generalizza a un nuovo corpus senza rivalutazione.
Il punteggio è un segnale di ordinamento. Non è una probabilità calibrata, e un punteggio alto non è la constatazione che un’azienda abbia fatto greenwashing.
Richiamo di 0,40 nel caso migliore. La maggior parte delle dichiarazioni segnalabili resta comunque non individuata.
Valutato solo su comunicazioni aziendali in lingua inglese.
I pesi sono stati tarati sullo stesso piccolo insieme su cui vengono riportati, quindi i numeri sono ottimistici.
Revisione umana
Ogni punteggio è rivisto da una persona prima di arrivare a una conclusione. Il sistema ordina e spiega; non emette mai un verdetto su un’azienda.
Registro delle prove · 01
Ogni cifra citata sopra, con la sua fonte e ciò che non dice.
Environmental claims extracted from corporate communications and rated for greenwashing risk by human reviewers, forming the reference set the detector is scored against. Human expert ratings collected via a structured questionnaire, then used as ground truth.
Al
2026-01-29
Limiti
Twenty-nine items is a small evaluation set. Every figure derived from it carries wide uncertainty and none of it should be read as a population estimate.
Agreement between the human raters who produced the reference ratings. Krippendorff's alpha across raters; pairwise agreement ≈ 0.852.
Al
2026-01-29
Limiti
α = 0.69 is substantial but not strong agreement: the humans themselves disagree on roughly a third of the signal, which caps how well any model can be expected to match them.
Correlation between the v1 detector score and the human reference rating, over the 29-claim set. Pearson correlation on continuous scores. Spearman 0.811, Kendall 0.627, MAE 0.206, RMSE 0.237.
Confrontato con
v3 rule-based detector, r = 0.793; v2 semantic detector, r = 0.557.
Al
2026-01-29
Limiti
Correlation on 29 items. It says the score moves with reviewer judgement, not that the score is calibrated as a probability of greenwashing.
Binary flag / no-flag performance of the v3 rule-based detector against the human reference labels. Thresholded score compared with binarised human labels on the same 29-claim set.
Confrontato con
v1 baseline: recall 0.15 at precision 1.00 (F1 0.261). v3 reaches F1 0.571.
Al
2026-01-29
Limiti
Recall of 0.40 means roughly three in five flaggable claims are missed. Precision of 1.00 on a set this small is a handful of correct positives, not a guarantee. The tool is a reviewer aid; it cannot be a filter that runs unattended.
Nulla in questo sito è consulenza contabile, di revisione, fiscale, legale o in materia di investimenti, e nessuna cifra qui è una promessa di risultato. Dove compare un numero, compaiono con esso la sua fonte e i suoi limiti.