Report ESG e AI: progettare un'architettura LLM affidabile

Era questa la premessa quando un nostro cliente, una società di consulenza ESG, ci ha contattati. Per noi rappresentava qualcosa di nuovo: non un'integrazione AI su un prodotto, come avevamo fatto in precedenza con PrivateAI Suite, ma la prima volta che mettevamo un LLM al centro dell'architettura di un sistema.

Quello che leggerete è il resoconto di come ci siamo mossi in un territorio che non conoscevamo, le scelte che abbiamo fatto e, soprattutto, perché le abbiamo fatte.

Abbiamo iniziato dall'assessment (e per fortuna)

Il primo passo è stato definire insieme al cliente i principali obiettivi e punti chiave del progetto. Da qui abbiamo elaborato una prima bozza di progetto mettendo a fuoco requisiti, esigenze e possibili direzioni di sviluppo.

Dopo di che ci siamo confrontanti con BI-REX, un Competence Center specializzato in innovazione e ricerca applicata, con cui abbiamo avviato una partnership non troppo tempo fa. Durante queste sessioni abbiamo validato l'idea progettuale iniziale e ragionato insieme su come trasformarla in un progetto concreto basato sull'AI.

L'obiettivo era capire cosa costruire e soprattutto come farlo, cioè quali tecnologie usare, come integrare l'AI nel progetto e come strutturare una soluzione realmente applicabile al contesto del cliente.

L'intero sviluppo del progetto non è stato semplice. Ogni incontro aveva un nodo preciso da sciogliere: come gestire i dati in input, come progettare il flusso conversazionale, come orchestrare gli agenti, come misurare la qualità dell'output. Tuttavia, il contributo più grande non è stato tecnico, ma metodologico: avere un framework per ragionare sul problema prima di correre a risolverlo.

È in questa fase che abbiamo colto il valore del PoC (Proof of Concept) da cui il progetto stesso ha preso forma: partire da esso, invece di puntare al prodotto finito, ci ha permesso di costruire le cose bene e di capire cosa non funzionava.

Imparare a fare il consulente ESG

Per comprendere meglio il contesto applicativo, Il cliente ci ha condiviso il materiale delle sessioni già condotte come registrazioni, trascrizioni, note. Li abbiamo analizzati per capire cosa stesse succedendo in quei testi, prima ancora di pensare a come replicarlo.

E quello che abbiamo capito non si sarebbe potuto ricavare da nessun brief scritto. Un consulente ESG non arriva mai all'intervista improvvisando. Ha in testa un framework dettagliato e consolidato, e lo usa per guidare la conversazione.

Le domande sembrano aperte, ma non lo sono affatto. Sotto c'è una struttura molto più rigida di quanto si pensi: un albero di risposte tipiche, percorsi attesi, segnali di anomalia da approfondire. Il consulente segue un ordine preciso, decide quando scavare in profondità e sa già cosa aspettarsi e cosa no. Far fare tutto questo a un LLM può sembrare semplice. Non lo è.

Il punto dunque non è ottenere semplicemente delle risposte perché, in un ambito così specifico come questo, un'AI libera ne produce di ampie ma poco utili. Per averne di pertinenti serviva un flusso guidato e agenti specializzati, ognuno su una specifica area ESG. Ed è proprio in questa fase che abbiamo capito cosa avrebbe fatto la differenza.

Dal dato non strutturato al dato strutturato

Quella differenza, in concreto, è diventata un'architettura. Dopo aver analizzato i dati e l'approccio del cliente, insieme ai consulenti BI-REX abbiamo messo a fuoco l'obiettivo reale: ottenere il miglior output possibile. E da lì è emersa un'architettura pensata per gestire ogni passaggio in modo controllato, orchestrato da uno specifico agente.

Così siamo arrivati a un flusso guidato. L'agente AI genera dinamicamente delle opzioni di risposta in base al contesto dell'intervista; l'utente sceglie quella più vicina alla sua situazione e può rispondere liberamente quando nessuna calza.

Potrebbe sembrare un limite rispetto a un'AI libera di conversare. È il contrario. Un modello vincolato resta coerente perché il focus è stretto; un utente guidato si stanca meno e sbaglia meno. E i dati che raccogli − il vero output, visto e considerato che finiscono in un report con valenza legale − sono di qualità molto più alta.

Nell'AI applicata la libertà non è un valore in sé. Spesso il risultato migliore nasce dal perimetro più stretto. Ci siamo arrivati sbagliando: errori, modifiche, iterazioni, fino alla forma giusta.

Tre osservazioni che ci portiamo nei prossimi progetti

1. Le aspettative su un LLM sono quasi sempre più ottimistiche della realtà. In molti danno per scontato che l'AI capisca da sola quando essere precisa e quando lascia correre. Nei fatti, in contesti complessi un modello lasciato libero produce risposte plausibili ma poco utili. E in un dominio regolamentato come questo, "poco utile" significa inutilizzabile, perché quei dati finiscono in un documento con valore legale. Allineare presto le aspettative su ciò che la tecnologica fa davvero è parte del lavoro tanto quanto scrivere codice.
2. Un processo ben strutturato in partenza migliora il risultato finale. Abbiamo passato ore a parlare con i consulenti BI-REX, e ogni ora di assessment ne ha risparmiate dieci di iterazione tecnica. La differenza non è stata aggiungere AI a un processo, ma capire come ragiona un consulente ESG e tradurre quella logica in architettura. Senza quella comprensione a monte avremmo costruito uno strumento veloce e sbagliato.
3. Nei domini regolamentati bisogna progettare per il cambiamento. Standard e normative sono terreno in movimento, con aggiornamenti frequenti. Un sistema AI, in questo contesto, non può essere rigido. Per questo abbiamo impostato il lavoro in modo che ogni aggiornamento normativo sia un'operazione di configurazione, non una riscrittura. Una scelta architetturale strategica, perché ci permette di fare il lavoro una volta, per non rifarlo più.

Dove siamo adesso

La collaborazione con BI-REX si chiude con un PoC, affiancato poi da un MVP che comprende un'interfaccia che ospita il modello con cui è possibile dialogare.

Abbiamo poi condotto, insieme al cliente, dei test con interviste reali. Ogni feedback è diventato uno spunto per iterare e affinare il lavoro. Da lì il progetto ha preso la sua forma: una brand identity riconoscibile e una piattaforma già disponibile sul mercato. Trovi tutto nel case study completo.

Nel corso del progetto abbiamo sicuramente sbagliato delle cose − soprattutto all'inizio, quando ci muovevamo in un territorio sconosciuto. Questo non ci ha scoraggiati, anzi ci ha dato la misura di quanto l'approccio conti tanto quanto la tecnologia, forse di più. È esattamente quello che abbiamo trovato lavorando con BI-REX, vale a dire un metodo capace di guidarci nelle fasi più complesse.

Ma una cosa ci portiamo con noi più di ogni altra, cioè che il prossimo progetto di questa portata lo affronteremo partendo, sempre, dalle domande giuste.