RAG aziendale on-premise: guida tecnica per team IT

Il RAG (Retrieval Augmented Generation) aziendale on-premise: cos'è, come funziona e perché i tuoi dati non dovrebbero uscire dall'azienda

Come ottenere risposte accurate dai documenti aziendali con un'AI privata on-premise, senza cedere il controllo dei dati a infrastrutture esterne

Negli ultimi due anni l'adozione dell'AI generativa in azienda ha seguito spesso lo stesso schema: un chatbot cloud collegato ai documenti interni, risposte rapide su contratti e procedure. Tuttavia, una domanda continua essere lasciata in sospeso, fino a quando è troppo tardi, ovvero: dove finiscono i dati aziendali quando il modello li elabora?

È qui che entra in gioco il RAG (Retrieval Augmented Generation) aziendale on-premise. Un'architettura che genera risposte accurate da un LLM (Large Language Model), senza che un solo dato lasci il perimetro aziendale. Non si tratta di un dettaglio tecnico per soli specialisti di sicurezza, bensì rappresenta la differenza tra un'AI realmente controllata dall'IT e una "affittata" da terzi, con conseguenze dirette su sovranità del dato, conformità normativa e rischio di Shadow AI.

In sintesi

• Cos'è il RAG: porta documenti aziendali reali nel contesto di un LLM al momento della domanda, per risposte accurate senza dover riaddestrare il modello.
• RAG cloud: ogni query invia dati interni all'infrastruttura del fornitore, che vede — anche solo temporaneamente — il contesto aziendale.
• RAG on-premise: retrieval e inferenza restano dentro il perimetro aziendale; dati e query non vengono mai ceduti a terzi.
• Segregazione per reparto: il modello non deve restituire documenti HR a una query di Finance, anche se condividono lo stesso assistente AI.
• Normativa: AI Act (Reg. UE 2024/1689) e NIS2 (D.Lgs. 138/2024) impongono obblighi di governance e tracciabilità sui sistemi AI che trattano dati sensibili.

Cos'è il RAG (Retrieval Augmented Generation) e perché le aziende ne hanno bisogno

È importante evidenziare che un LLM conosce solo ciò che ha visto durante l'addestramento. Ne consegue che riaddestrarlo a ogni modifica è costoso e spesso impraticabile.

Il RAG (Retrieval Augmented Generation) risolve il problema in modo diverso: il sistema, prima di rispondere, recupera i documenti più rilevanti dalla base di conoscenza aziendale e li inserisce nel contesto passato al modello che costruisce la risposta, leggendo in tempo reale gli estratti pertinenti.

Ciò comporta per le organizzazioni risposte basate su documenti reali e aggiornati, tracciabilità delle fonti, e costi contenuti. Inoltre, quando un documento cambia, basta aggiornare l'indice di retrieval, senza alcun riaddestramento.

Cosa succede ai dati quando il RAG gira nel cloud: il rischio Shadow AI

Nella maggior parte delle implementazioni "pronte all'uso", i documenti recuperati e la domanda dell'utente vengono inviati come testo in chiaro all'API di un modello ospitato da un fornitore terzo. Ciò significa che, a ogni interazione, dati potenzialmente sensibili lasciano l'infrastruttura aziendale.

Inoltre, anche con i migliori accordi contrattuali, restano alcuni aspetti non gestiti, che molte organizzazioni sottovalutano, quali: il fornitore vede il contesto, anche solo temporaneamente; le query vengono spesso loggate con politiche di retention non sempre verificabili; ogni endpoint esterno amplia la superficie di attacco.

Ancora, esiste un effetto collaterale meno visibile, ma più pericoloso da gestire, ovvero: quando i processi ufficiali sono troppo lenti, i team iniziano a usare strumenti AI consumer non approvati, caricando documenti aziendali su piattaforme mai validate dall'IT. Siamo di fronte alla problematica della Shadow AI che rappresenta una "perdita silenziosa" di sovranità del dato.

Tuttavia, ciò non significa che ogni soluzione RAG in cloud rappresenti automaticamente un rischio inaccettabile. Di fatto, per dati a basso impatto o privi di particolari requisiti di riservatezza, un RAG cloud può rappresentare una scelta efficiente, scalabile e sostenibile.

Lo scenario cambia, invece, quando si gestiscono documenti strategici, contratti, dati dei clienti, informazioni del personale o altri asset informativi sensibili. In questi casi è fondamentale avere piena visibilità su dove i dati vengono elaborati, archiviati e trasferiti durante l'interazione con sistemi di Intelligenza Artificiale.

E' importante evidenziare che conoscere il percorso e la localizzazione dei dati non è solo una buona pratica di governance, ma un requisito essenziale per garantire la conformità alle normative vigenti in materia di protezione dei dati, privacy, sicurezza delle informazioni e sovranità del dato.

RAG aziendale on-premise: architettura e vantaggi per i team IT

Un RAG aziendale on-premise sposta l'intera catena (i.e. indicizzazione, retrieval, inferenza) dentro l'infrastruttura controllata dall'azienda: data center proprietario, cloud privato isolato o ambiente air-gapped.

L'architettura tipica prevede:

• Layer di ingestione che trasforma i documenti interni in embedding
• Vector database interno per la ricerca semantica
• Motore di inferenza locale basato su modelli open-weight (Llama, Mistral, Qwen)
• Orchestratore che gestisce il flusso retrieval → prompt → generazione, applicando le regole di accesso

Per i team IT i vantaggi sono concreti:

• Sovranità del dato reale, dato che nessun documento o log lascia mai il perimetro definito
• Controllo granulare sugli accessi, integrabile con Active Directory o Single Sign-On (SSO) esistenti
• Prestazioni prevedibili, senza latenza o rate limit imposti da terzi
• Costi più stabili rispetto al modello a consumo
• Audit trail completo su ogni query e risposta generata

È importante evidenziare che un sistema RAG non è privo di complessità: richiede competenze interne nella gestione dell'infrastruttura, delle risorse GPU, dei database vettoriali e del ciclo di vita dei modelli AI. Tuttavia, per le aziende che elaborano quotidianamente dati sensibili o critici, questi costi operativi sono spesso compensati dai benefici in termini di: sovranità del dato, sicurezza delle informazioni, compliance e mitigazione del rischio cyber.

Segregazione dati per reparto: il dettaglio che cambia tutto nel RAG aziendale

Un errore comune, in cloud come on-premise, è trattare l'intera base documentale come un unico blocco accessibile a chiunque interroghi il sistema. Ad esempio, se la funzione Finance chiede informazioni su una ristrutturazione, il modello non deve poter recuperare documenti riservati HR, anche se condividono lo stesso assistente AI.

Ne consegue che la segregazione dati per reparto va progettata a livello di retrieval e non lasciata al prompt, ovvero: indici filtrati per ruolo, metadati di classificazione su ogni documento (i.e. reparto proprietario, livello di confidenzialità), autenticazione a livello di query integrata con l'identità reale dell'utente e test di red-teaming periodici per verificare che nessun reparto riesca a estrarre informazioni non proprie.

Un'architettura on-premise rende questo controllo più naturale, dato che identità, permessi, retrieval e log restano sotto la stessa governance interna, senza dover tradurre le policy aziendali nei meccanismi spesso più rigidi di una piattaforma SaaS esterna.

Cosa controllare prima di scegliere un'architettura RAG aziendale on-premise

Un'organizzazione, prima di scegliere fornitori o piattaforme, dovrebbe disporre di risposte chiare su alcuni punti e, precisamente:

• Dove risiedono fisicamente i dati indicizzati (i.e. data center aziendale, cloud privato UE, ambiente air-gapped)?
• Chi ha accesso ai log delle query, anche internamente?
• Come viene gestita la segregazione dati per reparto: a livello di retrieval o solo nel prompt?
• Quali modelli vengono usati, open-weight o proprietari con dipendenza da API esterne?
• Esiste un piano di aggiornamento di modelli e indici, e un audit trail verificabile?
• Chi nell'organizzazione è responsabile della governance LLM nel tempo?

Affrontare questi punti prima della scelta tecnologica, e non dopo, distingue un'adozione AI strutturata da un progetto che rischia di trasformarsi in un problema di sicurezza nei mesi successivi.

AI Act, NIS2 e governance LLM: le implicazioni normative che i team IT non possono ignorare

Il quadro normativo europeo non tratta più l'AI come un tema puramente tecnologico. Il Regolamento UE 2024/1689 (AI Act) impone obblighi di trasparenza, documentazione e gestione del rischio, più stringenti, quanto più alto è il rischio dell'applicazione. Ne consegue che un RAG che elabora dati HR o sanitari rientra facilmente in categorie che richiedono tracciabilità delle decisioni.

Inoltre, il D.Lgs. 138/2024, di recepimento della NIS2, estende gli obblighi di sicurezza informatica a una platea più ampia di organizzazioni, imponendo misure tecniche concrete per i sistemi che trattano informazioni critiche.

Per i team IT questo significa:

• Documentare la governance LLM, non solo implementarla
• Ricordare che la responsabilità non si trasferisce automaticamente al fornitore cloud
• Considerare che un'architettura on-premise non elimina gli obblighi normativi, ma rende molto più semplice produrre le evidenze richieste in caso di audit

Conclusione: da dove iniziare per un RAG aziendale on-premise sicuro

Se l'organizzazione dispone già di un RAG in produzione, la prima azione non è valutare un cambio architetturale, bensì eseguire quanto prima un audit per comprendere quali documenti sono indicizzati, chi può interrogarli senza filtri per reparto, e dove transitano i dati a ogni query. Tale audit, spesso, rivela gap di segregazione passati inosservati.

Mentre, se il progetto è ancora in valutazione, è necessario definire prima le policy di accesso e segregazione dati per reparto e, successivamente, scegliere modello e infrastruttura.

È importante evidenziare, altresì, che un'architettura tecnicamente eccellente, ma costruita su permessi mappati in fretta, produce lo stesso rischio di un RAG mal progettato.

Infine, le organizzazioni devono affrontare apertamente il tema della Shadow AI: se i dipendenti usano già strumenti non approvati, la soluzione non è vietarli, ma offrire un'alternativa interna abbastanza rapida da renderli superflui.

Concludendo, un RAG aziendale on-premise, ben progettato, si converte nello strumento più efficace per riportare l'AI sotto il controllo dell'IT.

Domande frequenti

Cos'è il RAG aziendale on-premise?

Il RAG (Retrieval Augmented Generation) aziendale on-premise è un'architettura che consente a un Large Language Model di rispondere a domande usando documenti interni come base di conoscenza, senza che nessun dato lasci l'infrastruttura controllata dall'organizzazione. Il modello legge gli estratti pertinenti al momento della query e costruisce la risposta localmente: indicizzazione, retrieval e inferenza restano tutti dentro il perimetro aziendale. Per un caso concreto di come l'AI privata on-premise elimina il rischio Shadow AI, il cold case Samsung ne mostra le implicazioni operative.

Qual è la differenza tra RAG cloud e RAG on-premise?

Nel RAG cloud, i documenti recuperati e la domanda dell'utente vengono inviati come testo a un modello ospitato da un fornitore esterno: ogni interazione sposta dati potenzialmente sensibili fuori dall'azienda. Nel RAG on-premise, retrieval e inferenza restano dentro il perimetro controllato, su data center proprietario, cloud privato isolato o ambiente air-gapped. La distinzione che conta non è tecnica: è chi può vedere il contenuto delle query e dei documenti elaborati, con quale policy di retention e sotto quale giurisdizione. Per capire perché la protezione del perimetro non è più sufficiente, l'analisi sull'approccio file-centric al DLP 2.0 spiega la logica di fondo.

Quali normative europee si applicano ai sistemi RAG che gestiscono dati sensibili?

Il Regolamento UE 2024/1689 (AI Act) impone obblighi di trasparenza e gestione del rischio proporzionali alla categoria di rischio dell'applicazione: un RAG che elabora dati del personale o sanitari rientra in categorie che richiedono tracciabilità delle decisioni. La direttiva NIS2, recepita in Italia con il D.Lgs. 138/2024, impone misure tecniche concrete per i sistemi che trattano informazioni critiche, con scadenza operativa ottobre 2026 ai sensi della Determinazione ACN 127437 del 13 aprile 2026. Un'architettura on-premise non elimina questi obblighi, ma semplifica la produzione delle evidenze richieste in caso di audit: per un'analisi delle implicazioni organizzative, consulta il nostro articolo sulla governance strategica NIS2 e GDPR.

AIGrant è una soluzione di RAG aziendale on-premise?

Sì. AIGrant è la soluzione di AI privata on-premise di CyberGrant: include RAG aziendale con retrieval su documenti interni, inferenza locale su infrastruttura controllata dall'organizzazione, segregazione dati per reparto integrata con Active Directory o SSO, e audit trail completo su ogni query e risposta generata. Non sostituisce Copilot o altri assistenti cloud aziendali: si affianca alla dotazione AI esistente, coprendo i casi d'uso dove i dati non possono uscire dal perimetro aziendale o dove la governance LLM richiede evidenze verificabili per audit normativi.

Cosa fa AIGrant

AIGrant è la componente di AI privata on-premise di CyberGrant. Costruisce un RAG aziendale sui documenti interni, li classifica automaticamente per reparto e risponde in linguaggio naturale solo a chi è autorizzato: nessuna query, nessun documento, nessun log transita su server di terzi. Ogni interazione è loggata e verificabile. Si integra con Active Directory, SSO e suite M365 senza richiedere una migrazione dell'infrastruttura esistente.

Cosa lo rende diverso

Tenere l'AI dentro il perimetro non è un compromesso sulla produttività: è la condizione per usarla senza esporsi. I file indicizzati da AIGrant restano protetti con crittografia CRYSTALS-Kyber (standard NIST FIPS 203, post-quantum) anche durante il retrieval, grazie all'integrazione nativa con FileGrant. La protezione del dato non si interrompe quando l'AI lo legge. AIGrant non sostituisce gli strumenti cloud già in uso: si affianca, coprendo i casi d'uso dove i dati non possono uscire dal perimetro e dove la governance LLM deve produrre evidenze concrete per audit e compliance.

Scopri AIGrant