Il RAG (Retrieval Augmented Generation) aziendale on-premise: cos'è, come funziona e perché i tuoi dati non dovrebbero uscire dall'azienda
Come ottenere risposte accurate dai documenti aziendali con un'AI privata on-premise, senza cedere il controllo dei dati a infrastrutture esterne
Negli ultimi due anni l'adozione dell'AI generativa in azienda ha seguito spesso lo stesso schema: un chatbot cloud collegato ai documenti interni, risposte rapide su contratti e procedure. Tuttavia, una domanda continua ad essere lasciata in sospeso, fino a quando è troppo tardi, ovvero: dove finiscono i dati aziendali quando il modello li elabora?
È qui che entra in gioco il RAG (Retrieval Augmented Generation) aziendale on-premise. Un'architettura che genera risposte accurate da un LLM (Large Language Model), senza che un solo dato lasci il perimetro aziendale. Non si tratta di un dettaglio tecnico per soli specialisti di sicurezza, bensì rappresenta la differenza tra un'AI realmente controllata dall'IT e una "affittata" da terzi, con conseguenze dirette su sovranità del dato, conformità normativa e rischio di Shadow AI.
In sintesi
- Cos'è il RAG: porta documenti aziendali reali nel contesto di un LLM al momento della domanda, per risposte accurate senza dover riaddestrare il modello.
- RAG cloud: ogni query invia dati interni all'infrastruttura del fornitore, che vede, anche solo temporaneamente, il contesto aziendale.
- RAG on-premise: retrieval e inferenza restano dentro il perimetro aziendale; dati e query non vengono mai ceduti a terzi.
- Segregazione per reparto: il modello non deve restituire documenti HR a una query di Finance, anche se condividono lo stesso assistente AI.
- Normativa: AI Act (Reg. UE 2024/1689) e NIS2 (D.Lgs. 138/2024) impongono obblighi di governance e tracciabilità sui sistemi AI che trattano dati sensibili.
- AIGrant, l’estensione di AI privata di CyberGrant integrata in FileGrant, porta il RAG on-premise sui documenti aziendali: ogni dipendente interroga solo i file a cui è già autorizzato.
Cos'è il RAG (Retrieval Augmented Generation) e perché le aziende ne hanno bisogno
Un LLM conosce solo ciò che ha visto durante l'addestramento. Ne consegue che riaddestrarlo a ogni modifica è costoso e spesso impraticabile.
Il RAG (Retrieval Augmented Generation) risolve il problema in modo diverso: il sistema, prima di rispondere, recupera i documenti più rilevanti dalla base di conoscenza aziendale e li inserisce nel contesto passato al modello che costruisce la risposta, leggendo in tempo reale gli estratti pertinenti.
Ciò comporta per le organizzazioni risposte basate su documenti reali e aggiornati, tracciabilità delle fonti, e costi contenuti. Inoltre, quando un documento cambia, basta aggiornare l'indice di retrieval, senza alcun riaddestramento.
Cosa succede ai dati quando il RAG gira nel cloud: il rischio Shadow AI
Nella maggior parte delle implementazioni "pronte all'uso", i documenti recuperati e la domanda dell'utente vengono inviati come testo in chiaro all'API di un modello ospitato da un fornitore terzo. Ciò significa che, a ogni interazione, dati potenzialmente sensibili lasciano l'infrastruttura aziendale.
Inoltre, anche con i migliori accordi contrattuali, restano alcuni aspetti non gestiti, che molte organizzazioni sottovalutano, quali: il fornitore vede il contesto, anche solo temporaneamente; le query vengono spesso loggate con politiche di retention non sempre verificabili; ogni endpoint esterno amplia la superficie di attacco.
Ancora, esiste un effetto collaterale meno visibile, ma più pericoloso da gestire, ovvero: quando i processi ufficiali sono troppo lenti, i team iniziano a usare strumenti AI consumer non approvati, caricando documenti aziendali su piattaforme mai validate dall'IT. Siamo di fronte alla problematica della Shadow AI che rappresenta una "perdita silenziosa" di sovranità del dato.
Tuttavia, ciò non significa che ogni soluzione RAG in cloud rappresenti automaticamente un rischio inaccettabile. Di fatto, per dati a basso impatto o privi di particolari requisiti di riservatezza, un RAG cloud può rappresentare una scelta efficiente, scalabile e sostenibile.
Lo scenario cambia, invece, quando si gestiscono documenti strategici, contratti, dati dei clienti, informazioni del personale o altri asset informativi sensibili. In questi casi è fondamentale avere piena visibilità su dove i dati vengono elaborati, archiviati e trasferiti durante l'interazione con sistemi di Intelligenza Artificiale.
Conoscere il percorso e la localizzazione dei dati non è solo una buona pratica di governance, ma un requisito essenziale per garantire la conformità alle normative vigenti in materia di protezione dei dati, privacy, sicurezza delle informazioni e sovranità del dato.
RAG aziendale on-premise: architettura e vantaggi per i team IT
Un RAG aziendale on-premise sposta l'intera catena (i.e. indicizzazione, retrieval, inferenza) dentro l'infrastruttura controllata dall'azienda: data center proprietario, cloud privato isolato o ambiente air-gapped.
L'architettura tipica prevede:
- Layer di ingestione che trasforma i documenti interni in embedding
- Vector database interno per la ricerca semantica
- Motore di inferenza locale basato su modelli open-weight (Llama, Mistral, Qwen)
- Orchestratore che gestisce il flusso retrieval → prompt → generazione, applicando le regole di accesso
Per i team IT i vantaggi sono concreti:
- Sovranità del dato reale, dato che nessun documento o log lascia mai il perimetro definito
- Controllo granulare sugli accessi, integrabile con Active Directory o Single Sign-On (SSO) esistenti
- Prestazioni prevedibili, senza latenza o rate limit imposti da terzi
- Costi più stabili rispetto al modello a consumo
- Audit trail completo su ogni query e risposta generata
È importante evidenziare che un sistema RAG non è privo di complessità: richiede competenze interne nella gestione dell'infrastruttura, delle risorse GPU, dei database vettoriali e del ciclo di vita dei modelli AI. Tuttavia, per le aziende che elaborano quotidianamente dati sensibili o critici, questi costi operativi sono spesso compensati dai benefici in termini di: sovranità del dato, sicurezza delle informazioni, compliance e mitigazione del rischio cyber.
Segregazione dati per reparto: il dettaglio che cambia tutto nel RAG aziendale
Un errore comune, in cloud come on-premise, è trattare l'intera base documentale come un unico blocco accessibile a chiunque interroghi il sistema. Ad esempio, se la funzione Finance chiede informazioni su una ristrutturazione, il modello non deve poter recuperare documenti riservati HR, anche se condividono lo stesso assistente AI.
Ne consegue che la segregazione dati per reparto va progettata a livello di retrieval e non lasciata al prompt, ovvero: indici filtrati per ruolo, metadati di classificazione su ogni documento (i.e. reparto proprietario, livello di confidenzialità), autenticazione a livello di query integrata con l'identità reale dell'utente e test di red-teaming periodici per verificare che nessun reparto riesca a estrarre informazioni non proprie.
Un'architettura on-premise rende questo controllo più naturale, dato che identità, permessi, retrieval e log restano sotto la stessa governance interna, senza dover tradurre le policy aziendali nei meccanismi spesso più rigidi di una piattaforma SaaS esterna.
Cosa controllare prima di scegliere un'architettura RAG aziendale on-premise
Un'organizzazione, prima di scegliere fornitori o piattaforme, dovrebbe disporre di risposte chiare su alcuni punti e, precisamente:
- Dove risiedono fisicamente i dati indicizzati (i.e. data center aziendale, cloud privato UE, ambiente air-gapped)?
- Chi ha accesso ai log delle query, anche internamente?
- Come viene gestita la segregazione dati per reparto: a livello di retrieval o solo nel prompt?
- Quali modelli vengono usati, open-weight o proprietari con dipendenza da API esterne?
- Esiste un piano di aggiornamento di modelli e indici, e un audit trail verificabile?
- Chi nell'organizzazione è responsabile della governance LLM nel tempo?
Affrontare questi punti prima della scelta tecnologica, e non dopo, distingue un'adozione AI strutturata da un progetto che rischia di trasformarsi in un problema di sicurezza nei mesi successivi.
AI Act, NIS2 e governance LLM: le implicazioni normative che i team IT non possono ignorare
Il quadro normativo europeo non tratta più l'AI come un tema puramente tecnologico. Il Regolamento UE 2024/1689 (AI Act) impone obblighi di trasparenza, documentazione e gestione del rischio, più stringenti, quanto più alto è il rischio dell'applicazione. Ne consegue che un RAG che elabora dati HR o sanitari rientra facilmente in categorie che richiedono tracciabilità delle decisioni.
Inoltre, il D.Lgs. 138/2024, di recepimento della NIS2, estende gli obblighi di sicurezza informatica a una platea più ampia di organizzazioni, imponendo misure tecniche concrete per i sistemi che trattano informazioni critiche.
Per i team IT questo significa:
- Documentare la governance LLM, non solo implementarla
- Ricordare che la responsabilità non si trasferisce automaticamente al fornitore cloud
- Considerare che un'architettura on-premise non elimina gli obblighi normativi, ma rende molto più semplice produrre le evidenze richieste in caso di audit
Conclusione: da dove iniziare per un RAG aziendale on-premise sicuro
Se l'organizzazione dispone già di un RAG in produzione, la prima azione non è valutare un cambio architetturale, bensì eseguire quanto prima un audit per comprendere quali documenti sono indicizzati, chi può interrogarli senza filtri per reparto, e dove transitano i dati a ogni query. Tale audit, spesso, rivela gap di segregazione passati inosservati.
Mentre, se il progetto è ancora in valutazione, è necessario definire prima le policy di accesso e segregazione dati per reparto e, successivamente, scegliere modello e infrastruttura.
È importante evidenziare, altresì, che un'architettura tecnicamente eccellente, ma costruita su permessi mappati in fretta, produce lo stesso rischio di un RAG mal progettato.
Infine, le organizzazioni devono affrontare apertamente il tema della Shadow AI: se i dipendenti usano già strumenti non approvati, la soluzione non è vietarli, ma offrire un'alternativa interna abbastanza rapida da renderli superflui.
Concludendo, un RAG aziendale on-premise, ben progettato, si converte nello strumento più efficace per riportare l'AI sotto il controllo dell'IT.
A cura di Federica Maria Rita Livelli
Come applica AIGrant questi principi?
AIGrant è l’estensione di AI privata di CyberGrant, integrata in FileGrant: indicizza, classifica e rende interrogabili in linguaggio naturale i documenti aziendali. Si può installare on-premise, sui server dell’azienda, con documenti e modello RAG che restano nell’infrastruttura del cliente. Ecco come risponde alle domande della checklist qui sopra.
Dove risiedono i dati. Nell’installazione on-premise documenti, indice e modello restano sui server aziendali. I dati non alimentano modelli pubblici.
Segregazione per reparto. AIGrant rispetta i permessi RBAC di FileGrant e legge solo i file per cui l’utente ha i permessi: il filtro scatta quando il sistema recupera i documenti, prima che il modello componga la risposta.Così nessun utente può ricavare dalle risposte informazioni contenute in un file che non è autorizzato ad aprire.
Classificazione. Gli agenti di classificazione, configurabili con criteri e prompt dell’azienda, leggono il contenuto e applicano le regole di sicurezza collegate. Un esempio: individuano i file che contengono un IBAN, li etichettano come riservati e ne limitano l’accesso al reparto Finance.
Audit. Ogni azione di classificazione viene registrata nei log con motivo, data e agente che l’ha eseguita, e AIGrant genera report sull’uso dei dati per audit e compliance.
Protezione del file. AIGrant lavora solo nello spazio cifrato di FileGrant, dove i documenti sono protetti con Lock&Go e CRYSTALS-Kyber (NIST FIPS 203).
AIGrant si affianca a Copilot e agli assistenti cloud già in uso e copre i documenti che non possono uscire dal perimetro. Perché la classificazione manuale non regge su archivi di queste dimensioni è spiegato in Governance dei dati: perché la classificazione manuale fallisce.
Cosa fa AIGrant
AIGrant è la componente di AI privata on-premise di CyberGrant. Costruisce un RAG aziendale sui documenti interni, li classifica automaticamente per reparto e risponde in linguaggio naturale solo a chi è autorizzato: nessuna query, nessun documento, nessun log transita su server di terzi. Ogni interazione è loggata e verificabile. Si integra con Active Directory, SSO e suite M365 senza richiedere una migrazione dell'infrastruttura esistente.
Cosa lo rende diverso
Tenere l'AI dentro il perimetro non è un compromesso sulla produttività: è la condizione per usarla senza esporsi. I file indicizzati da AIGrant restano protetti con crittografia CRYSTALS-Kyber (standard NIST FIPS 203, post-quantum) anche durante il retrieval, grazie all'integrazione nativa con FileGrant. La protezione del dato non si interrompe quando l'AI lo legge. AIGrant non sostituisce gli strumenti cloud già in uso: si affianca, coprendo i casi d'uso dove i dati non possono uscire dal perimetro e dove la governance LLM deve produrre evidenze concrete per audit e compliance.
Domande frequenti
Cos’è il RAG aziendale on-premise?
Il RAG (Retrieval Augmented Generation) aziendale on-premise è un’architettura che consente a un Large Language Model di rispondere usando i documenti interni come base di conoscenza, senza che i dati lascino l’infrastruttura controllata dall’organizzazione: indicizzazione, retrieval e inferenza restano dentro il perimetro aziendale. AIGrant, l’estensione di AI privata di CyberGrant integrata in FileGrant, applica questa architettura e si installa sui server dell’azienda. Il cold case Samsung mostra cosa succede quando documenti riservati finiscono su un’AI pubblica.
Qual è la differenza tra RAG cloud e RAG on-premise?
Nel RAG cloud i documenti recuperati e la domanda dell’utente vengono inviati come testo a un modello ospitato da un fornitore esterno: ogni interazione porta dati potenzialmente sensibili fuori dall’azienda. Nel RAG on-premise retrieval e inferenza restano nel perimetro controllato, su data center proprietario, cloud privato isolato o ambiente air-gapped. La differenza decisiva riguarda chi può vedere il contenuto di query e documenti, con quale politica di conservazione e sotto quale giurisdizione. Con AIGrant di CyberGrant installato on-premise, documenti e modello RAG restano sui server aziendali.
Come si gestisce la segregazione dei dati per reparto in un RAG on-premise?
La segregazione si progetta nel retrieval: il sistema deve recuperare solo i documenti che l’utente è autorizzato a vedere, prima che il modello componga la risposta. Servono metadati di classificazione su ogni documento, come reparto proprietario e livello di riservatezza, autenticazione legata all’identità reale dell’utente e test periodici. AIGrant di CyberGrant rispetta i permessi RBAC di FileGrant, quindi ogni dipendente interroga solo i file a cui è già autorizzato, e i suoi agenti di classificazione applicano in automatico le regole di sicurezza in base al contenuto.
Quali normative europee si applicano ai sistemi RAG che gestiscono dati sensibili?
Il Regolamento UE 2024/1689 (AI Act) impone obblighi di trasparenza e gestione del rischio proporzionali alla categoria di rischio dell’applicazione: un RAG che elabora dati del personale o sanitari rientra in categorie che richiedono tracciabilità delle decisioni. La direttiva NIS2, recepita in Italia con il D.Lgs. 138/2024, chiede misure tecniche concrete per i sistemi che trattano informazioni critiche; per i soggetti inseriti nell’elenco nel 2025 le misure di base vanno rese operative entro il 31 ottobre 2026. AIGrant di CyberGrant registra nei log ogni azione di classificazione e genera report sull’uso dei dati, evidenze utili in caso di audit.
AIGrant è una soluzione di RAG aziendale on-premise?
Sì. AIGrant è l’estensione di AI privata di CyberGrant, integrata in FileGrant. Indicizza e classifica i documenti interni, risponde in linguaggio naturale e si può installare on-premise, sui server aziendali, con documenti e modello RAG che restano nell’infrastruttura del cliente. Rispetta i permessi RBAC, quindi ogni dipendente accede solo ai file autorizzati, e registra nei log ogni azione di classificazione con motivo, data e agente.
AIGrant sostituisce Microsoft 365 Copilot?
No. AIGrant di CyberGrant si affianca a Copilot e agli assistenti cloud già in uso e copre i documenti riservati che non devono uscire dal perimetro aziendale: lavora sui server dell’azienda e non alimenta modelli pubblici. Per i file conservati in SharePoint e OneDrive, Connector di CyberGrant li cifra senza migrazione, e Copilot e gli altri assistenti vedono solo testo cifrato e metadati.
Quali piattaforme di RAG on-premise può valutare una grande azienda italiana?
Le strade sono due. La prima è costruire lo stack internamente, con modelli open-weight come Llama, Mistral o Qwen, un database vettoriale e un orchestratore. La seconda è adottare una piattaforma che integra già retrieval, permessi e audit. AIGrant di CyberGrant appartiene alla seconda famiglia: è integrata in FileGrant, si installa on-premise e porta nel RAG i permessi e la classificazione già definiti sui file. CyberGrant ha sede operativa a Milano e ricerca e sviluppo in Italia.