Cos’è la RAG, la tecnica con cui l’AI risponde partendo dai vostri documenti
La RAG, retrieval-augmented generation, è una tecnica in cui il sistema prima cerca nei vostri documenti i passaggi pertinenti alla domanda, poi li passa al modello linguistico che scrive la risposta. Il modello si appoggia su quello che ha appena letto invece che solo su quello che ricorda dall’addestramento, e può indicare il documento da cui prende la risposta.
Come funziona
La RAG lavora in due tempi. Quando un documento entra nell’archivio viene diviso in brani di qualche paragrafo, e ogni brano diventa un vettore numerico che ne rappresenta il significato. A ogni domanda il sistema cerca i brani con il significato più vicino e li mette nel testo che il modello legge prima di rispondere. Molti sistemi affiancano una ricerca per parole esatte, perché un codice articolo o una sigla di norma si trovano meglio così.
Il nome viene da un articolo di ricercatori di Facebook AI presentato a NeurIPS nel 2020 (Lewis e altri, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks).
Lo schema in una riga
risposta = modello(domanda + brani trovati nei documenti)
La qualità della risposta dipende quasi tutta dal secondo termine. Se la ricerca porta i brani giusti, anche un modello di fascia media risponde bene; se porta una procedura superata, il modello la riporterà con sicurezza.
Un esempio: la domanda di un casaro
Caseus AI, che abbiamo fatto per l’Accademia Italiana del Latte di Vignola, risponde ai caseifici partendo dalla documentazione tecnica dell’Accademia. Poniamo che un casaro scriva che le forme hanno la crosta spaccata dopo venti giorni di stagionatura: con la RAG il sistema cerca nelle dispense i brani su crosta, umidità della cella e salatura, e il modello risponde partendo da quelli.
Senza RAG lo stesso modello userebbe il sapere generico di internet sul formaggio, che può andare bene per un altro formaggio e male per quello. Con la RAG la risposta resta dentro le dispense, e se le dispense non trattano l’argomento il modello può essere istruito a dirlo invece di tirare a indovinare.
Errori comuni
- Caricare PDF scansionati senza riconoscimento del testo. Per la ricerca una pagina fotografata è vuota.
- Lasciare nell’archivio tre versioni della stessa procedura. Il sistema trova anche quella del 2019 e non sa che è superata.
- Ignorare i permessi. Se nell’archivio ci sono i verbali del consiglio di amministrazione, la ricerca deve scartarli per chi non li può leggere prima di passare i brani al modello: dopo è tardi.
- Chiedere somme su tabelle lunghe. La RAG trova testo; per il fatturato di un anno serve una query al database, che un agente può lanciare al posto della ricerca nei documenti.
Domande frequenti
Parliamone in 30 minuti
Raccontateci il processo e cosa non funziona: vi diciamo se e come lo risolveremmo, con tempi e costi indicativi.
