RAG
Răspuns cu sursa: cum reduci halucinațiile AI
Un răspuns cu sursa pune lângă fiecare afirmație pasajul din document care o susține. Modelul primește voie să spună „nu știu”, scoate întâi citatele și abia apoi răspunde, iar o afirmație fără citat se retrage. Halucinațiile scad mult, dar nu dispar, așa că deciziile importante le verifică un om.
Actualizat la
Ce este grounding?
Răspunsul se sprijină pe textul primit, în locul cunoștințelor generale ale modelului. În practică îi dai documentele, îi ceri să folosească doar informația din ele și să citeze pasajul pe care se bazează.
Cum funcționează citările?
- Documentele intră în cerere: PDF, text simplu sau conținut împărțit de tine în blocuri.
- La PDF și text simplu, textul se taie în propoziții, ca modelul să poată cita una singură sau un paragraf întreg.
- Răspunsul vine cu pasajul exact și locul lui: pagina la PDF, poziția caracterelor la text.
- Într-un RAG, fiecare bucată găsită poate intra ca document separat.
Cum reduci halucinațiile?
- Îi dai voie modelului să spună „nu știu” sau că documentele nu au informația.
- La documente lungi, îi ceri întâi citatele exacte și abia apoi analiza.
- După răspuns, fiecare afirmație își caută citatul; fără citat, afirmația iese.
- Rulezi aceeași cerere de mai multe ori și compari. Diferențele pot semnala o halucinație.
Întrebări frecvente
De ce e bine ca modelul să poată spune „nu știu”?
Ghidul Anthropic despre halucinații pune pe primul loc permisiunea explicită de a recunoaște incertitudinea și spune că tehnica reduce mult informațiile false. Un „nu știu” se verifică ușor, un răspuns inventat nu.
Elimină citările halucinațiile?
Nu. Același ghid spune că tehnicile le reduc, dar nu le elimină complet. Informația critică se verifică, mai ales când de ea depinde o decizie importantă.
Pot avea încredere că citatul există în document?
Cu funcția de citări din API-ul Claude, citările indică garantat spre documentele primite. Asta arată de unde vine textul. Dacă pasajul chiar susține afirmația, verifici tu sau un pas separat de verificare.
Cum citează un sistem cu mai mulți agenți?
În sistemul de cercetare cu mai mulți agenți descris de Anthropic, după ce strângerea informației se încheie, un agent separat pentru citări parcurge documentele și raportul și leagă fiecare afirmație de sursa ei.
Merg citările pe documente scanate?
Pe PDF-uri, doar dacă au text care se poate extrage. Imaginile din PDF nu se pot cita deocamdată.
Surse
Citește și
Articole înrudite
Ce este RAG și cum funcționează, pas cu pas
RAG (Retrieval-Augmented Generation) înseamnă că modelul caută întâi în documentele tale și scrie răspunsul din ce a găsit. Documentele se taie în bucăți, fiecare bucată devine un embedding într-un index, iar la fiecare întrebare bucățile cele mai apropiate ca sens intră în prompt, lângă întrebare.CiteșteHuman in the loop: când aprobă omul ce face agentul AI
Human in the loop înseamnă că un om aprobă acțiunile cu impact mare ale unui agent AI înainte să se întâmple. Restul merge singur, cu unelte și permisiuni minime, iar autorizarea stă în sistemele din aval, în afara deciziei modelului. Așa recomandă OWASP să ții în frâu un agent cu prea multă putere.Citește
Studii de caz
Servicii legate
Vrei răspunsuri cu sursa pe documentele tale?
Construim asistentul pe documentele firmei, cu pasajul din document lângă fiecare răspuns.
Vezi chatbotul pe documente