Agenți AI
Human in the loop: când aprobă omul ce face agentul AI
Human in the loop înseamnă că un om aprobă acțiunile cu impact mare ale unui agent AI înainte să se întâmple. Restul merge singur, cu unelte și permisiuni minime, iar autorizarea stă în sistemele din aval, în afara deciziei modelului. Așa recomandă OWASP să ții în frâu un agent cu prea multă putere.
Actualizat la
Ce înseamnă human in the loop?
Agentul lucrează singur, dar se oprește în puncte stabilite și așteaptă omul. Anthropic descrie agenți care cer feedback uman la puncte de control sau când se blochează, cu condiții de oprire puse dinainte, cum ar fi un număr maxim de iterații.
Ce acțiuni cer aprobarea omului?
Acțiunile cu impact mare, cele care se întorc greu. Exemplul OWASP e un asistent care citește emailurile ca să le rezume: el poate pregăti un răspuns, dar fiecare email scris de el îl revede și îl trimite omul.
De ce autorizarea nu se lasă la model?
Modelul poate fi păcălit. În același exemplu OWASP, un email construit special îi dă agentului instrucțiuni ascunse să caute în inbox și să trimită date sensibile unui atacator. De aceea OWASP cere ca autorizarea să stea în sistemele din aval. Claude Code aplică aceeași logică: regulile de permisiune le aplică programul, iar modelul nu le poate schimba din prompt.
Cum limitezi un agent AI?
- Îi dai doar uneltele de care are nevoie pentru treaba lui.
- Fiecare unealtă face doar atât cât trebuie: cea de rezumat emailuri doar citește.
- Permisiunile spre alte sisteme sunt minime, de exemplu acces doar de citire.
- Testezi întâi într-un sandbox, cu gărzile puse.
Întrebări frecvente
Ce cere EU AI Act Art. 14?
Articolul privește sistemele AI cu risc ridicat, nu orice agent, și nu se aplică încă: termenele pe categorii sunt pe pagina articolului. Cere ca sistemul să le permită celor care îl supraveghează să-i înțeleagă limitele, să ignore sau să inverseze un rezultat și să-l oprească, de exemplu cu un buton „stop”.
Ce este automation bias?
Tendința de a te baza automat sau prea mult pe ce produce sistemul. Art. 14 cere ca sistemul să-l ajute pe omul care îl supraveghează să rămână atent la ea.
Ce este Excessive Agency?
Un risc din lista OWASP pentru aplicațiile LLM: agentul poate face acțiuni dăunătoare pentru că are prea multe funcții, prea multe permisiuni sau prea multă autonomie.
Un prompt bun nu ajunge?
Nu. Instrucțiunile din prompt schimbă ce încearcă modelul să facă. Ce are voie să facă decid regulile aplicate în afara lui, cum sunt regulile de permisiune din Claude Code.
Nu încetinește aprobarea omului agentul?
Doar pe acțiunile cu impact mare. Restul treburilor merg singure, în limitele uneltelor și permisiunilor primite.
Surse
Citește și
Articole înrudite
Hooks în Claude Code: cum oprești o acțiune înainte să ruleze
Un hook în Claude Code este un handler care rulează automat la un moment fix din sesiune: o comandă, un apel HTTP sau un prompt. Hook-ul PreToolUse rulează înainte ca Claude să folosească o unealtă și o poate opri, cu codul de ieșire 2 sau cu decizia deny, iar motivul ajunge la Claude.CiteșteRăspuns cu sursa: cum reduci halucinațiile AI
Un răspuns cu sursa pune lângă fiecare afirmație pasajul din document care o susține. Modelul primește voie să spună „nu știu”, scoate întâi citatele și abia apoi răspunde, iar o afirmație fără citat se retrage. Halucinațiile scad mult, dar nu dispar, așa că deciziile importante le verifică un om.Citește
Studii de caz
Servicii legate
Vrei un agent care cere aprobare unde contează?
Construim agenți care duc singuri treaba de rutină și așteaptă da-ul unui om pe acțiunile cu impact mare.
Vezi agenții AI