Securitatea aplicațiilor AI și LLM în România

Cele patru riscuri care apar cel mai des

Din OWASP Top 10 pentru aplicații LLM, patru revin aproape la fiecare proiect. Prompt injection: instrucțiuni ascunse într-un document, un e-mail sau o pagină pe care asistentul o citește și le execută. Tratarea nesigură a ieșirii: răspunsul modelului ajuns direct în HTML, în shell sau într-o interogare. Scurgerea de date sensibile: contextul unui utilizator ajunge în răspunsul altuia sau în jurnale. Agenție excesivă: agentul are chei și drepturi pentru acțiuni pe care nu ar trebui să le poată face singur.

• Prompt injection direct și prin conținutul indexat
• Ieșirea modelului tratată ca date neîncrezute, nu ca instrucțiuni
• Izolarea contextului între utilizatori și între clienți
• Drepturi minime pentru unelte, cu confirmare la acțiuni ireversibile
• Limite de cost și de rată pe utilizator și pe cheie

Cum arată atacul și cum arată apărarea

Suprafața e nouă, dar economia atacului e cunoscută: e ieftin de încercat, automat și repetabil. Un atacator pune instrucțiuni într-o pagină pe care o vei indexa, apoi cere asistentului să rezume documentul și să trimită conținutul altundeva; sau își generează mii de variante de formulare până una trece de filtru. Apărarea nu poate fi un singur prompt de sistem. Punem straturi: separarea instrucțiunilor de date, guardrails la intrare și la ieșire, redactare PII, control de acces evaluat la interogare, jurnalizarea prompturilor și AI red teaming automat cu promptfoo și garak, rulat ca test la fiecare versiune.

RAG: cine are dreptul să vadă ce

Într-o aplicație RAG, indexul devine o copie a documentelor tale, iar filtrul de acces trebuie evaluat la fiecare interogare, nu la momentul indexării. Legăm fiecare fragment la sursa lui și la drepturile ei, filtrăm pe metadate înainte de generare și verificăm răspunsul față de fragmentele efectiv permise. Documentele, embeddings și indexul rămân pe infrastructura ta din Frankfurt; dacă nu vrei apeluri către furnizori externi, rulăm modelul de embeddings pe un server GPU. Citările în răspuns fac verificarea posibilă.

AI Act, transparență și ce documentăm

Din 2 august 2026 se aplică noi obligații din AI Act pentru firmele care folosesc sisteme AI. Cea mai vizibilă e transparența: utilizatorul trebuie să știe că vorbește cu un sistem automat. Pe partea tehnică documentăm ce model folosești, ce date intră în context, cât timp se păstrează prompturile, cine are acces la jurnale și ce filtre rulează. GDPR rămâne baza: contract de prelucrare conform art. 28, clauze contractuale standard la transferuri, minimizarea datelor și redactarea celor personale înainte de context.

Cum lucrăm

1. Cererea din panou

   Ceri evaluarea aplicației AI din „Servicii DevOps”, ne spui ce model folosești, ce date intră în context și cine îl folosește.

2. Scoping și modelarea riscului

   Cartografiem fluxurile: surse indexate, unelte apelate de agent, drepturi, jurnale. Stabilim scenariile de test și termenul propus de tine.

3. Testare și întărire

   Rulăm red teaming automat și manual, apoi implementăm guardrails, redactare PII, filtre de acces pe RAG și limite de rată.

4. Predare cu teste repetabile

   Predăm raportul, setul de teste care rulează la fiecare versiune și documentația pentru transparență și pentru dosarul GDPR.

Cazuri de utilizare

Tehnologii

• promptfoo
• garak
• Microsoft Presidio
• Qdrant
• LiteLLM
• OpenTelemetry
• HashiCorp Vault
• ModSecurity

Întrebări frecvente

• Ce este prompt injection?

  Instrucțiuni strecurate în datele pe care modelul le citește: o pagină web, un PDF, un e-mail, un fragment din index. Modelul nu distinge implicit între instrucțiunea ta și textul care îi cere altceva, deci le poate executa pe amândouă. Se apără prin separarea rolurilor, filtre și drepturi minime.

• Care sunt riscurile chatboturilor AI pentru firme?

  Trei mari: scurgerea datelor puse în context, răspunsuri false prezentate ca sigure și acțiuni executate de un agent cu prea multe drepturi. Se adaugă costul necontrolat, dacă nu ai limite pe utilizator, și obligațiile de transparență față de utilizatorii finali.

• Ce nu trebuie să dai niciodată unui chatbot?

  Date pe care nu ai dreptul să le trimiți în afara UE, secrete de acces, dosare complete de personal sau de pacienți. Dacă informația e necesară, o redactezi înainte, o înlocuiești cu identificatori și ții modelul pe infrastructura ta, nu pe un serviciu public.

• Ce obligații are firma mea sub AI Act?

  Din 2 august 2026 se aplică obligații noi pentru cei care folosesc sisteme AI, cea mai vizibilă fiind transparența: oamenii trebuie să știe când interacționează cu un sistem automat. Documentează ce model folosești, ce date intră în context și cât păstrezi prompturile. Noi livrăm partea tehnică.

• Ce este OWASP Top 10 pentru aplicații LLM?

  Lista publică a riscurilor specifice aplicațiilor cu modele de limbaj: prompt injection, tratarea nesigură a ieșirii, scurgerea de date sensibile, agenția excesivă, otrăvirea datelor și altele. O folosim ca listă de verificare la evaluare și ca structură a raportului.

• Cum protejez datele clienților într-un chatbot cu RAG?

  Filtrezi accesul la interogare, nu la indexare: fiecare fragment poartă drepturile sursei, iar răspunsul se construiește doar din ce are voie să vadă utilizatorul curent. Adaugi redactare PII, jurnalizare cu retenție scurtă și ții indexul pe servere din UE.