Infrastructură AI pentru producție, nu pentru demonstrații
Bazele de date vectoriale și serverele GPU sunt cei doi piloni ai unui stack AI modern. Le avem pe amândouă. Qdrant sau ChromaDB pentru embeddings, RAG și căutare semantică; servere GPU pentru antrenare, fine-tuning și inferență cu modele proprii. Datele rămân în UE, facturile au TVA din UE cu taxare inversă la operațiunile B2B, iar conformitatea GDPR e asigurată din primul minut.
Baze de date vectoriale — RAG, embeddings, căutare
Bazele de date vectoriale sunt temelia aplicațiilor construite peste modele lingvistice. Stochează reprezentările vectoriale ale documentelor și găsesc similaritățile în milisecunde. Alege baza pe care o preferi — le găzduim pe toate în UE, cu factură cu TVA din UE. Fiecare vine cu un client Python preinstalat și cu notebookuri Jupyter de exemplu.
Qdrant
Scrisă în Rust, cu performanță ridicată, pregătită pentru producție. Ideală pentru aplicații RAG cu milioane de embeddings. Index HNSW, filtrare după metadate, snapshoturi.
ChromaDB
Cea mai simplu de folosit bază vectorială. Foarte bună pentru prototipuri și aplicații AI mai mici. Orientată spre Python, cu embeddings generate automat prin OpenAI sau Sentence Transformers.
Weaviate
Schemă de date cu metadate. Căutare hibridă (vectorială plus filtrare după etichete). Module generative incluse și API GraphQL.
pgvector
Extensie PostgreSQL. Dacă folosești deja Postgres, adaugi vectori fără să introduci o bază nouă. Integrare completă cu tabelele existente și cu tranzacțiile SQL.
Servere GPU — RTX PRO 4000 și RTX PRO 6000
Plăci NVIDIA profesionale, cu mediu CUDA gata configurat. Pentru fine-tuning, inferență cu modele lingvistice, viziune computerizată și randare 3D. Plată lunară sau anuală, cu 10 ore DevOps incluse în fiecare lună. Toate GPU-urile vin cu CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX și Hugging Face Transformers preinstalate.
Costul unor sarcini AI tipice
Scenarii concrete și costul lor lunar pe infrastructura noastră. Prețurile vin direct din abonamentele curente, fără TVA. Comparativ cu tarifele OpenAI, AWS Bedrock sau Anthropic, infrastructura proprie devine rentabilă, în multe cazuri, de la 50.000-100.000 de cereri pe lună.
| Sarcină AI | Configurație | Cost pe lună |
|---|---|---|
| RAG pentru 1 milion de documente (chat pe documente) | VPS 32G + Qdrant + API OpenAI | de la 240 EUR |
| Căutare semantică pentru un magazin (50.000 de produse) | VPS 16G + pgvector + Sentence Transformers | de la 100 EUR |
| Inferență Llama 3 70B (circa 5.000 de interogări pe zi) | Server GPU RTX PRO 6000 + vLLM | de la 4.000 EUR |
| Antrenarea unui model OCR propriu | Server GPU RTX PRO 4000 (lunar) | de la 800 EUR |
| Model 70B în producție, cu echilibrarea încărcării | 2 × server GPU RTX PRO 6000 + Kubernetes | de la 8.000 EUR |
Fluxul unui proiect AI în producție — 5 etape
Așa arată un proiect AI tipic, de la idee la aplicație funcțională. Pentru fiecare etapă avem infrastructura pregătită și tipare pe care nu trebuie să le inventezi de la zero.
Pregătirea datelor
Indexarea documentelor, curățarea și normalizarea textului. Scripturi Python pe un VPS, cu rezultatul scris în MinIO (compatibil S3) sau în PostgreSQL.
Generarea embeddingurilor
OpenAI text-embedding-3-large, Cohere sau un model local (Sentence Transformers, BGE-M3). Embeddingurile se scriu în Qdrant ori în pgvector.
Regăsire și RAG
O aplicație FastAPI sau Next.js trimite întrebarea, baza vectorială întoarce primele K documente, iar contextul se adaugă la promptul modelului.
Inferența modelului
Alegi: Claude sau GPT prin API (cel mai rapid start) ori un model local pe GPU (control complet și cost mai mic la volum mare).
Monitorizare și evaluare
Logurile interogărilor în Loki, latențele în Prometheus, costul API în Grafana. Evaluarea calității prin LangSmith sau printr-un set propriu de teste.
Ce poți construi
Asistent intern pentru companie (RAG)
Indexezi documentele firmei în Qdrant, conectezi Claude sau GPT prin API și obții răspunsuri care țin cont de context. Latență redusă a răspunsurilor. Embeddings multilingve, cu tokenizator potrivit pentru limba română.
Căutare semantică
În loc de căutare după cuvinte-cheie — căutare după înțeles. Magazinele online văd creșteri de peste 30% ale ratei de conversie. Tratează corect formele flexionare, ceea ce contează mult în română.
Model lingvistic găzduit la tine (Llama, Mistral)
Propriul model pe un server GPU. Nu trimiți date către OpenAI sau Anthropic. Control complet, conform GDPR. vLLM sau Ollama pentru inferență fără bătăi de cap.
Viziune computerizată în producție
Detectarea defectelor, OCR, recunoașterea obiectelor. Antrenezi pe propriul set de date, cu o RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.
Conformitate GDPR pentru aplicațiile AI
AI-ul e o zonă sensibilă din perspectiva GDPR — datele de antrenament, embeddingurile și logurile interogărilor. Soluția noastră reduce riscul păstrând toate datele în UE și lăsându-ți control complet asupra prelucrării.
- Toate datele (documente, embeddings, loguri) în centre de date din UE — fără transfer către SUA, Marea Britanie sau Asia
- Posibilitatea de a folosi modele locale (Llama, Mistral) în locul OpenAI ori Anthropic — fără transfer de date către SUA
- Logurile interogărilor se păstrează cel mult 90 de zile, cu ștergere anticipată la cerere
- Embeddingurile sunt date derivate — ștergerea completă e posibilă prin reindexare după anonimizarea sursei
- Jurnal de audit pentru fiecare acces la baza vectorială (cine, când, ce interogare)
- Act adițional de prelucrare (DPA) conform art. 28 GDPR, gratuit
Întrebări frecvente
Pot folosi OpenAI sau Anthropic cu o bază vectorială în UE?
Da. Baza vectorială (Qdrant sau ChromaDB) rămâne la noi, în UE. Către model trimiți doar primele K fragmente de context și întrebarea utilizatorului. Exemplele noastre arată cum reduci la minimum datele transferate.
Cât de mare poate fi modelul pe care îl rulez pe GPU-urile voastre?
Llama 3 8B și Mistral 7B rulează fără probleme pe RTX PRO 4000 (24 GB), potrivită pentru modele de până la circa 14 miliarde de parametri. Llama 3 70B are nevoie de RTX PRO 6000 (96 GB). Mixtral 8x22B și modelele mai mari: mai multe servere GPU. Te ajutăm să alegi.
Cât durează pregătirea mediului AI?
Mediul e preinstalat — CUDA, PyTorch, TensorFlow, vLLM, Ollama. Prima inferență în 5 minute. Pentru configurații specifice (un anumit model, fine-tuning) durează de obicei 1-3 ore, cu ajutorul nostru.
Susțineți fine-tuning-ul a modelelor proprii?
Da. O RTX PRO 6000 (96 GB VRAM) face față ajustării fine a modelelor de până la 70B, cu LoRA sau QLoRA. Pe RTX PRO 4000 (24 GB) faci fine-tuning ușor pe modele mici. Antrenarea completă a modelelor de clasa GPT nu se face pe un singur server GPU.
Pot folosi Pinecone dacă am Qdrant la voi?
Da. Pinecone e un serviciu extern, facturat după utilizare; Qdrant rulează pe VPS-ul tău din UE, datele nu ies de pe server, iar costul e prețul lunar fix al VPS-ului. Migrarea de la Pinecone la Qdrant o facem din orele DevOps incluse.
Alege un GPU sau un VPS cu bază de date vectorială
Servere GPU cu RTX PRO 4000 sau RTX PRO 6000 și VPS cu Qdrant preinstalat; prețurile actuale sunt în pagina de abonamente. GPU cu plată lunară sau anuală și 10 ore DevOps incluse lunar.
Vezi planurile GPU →