AI infrastruktura produkcijskog nivoa
Vektorske baze podataka i GPU serveri su dva stuba modernih AI stackova. Imamo oba. Qdrant ili ChromaDB za embeddinge, RAG i semantičku pretragu; GPU serveri za treniranje, fino podešavanje (fine-tuning) i inferenciju vaših vlastitih modela. Vaši podaci ostaju u EU, fakture sadrže PDV EU-a uz B2B reverse charge, a usklađenost s GDPR-om postoji od prve minute.
Vektorske baze podataka — RAG, embeddinzi, pretraga
Vektorske baze podataka su temelj aplikacija zasnovanih na LLM-ovima. Pohranjuju embeddinge dokumenata i pronalaze sličnosti u milisekundama. Odaberite bazu koja vam odgovara — sve ih hostujemo u EU uz fakturisanje s PDV-om EU-a. Uz svaku dolazi unaprijed instaliran Python klijent i primjeri Jupyter notebookova.
Qdrant
Zasnovan na Rustu, visokih performansi, spreman za produkciju. Idealan za RAG aplikacije s milionima embeddinga. HNSW indeks, filtriranje po metapodacima, snapshotovi.
ChromaDB
Vektorska baza koju je najlakše koristiti. Odlična za prototipove i manje AI aplikacije. Python-first pristup, automatski embeddinzi iz OpenAI-ja ili Sentence Transformersa.
Weaviate
Šema podataka s metapodacima. Hibridna pretraga (vektor + filter po oznakama). Ugrađeni moduli za generativni AI, GraphQL API.
pgvector
Ekstenzija za PostgreSQL. Ako već koristite Postgres, dodajte vektore bez nove baze podataka. Potpuna integracija s postojećim tabelama i SQL transakcijama.
GPU serveri — RTX PRO 4000 i RTX PRO 6000
Profesionalne NVIDIA kartice sa spremnim CUDA okruženjem. Za fino podešavanje, LLM inferenciju, računarski vid i 3D rendering. Mjesečno ili godišnje fakturisanje, uz 10 DevOps sati uključenih svakog mjeseca. Na svim GPU-ovima unaprijed su instalirani CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX, Hugging Face Transformers.
Trošak tipičnih AI radnih opterećenja
Primjeri scenarija i njihov mjesečni trošak na našoj infrastrukturi. Cijene se preuzimaju uživo iz naših aktuelnih paketa, bez PDV-a. U poređenju s tarifama OpenAI / AWS Bedrock / Anthropic — u mnogim slučajevima vlastita infrastruktura se isplati već kod 50–100 hiljada zahtjeva mjesečno.
| AI radno opterećenje | Konfiguracija | Trošak/mjesec |
|---|---|---|
| RAG za 1 milion dokumenata (chat s dokumentima) | VPS 32G + Qdrant + OpenAI API | od 240 EUR |
| Semantička pretraga za webshop (50 hiljada SKU-ova) | VPS 16G + pgvector + Sentence Transformers | od 100 EUR |
| Inferencija Llama 3 70B (~5 hiljada upita dnevno) | GPU server RTX PRO 6000 + vLLM | od 4.000 EUR |
| Treniranje vlastitog OCR modela (računarski vid) | GPU server RTX PRO 4000 (mjesečno) | od 800 EUR |
| LLM 70B u produkciji s balansiranjem opterećenja | 2× GPU server RTX PRO 6000 + Kubernetes | od 8.000 EUR |
AI pipeline u produkciji — 5 faza
Ovako izgleda tipičan AI projekat u produkciji, od ideje do aplikacije koja radi. Za svaku fazu imamo spremnu infrastrukturu i obrasce koje ne morate izmišljati ispočetka.
Priprema podataka
Indeksiranje dokumenata, čišćenje teksta, normalizacija. Python skripte na VPS-u, izlaz u MinIO (kompatibilan sa S3) ili PostgreSQL.
Generisanje embeddinga
OpenAI text-embedding-3-large, Cohere ili lokalni model (Sentence Transformers, BGE-M3). Embeddinzi se upisuju u Qdrant ili pgvector.
Pretraživanje + RAG
FastAPI/Next.js aplikacija šalje pitanje, vektorska baza vraća top-K dokumenata, a kontekst se dodaje promptu za LLM.
LLM inferencija
Birate: Claude/GPT preko API-ja (najbrži start) ili lokalni LLM na GPU-u (potpuna kontrola, niži trošak u velikom obimu).
Praćenje i evaluacija
Logovi upita u Lokiju, latencije u Prometheusu, trošak OpenAI-ja u Grafani. Evaluacija kvaliteta preko LangSmitha ili vlastitog benchmarka.
Šta možete izgraditi
Firmin asistent (RAG)
Indeksirajte dokumente firme u Qdrantu, povežite Claude ili GPT preko API-ja i vraćajte odgovore koji uzimaju u obzir kontekst. Niska latencija odgovora. Višejezični embeddinzi, tokenizator prilagođen vašem jeziku.
Semantička pretraga
Umjesto pretrage po ključnim riječima — pretraga po značenju. Kupci u e-trgovini bilježe rast konverzije od 30 % i više. Dobro se nosi s flektivnim jezicima.
Hostovani LLM (Llama, Mistral)
Vaš vlastiti model na GPU serveru. Nikakvi podaci se ne šalju OpenAI-ju/Anthropicu. Potpuna kontrola, usklađenost s GDPR-om. vLLM ili Ollama za jednostavnu inferenciju.
Računarski vid u produkciji
Detekcija grešaka, OCR, prepoznavanje objekata. Trenirajte na vlastitom skupu podataka uz RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.
Usklađenost s GDPR-om za AI aplikacije
AI je osjetljivo područje za GDPR — podaci za treniranje, embeddinzi, logovi upita. Naše rješenje smanjuje rizik tako što sve podatke čuva u EU i daje vam punu kontrolu nad obradom.
- Svi podaci (dokumenti, embeddinzi, logovi) u EU data centrima — bez prijenosa u SAD, UK ili Aziju
- Mogućnost korištenja lokalnih LLM-ova (Llama, Mistral) umjesto OpenAI-ja/Anthropica — bez prijenosa podataka u SAD
- Logovi upita čuvaju se najviše 90 dana, uz ranije brisanje na zahtjev
- Embeddinzi su izvedeni podaci — potpuno brisanje je moguće ponovnim indeksiranjem nakon anonimizacije izvora
- Audit log za svaki pristup vektorskoj bazi (ko, kada, koji upit)
- Besplatan ugovor o obradi podataka (DPA) usklađen s članom 28 GDPR-a
Često postavljana pitanja
Mogu li koristiti OpenAI / Anthropic s vektorskom bazom u EU?
Da. Vektorsku bazu (Qdrant/ChromaDB) držite kod nas u EU. LLM-u šaljete samo top-K kontekst i pitanje korisnika. Naši primjeri pokazuju kako svesti prijenos podataka na minimum.
Koliki model mogu pokrenuti na vašem GPU-u?
Llama 3 8B / Mistral 7B rade bez problema na RTX PRO 4000 (24 GB), koja odgovara modelima do oko 14B parametara. Llama 3 70B zahtijeva RTX PRO 6000 (96 GB). Mixtral 8x22B i veći: više GPU servera. Pomažemo vam pri izboru.
Koliko traje postavljanje AI okruženja?
Okruženje je unaprijed instalirano — CUDA, PyTorch, TF, vLLM, Ollama. Prva inferencija za 5 minuta. Za prilagođene postavke (određeni model, fino podešavanje) obično 1–3 sata uz našu pomoć.
Podržavate li fino podešavanje vlastitih modela?
Da. RTX PRO 6000 (96 GB VRAM-a) podržava fino podešavanje modela do 70B uz LoRA/QLoRA. RTX PRO 4000 (24 GB) pokriva lagano fino podešavanje malih modela. Potpuno treniranje modela klase GPT ne stane na jedan GPU server.
Mogu li koristiti Pinecone, a Qdrant je kod vas?
Da. Pinecone je vanjska usluga koja se naplaćuje po korištenju; Qdrant radi na vašem vlastitom VPS-u u EU, podaci nikada ne napuštaju vaš server, a trošak je fiksna mjesečna cijena VPS-a. Migraciju s Pinecone na Qdrant radimo iz vaših uključenih DevOps sati.
Odaberite GPU ili VPS s vektorskom bazom podataka
GPU serveri s RTX PRO 4000 ili RTX PRO 6000 i VPS s unaprijed instaliranim Qdrantom; aktuelne cijene su na stranici paketa. GPU-ovi se naplaćuju mjesečno ili godišnje, uz 10 DevOps sati mjesečno.
Pogledajte GPU pakete →