AI infrastruktura spremna za produkciju
Vektorske baze podataka i GPU serveri dva su stupa modernih AI sustava. Imamo oboje. Qdrant ili ChromaDB za embeddinge, RAG i semantičku pretragu; GPU serveri za treniranje, fine-tuning i inferenciju Vaših vlastitih modela. Vaši podaci ostaju u EU, računi sadrže PDV EU-a uz prijenos porezne obveze (reverse charge) za B2B, a usklađenost s GDPR-om postoji od prve minute.
Vektorske baze podataka — RAG, embeddingi, pretraga
Vektorske baze podataka temelj su aplikacija pokretanih LLM-ovima. Pohranjuju embeddinge dokumenata i pronalaze sličnosti u milisekundama. Odaberite bazu koja Vam odgovara — sve ih hostamo u EU uz račune s PDV-om EU-a. Svaka dolazi s unaprijed instaliranim Python klijentom i primjerima Jupyter bilježnica.
Qdrant
Napisan u Rustu, visoke performanse, spreman za produkciju. Idealan za RAG aplikacije s milijunima embeddinga. HNSW indeks, filtriranje po metapodacima, snapshotovi.
ChromaDB
Najjednostavnija vektorska baza za korištenje. Odlična za prototipove i manje AI aplikacije. Python na prvom mjestu, automatski embeddingi iz OpenAI-ja ili Sentence Transformersa.
Weaviate
Shema podataka s metapodacima. Hibridna pretraga (vektor + filtar po oznakama). Ugrađeni moduli generativne umjetne inteligencije, GraphQL API.
pgvector
Proširenje za PostgreSQL. Ako već koristite Postgres, dodajte vektore bez nove baze. Potpuna integracija s postojećim tablicama i SQL transakcijama.
GPU serveri — RTX PRO 4000 i RTX PRO 6000
Profesionalne NVIDIA kartice s gotovim CUDA okruženjem. Za fine-tuning, LLM inferenciju, računalni vid i 3D rendering. Mjesečna ili godišnja naplata, uz 10 DevOps sati uključenih svakog mjeseca. Svi GPU-ovi dolaze s unaprijed instaliranim CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX i Hugging Face Transformers.
Trošak tipičnih AI radnih opterećenja
Primjeri scenarija i njihov mjesečni trošak na našoj infrastrukturi. Cijene dolaze uživo iz naših aktualnih paketa, bez PDV-a. U usporedbi s cjenicima OpenAI-ja / AWS Bedrocka / Anthropica — u mnogim se slučajevima vlastita infrastruktura isplati pri 50–100 tisuća zahtjeva mjesečno.
| AI radno opterećenje | Konfiguracija | Trošak/mjesec |
|---|---|---|
| RAG za 1 milijun dokumenata (chat s dokumentima) | VPS 32G + Qdrant + OpenAI API | od 240 EUR |
| Semantička pretraga za webshop (50 tisuća SKU-ova) | VPS 16G + pgvector + Sentence Transformers | od 100 EUR |
| Inferencija Llama 3 70B (~5 tisuća upita dnevno) | GPU server RTX PRO 6000 + vLLM | od 4.000 EUR |
| Treniranje vlastitog OCR modela (CV) | GPU server RTX PRO 4000 (mjesečno) | od 800 EUR |
| Produkcijski LLM 70B s balansiranjem opterećenja | 2× GPU server RTX PRO 6000 + Kubernetes | od 8.000 EUR |
Produkcijski AI pipeline — 5 faza
Ovako izgleda tipičan produkcijski AI projekt od ideje do aplikacije koja radi. Za svaku fazu imamo gotovu infrastrukturu i obrasce koje ne morate izmišljati ispočetka.
Priprema podataka
Indeksiranje dokumenata, čišćenje teksta, normalizacija. Python skripte na VPS-u, izlaz u MinIO (kompatibilan sa S3) ili PostgreSQL.
Generiranje embeddinga
OpenAI text-embedding-3-large, Cohere ili lokalni model (Sentence Transformers, BGE-M3). Embeddingi se zapisuju u Qdrant ili pgvector.
Dohvaćanje + RAG
FastAPI/Next.js aplikacija šalje pitanje, vektorska baza vraća top-K dokumenata, a kontekst se dodaje promptu LLM-a.
LLM inferencija
Odaberite: Claude/GPT putem API-ja (najbrži početak) ili lokalni LLM na GPU-u (potpuna kontrola, niži trošak u velikom opsegu).
Nadzor i evaluacija
Zapisnici upita u Lokiju, latencije u Prometheusu, trošak OpenAI-ja u Grafani. Evaluacija kvalitete putem LangSmitha ili vlastitog benchmarka.
Što možete izgraditi
Tvrtkin asistent (RAG)
Indeksirajte tvrtkine dokumente u Qdrantu, povežite Claude ili GPT putem API-ja i dobivajte odgovore svjesne konteksta. Nisko vrijeme odziva. Višejezični embeddingi, tokenizer prilagođen Vašem jeziku.
Semantička pretraga
Umjesto pretrage po ključnim riječima — pretraga po značenju. Kupci e-trgovina bilježe rast konverzije od 30%+. Dobro se nosi s jezicima s bogatom fleksijom.
Hostirani LLM (Llama, Mistral)
Vaš vlastiti model na GPU serveru. Nijedan podatak ne odlazi prema OpenAI-ju/Anthropicu. Potpuna kontrola, usklađenost s GDPR-om. vLLM ili Ollama za jednostavnu inferenciju.
Računalni vid u produkciji
Otkrivanje defekata, OCR, prepoznavanje objekata. Trenirajte na vlastitom skupu podataka s RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.
Usklađenost s GDPR-om za AI aplikacije
AI je osjetljivo područje za GDPR — podaci za treniranje, embeddingi, zapisnici upita. Naše rješenje smanjuje rizik tako što sve podatke drži u EU i daje Vam punu kontrolu nad obradom.
- Svi podaci (dokumenti, embeddingi, zapisnici) u datacentrima u EU — bez prijenosa u SAD, UK ili Aziju
- Mogućnost korištenja lokalnih LLM-ova (Llama, Mistral) umjesto OpenAI-ja/Anthropica — bez prijenosa podataka u SAD
- Zapisnici upita čuvaju se najviše 90 dana, uz ranije brisanje na zahtjev
- Embeddingi su izvedeni podaci — potpuno brisanje moguće je ponovnim indeksiranjem nakon anonimizacije izvora
- Revizijski zapisnik za svaki pristup vektorskoj bazi (tko, kada, koji upit)
- Besplatan ugovor o obradi podataka (DPA) usklađen s člankom 28. GDPR-a
Često postavljana pitanja
Mogu li koristiti OpenAI / Anthropic s vektorskom bazom u EU?
Da. Vektorsku bazu (Qdrant/ChromaDB) držite kod nas u EU. LLM-u šaljete samo top-K kontekst i korisnikovo pitanje. Naši primjeri pokazuju kako svesti prijenos podataka na minimum.
Koliko velik model mogu pokrenuti na Vašem GPU-u?
Llama 3 8B / Mistral 7B rade bez problema na RTX PRO 4000 (24 GB), koji odgovara modelima do oko 14B parametara. Llama 3 70B traži RTX PRO 6000 (96 GB). Mixtral 8x22B i veći: više GPU servera. Pomažemo Vam pri odabiru.
Koliko traje postavljanje AI okruženja?
Okruženje je unaprijed instalirano — CUDA, PyTorch, TF, vLLM, Ollama. Prva inferencija za 5 minuta. Za prilagođene postavke (određeni model, fine-tuning) obično 1–3 sata uz našu pomoć.
Podržavate li fine-tuning vlastitih modela?
Da. RTX PRO 6000 (96 GB VRAM-a) podnosi fine-tuning modela do 70B uz LoRA/QLoRA. RTX PRO 4000 (24 GB) pokriva lagani fine-tuning malih modela. Potpuno treniranje modela klase GPT ne stane na jedan GPU server.
Mogu li koristiti Pinecone dok je Qdrant kod Vas?
Da. Pinecone je vanjska usluga koja se naplaćuje prema potrošnji; Qdrant radi na Vašem vlastitom VPS-u u EU, podaci nikada ne napuštaju Vaš server, a trošak je fiksna mjesečna cijena VPS-a. Migraciju s Pineconea na Qdrant obavljamo iz Vaših uključenih DevOps sati.
Odaberite GPU ili VPS s vektorskom bazom
GPU serveri s RTX PRO 4000 ili RTX PRO 6000 i VPS s unaprijed instaliranim Qdrantom; aktualne cijene nalaze se na stranici paketa. GPU-ovi se naplaćuju mjesečno ili godišnje, uz 10 DevOps sati mjesečno.
Pogledajte GPU pakete →