Infrastruktura za umetno inteligenco produkcijske kakovosti
Vektorske baze in strežniki GPU sta dva stebra sodobnih skladov umetne inteligence. Imamo oba. Qdrant ali ChromaDB za vektorske vložitve, RAG in semantično iskanje; strežniki GPU za učenje, fino prilagajanje in inferenco vaših lastnih modelov. Vaši podatki ostanejo v EU, računi vsebujejo DDV EU z obrnjeno davčno obveznostjo za B2B, skladnost z GDPR pa je zagotovljena od prve minute.
Vektorske baze — RAG, vložitve, iskanje
Vektorske baze so temelj aplikacij, ki jih poganjajo veliki jezikovni modeli. Hranijo vektorske vložitve dokumentov in v milisekundah najdejo podobnosti. Izberite bazo po svojem okusu — vse gostimo v EU z računi z DDV EU. Vsaka vsebuje vnaprej nameščenega odjemalca za Python in vzorčne zvezke Jupyter.
Qdrant
Zgrajen v jeziku Rust, visoko zmogljiv, pripravljen za produkcijo. Idealen za aplikacije RAG z milijoni vložitev. Indeks HNSW, filtriranje po metapodatkih, posnetki.
ChromaDB
Najpreprostejša vektorska baza za uporabo. Odlična za prototipe in manjše aplikacije umetne inteligence. Najprej Python, samodejne vložitve prek OpenAI ali Sentence Transformers.
Weaviate
Podatkovna shema z metapodatki. Hibridno iskanje (vektor + filter po oznakah). Vgrajeni moduli generativne umetne inteligence, API GraphQL.
pgvector
Razširitev za PostgreSQL. Če že uporabljate Postgres, dodate vektorje brez nove baze. Popolna integracija z obstoječimi tabelami in transakcijami SQL.
Strežniki GPU — RTX PRO 4000 in RTX PRO 6000
Profesionalne kartice NVIDIA s pripravljenim okoljem CUDA. Za fino prilagajanje, inferenco velikih jezikovnih modelov, računalniški vid in 3D upodabljanje. Mesečno ali letno obračunavanje, z 10 urami DevOps, vključenimi vsak mesec. Vsi GPU-ji imajo vnaprej nameščene CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX, Hugging Face Transformers.
Stroški tipičnih delovnih obremenitev umetne inteligence
Primeri scenarijev in njihov mesečni strošek na naši infrastrukturi. Cene se sproti berejo iz naših trenutnih paketov, brez DDV. V primerjavi s cenami OpenAI / AWS Bedrock / Anthropic se lastna infrastruktura v številnih primerih izplača pri 50–100 tisoč zahtevkih na mesec.
| Obremenitev umetne inteligence | Postavitev | Strošek/mesec |
|---|---|---|
| RAG za 1 milijon dokumentov (klepet z dokumenti) | VPS 32G + Qdrant + API OpenAI | od 240 EUR |
| Semantično iskanje za trgovino (50 tisoč SKU) | VPS 16G + pgvector + Sentence Transformers | od 100 EUR |
| Inferenca Llama 3 70B (~5 tisoč poizvedb/dan) | Strežnik GPU RTX PRO 6000 + vLLM | od 4000 EUR |
| Učenje lastnega modela OCR (računalniški vid) | Strežnik GPU RTX PRO 4000 (mesečno) | od 800 EUR |
| Produkcijski LLM 70B z uravnoteženjem obremenitve | 2× strežnik GPU RTX PRO 6000 + Kubernetes | od 8000 EUR |
Produkcijski cevovod umetne inteligence — 5 faz
Tako izgleda tipičen produkcijski projekt umetne inteligence od zamisli do delujoče aplikacije. Za vsako fazo imamo pripravljeno infrastrukturo in vzorce, ki jih vam ni treba izumljati iz nič.
Priprava podatkov
Indeksiranje dokumentov, čiščenje besedila, normalizacija. Skripte Python na VPS, izhod v MinIO (združljiv z S3) ali PostgreSQL.
Ustvarjanje vložitev
OpenAI text-embedding-3-large, Cohere ali lokalni model (Sentence Transformers, BGE-M3). Vložitve se zapišejo v Qdrant ali pgvector.
Iskanje + RAG
Aplikacija FastAPI/Next.js pošlje vprašanje, vektorska baza vrne top-K dokumentov, kontekst se doda pozivu za LLM.
Inferenca LLM
Izberite: Claude/GPT prek API-ja (najhitrejši začetek) ali lokalni LLM na GPU (poln nadzor, nižji stroški v velikem obsegu).
Nadzor in vrednotenje
Dnevniki poizvedb v Loki, zakasnitve v Prometheus, strošek OpenAI v Grafana. Vrednotenje kakovosti prek LangSmith ali lastnega preizkusa.
Kaj lahko zgradite
Podjetniški asistent (RAG)
Indeksirajte dokumente podjetja v Qdrantu, prek API-ja povežite Claude ali GPT in vračajte odgovore, ki upoštevajo kontekst. Nizka zakasnitev odziva. Večjezične vložitve, tokenizator prilagojen vašemu jeziku.
Semantično iskanje
Namesto iskanja po ključnih besedah — iskanje po pomenu. Kupci spletnih trgovin vidijo več kot 30 % višjo konverzijo. Spretno obvlada jezike s sklanjatvijo.
Gostovani LLM (Llama, Mistral)
Vaš lasten model na strežniku GPU. Nobeni podatki se ne pošiljajo OpenAI/Anthropic. Popoln nadzor, skladnost z GDPR. vLLM ali Ollama za preprosto inferenco.
Računalniški vid v produkciji
Zaznavanje napak, OCR, prepoznavanje objektov. Učite na lastnem naboru podatkov z RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.
Skladnost z GDPR za aplikacije umetne inteligence
Umetna inteligenca je za GDPR občutljivo področje — podatki za učenje, vložitve, dnevniki poizvedb. Naša rešitev zmanjšuje tveganje, saj vse podatke hrani v EU in vam daje popoln nadzor nad obdelavo.
- Vsi podatki (dokumenti, vložitve, dnevniki) v podatkovnih centrih EU — brez prenosa v ZDA, Združeno kraljestvo ali Azijo
- Možnost uporabe lokalnih LLM (Llama, Mistral) namesto OpenAI/Anthropic — brez prenosa podatkov v ZDA
- Dnevniki poizvedb se hranijo največ 90 dni, z možnostjo predčasnega brisanja na zahtevo
- Vložitve so izpeljani podatki — popolno brisanje je mogoče s ponovnim indeksiranjem po anonimizaciji vira
- Revizijska sled za vsak dostop do vektorske baze (kdo, kdaj, katera poizvedba)
- Brezplačna pogodba o obdelavi podatkov (DPA) v skladu s 28. členom GDPR
Pogosta vprašanja
Ali lahko uporabljam OpenAI / Anthropic z vektorsko bazo v EU?
Da. Vektorsko bazo (Qdrant/ChromaDB) obdržite pri nas v EU. LLM-ju pošljete le top-K kontekst in vprašanje uporabnika. Naši primeri kažejo, kako čim bolj zmanjšati prenos podatkov.
Kako velik model lahko poganjam na vašem GPU?
Llama 3 8B / Mistral 7B tečeta gladko na RTX PRO 4000 (24 GB), ki je primeren za modele do okoli 14 milijard parametrov. Llama 3 70B potrebuje RTX PRO 6000 (96 GB). Mixtral 8x22B in večje: več strežnikov GPU. Pomagamo pri izbiri.
Koliko časa traja postavitev okolja za umetno inteligenco?
Okolje je vnaprej nameščeno — CUDA, PyTorch, TF, vLLM, Ollama. Prva inferenca v 5 minutah. Pri prilagojenih postavitvah (določen model, fino prilagajanje) običajno 1–3 ure z našo pomočjo.
Ali podpirate fino prilagajanje lastnih modelov?
Da. RTX PRO 6000 (96 GB VRAM) zmore fino prilagajanje modelov do 70 milijard parametrov z LoRA/QLoRA. RTX PRO 4000 (24 GB) pokrije lahko fino prilagajanje majhnih modelov. Polno učenje modelov razreda GPT ne gre na en strežnik GPU.
Ali lahko uporabljam Pinecone, medtem ko je Qdrant pri vas?
Da. Pinecone je zunanja storitev, ki se obračunava glede na porabo; Qdrant teče na vašem lastnem VPS v EU, podatki nikoli ne zapustijo vašega strežnika, strošek pa je stalna mesečna cena VPS. Selitev iz Pinecone v Qdrant opravimo iz vaših vključenih ur DevOps.
Izberite GPU ali VPS z vektorsko bazo
Strežniki GPU z RTX PRO 4000 ali RTX PRO 6000 in VPS z vnaprej nameščenim Qdrantom; trenutne cene so na strani s paketi. GPU-ji se obračunavajo mesečno ali letno, z 10 urami DevOps na mesec.
Oglejte si pakete GPU →