Produkcijas līmeņa AI infrastruktūra
Vektoru datubāzes un GPU serveri ir divi mūsdienu AI steku pīlāri. Mums ir abi. Qdrant vai ChromaDB iegulšanām (embeddings), RAG un semantiskajai meklēšanai; GPU serveri paša modeļu apmācībai, precizēšanai un inferencei. Jūsu dati paliek ES, rēķini ietver ES PVN ar apgriezto PVN piemērošanu (reverse charge) B2B darījumos, un atbilstība GDPR ir nodrošināta no pirmās minūtes.
Vektoru datubāzes — RAG, iegulšanas, meklēšana
Vektoru datubāzes ir LLM balstītu lietotņu pamats. Tās glabā dokumentu iegulšanas un atrod līdzības milisekundēs. Izvēlieties sev tīkamāko datubāzi — mēs mitinām visas ES ar ES PVN rēķiniem. Katrai ir uzstādīts Python klients un Jupyter piemēru burtnīcas.
Qdrant
Uz Rust balstīta, ļoti ātra, gatava produkcijai. Ideāla RAG lietotnēm ar miljoniem iegulšanu. HNSW indekss, metadatu filtrēšana, momentuzņēmumi.
ChromaDB
Visvieglāk lietojamā vektoru datubāze. Lieliski piemērota prototipiem un mazākām AI lietotnēm. Python vispirms, automātiskas iegulšanas no OpenAI vai Sentence Transformers.
Weaviate
Datu shēma ar metadatiem. Hibrīdā meklēšana (vektors + birku filtrs). Iebūvēti ģeneratīvā AI moduļi, GraphQL API.
pgvector
PostgreSQL paplašinājums. Ja jau lietojat Postgres, pievienojiet vektorus bez jaunas datubāzes. Pilna integrācija ar esošajām tabulām un SQL transakcijām.
GPU serveri — RTX PRO 4000 un RTX PRO 6000
Profesionālas NVIDIA kartes ar gatavu CUDA vidi. Precizēšanai, LLM inferencei, datorredzei un 3D renderēšanai. Norēķini ik mēnesi vai ik gadu, ar 10 DevOps stundām katru mēnesi iekļautas. Visiem GPU ir iepriekš uzstādīti CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX, Hugging Face Transformers.
Tipisku AI darba slodžu izmaksas
Piemēru scenāriji un to mēneša izmaksas mūsu infrastruktūrā. Cenas tiek ņemtas tiešsaistē no mūsu aktuālajām paketēm, bez PVN. Salīdzinot ar OpenAI / AWS Bedrock / Anthropic tarifiem — daudzos gadījumos paša infrastruktūra atmaksājas pie 50-100 tūkst. pieprasījumu mēnesī.
| AI darba slodze | Konfigurācija | Izmaksas/mēnesī |
|---|---|---|
| RAG 1M dokumentu (dokumentu čats) | VPS 32G + Qdrant + OpenAI API | no 240 EUR |
| Semantiskā meklēšana veikalam (50k SKU) | VPS 16G + pgvector + Sentence Transformers | no 100 EUR |
| Llama 3 70B inference (~5k vaicājumu dienā) | GPU serveris RTX PRO 6000 + vLLM | no 4000 EUR |
| Paša OCR modeļa apmācība (CV) | GPU serveris RTX PRO 4000 (ik mēnesi) | no 800 EUR |
| Produkcijas LLM 70B ar slodzes līdzsvarošanu | 2× GPU serveris RTX PRO 6000 + Kubernetes | no 8000 EUR |
Produkcijas AI konveijers — 5 posmi
Šādi izskatās tipisks produkcijas AI projekts no ieceres līdz strādājošai lietotnei. Katram posmam mums ir gatava infrastruktūra un paraugi, kas jums nav jāizgudro no nulles.
Datu sagatavošana
Dokumentu indeksēšana, teksta tīrīšana, normalizācija. Python skripti VPS serverī, izvade uz MinIO (saderīgs ar S3) vai PostgreSQL.
Iegulšanu ģenerēšana
OpenAI text-embedding-3-large, Cohere vai lokāls modelis (Sentence Transformers, BGE-M3). Iegulšanas tiek ierakstītas Qdrant vai pgvector.
Atgūšana + RAG
FastAPI/Next.js lietotne nosūta jautājumu, vektoru datubāze atgriež top-K dokumentus, konteksts tiek pievienots LLM uzvednei.
LLM inference
Izvēle: Claude/GPT caur API (visātrākais starts) vai lokāls LLM uz GPU (pilna kontrole, zemākas izmaksas lielā apjomā).
Uzraudzība un novērtēšana
Vaicājumu žurnāli Loki, latentumi Prometheus, OpenAI izmaksas Grafana. Kvalitātes novērtēšana ar LangSmith vai paša etalonu.
Ko varat izveidot
Uzņēmuma asistents (RAG)
Indeksējiet uzņēmuma dokumentus Qdrant, pieslēdziet Claude vai GPT caur API un saņemiet kontekstam atbilstošas atbildes. Zems atbildes latentums. Daudzvalodu iegulšanas, tokenizētājs pielāgots jūsu valodai.
Semantiskā meklēšana
Atslēgvārdu meklēšanas vietā — meklēšana pēc nozīmes. E-komercijas klientiem konversija pieaug par 30%+. Labi apstrādā locāmās valodas.
Mitināts LLM (Llama, Mistral)
Jūsu paša modelis GPU serverī. Dati netiek sūtīti uz OpenAI/Anthropic. Pilna kontrole, atbilstība GDPR. vLLM vai Ollama vieglai inferencei.
Datorredze produkcijā
Defektu noteikšana, OCR, objektu atpazīšana. Apmāciet uz savas datu kopas ar RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.
GDPR atbilstība AI lietotnēm
AI ir jutīga joma GDPR kontekstā — apmācības dati, iegulšanas, vaicājumu žurnāli. Mūsu risinājums samazina risku, glabājot visus datus ES un dodot jums pilnu kontroli pār apstrādi.
- Visi dati (dokumenti, iegulšanas, žurnāli) ES datu centros — bez pārsūtīšanas uz ASV, Apvienoto Karalisti vai Āziju
- Iespēja izmantot lokālus LLM (Llama, Mistral) OpenAI/Anthropic vietā — bez datu pārsūtīšanas uz ASV
- Vaicājumu žurnāli tiek glabāti ne ilgāk kā 90 dienas, ar iespēju dzēst agrāk pēc pieprasījuma
- Iegulšanas ir atvasināti dati — pilnīga dzēšana iespējama, atkārtoti indeksējot pēc avota anonimizēšanas
- Audita žurnāls katrai piekļuvei vektoru datubāzei (kas, kad, kāds vaicājums)
- Bezmaksas datu apstrādes līgums (DPA) atbilstoši GDPR 28. pantam
Biežāk uzdotie jautājumi
Vai varu izmantot OpenAI / Anthropic kopā ar vektoru datubāzi ES?
Jā. Vektoru datubāze (Qdrant/ChromaDB) paliek pie mums ES. LLM nosūtāt tikai top-K kontekstu un lietotāja jautājumu. Mūsu piemēri parāda, kā samazināt datu pārsūtīšanu.
Cik lielu modeli varu palaist uz jūsu GPU?
Llama 3 8B / Mistral 7B darbojas raiti uz RTX PRO 4000 (24 GB), kas piemērots modeļiem līdz aptuveni 14B parametru. Llama 3 70B nepieciešams RTX PRO 6000 (96 GB). Mixtral 8x22B un lielākiem: vairāki GPU serveri. Palīdzam izvēlēties.
Cik ilgi aizņem AI vides uzstādīšana?
Vide ir iepriekš uzstādīta — CUDA, PyTorch, TF, vLLM, Ollama. Pirmā inference 5 minūtēs. Individuālām konfigurācijām (konkrēts modelis, precizēšana) parasti 1-3 stundas ar mūsu palīdzību.
Vai atbalstāt pielāgotu modeļu precizēšanu?
Jā. RTX PRO 6000 (96 GB VRAM) tiek galā ar modeļu līdz 70B precizēšanu ar LoRA/QLoRA. RTX PRO 4000 (24 GB) aptver nelielu mazu modeļu precizēšanu. Pilna GPT klases modeļu apmācība nav iespējama uz viena GPU servera.
Vai varu izmantot Pinecone, ja Qdrant ir pie jums?
Jā. Pinecone ir ārējs pakalpojums ar norēķiniem pēc lietojuma; Qdrant darbojas jūsu paša VPS serverī ES, dati nekad nepamet jūsu serveri, un izmaksas ir VPS fiksētā mēneša cena. Migrāciju no Pinecone uz Qdrant veicam no jūsu iekļautajām DevOps stundām.
Izvēlieties GPU vai VPS ar vektoru datubāzi
GPU serveri ar RTX PRO 4000 vai RTX PRO 6000 un VPS ar iepriekš uzstādītu Qdrant; aktuālās cenas ir paku lapā. GPU norēķini ik mēnesi vai ik gadu, ar 10 DevOps stundām mēnesī.
Skatīt GPU paketes →