Produkcinio lygio DI infrastruktūra
Vektorinės duomenų bazės ir GPU serveriai yra du šiuolaikinių DI sprendimų ramsčiai. Mes turime abu. Qdrant ar ChromaDB — įterpiniams, RAG ir semantinei paieškai; GPU serveriai — savo modelių mokymui, fine-tuning ir inferencijai. Jūsų duomenys lieka ES, sąskaitose taikomas ES PVM su B2B atvirkštiniu apmokestinimu, o BDAR atitiktis užtikrinama nuo pirmos minutės.
Vektorinės duomenų bazės — RAG, įterpiniai, paieška
Vektorinės duomenų bazės yra LLM pagrįstų programų pagrindas. Jos saugo dokumentų įterpinius ir per milisekundes randa panašumus. Rinkitės patinkančią duomenų bazę — visas jas talpiname ES ir išrašome sąskaitas su ES PVM. Kiekviena pristatoma su iš anksto įdiegtu Python klientu ir Jupyter užrašinių pavyzdžiais.
Qdrant
Sukurta su Rust, naši, paruošta produkcijai. Idealiai tinka RAG programoms su milijonais įterpinių. HNSW indeksas, filtravimas pagal metaduomenis, momentinės kopijos.
ChromaDB
Paprasčiausiai naudojama vektorinė duomenų bazė. Puikiai tinka prototipams ir mažesnėms DI programoms. Pirmiausia Python, automatiniai įterpiniai iš OpenAI arba Sentence Transformers.
Weaviate
Duomenų schema su metaduomenimis. Hibridinė paieška (vektorinė + filtras pagal žymas). Integruoti generatyvinio DI moduliai, GraphQL API.
pgvector
PostgreSQL plėtinys. Jei jau naudojate Postgres, pridėkite vektorius be naujos duomenų bazės. Pilna integracija su esamomis lentelėmis ir SQL transakcijomis.
GPU serveriai — RTX PRO 4000 ir RTX PRO 6000
Profesionalios NVIDIA kortos su paruošta CUDA aplinka. Skirtos fine-tuning, LLM inferencijai, kompiuteriniam regėjimui ir 3D atvaizdavimui. Mokėjimas kas mėnesį arba kas metus, kiekvieną mėnesį įskaičiuota 10 DevOps valandų. Visuose GPU iš anksto įdiegta CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX, Hugging Face Transformers.
Tipinių DI darbo krūvių kaina
Pavyzdiniai scenarijai ir jų mėnesio kaina mūsų infrastruktūroje. Kainos imamos tiesiogiai iš dabartinių planų, be PVM. Palyginti su OpenAI / AWS Bedrock / Anthropic tarifais — daugeliu atvejų sava infrastruktūra atsiperka nuo 50–100 tūkst. užklausų per mėnesį.
| DI darbo krūvis | Konfigūracija | Kaina per mėnesį |
|---|---|---|
| RAG 1 mln. dokumentų (pokalbis su dokumentais) | VPS 32G + Qdrant + OpenAI API | nuo 240 EUR |
| Semantinė parduotuvės paieška (50 tūkst. SKU) | VPS 16G + pgvector + Sentence Transformers | nuo 100 EUR |
| Llama 3 70B inferencija (~5 tūkst. užklausų per dieną) | GPU serveris RTX PRO 6000 + vLLM | nuo 4 000 EUR |
| Savo OCR modelio mokymas (CV) | GPU serveris RTX PRO 4000 (mėnesinis) | nuo 800 EUR |
| Produkcinis LLM 70B su apkrovos balansavimu | 2× GPU serveris RTX PRO 6000 + Kubernetes | nuo 8 000 EUR |
Produkcinis DI procesas — 5 etapai
Štai kaip tipinis produkcinis DI projektas atrodo nuo idėjos iki veikiančios programos. Kiekvienam etapui turime paruoštą infrastruktūrą ir šablonus, kurių nereikia kurti nuo nulio.
Duomenų paruošimas
Dokumentų indeksavimas, teksto valymas, normalizavimas. Python skriptai VPS, rezultatas — į MinIO (suderinamas su S3) arba PostgreSQL.
Įterpinių generavimas
OpenAI text-embedding-3-large, Cohere arba vietinis modelis (Sentence Transformers, BGE-M3). Įterpiniai įrašomi į Qdrant arba pgvector.
Paieška + RAG
FastAPI/Next.js programa išsiunčia klausimą, vektorinė duomenų bazė grąžina top-K dokumentų, kontekstas pridedamas prie LLM užklausos.
LLM inferencija
Rinkitės: Claude/GPT per API (greičiausias startas) arba vietinis LLM GPU serveryje (visiška kontrolė, mažesnė kaina dideliu mastu).
Stebėsena ir vertinimas
Užklausų žurnalai Loki, delsos Prometheus, OpenAI kaštai Grafana. Kokybės vertinimas per LangSmith arba savo testų rinkinį.
Ką galite sukurti
Įmonės asistentas (RAG)
Suindeksuokite įmonės dokumentus Qdrant, prijunkite Claude ar GPT per API ir gaukite atsakymus, atsižvelgiančius į kontekstą. Maža atsakymo delsa. Daugiakalbiai įterpiniai, tokenizatorius pritaikytas jūsų kalbai.
Semantinė paieška
Vietoj paieškos pagal raktažodžius — paieška pagal prasmę. E. prekybos pirkėjų konversija išauga daugiau nei 30 %. Gerai veikia su linksniuojamomis kalbomis.
Savo LLM (Llama, Mistral)
Jūsų pačių modelis GPU serveryje. Jokių duomenų siuntimo į OpenAI/Anthropic. Visiška kontrolė, atitiktis BDAR. Paprastai inferencijai — vLLM arba Ollama.
Kompiuterinis regėjimas produkcijoje
Defektų aptikimas, OCR, objektų atpažinimas. Mokykite su savo duomenų rinkiniu naudodami RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.
BDAR atitiktis DI programoms
DI yra jautri BDAR sritis — mokymo duomenys, įterpiniai, užklausų žurnalai. Mūsų sprendimas sumažina riziką laikydamas visus duomenis ES ir suteikdamas jums visišką apdorojimo kontrolę.
- Visi duomenys (dokumentai, įterpiniai, žurnalai) ES duomenų centruose — jokio perdavimo į JAV, JK ar Aziją
- Galimybė naudoti vietinius LLM (Llama, Mistral) vietoj OpenAI/Anthropic — jokio duomenų perdavimo į JAV
- Užklausų žurnalai saugomi daugiausia 90 dienų, pageidaujant galima ištrinti ir anksčiau
- Įterpiniai yra išvestiniai duomenys — juos galima visiškai ištrinti iš naujo suindeksavus po šaltinio anonimizavimo
- Kiekvieno prieigos prie vektorinės duomenų bazės audito žurnalas (kas, kada, kokia užklausa)
- Nemokamas duomenų tvarkymo susitarimas (DPA), atitinkantis BDAR 28 straipsnį
Dažniausiai užduodami klausimai
Ar galiu naudoti OpenAI / Anthropic su vektorine duomenų baze ES?
Taip. Vektorinė duomenų bazė (Qdrant/ChromaDB) lieka pas mus ES. LLM siunčiate tik top-K kontekstą ir naudotojo klausimą. Mūsų pavyzdžiai parodo, kaip sumažinti duomenų perdavimą.
Kokio dydžio modelį galiu paleisti jūsų GPU?
Llama 3 8B / Mistral 7B sklandžiai veikia su RTX PRO 4000 (24 GB), kuri tinka modeliams iki apie 14B parametrų. Llama 3 70B reikia RTX PRO 6000 (96 GB). Mixtral 8x22B ir didesniems — kelių GPU serverių. Padedame išsirinkti.
Kiek užtrunka DI aplinkos paruošimas?
Aplinka įdiegta iš anksto — CUDA, PyTorch, TF, vLLM, Ollama. Pirmoji inferencija per 5 minutes. Individualioms konfigūracijoms (konkretus modelis, fine-tuning) paprastai užtrunka 1–3 valandas, mums padedant.
Ar palaikote savų modelių fine-tuning?
Taip. RTX PRO 6000 (96 GB VRAM) tinka iki 70B dydžio modelių fine-tuning su LoRA/QLoRA. RTX PRO 4000 (24 GB) tinka lengvam mažų modelių fine-tuning. Pilnas GPT klasės modelių mokymas viename GPU serveryje netelpa.
Ar galiu naudoti Pinecone, jei Qdrant yra pas jus?
Taip. Pinecone yra išorinė paslauga, apmokestinama pagal naudojimą; Qdrant veikia jūsų pačių VPS ES, duomenys niekada nepalieka jūsų serverio, o kaina — fiksuota VPS kaina per mėnesį. Migraciją iš Pinecone į Qdrant atliekame iš jūsų įskaičiuotų DevOps valandų.
Pasirinkite GPU arba VPS su vektorine duomenų baze
GPU serveriai su RTX PRO 4000 ar RTX PRO 6000 ir VPS su iš anksto įdiegtu Qdrant; dabartinės kainos — planų puslapyje. GPU apmokestinami kas mėnesį arba kas metus, kiekvieną mėnesį įskaičiuota 10 DevOps valandų.
Žiūrėti GPU planus →