Tootmiskõlblik tehisintellekti infrastruktuur
Vektorandmebaasid ja GPU-serverid on kaasaegse tehisintellekti virna kaks sammast. Meil on mõlemad. Qdrant või ChromaDB manuste (embeddings), RAG-i ja semantilise otsingu jaoks; GPU-serverid oma mudelite treenimiseks, peenhäälestamiseks ja järeldamiseks. Teie andmed jäävad EL-i, arved sisaldavad EL-i käibemaksu B2B pöördmaksustamisega ning GDPR-ile vastavus on tagatud esimesest minutist.
Vektorandmebaasid — RAG, manused, otsing
Vektorandmebaasid on suurte keelemudelitega töötavate rakenduste vundament. Need salvestavad dokumentide manuseid ja leiavad sarnasusi millisekunditega. Valige oma eelistatud andmebaas — hostime neid kõiki EL-is ja esitame arved EL-i käibemaksuga. Igaühel on eelinstallitud Pythoni klient ja näidis-Jupyter'i märkmikud.
Qdrant
Rustis kirjutatud, suure jõudlusega, tootmiskõlblik. Ideaalne RAG-rakendustele miljonite manustega. HNSW indeks, metaandmete filtreerimine, hetktõmmised.
ChromaDB
Kõige lihtsamini kasutatav vektorandmebaas. Suurepärane prototüüpidele ja väiksematele tehisintellekti rakendustele. Python-first lähenemine, automaatsed manused OpenAI-st või Sentence Transformersist.
Weaviate
Andmeskeem koos metaandmetega. Hübriidotsing (vektor + sildifilter). Sisseehitatud generatiivse tehisintellekti moodulid, GraphQL API.
pgvector
PostgreSQL-i laiendus. Kui kasutate juba Postgresi, lisage vektorid ilma uue andmebaasita. Täielik integratsioon olemasolevate tabelite ja SQL-tehingutega.
GPU-serverid — RTX PRO 4000 ja RTX PRO 6000
Professionaalsed NVIDIA kaardid valmis CUDA keskkonnaga. Peenhäälestuseks, suurte keelemudelite järeldamiseks, arvutinägemiseks ja 3D-renderdamiseks. Igakuine või iga-aastane arveldus, iga kuu on kaasas 10 DevOps-tundi. Kõigile GPU-dele on eelinstallitud CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX ja Hugging Face Transformers.
Tüüpiliste tehisintellekti töökoormuste maksumus
Näidisstsenaariumid ja nende kuumaksumus meie infrastruktuuris. Hinnad tulevad otse meie kehtivatest pakettidest, käibemaksuta. Võrreldes OpenAI / AWS Bedrocki / Anthropicu hindadega tasub oma infrastruktuur end paljudel juhtudel ära 50–100 tuhande päringu juures kuus.
| Tehisintellekti töökoormus | Lahendus | Hind/kuu |
|---|---|---|
| RAG 1 miljoni dokumendi jaoks (dokumendivestlus) | VPS 32G + Qdrant + OpenAI API | alates 240 EUR |
| Semantiline otsing poe jaoks (50 tuhat SKU-d) | VPS 16G + pgvector + Sentence Transformers | alates 100 EUR |
| Llama 3 70B järeldamine (~5 tuhat päringut päevas) | GPU-server RTX PRO 6000 + vLLM | alates 4000 EUR |
| Oma OCR-mudeli treenimine (arvutinägemine) | GPU-server RTX PRO 4000 (igakuine) | alates 800 EUR |
| Tootmiskeskkonna 70B suur keelemudel koormusjaotusega | 2× GPU-server RTX PRO 6000 + Kubernetes | alates 8000 EUR |
Tehisintellekti tootmisprotsess — 5 etappi
Siin on näha, milline tüüpiline tehisintellekti tootmisprojekt välja näeb ideest töötava rakenduseni. Igaks etapiks on meil valmis infrastruktuur ja mustrid, mida te ei pea nullist leiutama.
Andmete ettevalmistus
Dokumentide indekseerimine, teksti puhastamine, normaliseerimine. Pythoni skriptid VPS-is, väljund MinIO-sse (S3-ühilduv) või PostgreSQL-i.
Manuste genereerimine
OpenAI text-embedding-3-large, Cohere või kohalik mudel (Sentence Transformers, BGE-M3). Manused kirjutatakse Qdranti või pgvectorisse.
Otsing + RAG
FastAPI/Next.js rakendus saadab küsimuse, vektorandmebaas tagastab top-K dokumendid ja kontekst lisatakse suure keelemudeli päringule.
Suure keelemudeli järeldamine
Valige: Claude/GPT API kaudu (kiireim algus) või kohalik suur keelemudel GPU-l (täielik kontroll, suurel skaalal madalam hind).
Jälgimine ja hindamine
Päringulogid Lokis, latentsused Prometheuses, OpenAI kulu Grafanas. Kvaliteedi hindamine LangSmithi või oma võrdlustesti abil.
Mida saate ehitada
Ettevõtte assistent (RAG)
Indekseerige ettevõtte dokumendid Qdrantis, ühendage Claude või GPT API kaudu ja saate kontekstitundlikud vastused. Madal vastuse latentsus. Mitmekeelsed manused, teie keelele häälestatud tokeniseerija.
Semantiline otsing
Märksõnaotsingu asemel — otsing tähenduse järgi. E-poe kliendid näevad konversiooni kasvu üle 30%. Käsitleb käänavaid keeli sujuvalt.
Majutatud suur keelemudel (Llama, Mistral)
Teie enda mudel GPU-serveris. Andmeid ei saadeta OpenAI-le ega Anthropicule. Täielik kontroll, GDPR-ile vastav. vLLM või Ollama lihtsaks järeldamiseks.
Arvutinägemine tootmises
Defektide tuvastamine, OCR, objektide tuvastamine. Treenige oma andmestikul RTX PRO 6000-ga. YOLO, Detectron2, Segment Anything Model.
GDPR-ile vastavus tehisintellekti rakendustele
Tehisintellekt on GDPR-i jaoks tundlik valdkond — treeningandmed, manused, päringulogid. Meie lahendus vähendab riski, hoides kõiki andmeid EL-is ja andes teile täieliku kontrolli töötlemise üle.
- Kõik andmed (dokumendid, manused, logid) EL-i andmekeskustes — ülekannet USA-sse, Ühendkuningriiki ega Aasiasse ei toimu
- Võimalus kasutada OpenAI/Anthropicu asemel kohalikke suuri keelemudeleid (Llama, Mistral) — andmeid USA-sse ei edastata
- Päringulogisid säilitatakse maksimaalselt 90 päeva, soovi korral varasema kustutamisega
- Manused on tuletatud andmed — täielik kustutamine on võimalik pärast lähteandmete anonümiseerimist uuesti indekseerides
- Auditilogi iga vektorandmebaasi juurdepääsu kohta (kes, millal, milline päring)
- Tasuta andmetöötluslepe (DPA), mis vastab GDPR-i artiklile 28
Korduma kippuvad küsimused
Kas ma saan kasutada OpenAI-d / Anthropicut koos EL-is asuva vektorandmebaasiga?
Jah. Vektorandmebaas (Qdrant/ChromaDB) jääb meie juures EL-i. Suurele keelemudelile saadate ainult top-K konteksti ja kasutaja küsimuse. Meie näited näitavad, kuidas andmeedastust minimeerida.
Kui suurt mudelit saan teie GPU-l käitada?
Llama 3 8B / Mistral 7B töötavad RTX PRO 4000-l (24 GB) sujuvalt, see sobib mudelitele kuni umbes 14B parameetrit. Llama 3 70B vajab RTX PRO 6000 (96 GB). Mixtral 8x22B ja suuremad: mitu GPU-serverit. Aitame valida.
Kui kaua võtab tehisintellekti keskkonna seadistamine aega?
Keskkond on eelinstallitud — CUDA, PyTorch, TF, vLLM, Ollama. Esimene järeldus 5 minutiga. Kohandatud seadistuste (kindel mudel, peenhäälestus) puhul tavaliselt 1–3 tundi meie abiga.
Kas te toetate oma mudelite peenhäälestamist?
Jah. RTX PRO 6000 (96 GB VRAM) tuleb toime kuni 70B mudelite peenhäälestusega LoRA/QLoRA abil. RTX PRO 4000 (24 GB) katab väikeste mudelite kerge peenhäälestuse. GPT-klassi mudelite täielik treenimine ei mahu ühele GPU-serverile.
Kas ma saan kasutada Pinecone'i, kui Qdrant on teie juures?
Jah. Pinecone on väline teenus, mille eest tasutakse kasutuse alusel; Qdrant töötab teie enda VPS-is EL-is, andmed ei lahku teie serverist ja kulu on VPS-i fikseeritud kuuhind. Pinecone'ist Qdranti migreerimise teeme teie kaasas olevate DevOps-tundide arvelt.
Valige GPU või VPS koos vektorandmebaasiga
GPU-serverid RTX PRO 4000 või RTX PRO 6000 ja VPS eelinstallitud Qdrantiga; kehtivad hinnad on pakettide lehel. GPU-d arveldatakse kuu või aasta kaupa, kuus on kaasas 10 DevOps-tundi.
Vaata GPU pakette →