AI stack: vektoradatbázisok + GPU-szerverek

Minden, ami az éles AI-hoz kell – Qdrant, ChromaDB, NVIDIA RTX PRO 4000, RTX PRO 6000. Kész környezet CUDA-val, PyTorch-csal és TensorFlow-val.

Éles üzemre szánt AI-infrastruktúra

A vektoradatbázisok és a GPU-szerverek a modern AI-stackek két pillére. Mindkettő nálunk van. Qdrant vagy ChromaDB az embeddingekhez, a RAG-hoz és a szemantikus kereséshez; GPU-szerverek a saját modelljeid tanításához, finomhangolásához és futtatásához. Az adataid az EU-ban maradnak, a számlák uniós áfával és B2B fordított adózással érkeznek, a GDPR-megfelelés pedig az első perctől adott.

Vektoradatbázisok – RAG, embeddingek, keresés

A vektoradatbázisok az LLM-alapú alkalmazások alapját képezik. Dokumentum-embeddingeket tárolnak, és ezredmásodpercek alatt találnak hasonlóságokat. Válaszd ki a kedvenc adatbázisodat – mindegyiket az EU-ban üzemeltetjük, uniós áfás számlázással. Mindegyikhez előre telepített Python-kliens és példa Jupyter-notebookok tartoznak.

Qdrant

Rust-alapú, nagy teljesítményű, éles üzemre kész. Ideális RAG-alkalmazásokhoz, amelyek milliós nagyságrendű embeddinget kezelnek. HNSW-index, metaadatszűrés, snapshotok.

ChromaDB

A legkönnyebben használható vektoradatbázis. Kiváló prototípusokhoz és kisebb AI-alkalmazásokhoz. Python-központú, automatikus embeddingek OpenAI-ból vagy Sentence Transformersből.

Weaviate

Adatséma metaadatokkal. Hibrid keresés (vektor + címkeszűrő). Beépített generatív AI-modulok, GraphQL API.

pgvector

PostgreSQL-bővítmény. Ha már használsz Postgrest, új adatbázis nélkül adhatsz hozzá vektorokat. Teljes integráció a meglévő táblákkal és az SQL-tranzakciókkal.

GPU-szerverek – RTX PRO 4000 és RTX PRO 6000

Professzionális NVIDIA-kártyák kész CUDA-környezettel. Finomhangoláshoz, LLM-inferenciához, számítógépes látáshoz és 3D-rendereléshez. Havi vagy éves számlázás, havonta 10 DevOps-órával. Minden GPU-ra előre telepítve van a CUDA 12.4, a cuDNN 9, a PyTorch 2.4, a TensorFlow 2.18, a JAX és a Hugging Face Transformers.

NVIDIA RTX PRO 6000

96 GB GDDR7 · nagy modellek (kb. 70B paraméter) · nagy modellek finomhangolása · többfelhasználós inferencia + renderelés

NVIDIA RTX PRO 4000

24 GB GDDR7 · kis és közepes méretű modellek inferenciája (kb. 14B paraméterig) · kis modellek könnyű finomhangolása (LoRA/QLoRA)

Tipikus AI-munkaterhelések költsége

Példaforgatókönyvek és havi költségük az infrastruktúránkon. Az árak élőben érkeznek az aktuális csomagjainkból, áfa nélkül. Az OpenAI / AWS Bedrock / Anthropic díjszabásához képest a saját infrastruktúra sok esetben havi 50–100 ezer kérésnél már megtérül.

AI-munkaterhelés	Felállás	Költség/hó
RAG 1 millió dokumentumhoz (dokumentumchat)	VPS 32G + Qdrant + OpenAI API	ettől: 240 EUR
Szemantikus keresés webáruházhoz (50 ezer SKU)	VPS 16G + pgvector + Sentence Transformers	ettől: 100 EUR
Llama 3 70B inferencia (~5 ezer lekérdezés/nap)	GPU-szerver RTX PRO 6000 + vLLM	ettől: 4000 EUR
Saját OCR-modell tanítása (CV)	GPU-szerver RTX PRO 4000 (havi)	ettől: 800 EUR
Éles 70B-s LLM terheléselosztással	2× GPU-szerver RTX PRO 6000 + Kubernetes	ettől: 8000 EUR

Éles AI-pipeline – 5 szakasz

Így néz ki egy tipikus éles AI-projekt az ötlettől a futó alkalmazásig. Minden szakaszhoz kész infrastruktúránk és bevált mintáink vannak, amelyeket nem neked kell kitalálnod.

Adat-előkészítés

Dokumentumindexelés, szövegtisztítás, normalizálás. Python-szkriptek egy VPS-en, a kimenet MinIO-ba (S3-kompatibilis) vagy PostgreSQL-be kerül.

Embeddingek generálása

OpenAI text-embedding-3-large, Cohere vagy helyi modell (Sentence Transformers, BGE-M3). Az embeddingek a Qdrantba vagy a pgvectorba íródnak.

Visszakeresés + RAG

Egy FastAPI/Next.js alkalmazás elküldi a kérdést, a vektoradatbázis visszaadja a top-K dokumentumot, a kontextus pedig hozzáfűződik az LLM promptjához.

LLM-inferencia

Válassz: Claude/GPT API-n keresztül (a leggyorsabb indulás), vagy helyi LLM GPU-n (teljes kontroll, nagy léptékben alacsonyabb költség).

Monitorozás és kiértékelés

Lekérdezésnaplók a Lokiban, késleltetések a Prometheusban, OpenAI-költség a Grafanában. Minőségi kiértékelés LangSmithszel vagy saját benchmarkkal.

Mit építhetsz

Vállalati asszisztens (RAG)

Indexeld a céges dokumentumokat a Qdrantban, kapcsold be a Claude-ot vagy a GPT-t API-n keresztül, és kapj kontextusban megalapozott válaszokat. Alacsony válaszidő. Többnyelvű embeddingek, a nyelvedre hangolt tokenizáló.

Szemantikus keresés

Kulcsszavas keresés helyett jelentés szerint keress. A webáruházak vásárlói 30% feletti konverziónövekedést látnak. A ragozó nyelveket is jól kezeli.

Saját üzemeltetésű LLM (Llama, Mistral)

A saját modelled egy GPU-szerveren. Egyetlen adat sem megy az OpenAI-hoz vagy az Anthropichoz. Teljes kontroll, GDPR-megfelelőség. vLLM vagy Ollama az egyszerű inferenciához.

Számítógépes látás éles üzemben

Hibafelismerés, OCR, objektumfelismerés. Taníts a saját adathalmazodon egy RTX PRO 6000-rel. YOLO, Detectron2, Segment Anything Model.

GDPR-megfelelés AI-alkalmazásokhoz

Az AI a GDPR szempontjából érzékeny terület – tanítóadatok, embeddingek, lekérdezésnaplók. A megoldásunk minimalizálja a kockázatot: minden adat az EU-ban marad, a feldolgozás felett pedig teljes kontrollod van.

Minden adat (dokumentumok, embeddingek, naplók) uniós adatközpontokban van – nincs továbbítás az USA-ba, az Egyesült Királyságba vagy Ázsiába
Lehetőség helyi LLM-ek (Llama, Mistral) használatára az OpenAI/Anthropic helyett – nincs adattovábbítás az USA-ba
A lekérdezésnaplókat legfeljebb 90 napig őrizzük, kérésre korábbi törléssel
Az embeddingek származtatott adatok – a forrás anonimizálása után újraindexeléssel teljesen törölhetők
Auditnapló minden vektoradatbázis-hozzáféréshez (ki, mikor, milyen lekérdezéssel)
Ingyenes, a GDPR 28. cikkének megfelelő adatfeldolgozói szerződés (DPA)

Gyakran ismételt kérdések

Használhatom az OpenAI-t / az Anthropicot az EU-ban lévő vektoradatbázissal?

Igen. A vektoradatbázis (Qdrant/ChromaDB) nálunk marad az EU-ban. Az LLM-nek csak a top-K kontextust és a felhasználó kérdését küldöd el. A példáink megmutatják, hogyan csökkentheted minimálisra az adattovábbítást.

Mekkora modellt futtathatok a GPU-inkon?

A Llama 3 8B / Mistral 7B gond nélkül fut az RTX PRO 4000-n (24 GB), amely kb. 14B paraméterig terjedő modellekhez alkalmas. A Llama 3 70B-hez RTX PRO 6000 (96 GB) kell. A Mixtral 8x22B és a nagyobbak: több GPU-szerver. A kiválasztásban segítünk.

Mennyi idő az AI-környezet beállítása?

A környezet előre telepített – CUDA, PyTorch, TF, vLLM, Ollama. Az első inferencia 5 perc alatt. Egyedi beállításoknál (konkrét modell, finomhangolás) a mi segítségünkkel jellemzően 1–3 óra.

Támogatjátok a saját modellek finomhangolását?

Igen. Az RTX PRO 6000 (96 GB VRAM) LoRA/QLoRA-val akár 70B-s modellek finomhangolását is elbírja. Az RTX PRO 4000 (24 GB) kis modellek könnyű finomhangolását fedi le. A GPT-osztályú modellek teljes tanítása nem fér el egyetlen GPU-szerveren.

Használhatom a Pinecone-t, ha a Qdrant nálatok van?

Igen. A Pinecone külső, használat alapján számlázott szolgáltatás; a Qdrant a saját uniós VPS-eden fut, az adatok sosem hagyják el a szerveredet, a költség pedig a VPS fix havi ára. A Pinecone-ról Qdrantra költözést a benne foglalt DevOps-óráidból intézzük.

Válassz GPU-t vagy VPS-t vektoradatbázissal

GPU-szerverek RTX PRO 4000-rel vagy RTX PRO 6000-rel és előre telepített Qdranttal rendelkező VPS-ek; az aktuális árak a csomagok oldalán találhatók. A GPU-k havi vagy éves számlázással, havi 10 DevOps-órával.

GPU-csomagok megtekintése →