AI-stack: vektordatabaser + GPU-servere

Alt, du skal bruge til AI i produktion — Qdrant, ChromaDB, NVIDIA RTX PRO 4000, RTX PRO 6000. Færdigt miljø med CUDA, PyTorch, TensorFlow.

AI-infrastruktur i produktionskvalitet

Vektordatabaser og GPU-servere er de to søjler i moderne AI-stacks. Vi har begge dele. Qdrant eller ChromaDB til embeddings, RAG og semantisk søgning; GPU-servere til træning, finjustering og inferens af dine egne modeller. Dine data bliver i EU, fakturaerne har EU-moms med B2B-omvendt betalingspligt, og GDPR-compliance er på plads fra første minut.

Vektordatabaser — RAG, embeddings, søgning

Vektordatabaser er fundamentet for apps drevet af LLM'er. De gemmer dokumentembeddings og finder ligheder på millisekunder. Vælg den database, du foretrækker — vi hoster dem alle i EU med fakturering med EU-moms. Hver leveres med en forudinstalleret Python-klient og eksempler på Jupyter-notebooks.

Qdrant

Bygget i Rust, høj ydelse, klar til produktion. Ideel til RAG-apps med millioner af embeddings. HNSW-indeks, metadatafiltrering, snapshots.

ChromaDB

Den nemmeste vektordatabase at bruge. Velegnet til prototyper og mindre AI-apps. Python først, automatiske embeddings fra OpenAI eller Sentence Transformers.

Weaviate

Dataskema med metadata. Hybridsøgning (vektor + tagfilter). Indbyggede moduler til generativ AI, GraphQL API.

pgvector

Udvidelse til PostgreSQL. Bruger du allerede Postgres, kan du tilføje vektorer uden en ny database. Fuld integration med eksisterende tabeller og SQL-transaktioner.

GPU-servere — RTX PRO 4000 og RTX PRO 6000

Professionelle NVIDIA-kort med et færdigt CUDA-miljø. Til finjustering, LLM-inferens, computer vision og 3D-rendering. Månedlig eller årlig fakturering med 10 DevOps-timer inkluderet hver måned. Alle GPU'er leveres med CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX og Hugging Face Transformers forudinstalleret.

NVIDIA RTX PRO 6000
96 GB GDDR7 · store modeller (omkring 70B parametre) · finjustering af store modeller · inferens for flere brugere + rendering
NVIDIA RTX PRO 4000
24 GB GDDR7 · inferens for små og mellemstore modeller (op til omkring 14B parametre) · let finjustering (LoRA/QLoRA) af små modeller

Pris for typiske AI-workloads

Eksempelscenarier og deres månedlige pris på vores infrastruktur. Priserne hentes live fra vores aktuelle pakker, uden moms. Sammenlignet med priserne hos OpenAI / AWS Bedrock / Anthropic kan egen infrastruktur i mange tilfælde betale sig ved 50-100k forespørgsler om måneden.

AI-workloadOpsætningPris/måned
RAG for 1M dokumenter (dokumentchat)VPS 32G + Qdrant + OpenAI APIfra 240 EUR
Semantisk søgning til en webshop (50k varenumre)VPS 16G + pgvector + Sentence Transformersfra 100 EUR
Llama 3 70B-inferens (~5k forespørgsler/dag)GPU-server RTX PRO 6000 + vLLMfra 4.000 EUR
Træning af din egen OCR-model (CV)GPU-server RTX PRO 4000 (månedlig)fra 800 EUR
LLM 70B i produktion med load balancing2× GPU-server RTX PRO 6000 + Kubernetesfra 8.000 EUR

AI-pipeline i produktion — 5 trin

Sådan ser et typisk AI-projekt i produktion ud fra idé til kørende app. Til hvert trin har vi færdig infrastruktur og mønstre, så du ikke selv skal opfinde dem fra bunden.

1

Dataforberedelse

Indeksering af dokumenter, tekstoprydning, normalisering. Python-scripts på en VPS, output til MinIO (S3-kompatibel) eller PostgreSQL.

2

Generering af embeddings

OpenAI text-embedding-3-large, Cohere eller en lokal model (Sentence Transformers, BGE-M3). Embeddings skrives til Qdrant eller pgvector.

3

Retrieval + RAG

En FastAPI/Next.js-app sender et spørgsmål, vektordatabasen returnerer de bedste K dokumenter, og konteksten føjes til LLM-prompten.

4

LLM-inferens

Vælg: Claude/GPT via API (hurtigste start) eller en lokal LLM på GPU (fuld kontrol, lavere pris i stor skala).

5

Overvågning og evaluering

Forespørgselslogs i Loki, svartider i Prometheus, OpenAI-omkostninger i Grafana. Kvalitetsevaluering via LangSmith eller din egen benchmark.

Hvad du kan bygge

Virksomhedsassistent (RAG)

Indekser virksomhedens dokumenter i Qdrant, forbind Claude eller GPT via API, og få svar, der tager højde for konteksten. Lav svartid. Flersprogede embeddings, tokenizer tilpasset dit sprog.

Semantisk søgning

I stedet for søgning på nøgleord — søg efter betydning. Webshopkunder oplever mere end 30 % højere konvertering. Håndterer bøjede sprog på en god måde.

Hostet LLM (Llama, Mistral)

Din egen model på en GPU-server. Ingen data sendes til OpenAI/Anthropic. Fuld kontrol, GDPR-compliant. vLLM eller Ollama til enkel inferens.

Computer vision i produktion

Fejldetektion, OCR, objektgenkendelse. Træn på dit eget datasæt med en RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.

GDPR-compliance for AI-apps

AI er et følsomt område under GDPR — træningsdata, embeddings, forespørgselslogs. Vores løsning mindsker risikoen ved at holde alle data i EU og give dig fuld kontrol over behandlingen.

  • Alle data (dokumenter, embeddings, logs) i datacentre i EU — ingen overførsel til USA, Storbritannien eller Asien
  • Mulighed for at bruge lokale LLM'er (Llama, Mistral) i stedet for OpenAI/Anthropic — ingen dataoverførsel til USA
  • Forespørgselslogs opbevares højst 90 dage, med mulighed for tidligere sletning efter behov
  • Embeddings er afledte data — fuld sletning er mulig ved genindeksering efter anonymisering af kilden
  • Auditlog for hver adgang til vektordatabasen (hvem, hvornår, hvilken forespørgsel)
  • Gratis databehandleraftale (DPA) i overensstemmelse med GDPR artikel 28

Ofte stillede spørgsmål

Kan jeg bruge OpenAI / Anthropic sammen med en vektordatabase i EU?

Ja. Du beholder vektordatabasen (Qdrant/ChromaDB) hos os i EU. Til LLM'en sender du kun den øverste K-kontekst + brugerens spørgsmål. Vores eksempler viser, hvordan du minimerer dataoverførslen.

Hvor stor en model kan jeg køre på jeres GPU?

Llama 3 8B / Mistral 7B kører problemfrit på RTX PRO 4000 (24 GB), som egner sig til modeller op til omkring 14B parametre. Llama 3 70B kræver RTX PRO 6000 (96 GB). Mixtral 8x22B og større: flere GPU-servere. Vi hjælper med at vælge.

Hvor lang tid tager det at sætte AI-miljøet op?

Miljøet er forudinstalleret — CUDA, PyTorch, TF, vLLM, Ollama. Første inferens på 5 minutter. Til skræddersyede opsætninger (specifik model, finjustering) typisk 1-3 timer med vores hjælp.

Understøtter I finjustering af egne modeller?

Ja. RTX PRO 6000 (96 GB VRAM) klarer finjustering af modeller op til 70B med LoRA/QLoRA. RTX PRO 4000 (24 GB) dækker let finjustering af små modeller. Fuld træning af modeller i GPT-klassen kan ikke være på en enkelt GPU-server.

Kan jeg bruge Pinecone, mens Qdrant er hos jer?

Ja. Pinecone er en ekstern tjeneste, der afregnes efter forbrug; Qdrant kører på din egen VPS i EU, dataene forlader aldrig din server, og prisen er VPS'ens faste månedspris. Vi klarer migreringen fra Pinecone til Qdrant inden for dine inkluderede DevOps-timer.

Vælg en GPU eller VPS med en vektordatabase

GPU-servere med RTX PRO 4000 eller RTX PRO 6000 og VPS med forudinstalleret Qdrant; de aktuelle priser står på siden med pakker. GPU'er faktureres månedligt eller årligt, med 10 DevOps-timer om måneden.

Se GPU-pakker →

Guides til virksomheder i Danmark