KI-infrastruktur for produksjon
Vektordatabaser og GPU-servere er de to pilarene i moderne KI-stacker. Vi har begge. Qdrant eller ChromaDB for embeddings, RAG og semantisk søk; GPU-servere til trening, finjustering og inferens av dine egne modeller. Dataene dine blir i EU, fakturaene har EU-mva med B2B reverse charge, og GDPR-samsvar er på plass fra første minutt.
Vektordatabaser — RAG, embeddings, søk
Vektordatabaser er fundamentet for apper drevet av LLM-er. De lagrer dokument-embeddings og finner likheter på millisekunder. Velg databasen du foretrekker — vi hoster alle i EU med fakturering med EU-mva. Hver av dem leveres med forhåndsinstallert Python-klient og eksempler på Jupyter-notebooks.
Qdrant
Rust-basert, høy ytelse, klar for produksjon. Ideell for RAG-apper med millioner av embeddings. HNSW-indeks, metadatafiltrering, snapshots.
ChromaDB
Den enkleste vektordatabasen å bruke. Flott for prototyper og mindre KI-apper. Python-først, automatiske embeddings fra OpenAI eller Sentence Transformers.
Weaviate
Dataskjema med metadata. Hybridsøk (vektor + etikettfilter). Innebygde moduler for generativ KI, GraphQL-API.
pgvector
PostgreSQL-utvidelse. Bruker du allerede Postgres, legger du til vektorer uten en ny database. Full integrasjon med eksisterende tabeller og SQL-transaksjoner.
GPU-servere — RTX PRO 4000 og RTX PRO 6000
Profesjonelle NVIDIA-kort med ferdig CUDA-miljø. For finjustering, LLM-inferens, datasyn og 3D-rendering. Månedlig eller årlig fakturering, med 10 DevOps-timer inkludert hver måned. Alle GPU-er leveres med CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX og Hugging Face Transformers forhåndsinstallert.
Kostnad for typiske KI-arbeidsbelastninger
Eksempelscenarioer og månedlig kostnad på infrastrukturen vår. Prisene hentes live fra gjeldende pakker, uten mva. Sammenlignet med prisene til OpenAI / AWS Bedrock / Anthropic lønner egen infrastruktur seg i mange tilfeller ved 50–100 000 forespørsler i måneden.
| KI-arbeidsbelastning | Oppsett | Kostnad/måned |
|---|---|---|
| RAG for 1 M dokumenter (dokumentchat) | VPS 32G + Qdrant + OpenAI API | fra 240 EUR |
| Semantisk søk for en butikk (50 000 SKU-er) | VPS 16G + pgvector + Sentence Transformers | fra 100 EUR |
| Llama 3 70B-inferens (~5 000 spørringer/dag) | GPU-server RTX PRO 6000 + vLLM | fra 4 000 EUR |
| Trening av egen OCR-modell (datasyn) | GPU-server RTX PRO 4000 (månedlig) | fra 800 EUR |
| LLM 70B i produksjon med lastbalansering | 2× GPU-server RTX PRO 6000 + Kubernetes | fra 8 000 EUR |
KI-pipeline i produksjon — 5 trinn
Slik ser et typisk KI-prosjekt i produksjon ut, fra idé til kjørende app. For hvert trinn har vi ferdig infrastruktur og mønstre du slipper å finne opp fra bunnen av.
Dataforberedelse
Indeksering av dokumenter, tekstrensing, normalisering. Python-skript på en VPS, utdata til MinIO (S3-kompatibel) eller PostgreSQL.
Generering av embeddings
OpenAI text-embedding-3-large, Cohere eller en lokal modell (Sentence Transformers, BGE-M3). Embeddings skrives til Qdrant eller pgvector.
Retrieval + RAG
En FastAPI/Next.js-app sender et spørsmål, vektordatabasen returnerer de K beste dokumentene, og konteksten legges til LLM-prompten.
LLM-inferens
Velg: Claude/GPT via API (raskest i gang), eller en lokal LLM på GPU (full kontroll, lavere kostnad ved stor skala).
Overvåking og evaluering
Spørringslogger i Loki, responstider i Prometheus, OpenAI-kostnader i Grafana. Kvalitetsevaluering via LangSmith eller din egen benchmark.
Hva du kan bygge
Bedriftsassistent (RAG)
Indekser bedriftens dokumenter i Qdrant, koble til Claude eller GPT via API og få svar som tar hensyn til konteksten. Lav responstid. Flerspråklige embeddings, tokenizer tilpasset ditt språk.
Semantisk søk
I stedet for nøkkelordsøk — søk etter mening. Nettbutikkunder ser over 30 % høyere konvertering. Håndterer bøyde språk på en god måte.
Hostet LLM (Llama, Mistral)
Din egen modell på en GPU-server. Ingen data sendes til OpenAI/Anthropic. Full kontroll, i samsvar med GDPR. vLLM eller Ollama for enkel inferens.
Datasyn i produksjon
Feildeteksjon, OCR, objektgjenkjenning. Tren på ditt eget datasett med en RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.
GDPR-samsvar for KI-apper
KI er et sensitivt område for GDPR — treningsdata, embeddings, spørringslogger. Løsningen vår minimerer risikoen ved å holde alle data i EU og gi deg full kontroll over behandlingen.
- Alle data (dokumenter, embeddings, logger) i datasentre i EU — ingen overføring til USA, Storbritannia eller Asia
- Mulighet til å bruke lokale LLM-er (Llama, Mistral) i stedet for OpenAI/Anthropic — ingen dataoverføring til USA
- Spørringslogger lagres maks. 90 dager, med tidligere sletting på forespørsel
- Embeddings er avledede data — full sletting er mulig ved å indeksere på nytt etter at kilden er anonymisert
- Revisjonslogg for hver tilgang til vektordatabasen (hvem, når, hvilken spørring)
- Gratis databehandleravtale (DPA) i samsvar med GDPR artikkel 28
Ofte stilte spørsmål
Kan jeg bruke OpenAI / Anthropic med en vektordatabase i EU?
Ja. Du har vektordatabasen (Qdrant/ChromaDB) hos oss i EU. Til LLM-en sender du bare den K beste konteksten + brukerens spørsmål. Eksemplene våre viser hvordan du minimerer dataoverføringen.
Hvor stor modell kan jeg kjøre på GPU-ene deres?
Llama 3 8B / Mistral 7B går problemfritt på RTX PRO 4000 (24 GB), som passer for modeller opptil rundt 14B parametere. Llama 3 70B krever RTX PRO 6000 (96 GB). Mixtral 8x22B og større: flere GPU-servere. Vi hjelper deg å velge.
Hvor lang tid tar det å sette opp KI-miljøet?
Miljøet er forhåndsinstallert — CUDA, PyTorch, TF, vLLM, Ollama. Første inferens på 5 minutter. For spesialoppsett (bestemt modell, finjustering) typisk 1–3 timer med vår hjelp.
Støtter dere finjustering av egne modeller?
Ja. RTX PRO 6000 (96 GB VRAM) håndterer finjustering av modeller opptil 70B med LoRA/QLoRA. RTX PRO 4000 (24 GB) dekker lett finjustering av små modeller. Full trening av modeller i GPT-klassen får ikke plass på én GPU-server.
Kan jeg bruke Pinecone selv om Qdrant ligger hos dere?
Ja. Pinecone er en ekstern tjeneste som faktureres etter bruk; Qdrant kjører på din egen VPS i EU, dataene forlater aldri serveren din, og kostnaden er den faste månedsprisen for VPS-en. Vi tar migreringen fra Pinecone til Qdrant med de inkluderte DevOps-timene dine.
Velg en GPU eller VPS med vektordatabase
GPU-servere med RTX PRO 4000 eller RTX PRO 6000 og VPS med forhåndsinstallert Qdrant; gjeldende priser finner du på pakkesiden. GPU-er faktureres månedlig eller årlig, med 10 DevOps-timer i måneden.
Se GPU-pakker →