KI-Infrastruktur für den Produktivbetrieb
Vektordatenbanken und GPU-Server sind die beiden Säulen eines modernen KI-Stacks. Wir bieten beides. Qdrant oder ChromaDB für Embeddings, RAG und semantische Suche; GPU-Server für Training, Fine-Tuning und Inferenz eigener Modelle. Ihre Daten bleiben in der EU, die Rechnungen weisen EU-Umsatzsteuer mit Reverse-Charge im B2B-Geschäft aus, und die DSGVO-Konformität steht ab der ersten Minute.
Vektordatenbanken — RAG, Embeddings, Suche
Vektordatenbanken sind das Fundament von Anwendungen auf Basis großer Sprachmodelle. Sie speichern die Embeddings Ihrer Dokumente und finden Ähnlichkeiten in Millisekunden. Wählen Sie Ihre bevorzugte Datenbank — wir hosten alle in der EU, mit Rechnung samt EU-Umsatzsteuer. Jede kommt mit vorinstalliertem Python-Client und Beispiel-Notebooks für Jupyter.
Qdrant
In Rust geschrieben, sehr performant, produktionsreif. Ideal für RAG-Anwendungen mit Millionen Embeddings. HNSW-Index, Filterung nach Metadaten, Snapshots.
ChromaDB
Die am einfachsten zu bedienende Vektordatenbank. Sehr gut für Prototypen und kleinere KI-Anwendungen. Python-orientiert, mit automatischen Embeddings über OpenAI oder Sentence Transformers.
Weaviate
Datenschema mit Metadaten. Hybride Suche (vektoriell plus Filterung nach Tags). Integrierte generative Module und GraphQL-API.
pgvector
PostgreSQL-Erweiterung. Wenn Sie ohnehin Postgres nutzen, ergänzen Sie Vektoren ohne eine zusätzliche Datenbank. Vollständig integriert in bestehende Tabellen und SQL-Transaktionen.
GPU-Server — RTX PRO 4000 und RTX PRO 6000
Professionelle NVIDIA-Karten mit fertiger CUDA-Umgebung. Für Fine-Tuning, Inferenz von Sprachmodellen, Computer Vision und 3D-Rendering. Monatliche oder jährliche Abrechnung, mit 10 DevOps-Stunden pro Monat inklusive. Auf allen GPUs sind CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX und Hugging Face Transformers vorinstalliert.
Kosten typischer KI-Lasten
Konkrete Szenarien und ihre monatlichen Kosten auf unserer Infrastruktur. Die Preise kommen live aus unseren aktuellen Tarifen, zuzüglich Umsatzsteuer. Verglichen mit den Tarifen von OpenAI, AWS Bedrock oder Anthropic rechnet sich eigene Infrastruktur in vielen Fällen ab 50.000 bis 100.000 Anfragen im Monat.
| KI-Last | Konfiguration | Kosten pro Monat |
|---|---|---|
| RAG für eine Million Dokumente (Chat mit Dokumenten) | VPS 32G + Qdrant + OpenAI-API | ab 240 EUR |
| Semantische Suche für einen Shop (50.000 Artikel) | VPS 16G + pgvector + Sentence Transformers | ab 100 EUR |
| Inferenz mit Llama 3 70B (rund 5.000 Anfragen pro Tag) | GPU-Server RTX PRO 6000 + vLLM | ab 4.000 EUR |
| Training eines eigenen OCR-Modells | GPU-Server RTX PRO 4000 (monatlich) | ab 800 EUR |
| Sprachmodell 70B im Produktivbetrieb mit Lastverteilung | 2 × GPU-Server RTX PRO 6000 + Kubernetes | ab 8.000 EUR |
KI-Pipeline im Produktivbetrieb — 5 Stufen
So sieht ein typisches KI-Projekt von der Idee bis zur laufenden Anwendung aus. Für jede Stufe steht die Infrastruktur bereit, samt bewährter Muster, die Sie nicht neu erfinden müssen.
Daten aufbereiten
Dokumente indexieren, Texte bereinigen und normalisieren. Python-Skripte auf einem VPS, das Ergebnis landet in MinIO (S3-kompatibel) oder in PostgreSQL.
Embeddings erzeugen
OpenAI text-embedding-3-large, Cohere oder ein lokales Modell (Sentence Transformers, BGE-M3). Die Embeddings werden nach Qdrant oder pgvector geschrieben.
Retrieval und RAG
Eine FastAPI- oder Next.js-Anwendung schickt die Frage, die Vektordatenbank liefert die besten K Dokumente, der Kontext wird dem Prompt beigefügt.
Inferenz des Sprachmodells
Sie wählen: Claude oder GPT über die API (schnellster Einstieg) oder ein lokales Modell auf GPU (volle Kontrolle, bei Volumen günstiger).
Monitoring und Auswertung
Abfrage-Logs in Loki, Latenzen in Prometheus, API-Kosten in Grafana. Qualitätsbewertung über LangSmith oder einen eigenen Benchmark.
Was Sie damit bauen können
Unternehmensassistent (RAG)
Firmendokumente in Qdrant indexieren, Claude oder GPT über die API anbinden und kontextbezogene Antworten erhalten. Geringe Antwortlatenz. Mehrsprachige Embeddings, mit einem auf das Deutsche abgestimmten Tokenizer.
Semantische Suche
Statt Stichwortsuche eine Suche nach Bedeutung. Online-Shops verzeichnen Steigerungen der Konversionsrate von über 30 Prozent. Auch mit deutschen Komposita kommt die Suche zurecht.
Selbst gehostetes Sprachmodell (Llama, Mistral)
Ihr eigenes Modell auf einem GPU-Server. Es werden keine Daten an OpenAI oder Anthropic übermittelt. Volle Kontrolle, DSGVO-konform. vLLM oder Ollama für unkomplizierte Inferenz.
Computer Vision im Produktivbetrieb
Fehlererkennung, OCR, Objekterkennung. Training auf Ihrem eigenen Datensatz mit einer RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.
DSGVO-Konformität für KI-Anwendungen
KI ist aus Sicht der DSGVO ein sensibles Feld — Trainingsdaten, Embeddings, Abfrage-Logs. Unsere Lösung senkt das Risiko, indem alle Daten in der EU bleiben und Sie die Verarbeitung vollständig steuern.
- Alle Daten (Dokumente, Embeddings, Logs) in EU-Rechenzentren — keine Übermittlung in die USA, nach Großbritannien oder Asien
- Option auf lokale Sprachmodelle (Llama, Mistral) statt OpenAI oder Anthropic — ohne Datenübermittlung in die USA
- Abfrage-Logs werden höchstens 90 Tage vorgehalten, auf Wunsch früher gelöscht
- Embeddings sind abgeleitete Daten — vollständige Löschung ist durch Neuindexierung nach Anonymisierung der Quelle möglich
- Audit-Log für jeden Zugriff auf die Vektordatenbank (wer, wann, welche Abfrage)
- Kostenloser Auftragsverarbeitungsvertrag nach Art. 28 DSGVO
Häufige Fragen
Kann ich OpenAI oder Anthropic mit einer Vektordatenbank in der EU nutzen?
Ja. Die Vektordatenbank (Qdrant oder ChromaDB) bleibt bei uns in der EU. An das Sprachmodell senden Sie lediglich die besten K Kontextabschnitte und die Nutzerfrage. Unsere Beispiele zeigen, wie Sie die übermittelten Daten minimieren.
Wie groß darf das Modell auf Ihren GPUs sein?
Llama 3 8B und Mistral 7B laufen problemlos auf einer RTX PRO 4000 (24 GB), geeignet für Modelle bis rund 14 Mrd. Parameter. Llama 3 70B benötigt eine RTX PRO 6000 (96 GB). Mixtral 8x22B und größere Modelle: mehrere GPU-Server. Wir beraten Sie bei der Auswahl.
Wie lange dauert die Einrichtung der KI-Umgebung?
Die Umgebung ist vorinstalliert — CUDA, PyTorch, TensorFlow, vLLM, Ollama. Die erste Inferenz gelingt in fünf Minuten. Für besondere Anforderungen (bestimmtes Modell, Fine-Tuning) rechnen Sie mit ein bis drei Stunden, mit unserer Unterstützung.
Unterstützen Sie das Fine-Tuning eigener Modelle?
Ja. Eine RTX PRO 6000 (96 GB VRAM) bewältigt das Fine-Tuning von Modellen bis 70B mit LoRA oder QLoRA. Auf einer RTX PRO 4000 (24 GB) ist leichtes Fine-Tuning kleiner Modelle möglich. Das vollständige Training von Modellen der GPT-Klasse ist nicht auf einem einzelnen GPU-Server machbar.
Kann ich Pinecone nutzen, während Qdrant bei Ihnen läuft?
Ja. Pinecone ist ein externer Dienst, der pro Nutzung abrechnet; Qdrant läuft auf Ihrem eigenen VPS in der EU, die Daten verlassen Ihren Server nicht und die Kosten sind der feste Monatspreis des VPS. Die Migration von Pinecone zu Qdrant erledigen wir aus den enthaltenen DevOps-Stunden.
Wählen Sie eine GPU oder einen VPS mit Vektordatenbank
GPU-Server mit RTX PRO 4000 oder RTX PRO 6000 und VPS mit vorinstalliertem Qdrant; die aktuellen Preise finden Sie in den Tarifen. GPUs mit monatlicher oder jährlicher Abrechnung und 10 DevOps-Stunden pro Monat.
GPU-Tarife ansehen →