Üretim seviyesinde yapay zekâ altyapısı
Vektör veritabanları ve GPU sunucuları, modern yapay zekâ altyapılarının iki temel direğidir. İkisi de bizde var. Embedding'ler, RAG ve anlamsal arama için Qdrant veya ChromaDB; kendi modellerinizin eğitimi, ince ayarı ve çıkarımı için GPU sunucuları. Verileriniz AB'de kalır, faturalar AB KDV'sini ve B2B reverse charge uygulamasını içerir, GDPR uyumluluğu ise ilk dakikadan itibaren hazırdır.
Vektör veritabanları — RAG, embedding'ler, arama
Vektör veritabanları, LLM destekli uygulamaların temelidir. Doküman embedding'lerini saklar ve benzerlikleri milisaniyeler içinde bulur. Tercih ettiğiniz veritabanını seçin — hepsini AB'de, AB KDV'li faturayla barındırıyoruz. Her biri önceden kurulu bir Python istemcisi ve örnek Jupyter not defterleriyle gelir.
Qdrant
Rust tabanlı, yüksek performanslı, üretime hazır. Milyonlarca embedding içeren RAG uygulamaları için ideal. HNSW indeksi, metadata filtreleme, snapshot'lar.
ChromaDB
Kullanımı en kolay vektör veritabanı. Prototipler ve küçük yapay zekâ uygulamaları için çok uygun. Önce Python, OpenAI veya Sentence Transformers ile otomatik embedding.
Weaviate
Metadata içeren veri şeması. Hibrit arama (vektör + etiket filtresi). Yerleşik üretken yapay zekâ modülleri, GraphQL API.
pgvector
PostgreSQL eklentisi. Zaten Postgres kullanıyorsanız, yeni bir veritabanı olmadan vektör ekleyin. Mevcut tablolar ve SQL işlemleriyle tam entegrasyon.
GPU sunucuları — RTX PRO 4000 ve RTX PRO 6000
Hazır CUDA ortamına sahip profesyonel NVIDIA kartları. İnce ayar, LLM çıkarımı, bilgisayarlı görü ve 3D render için. Aylık veya yıllık faturalandırma, her ay dahil 10 saat DevOps. Tüm GPU'larda CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX ve Hugging Face Transformers önceden kuruludur.
Tipik yapay zekâ iş yüklerinin maliyeti
Örnek senaryolar ve altyapımızdaki aylık maliyetleri. Fiyatlar, KDV hariç, güncel planlarımızdan canlı olarak gelir. OpenAI / AWS Bedrock / Anthropic fiyatlarıyla karşılaştırıldığında, birçok durumda kendi altyapınız ayda 50-100 bin istekte kendini amorti eder.
| Yapay zekâ iş yükü | Kurulum | Maliyet/ay |
|---|---|---|
| 1 milyon doküman için RAG (doküman sohbeti) | VPS 32G + Qdrant + OpenAI API | başlangıç 240 EUR |
| Bir mağaza için anlamsal arama (50 bin SKU) | VPS 16G + pgvector + Sentence Transformers | başlangıç 100 EUR |
| Llama 3 70B çıkarımı (günde ~5 bin sorgu) | GPU sunucusu RTX PRO 6000 + vLLM | başlangıç 4.000 EUR |
| Kendi OCR modelinizi eğitmek (bilgisayarlı görü) | GPU sunucusu RTX PRO 4000 (aylık) | başlangıç 800 EUR |
| Yük dengelemeli üretim LLM 70B | 2× GPU sunucusu RTX PRO 6000 + Kubernetes | başlangıç 8.000 EUR |
Üretim yapay zekâ hattı — 5 aşama
Tipik bir üretim yapay zekâ projesi, fikirden çalışan uygulamaya böyle ilerler. Her aşama için hazır altyapımız ve sıfırdan icat etmeniz gerekmeyen kalıplarımız var.
Veri hazırlama
Doküman indeksleme, metin temizleme, normalleştirme. Bir VPS üzerinde Python betikleri, çıktı MinIO (S3 uyumlu) veya PostgreSQL'e.
Embedding üretimi
OpenAI text-embedding-3-large, Cohere veya yerel bir model (Sentence Transformers, BGE-M3). Embedding'ler Qdrant veya pgvector'a yazılır.
Getirme + RAG
Bir FastAPI/Next.js uygulaması soruyu gönderir, vektör veritabanı en iyi K dokümanı döndürür, bağlam LLM istemine eklenir.
LLM çıkarımı
Seçim sizin: API üzerinden Claude/GPT (en hızlı başlangıç) veya GPU üzerinde yerel LLM (tam kontrol, ölçekte daha düşük maliyet).
İzleme ve değerlendirme
Sorgu günlükleri Loki'de, gecikmeler Prometheus'ta, OpenAI maliyeti Grafana'da. Kalite değerlendirmesi LangSmith veya kendi benchmark'ınız ile.
Neler geliştirebilirsiniz
Şirket asistanı (RAG)
Şirket dokümanlarını Qdrant'ta indeksleyin, API üzerinden Claude veya GPT'yi bağlayın, bağlama duyarlı yanıtlar döndürün. Düşük yanıt gecikmesi. Çok dilli embedding'ler, dilinize göre ayarlanmış tokenizer.
Anlamsal arama
Anahtar kelime araması yerine anlama göre arama. E-ticaret müşterileri %30'un üzerinde dönüşüm artışı görür. Çekimli dilleri sorunsuz işler.
Barındırılan LLM (Llama, Mistral)
Kendi modeliniz bir GPU sunucusunda. OpenAI/Anthropic'e hiçbir veri gönderilmez. Tam kontrol, GDPR uyumlu. Kolay çıkarım için vLLM veya Ollama.
Üretimde bilgisayarlı görü
Kusur tespiti, OCR, nesne tanıma. Kendi veri setinizle RTX PRO 6000 üzerinde eğitin. YOLO, Detectron2, Segment Anything Model.
Yapay zekâ uygulamaları için GDPR uyumluluğu
Yapay zekâ, GDPR açısından hassas bir alandır — eğitim verileri, embedding'ler, sorgu günlükleri. Çözümümüz tüm verileri AB'de tutarak ve işleme üzerinde tam kontrol vererek riski en aza indirir.
- Tüm veriler (dokümanlar, embedding'ler, günlükler) AB veri merkezlerinde — ABD, Birleşik Krallık veya Asya'ya aktarım yok
- OpenAI/Anthropic yerine yerel LLM'leri (Llama, Mistral) kullanma seçeneği — ABD'ye veri aktarımı yok
- Sorgu günlükleri en fazla 90 gün saklanır, talep üzerine daha erken silinebilir
- Embedding'ler türetilmiş verilerdir — kaynak anonimleştirildikten sonra yeniden indeksleyerek tamamen silmek mümkündür
- Her vektör veritabanı erişimi için denetim günlüğü (kim, ne zaman, hangi sorgu)
- GDPR 28. maddeye uygun ücretsiz Veri İşleme Sözleşmesi (DPA)
Sık sorulan sorular
AB'deki bir vektör veritabanı ile OpenAI / Anthropic kullanabilir miyim?
Evet. Vektör veritabanını (Qdrant/ChromaDB) bizde, AB'de tutarsınız. LLM'e yalnızca en iyi K bağlamı ve kullanıcının sorusunu gönderirsiniz. Örneklerimiz veri aktarımının nasıl en aza indirileceğini gösterir.
GPU'larınızda ne kadar büyük bir model çalıştırabilirim?
Llama 3 8B / Mistral 7B, yaklaşık 14B parametreye kadar modellere uygun RTX PRO 4000 (24 GB) üzerinde sorunsuz çalışır. Llama 3 70B için RTX PRO 6000 (96 GB) gerekir. Mixtral 8x22B ve daha büyükleri: birkaç GPU sunucusu. Seçimde yardımcı oluruz.
Yapay zekâ ortamının kurulumu ne kadar sürer?
Ortam önceden kuruludur — CUDA, PyTorch, TF, vLLM, Ollama. İlk çıkarım 5 dakikada. Özel kurulumlar için (belirli bir model, ince ayar) bizim yardımımızla genellikle 1-3 saat.
Özel modellerde ince ayarı destekliyor musunuz?
Evet. RTX PRO 6000 (96 GB VRAM), 70B'ye kadar modellerde LoRA/QLoRA ile ince ayarı karşılar. RTX PRO 4000 (24 GB) küçük modellerde hafif ince ayarı kapsar. GPT sınıfı modellerin tam eğitimi tek bir GPU sunucusuna sığmaz.
Qdrant sizdeyken Pinecone kullanabilir miyim?
Evet. Pinecone, kullanıma göre faturalanan harici bir hizmettir; Qdrant ise AB'deki kendi VPS'inizde çalışır, veriler sunucunuzdan asla çıkmaz ve maliyet VPS'in sabit aylık fiyatıdır. Pinecone'dan Qdrant'a geçişi, dahil DevOps saatlerinizden karşılayarak biz yaparız.
Vektör veritabanlı bir GPU veya VPS seçin
RTX PRO 4000 veya RTX PRO 6000 içeren GPU sunucuları ve önceden kurulu Qdrant'lı VPS; güncel fiyatlar planlar sayfasında. GPU'lar aylık veya yıllık faturalandırılır, ayda 10 saat DevOps dahildir.
GPU planlarını gör →