Infrastrukturë AI e nivelit të prodhimit
Bazat e të dhënave vektoriale dhe serverët GPU janë dy shtyllat e stack-eve moderne të AI-së. Ne i kemi të dyja. Qdrant ose ChromaDB për embedding-e, RAG dhe kërkim semantik; serverë GPU për trajnimin, fine-tuning-un dhe inferencën e modeleve tuaja. Të dhënat tuaja mbeten në BE, faturat mbajnë TVSH të BE-së me reverse charge për B2B, dhe përputhshmëria me GDPR është aty që nga minuta e parë.
Baza të dhënash vektoriale — RAG, embedding-e, kërkim
Bazat e të dhënave vektoriale janë themeli i aplikacioneve të fuqizuara nga LLM. Ato ruajnë embedding-et e dokumenteve dhe gjejnë ngjashmëritë brenda milisekondave. Zgjidhni bazën e preferuar — i strehojmë të gjitha në BE, me faturim me TVSH të BE-së. Çdo bazë vjen me klient Python të para-instaluar dhe fletore Jupyter shembull.
Qdrant
I ndërtuar në Rust, me performancë të lartë, i gatshëm për prodhim. Ideal për aplikacione RAG me miliona embedding-e. Indeks HNSW, filtrim sipas metadatave, snapshot-e.
ChromaDB
Baza vektoriale më e lehtë për t'u përdorur. E shkëlqyer për prototipe dhe aplikacione më të vogla AI. Me Python në qendër, embedding-e automatike nga OpenAI ose Sentence Transformers.
Weaviate
Skemë të dhënash me metadata. Kërkim hibrid (vektor + filtër etiketash). Module të integruara AI gjeneruese, API GraphQL.
pgvector
Zgjerim i PostgreSQL. Nëse përdorni tashmë Postgres, shtoni vektorë pa një bazë të re të dhënash. Integrim i plotë me tabelat ekzistuese dhe transaksionet SQL.
Serverë GPU — RTX PRO 4000 dhe RTX PRO 6000
Karta profesionale NVIDIA me mjedis CUDA të gatshëm. Për fine-tuning, inferencë LLM, shikim kompjuterik dhe renderim 3D. Faturim mujor ose vjetor, me 10 orë DevOps të përfshira çdo muaj. Të gjitha GPU-të vijnë me CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX, Hugging Face Transformers të para-instaluara.
Kostoja e ngarkesave tipike AI
Skenarë shembull dhe kostoja e tyre mujore në infrastrukturën tonë. Çmimet merren drejtpërdrejt nga planet tona aktuale, pa TVSH. Krahasuar me tarifat e OpenAI / AWS Bedrock / Anthropic — në shumë raste infrastruktura juaj e vetme shpaguhet nga 50-100 mijë kërkesa në muaj.
| Ngarkesa AI | Konfigurimi | Kosto/muaj |
|---|---|---|
| RAG për 1M dokumente (bisedë me dokumentet) | VPS 32G + Qdrant + OpenAI API | nga 240 EUR |
| Kërkim semantik për një dyqan (50k SKU) | VPS 16G + pgvector + Sentence Transformers | nga 100 EUR |
| Inferencë Llama 3 70B (~5k kërkesa/ditë) | Server GPU RTX PRO 6000 + vLLM | nga 4000 EUR |
| Trajnimi i modelit tuaj OCR (CV) | Server GPU RTX PRO 4000 (mujor) | nga 800 EUR |
| LLM 70B në prodhim me balancim ngarkese | 2× server GPU RTX PRO 6000 + Kubernetes | nga 8000 EUR |
Pipeline AI në prodhim — 5 faza
Ja si duket një projekt tipik AI në prodhim, nga koncepti deri te aplikacioni në punë. Për çdo fazë kemi infrastrukturë të gatshme dhe modele pune që nuk keni pse t'i shpikni nga e para.
Përgatitja e të dhënave
Indeksimi i dokumenteve, pastrimi i tekstit, normalizimi. Skripte Python në një VPS, me dalje në MinIO (i përputhshëm me S3) ose PostgreSQL.
Gjenerimi i embedding-eve
OpenAI text-embedding-3-large, Cohere, ose një model lokal (Sentence Transformers, BGE-M3). Embedding-et shkruhen në Qdrant ose pgvector.
Retrieval + RAG
Një aplikacion FastAPI/Next.js dërgon pyetjen, baza vektoriale kthen dokumentet top-K, konteksti i shtohet prompt-it të LLM-së.
Inferenca LLM
Zgjidhni: Claude/GPT përmes API-t (nisja më e shpejtë), ose një LLM lokal në GPU (kontroll i plotë, kosto më e ulët në shkallë të madhe).
Monitorimi dhe vlerësimi
Regjistrat e kërkesave në Loki, vonesat në Prometheus, kostoja e OpenAI në Grafana. Vlerësimi i cilësisë përmes LangSmith ose benchmark-ut tuaj.
Çfarë mund të ndërtoni
Asistent i kompanisë (RAG)
Indeksoni dokumentet e kompanisë në Qdrant, lidhni Claude ose GPT përmes API-t dhe merrni përgjigje të vetëdijshme për kontekstin. Vonesë e ulët e përgjigjes. Embedding-e shumëgjuhëshe, tokenizues i përshtatur për gjuhën tuaj.
Kërkim semantik
Në vend të kërkimit me fjalë kyç — kërkim sipas kuptimit. Klientët e dyqaneve online shohin rritje të konvertimit mbi 30%. Përballon mirë gjuhët me fleksion.
LLM i strehuar (Llama, Mistral)
Modeli juaj në një server GPU. Asnjë e dhënë nuk dërgohet te OpenAI/Anthropic. Kontroll i plotë, në përputhje me GDPR. vLLM ose Ollama për inferencë të thjeshtë.
Shikim kompjuterik në prodhim
Zbulim defektesh, OCR, njohje objektesh. Trajnoni mbi datasetin tuaj me një RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.
Përputhshmëria me GDPR për aplikacionet AI
AI është një fushë e ndjeshme për GDPR — të dhënat e trajnimit, embedding-et, regjistrat e kërkesave. Zgjidhja jonë e minimizon rrezikun duke i mbajtur të gjitha të dhënat në BE dhe duke ju dhënë kontroll të plotë mbi përpunimin.
- Të gjitha të dhënat (dokumente, embedding-e, regjistra) në qendra të dhënash të BE-së — pa transferim në SHBA, Mbretërinë e Bashkuar apo Azi
- Mundësia për të përdorur LLM lokale (Llama, Mistral) në vend të OpenAI/Anthropic — pa transferim të dhënash në SHBA
- Regjistrat e kërkesave ruhen maksimumi 90 ditë, me fshirje më të hershme sipas kërkesës
- Embedding-et janë të dhëna të derivuara — fshirje e plotë është e mundur duke rindeksuar pas anonimizimit të burimit
- Regjistër auditimi për çdo qasje në bazën vektoriale (kush, kur, çfarë kërkese)
- Marrëveshje falas për përpunimin e të dhënave (DPA) në përputhje me nenin 28 të GDPR
Pyetje të shpeshta
A mund të përdor OpenAI / Anthropic me një bazë vektoriale në BE?
Po. Bazën vektoriale (Qdrant/ChromaDB) e mbani te ne në BE. LLM-së i dërgoni vetëm kontekstin top-K + pyetjen e përdoruesit. Shembujt tanë tregojnë si të minimizoni transferimin e të dhënave.
Sa i madh mund të jetë modeli që xhiroj në GPU-të tuaja?
Llama 3 8B / Mistral 7B funksionojnë pa probleme në RTX PRO 4000 (24 GB), e përshtatshme për modele deri në rreth 14B parametra. Llama 3 70B kërkon RTX PRO 6000 (96 GB). Mixtral 8x22B dhe më të mëdhenj: disa serverë GPU. Ju ndihmojmë të zgjidhni.
Sa zgjat konfigurimi i mjedisit AI?
Mjedisi është i para-instaluar — CUDA, PyTorch, TF, vLLM, Ollama. Inferenca e parë brenda 5 minutash. Për konfigurime të personalizuara (model specifik, fine-tuning) zakonisht 1-3 orë me ndihmën tonë.
A e mbështesni fine-tuning-un e modeleve të personalizuara?
Po. RTX PRO 6000 (96 GB VRAM) përballon fine-tuning-un e modeleve deri në 70B me LoRA/QLoRA. RTX PRO 4000 (24 GB) mbulon fine-tuning të lehtë të modeleve të vogla. Trajnimi i plotë i modeleve të klasit GPT nuk përshtatet në një server të vetëm GPU.
A mund të përdor Pinecone ndërkohë që Qdrant është te ju?
Po. Pinecone është shërbim i jashtëm i faturuar sipas përdorimit; Qdrant xhiron në VPS-në tuaj në BE, të dhënat nuk dalin kurrë nga serveri juaj dhe kostoja është çmimi fiks mujor i VPS-së. Migrimin nga Pinecone te Qdrant e bëjmë nga orët tuaja DevOps të përfshira.
Zgjidhni një GPU ose VPS me bazë vektoriale
Serverë GPU me RTX PRO 4000 ose RTX PRO 6000 dhe VPS me Qdrant të para-instaluar; çmimet aktuale janë në faqen e planeve. GPU-të faturohen mujore ose vjetore, me 10 orë DevOps në muaj.
Shihni planet GPU →