Infrastruttura AI di livello produttivo
Database vettoriali e server GPU sono i due pilastri degli stack AI moderni. Noi offriamo entrambi. Qdrant o ChromaDB per embedding, RAG e ricerca semantica; server GPU per addestramento, fine-tuning e inferenza dei tuoi modelli. I tuoi dati restano nell'UE, le fatture riportano l'IVA UE con reverse charge B2B e la conformità al GDPR è garantita fin dal primo minuto.
Database vettoriali: RAG, embedding, ricerca
I database vettoriali sono la base delle applicazioni basate su LLM. Memorizzano gli embedding dei documenti e trovano somiglianze in pochi millisecondi. Scegli il database che preferisci: li ospitiamo tutti nell'UE, con fatturazione con IVA UE. Ognuno include un client Python preinstallato e notebook Jupyter di esempio.
Qdrant
Scritto in Rust, ad alte prestazioni, pronto per la produzione. Ideale per app RAG con milioni di embedding. Indice HNSW, filtraggio per metadati, snapshot.
ChromaDB
Il database vettoriale più facile da usare. Ottimo per prototipi e app AI più piccole. Python-first, embedding automatici da OpenAI o Sentence Transformers.
Weaviate
Schema dati con metadati. Ricerca ibrida (vettoriale + filtro per tag). Moduli di AI generativa integrati, API GraphQL.
pgvector
Estensione di PostgreSQL. Se usi già Postgres, aggiungi i vettori senza un nuovo database. Integrazione completa con le tabelle esistenti e le transazioni SQL.
Server GPU: RTX PRO 4000 e RTX PRO 6000
Schede NVIDIA professionali con ambiente CUDA già pronto. Per fine-tuning, inferenza di LLM, computer vision e rendering 3D. Fatturazione mensile o annuale, con 10 ore DevOps incluse ogni mese. Tutte le GPU arrivano con CUDA 12.4, cuDNN 9, PyTorch 2.4, TensorFlow 2.18, JAX e Hugging Face Transformers preinstallati.
Costo dei carichi di lavoro AI tipici
Scenari di esempio e relativo costo mensile sulla nostra infrastruttura. I prezzi arrivano in tempo reale dai nostri piani attuali, IVA esclusa. Rispetto alle tariffe di OpenAI / AWS Bedrock / Anthropic, in molti casi un'infrastruttura propria conviene a partire da 50-100k richieste al mese.
| Carico di lavoro AI | Configurazione | Costo/mese |
|---|---|---|
| RAG per 1M di documenti (chat sui documenti) | VPS 32G + Qdrant + API OpenAI | da 240 EUR |
| Ricerca semantica per un negozio (50k SKU) | VPS 16G + pgvector + Sentence Transformers | da 100 EUR |
| Inferenza Llama 3 70B (~5k query al giorno) | Server GPU RTX PRO 6000 + vLLM | da 4000 EUR |
| Addestramento di un modello OCR proprio (CV) | Server GPU RTX PRO 4000 (mensile) | da 800 EUR |
| LLM 70B in produzione con bilanciamento del carico | 2× server GPU RTX PRO 6000 + Kubernetes | da 8000 EUR |
Pipeline AI di produzione in 5 fasi
Ecco come si presenta un tipico progetto AI di produzione, dall'idea all'app in funzione. Per ogni fase abbiamo infrastruttura e pattern già pronti, che non devi inventare da zero.
Preparazione dei dati
Indicizzazione dei documenti, pulizia del testo, normalizzazione. Script Python su un VPS, output su MinIO (compatibile S3) o PostgreSQL.
Generazione degli embedding
OpenAI text-embedding-3-large, Cohere o un modello locale (Sentence Transformers, BGE-M3). Embedding scritti in Qdrant o pgvector.
Retrieval + RAG
Un'app FastAPI/Next.js invia una domanda, il database vettoriale restituisce i top-K documenti e il contesto viene aggiunto al prompt dell'LLM.
Inferenza LLM
A te la scelta: Claude/GPT via API (avvio più rapido) oppure un LLM locale su GPU (controllo totale, costi più bassi su larga scala).
Monitoraggio e valutazione
Log delle query in Loki, latenze in Prometheus, costi OpenAI in Grafana. Valutazione della qualità con LangSmith o con un benchmark tuo.
Cosa puoi costruire
Assistente aziendale (RAG)
Indicizza i documenti aziendali in Qdrant, collega Claude o GPT tramite API e ottieni risposte consapevoli del contesto. Bassa latenza di risposta. Embedding multilingua, tokenizzatore ottimizzato per la tua lingua.
Ricerca semantica
Invece della ricerca per parole chiave, cerca per significato. I clienti dell'e-commerce registrano un aumento delle conversioni superiore al 30%. Gestisce bene anche le lingue flessive.
LLM ospitato (Llama, Mistral)
Il tuo modello su un server GPU. Nessun dato inviato a OpenAI/Anthropic. Controllo totale, conforme al GDPR. vLLM o Ollama per un'inferenza semplice.
Computer vision in produzione
Rilevamento di difetti, OCR, riconoscimento di oggetti. Addestra sul tuo dataset con una RTX PRO 6000. YOLO, Detectron2, Segment Anything Model.
Conformità al GDPR per le app AI
L'AI è un ambito delicato per il GDPR: dati di addestramento, embedding, log delle query. La nostra soluzione riduce al minimo i rischi mantenendo tutti i dati nell'UE e dandoti il pieno controllo sul trattamento.
- Tutti i dati (documenti, embedding, log) nei data center UE: nessun trasferimento verso USA, Regno Unito o Asia
- Possibilità di usare LLM locali (Llama, Mistral) al posto di OpenAI/Anthropic: nessun trasferimento di dati verso gli USA
- Log delle query conservati al massimo 90 giorni, con cancellazione anticipata su richiesta
- Gli embedding sono dati derivati: è possibile la cancellazione completa reindicizzando dopo l'anonimizzazione della fonte
- Audit log per ogni accesso al database vettoriale (chi, quando, quale query)
- Accordo sul trattamento dei dati (DPA) gratuito, conforme all'articolo 28 del GDPR
Domande frequenti
Posso usare OpenAI / Anthropic con un database vettoriale nell'UE?
Sì. Il database vettoriale (Qdrant/ChromaDB) resta da noi, nell'UE. All'LLM invii solo il contesto top-K e la domanda dell'utente. I nostri esempi mostrano come ridurre al minimo il trasferimento di dati.
Quanto grande può essere un modello sulle vostre GPU?
Llama 3 8B / Mistral 7B girano senza problemi su RTX PRO 4000 (24 GB), adatta a modelli fino a circa 14B parametri. Llama 3 70B richiede una RTX PRO 6000 (96 GB). Mixtral 8x22B e modelli più grandi: più server GPU. Ti aiutiamo a scegliere.
Quanto tempo richiede la configurazione dell'ambiente AI?
L'ambiente è preinstallato: CUDA, PyTorch, TF, vLLM, Ollama. Prima inferenza in 5 minuti. Per configurazioni personalizzate (modello specifico, fine-tuning) di solito servono 1-3 ore con il nostro aiuto.
Supportate il fine-tuning di modelli personalizzati?
Sì. La RTX PRO 6000 (96 GB di VRAM) gestisce il fine-tuning di modelli fino a 70B con LoRA/QLoRA. La RTX PRO 4000 (24 GB) copre il fine-tuning leggero di modelli piccoli. L'addestramento completo di modelli di classe GPT non rientra in un singolo server GPU.
Posso usare Pinecone se Qdrant è da voi?
Sì. Pinecone è un servizio esterno fatturato a consumo; Qdrant gira sul tuo VPS nell'UE, i dati non lasciano mai il tuo server e il costo è il prezzo mensile fisso del VPS. La migrazione da Pinecone a Qdrant la gestiamo con le ore DevOps incluse.
Scegli una GPU o un VPS con database vettoriale
Server GPU con RTX PRO 4000 o RTX PRO 6000 e VPS con Qdrant preinstallato; i prezzi attuali sono nella pagina dei piani. GPU fatturate mensilmente o annualmente, con 10 ore DevOps al mese.
Vedi i piani GPU →